NIPS 2017 "Time Inspection Award" kazanan konuşma: "simya" dan "elektriğe" makine öğrenimi | NIPS 2017
Leifeng.com'a göre: 5 Aralık'ta, Eğitim için bir gün ısınmanın ardından, California, Long Beach'teki 31. NIPS Konferansı resmi toplantı aşamasına girdi ve tüm belgeler de önümüzdeki üç gün içinde sunulacak. İstatistiklere göre, bu NIPS konferansı 678'i dahil olmak üzere toplam 3240 bildiri aldı. Bu konferans için toplam 8.000'den fazla kişi kayıtlıdır ve NIPS konferansının makine öğrenimi teorisi araştırmalarındaki durumu tartışılmaz.
Dün (4 Aralık), konferans resmi olarak en iyi üç bildiriyi (En İyi Bildiri Ödülü) ve bir zaman testi ödülünü (Test of Time Award) açıkladı. Konferansın gündeminde, açıklanacak ilk makale, zaman testi ödülünü kazanan kağıt oldu: "Büyük Ölçekli Çekirdek Makineleri için Rastgele Özellikler". Lei Feng.com, bunun NIPS konferansının gözünde bu ödülün önemini de gösterdiğine inanıyor: en iyi makale, en yeni bakış açılarına ve en etkileyici eleştirmenlere sahip kağıt olabilir, ancak bu yeni bakış açısının hala bir dereceye kadar zamana ihtiyacı var. kanıtlamak. Yıllar içinde konferansların bildirilerinin performansına bakılırsa, "en iyi makaleler" baskın olmaya başlayabilir, ancak çoğu zaman zamanın sınavı altında kaybedilir ve genellikle gelecekte uzun süre kalacak bazı göze çarpmayan belgeler vardır. Yavaş yavaş uzun vadeli etkilerini gösterir ve bu tür belgeler, yapay zeka topluluğunun uzun vadeli gelişimi için gereklidir ve teşvik edilir.
Makalenin yazarlarından Ali Rahimi konferans alanında harika bir makale yorumu ve ödüllü bir konuşma yaptı. Makalenin teknik açıklamasının yanı sıra, Leifeng.com'u en çok etkileyen şey, konuşmasında Rahimi'nin, on yıl önce makine öğreniminin yeni disiplinini sorgulayan "akademik polise" karşı ilerleme sürecini gözden geçirmesi ve on yıl sonra bunu önermesiydi. Geliştirme yılında, makine öğreniminin barbarca büyümeden eksiksiz bir sistemin kurulmasına kadar bir sürece ihtiyacı var ve herkesi makine öğreniminin teorik çerçevesine katkıda bulunmaya çağırıyor.
Rahimi'nin konuşması Leifeng.com aşağıdaki gibi bir alıntıdır (Leifeng.com, konuşmadaki teknik açıklamalar için karşılık gelen kısaltmalar yapmıştır. Lütfen makalenin teknik bölümü için orijinal kağıda bakın):
Teşekkürler, bu ödülü almak harika. Ama şunu söylemek isterim ki, "Zaman Testi Ödülü" olarak adlandırılan bu ödülü almak sizi yaşlı hissettirmiyor, tüm şirketler ve araştırma grubunun tüm üyeleri için bir teşvik. Bu yazı dizisini bir üçleme olarak ele alırsanız, en iyi şeyler her zaman ilk değil sondadır. Ben ve ben artık genç değiliz, bu yüzden yaşlılarımın sözlerine tahammül edebilirseniz, sizi bu makaleyi yazdığımız 2006 yılına geri götürmek istiyorum.O zamanlar, dinozorlar hala dünyayı dolaşıyordu ve Ben ve ben hala gençtik. Güçlü ve çevik.
(Ali Rahimi'nin bahsettiği "Üçleme" nin üç makalesi)
2006'daki NIPS'te, derin öğrenme, havuza atılan bir taş gibi dalgalara neden oldu. O zamanlar, derin öğrenme eğitim algoritması karmaşıktı ve sonuçlar PCA ve SPMS gibi doğrusal algoritmalardan biraz daha üstündü.Sonuçlar, yılın Çalıştayında ikna ediciydi. Ancak bazı insanlar derin öğrenmenin destek vektör makineleri gibi doğrusal olmayan algoritmalarla karşılaştırılması gerektiğini söylüyor, ancak o zamanlar bir veri setimiz yoktu ve ilk başta her şey zordu.
O zamanlar hem Ben hem de ben rastgele algoritmalar üzerinde kavga ediyorduk: Ben, sıkıştırma indüksiyonu üzerine çalıştı ve bilgisayarla görmeyi hızlandırmak için çift taraflı grafik eşleştirme mimarisini inceledim. İki e-postadan sonra, silah arkadaşı olduk ve bu da bu makalenin doğmasına yol açtı.
Çabucak bir yolunu bulduk. Aslında bu yöntem çok iyi çalışıyor, bu yüzden doğrusal olmayan yöntemle karşılaştırılabilmesi için bir temel oluşturmayı planlamaya başladık ama o sırada karşılaştıracak bir kod bulamadık, bu süreçte bir çok şüphe ve alay da yaşadık.
Bir çekirdek yaklaştırma eşlemesi oluşturmak için bu rastgele özellikleri doğru bir şekilde kullanmak için, on binlerce rastgele özellik kullanmanız gerekebilir, ancak deneylerimizde yalnızca birkaç yüz özellik kullandık ve bazı deneylerde yaklaşım yöntemimiz İyi sonuçlar elde etti. Daha da şaşırtıcı olan, bazı deneylerde yaklaşık yöntemimizin, simüle etmeye çalıştığımız orijinal nükleer makine yönteminden daha düşük test hatalarına sahip olmasıdır.
Bunu şu anki bakış açısından açıklamak kolaydır. O zamanlar makine öğrenimi kavramı henüz emekleme aşamasındaydı. Akademik bir konferans fikrinden daha titiz bir teorik sisteme dönüşmüştü. NIPS konferansında bazı eski çalışmalar vardı ve bunlar " Akademik polis gibi onlar da bu fikrin titizliğini sorguluyorlar, eğer şanssızsanız araştırmanız onlar için değersiz olacaktır. Ama nihayet bu belgeyi sunmaya, doğru olduğunu düşündüğümüz şeyi yapmaya, bu "akademik polis" e meydan okumaya karar verdik. Neyse ki, sonunda bu fenomen için makul bir açıklama bulduk.
Bu bizim algoritmamız. Çekirdeği tartışmanıza gerek yok, sadece veri setinizden bağımsız olarak bir dizi işlev çizmeniz ve ardından daha düşük bir Kayıp elde etmek için ağırlıklarını ayarlamanız gerekiyor Bunu ikinci makalede kanıtladık. Fourier özelliği yöntemini kullanıyoruz Benzer şekilde, üç katmanlı bir sinir ağı, Hilbert uzayındaki işlevi keyfi olarak yaklaştırabilir.Özelliği kanıtlamak için çekirdeği tartışmanıza gerek yoktur. Son olarak, üçüncü makalede (Rastgele mutfak lavabolar: öğrenmede optimizasyonu rastgele hale getirme), radyal temelli işlev çekirdeği için yaklaşık bir eşleştirme oluşturmak için Random Kitchen Sinks'i önerdik. Derin öğrenme için geleneksel yöntemlerle karşılaştırma çemberinden atladık. Bir temel sağladıktan sonra, bu yöntem giderek daha fazla kişi tarafından uygulandı ve geliştirildi.Bugüne kadar hala rastgele özellik yöntemini kullanıyorum.
2017 yılı itibarıyla makine öğrenimi alanında hayal bile edilemeyecek ilerlemeler kaydettik. Kodları özgürce paylaşabilir ve insansız sürüş, fotoğrafların otomatik etiketlenmesi, konuşmadan metne çevirme, çeviri ve diğer uygulamalar gibi ortak görev ölçütlerini kullanabiliriz, bunların tümü yapay zeka çağının geldiğini ve makine öğrenimini araştıran şirketlerin kazandığını gösterir. Milyarlarca doların değerlemesi, pek çok yönün o zaman olduğundan çok daha iyi olduğu söylenmelidir, ancak dikkatimizi hak eden bazı alanlar var.
Bugün "Yapay zeka yeni güçtür" diyeceğiz. Ama herkese bugünün yapay zekasının simya gibi olmadığını hatırlatmak istiyorum. Simya gerçekten de zamanları destekledi ve modern kimya ve diğer bilimlerin temeli, ancak yılın simyacıları ayrıca sülüklerin hastalıkları iyileştirebileceğine ve 1700 yılına kadar uzanan fiziksel ve kimyasal yöntemler kullanarak diğer metalleri altına dönüştürebileceğine inanıyordu. 2000 yılındaki yıldızlar denizi için sonuç tahmin edilebilir.
Simyanın işe yaramaz olduğunu söylemiyorum - sadece fotoğraf paylaşımı gibi bir uygulama yaparsanız, simya tamamen tamamdır. Ancak yapay zekayı kullanarak çözmeyi umduğumuz şey tıbbi sorunları çözmek, iletişim yöntemlerini değiştirmek ve seçimleri etkilemek için bir sistem kurmaktır.İleride yaşadığımız toplumun titiz ve belgelenmiş bir sistem olmasını umuyorum. Simya gibi değil. O "akademik polisi" bile biraz özlüyorum, neden öyle diyorsun? Kaçınız sıfırdan derin bir ağ oluşturup onu eğitiyor ve kötü performans gösterdiğinde, yanlış bir şey yapmış gibi hissetmenize neden oluyor? Öyleyse, lütfen elinizi kaldırın (olay yerindeki birçok kişi ellerini kaldırır). Benim için de aynı, üç ayda bir oluyor. Söylemek istediğim şey, bu senin hatan değil, eğimli inişin hatası (kahkahalar). Problemlerle karşılaştığımızda, bunun sadece yerel bir optimum olup olmadığı, yoksa bir eyer noktası mı olduğu gibi çeşitli varsayımlar yapacağız. Ancak durum bu değil.
Sorunlarınızı anlıyorum. İşte aldığım bir e-posta. Size okuyacağım (yukarıdaki resme bakın, atlanmıştır). Pek çok benzer e-posta aldım, çünkü optimize etmek için ilişkiyi anlamak yerine Kaybı azaltmak için basit ve kaba teknikler kullanıyoruz ve bu da yapay zekanın gizemli konusuna daha fazla gizem katıyor. . Anlamadığımız teknolojiyi kullanabiliriz. Örneğin, uçak uçuşu prensibini anlamıyorum ve uçuşumu etkilemiyor. Ama arkasında bir dizi aerodinamik prensip olduğunu biliyorum, bu yüzden nedenini biliyorum. Artık sinir ağlarının yararlı olduğunu biliyoruz, ancak biraz daha düşünün, gradyan inişini hızlandırmak için sinir bağlantılarını nasıl optimize edeceğinizi ve iç kovaryansı nasıl azaltacağınızı bilmek istemez misiniz, yoksa nöronlar arasındaki bağlantı ve işbirliği ilkesi nedir? Nöron simülasyonumuz, derin ağlar kurmak için temel aracımız haline geldi, ancak bir alan olarak, onun hakkında neredeyse hiçbir şey bilmiyoruz.
Bunun hoşunuza giden iki farklı olduğunu hayal edin: biri geçen yıl puan almak için farklı teknikler denediniz ve diğeri de geçen yıl gözlemlediğiniz çeşitli garip olayları anlamaya çalışmak için farklı deneyler denediniz. Köklerini bulmak için. Daha önce birçok deney yaptık, daha fazla "merdiven" kullanabiliriz, ancak bu basit deneyler ve merdivenler, daha karmaşık sistemlerin temel taşını anlamamız için.
Şimdi bir doğrusal sistem çözücümüz veya matris çarpanlara ayırma motorumuz olduğunu düşünün, bunlar veri işleme ve eğitimi hızlandırabilir, on milyarlarca değişkeni işleyebilir ve gerçek bir ürün haline gelebilir - bunu başarmak elbette bir Zor matematik problemleri veya zor sistem problemleri, ancak bu tam olarak grubumuzun ve topluluğumuzun çözmesi gereken şeydir. Bu nedenle, simyacı gibi çalışmak yerine herkesin bu teknolojilerin ardındaki katı ilkeleri ve ilişkileri daha iyi anlayacağını umuyorum. Bu ödülü aldığım için çok mutluyum ve birçoğunuzla tanıştım. Umarım gelecekte makine öğrenimini "simya" dan gerçek "elektriğe" dönüştürmek için birlikte çalışabiliriz, teşekkür ederim.
