"NIPS2017" derin öğrenme gerçekten teorik rehberliğe ihtiyaç duyar mı? Turing Ödülü sahibinin dersi gözetimsizdi ve Bayes'in babası Judea Pearl'ün yalnız figürü düşündürücüydü
Xinzhiyuan tarafından yeniden basıldı
NIPS 2017 "Test of Time" Kağıt Ödülü sahibi Ali Rahimi, Long Beach sitesinde yaptığı konuşmada şu anda makine öğreniminde, özellikle de derin öğrenmede kullanılan birçok yöntemin (teorik) anlayış eksikliğinden şikayet etti. Lecun cevapladı: Tüm makine öğrenimi topluluğunu, sırf teori uygulama düzeyine yetişmediği için "simya" kullandığı için eleştirmek tehlikelidir.
CMU Üniversitesi'nde profesör ve Petuum'un kurucusu olan Eric Xing, bu grup fotoğrafı gördükten sonra şunları söyledi: Bu, NIPS2017 konferansında üzücü bir sahne. Bir "simyacı" olmak utanç verici değil, bir "simyacı" dan "kimyager" olmayı öğrenmeye çalışmamanız utanç verici. Bu, tekrar tekrar mühendislik pratiği yapmakta yanlış bir şey olmadığı anlamına gelir, ancak bunun arkasındaki ilkeyi de düşünmelisiniz. (General olmak istemeyen bir asker iyi bir asker değildir?)
Resim: Judea Pearl'ün konuşmasının yapıldığı yer
Judea Pearl hakkında
Yapay zeka alanındaki temel katkılarından dolayı 2011 yılında Turing Ödülü'nü kazanan Judea Pearl, kurallara ve mantığa dayalı yapay zekanın orijinal yönünü tamamen değiştiren olasılık ve nedensel muhakeme algoritmaları önerdi. Ana araştırma alanları, makine öğreniminin temel problemleri olan olasılıklı grafik modeller ve nedensel akıl yürütmedir. Turing Ödülü genellikle tamamen teorik bilgisayar akademisyenlerine veya ilk günlerde bilgisayar mimarisi veya çerçevesi kuran akademisyenlere verilir.
Judea Pearl, UCLA'da Bilgisayar Bilimleri Bölümü'nde profesördür. İki kez bilimsel devrimin merkezinde yer almıştır: ilk kez 1980'lerde Bayes ağları adı verilen yapay zeka için yeni bir araç seti tanıttı. Bu olasılığa dayalı makine muhakeme modeli, makinenin karmaşık, belirsiz ve belirsiz bir ortamda çalışmasını sağlar. Bayes ağları, yalnızca birkaç yıl içinde, önceki kural tabanlı yapay zeka yöntemlerinin yerini tamamen aldı.
İkinci devrimde, Bayes ağlarının hesaplama avantajları göz önüne alındığında, Pearl basit grafik modellerinin ve olasılık teorisinin (Bayes ağlarında olduğu gibi) nedensellik hakkında mantık yürütmek için de kullanılabileceğini fark etti. Bu keşif, yapay zekanın gelişimi için başka bir temel oluşturdu, ancak önemi bundan çok uzak: Nedenselliği doğrulayabilen bu metodik matematiksel yöntem, neredeyse tüm bilim ve sosyal bilim alanları tarafından benimsenmiştir.
Judea Pearl aynı zamanda Ulusal Mühendislik Akademisi, AAAI ve IEEE Üyesidir ve oğlunun adını taşıyan Daniel Pearl Vakfı'nın başkanıdır (oğlu Daniel Pearl, 2002 yılında Pakistanlı teröristler tarafından kaçırılan ve başı kesilen bir Wall Street Journal muhabiriydi. Amerika Birleşik Devletleri ayrıca "A Mighty Heart" adlı özel bir film yaptı.)
Tesis dışı JudeaPearl kişisel olarak çalışmalarını açıkladı
Derin öğrenmede teorinin rolü
AliRahimi Ali'nin neden olduğu teorik anlaşmazlık dalgalar yarattı ve makine öğrenimi topluluğunun daha fazla temsilcisi İnternette göründü. Bugün, Chicago'daki Toyota Araştırma Enstitüsü'nden Profesör David McAllester, yorumlanması için bir blog yazısı yayınladı. Aşağıda McAllester'ın görüşleri yer almaktadır:
Bu blog yazısı esas olarak Ali Rahimi'nin son NIPS konuşmasından ve Lecun'un yanıtından esinlenmiştir.
-
https://www.reddit.com/r/MachineLearning/comments/7hys85/nalirahimistalkatnipsnips2017testoftime/
-
https://www.facebook.com/search/str/yann+lecun+alchemy/keywordssearch
Bu araştırma konusu temelde teori ve derin öğrenme arasındaki ilişkidir. Alinin konuşmasından bazı alıntılar çıkaracağım.
-
Rahimi:
Makine öğrenimi simyaya dönüştü.
Simya etkilidir (birçok şey için).
Ancak bilim adamları iki bin yıllık simya teorisini alt üst ettiler.
Sistemin simyaya değil, doğrulanabilir titiz bilgiye dayandığı bir toplumda yaşamak istiyorum.
-
LeCunn:
Anlamak (teori veya başka türlü) iyi bir şeydir. Ancak, tüm makine öğrenimi topluluğunu, sırf teori uygulama düzeyine ulaşmadığı için "simya" kullandığı için eleştirmek tehlikelidir.
Neden tehlikelidir? Makine öğrenimi topluluğunu 10 yıldan fazla bir süredir sinir ağlarını terk eden bu tutumdur, ancak çok sayıda deneysel çalışma sinir ağlarının birçok durumda çok etkili olduğunu kanıtlamıştır.
Yann'ın bakış açısına temelde katılıyorum, talepkar gereksinimlerin bir alanı yanlış yönlendireceğine inanıyor. Belki de en tehlikeli şey, gerçek ilerleme peşinde koşmak yerine meslektaşları olgun matematik teorileriyle etkilemektir.
Ama bu tartışmaya kendi fikrimi eklemek istiyorum. Rahini'den tekrar alıntı yapacağım:
-
Rahini:
Derin bir ağ çalışmadığında, bunun bir gradyan iniş hatası olduğunu düşünüyorum.
Gradyan iniş, derin öğrenmenin temel taşıdır. Gradyan inişi, bir yerel arama biçimidir. İşte bazı yerel arama örnekleri:
1890'lardan 20. yüzyıla kadar içten yanmalı motorun evrimi.
Moore Yasası'nın rehberliğinde son 50 yılda yarı iletken teknolojisinin gelişimi.
İnsan beyninin evrimini içeren biyolojik evrim.
Yunan matematiğinden modern matematiğe evrim.
Alphago sıfır eğitim süresi, kendi kendine oynayarak dünyanın en güçlü satranç programı haline geldi.
Yerel arama gerçekten gizemlidir. Fakat katı bir yerel arama teorisinin insan beyninin evrimini veya matematiksel bilginin tarihsel evrimini tahmin etmesini veya açıklamasını gerçekten bekleyebilir miyiz? Önümüzdeki 20 yıl içinde hangi matematiksel teorilerin ortaya çıkacağını tahmin etmek için bir tür ikinci dereceden gradyan iniş analizini gerçekten bekleyebilir miyiz? Benim görüşüm, yerel aramanın (gradyan iniş) çok güçlü olduğu ve temelde herhangi bir tam kapsamlı anlayışın ötesinde olduğudur.
Günümüzün bilgi işlem gücü böyle bir düzeye ulaştı: Güçlü GPU artı güçlü mimari tasarımdaki gradyan inişi, yalnızca, doğası yukarıdaki örneğe benzeyen, çok güçlü, dışbükey olmayan yerel bir arama biçimi olarak anlaşılabilir. Evet, belirli bir sinir ağı eğitim hatası, gradyan iniş (yerel arama) arızasıdır. Ancak bu gözlem çok az bilgi sağladı.
Yapay genel zekadaki (AGI) zaman çerçevesindeki konum, ilgili bir sorun. Titizlik AGI'ye ulaşmaya yardımcı olur mu? Belki Rahini bile AGI'nin sıkı bir şekilde ele alınmasının imkansız olduğunu görecektir. Sıkı bir kişinin genel tepkisi, AGI'nin çok uzak ve çok saçma olmasıdır. Ancak çok yakın olduğumuzu düşünüyorum, bu daha da heyecan verici.
Son makine algısının mantıklılığı üzerine bir blog yazısı (https://machineinglyts.wordpress.com/2017/07/22/the-plausibility-of-near-term-machine-sentience/) yazdım.
Yapının içgörünün mümkün olduğuna ve bu içgörünün tasarıma başarılı bir şekilde rehberlik edebileceğine inanıyorum. LSTM'ler, gradyanların üstesinden gelmek için "teorik bir anlayış" nedeniyle 1997'de ortaya çıktı. Toplu standardizasyonun dahili ortak değişken dönüşümün üstesinden gelmenin bir yolu olduğunu anladığımdan, bunu sezgisel bir düzeyde anladığımı düşünüyorum (açıklamaktan mutluluk duyuyorum). Sezgisel katı olmayan anlayış, teorik anlayışın temelidir.
20 yıldan fazla bir süre önce, Fernando Pereira (muhtemelen birinden alıntı yapıyordu) bana "kaşif" ve "yerleşimci" dedi. Kaşif ilk önce araziyi gördü (titizlik yok) ve yerleşimciler onu temizledi (titizlikle). Analiz veya Fourier analizini düşünün. Ancak yerel arama durumunda, teoremin (yerleşimci) onu çözeceğini sanmıyorum.
Kanımca, genel yerel aramanın (AGI) ilerlemesi, "güçlü" yerel arama alanının yapısını tanımlamak için doğru hesaplama modelini - doğru genel mimariyi - bulmaktan gelecektir. Genel bilişsel mimariyi araştırmakla ilgili bir blog yazısı yazdım (https://machineinglyts.wordpress.com/2016/06/20/cognitive-architectures/).
Kazan ya da kaybet, ben şahsen AGI'yi takip etmeye devam etmeyi planlıyorum.
Referanslar:
https://machinehatts.wordpress.com/2017/12/08/the-role-of-theory-in-deep-learning/
Özel Hatırlatma-Judea Pearl Makine Öğrenimine Yönelik Teorik Engeller, Bayesian kağıt indirmesinin babası: lütfen uzmanın kamuya açık hesabını takip edin ve kağıt pdf indirme bağlantısını almak için arka planda "TIML" yanıtını verin ~
Bu makale, uzman bilgisinden izin alınarak yeniden üretilmiştir: Quan_Zhuanzhi, orijinal metni görüntülemek için "Orijinali Oku" yu tıklayın.
