Troika AAAI 2020'de toplandı: Gradyan inişini sağlam bir şekilde desteklemeye devam edin
Leifeng.com AI Teknolojisi Yorumu: Geoffrey Hinton, Yann LeCun ve Yoshua Bengio'dan sık sık birlikte bahsediyoruz, bunlar topluca "derin öğrenme troykası" olarak adlandırılıyor, ancak aynı durumda görünmeleri yaygın değil. ICLR'den önce bile, üç kişiden hiçbiri akademik konferanslara katılmadı. Günümüzde derin öğrenme, akademik araştırma ve pratik uygulamada tartışmasız en yeni teknoloji haline geldi. Üç kişi de 2018 Turing Ödülü'nü kazandı. AAAI 2020 bir "Turing Ödülü Sahibi Özel Etkinliği" düzenledi ve üç kişi katılmaya davet edildi Konuşma ve yuvarlak masa, üçüne gecikmiş bir haraç olarak kabul edilebilir.
Geoffrey Hinton en sonuncuyu tanıttı ve sonunda doğru kapsül ağı konuşmasını yaptı. Buraya .
Yuvarlak masa oturumunun ev sahibi robotik uzmanı ve MIT profesörü Leslie Kaelbling, aynı zamanda yapay zeka alanında tanınmış Journal of Machine Learning Research'ün (JMLR) kurucusu ve genel yayın yönetmeni. Leifeng.com AI Technology Review, yuvarlak masa içeriğini küçük değişikliklerle aşağıdaki gibi düzenledi.
Şimdi derin öğrenme hakkında ne düşünüyorsun?
Kaelbling: Az önce birçoğunuz konuşmada harika bilgiler sundunuz ve izleyiciler de bazı değerli sorular sordu. Bu konuların bazı taramalarını ve sınıflandırmalarını yaptım.Bir kategori teknik konular, diğeri ise daha genel araştırma ve fikirler. Teknik sorunlarla başlayalım.
Sizce ilk teknik soru, sizce, bir bilgisayar bilimi kavramı olarak sinir ağı ile makine öğrenimi ve biyolojik hesaplamanın ve insan beyni hesaplamasının bir simülasyonu olarak sinir ağı arasındaki bağlantı nedir? Biyolojik hesaplamanın tam olarak azaltılması ne kadar önemlidir?
Hinton: Biyolojik beyinler bize ilham verebilir ve önerilerde bulunabilir. Spesifik olarak, ağırlığı ayarlamak için çok fazla veri kullanmanın, bir sistemin açık programlamaya ihtiyaç duymadan karmaşık hesaplamalar yapmasına izin verdiğini söyler. Bu fikir aslında alışılmadık bir fikir, eğer böyle bir örnek görmediyseniz, bunun uygulanabilir olduğuna inanmakta güçlük çekeceksiniz.
LeCun: Açık bir sezgisel etkiye sahiptir ve evrişimli ağlar gibi şeyler de sinirbilimdeki klasik araştırmalardan ilham alır. Şu anda kullandığımız tekniklerin çoğu nörobilim hesaplamalarında bulunabilir .. Bölücü normalleştirme, sinir ağları ve düzeltmenin yanı sıra standart bir araç haline geldi. Son yıllarda birçok farklı yerdeki araştırmacılar, eklem hafızası gibi yapıların sinir ağlarının performansını arttırmak için kullanılabileceğini keşfettiler ve daha sonra hipokampusa çok benzeyen beyne dönüp bakıyoruz. Tam olarak uymasalar da, neredeyse kesinlikle işlevsel olarak benzerler. Burada yapay zekaya benzeyen taciz edici bir hikaye var.Bu insanların uçmayı öğrenmelerinin hikayesi.Kuşların uçuşundan ilham alıyoruz ama kanat çırpmadan ve tüysüz uçaklar yapabiliriz; işte aynı. Ancak son tahlilde, biz de dahil olmak üzere birçok araştırmacının bu alanda araştırma yaptığını düşünüyorum çünkü esas olarak insan bilgeliğini anlamak istiyoruz.
Bengio: Söylediklerine katılıyorum ve bir nokta daha ekleyeceğim. Araştırmamın motivasyonu, sadece birkaç basit ilkenin beyindeki aktiviteyi büyük ölçüde açıklayabileceğine inanıyorum. Buna "sürpriz hipotez" diyorum. Tabi ki beyinde her türden harika şeyler var, ancak birkaç basit ilkeye hakim olduğunuz sürece bu karmaşık ve genel görevleri çözebileceğinize inanıyorum. Makine öğrenimi ve AI alanındaki araştırmalar bu ilkeleri test edebilir ve diğer araştırmacılara beynin nasıl çalıştığına dair daha iyi açıklamalar sağlayabilir. Dolayısıyla, bu basit ilkeleri keşfetme sürecinde makine öğrenimi alanı ile sinirbilim alanının birlikte fayda sağlayacağı söylenebilir, daha akıllı makineler üretirken, beynin nasıl çalıştığını ve bilgeliğin ne olduğunu daha iyi anlayabilirler.
Kaelbling: Birkaç izleyici, her birinizin temsil ve muhakemenin belirli yönlerinden bahsettiğinizi düşündü ve bu yönler popüler ve sentezlenebilir, örtük temsili öğrenme, seyreklik gibi klasik AI yapan insanlar tarafından kullanılmaya istekli. Cinsiyet faktörleri ve benzeri, ancak klasik AI'dan bahsettiğinizde, özellikle sembolik AI'dan hoşlanmadığınız anlaşılıyor. Yani siz ve ben arkadaş olabilir miyiz? (İzleyiciler gülüyor) (Ek açıklama: Leslie Kaelbling'in robotik ve klasik yapay zeka konusunda daha fazla araştırma sonucu var)
Hinton: Leslie ve ben uzun süredir birbirimizi tanıyoruz. Geçen sefer AAAI'ye bir makale gönderdiğimde, yıllardır en düşük değerlendirmeyi aldım ve kelimeler çok kabaydı. "Hinton bu fikri 7 yıldır çalışıyor ve kimse ilgilenmiyor. Başka bir şey denemenin zamanı geldi. ". (İzleyiciler gülüyor) Aslında, o zamanki fikrim kelimelerin anlamını ifade etmek için vektörleri kullanmaktı. Bu şoktan kurtulmak biraz zaman aldı ve şimdi gerçekten doğru yapmışız gibi görünüyor. Şimdi önceki şeyleri unutabileceğimiz bir konumdayız ve şimdi birçok parametreden oluşan bir sistemde gradyan iniş yapıp yapamayacağımızı ve bu fikri öne sürüp geliştiremeyeceğimize bakalım. Aslında bulduğumuz en önemli şey gerçekten işe yarıyor, ki bu harika. Şimdi bu yöntemi akıl yürütmek için kullanıp kullanamayacağımızı araştırmak istiyoruz.
Kaelbling: Birkaç kelime ekleyeyim AAAI size defalarca kaba davranmış ve hatta belki de, bu kesinlikle doğru değildir. Bu tür varsayımlar yapmamalı ve araştırmacılara kötü davranmamalıyız.
Hinton: Tamamen katılıyorum, burada neden biraz kötülük olduğunu açıkladım.
LeCun: Bakış açım Hinton'a çok benziyor. PPT'min bilgisayar görüşü sayfasında, mantığı temsil etmek için sembolleri ve sürekli işlevleri temsil eden vektörler kullanmamız gerektiğini de söyledim. Bunun nedeni akıl yürütme ve öğrenmeyi uyumlu hale getirmek istememizdir. Şu anda, tek başarılı öğrenme yöntemi gradyan tabanlı öğrenme yöntemidir, bu nedenle uyumlu olması için çıkarım ve gradyan tabanlı öğrenmeye ihtiyacımız var. Onu farklılaştırmalıyız, nasıl yapacağımı bilmesem de, bildiğim bu fikir mantığa ilgi duyan ve bunu orijinal şekilde yapan insanlar için can sıkıcı. Hatta şok edici çünkü mevcut araştırma yollarının çoğunu terk etmek anlamına geliyor. Tıpkı NLP alanında olduğu gibi, Transformer gibi bir grup model birkaç yıl önce ortaya çıktıktan sonra, birçok dil bilgisi aniden daha az kullanışlı hale geldi.
Bengio : Söylemek istediklerimi neredeyse bitirdiler. Ayrıca konuşmamda söylediğim gibi, derin öğrenmenin güçlü yönlerini oynamanın en iyi yolunu nasıl bulacağımızı düşünmeliyiz, aynı zamanda klasik yöntemlerde akıl yürütmeyi, dili anlamayı vb. Çözmeliyiz. Genellikle sembollerle çözülen sorunlar - bu sorunların daha modern bir şekilde çözülebileceğine inanıyorum. Dikkat mekanizmasının çok önemli bir rol oynayabileceğini düşünüyorum ve sık sık başkalarına bu noktadan bahsediyorum.
Kaelbling: Gradyan temelli öğrenmeden başka iyi bir alternatif olmadığını gerçekten düşünüyor musunuz? (Seyirci gülüyor)
LeCun: İnsanların başarıyla tasarladığı tüm öğrenme yöntemleri, bir tür optimizasyon problemine dayanmaktadır ...
Kaelbling: (Sözünü keser) Rastgele orman da mı?
LeCun: Bir çeşit optimizasyon olarak da kabul edilebilir, açgözlü optimizasyondur. Sonra, marjinalleştirme, Bayesçi, vb. Gibi çeşitli yöntemler vardır. Bazıları ayrı ayrı tartışılmaya değer olabilir, ancak bir dereceye kadar, tüm öğrenme yöntemleri bazı optimizasyon problemlerine dayanmaktadır. Başka farklı yöntemler varsa, bilmek beni mutlu ederdi - bu aslında bir soruyu gündeme getiriyor, insan beyni belirli bir objektif işlevi optimize ediyor mu?
Ek olarak, bir işlevi optimize etmek istiyorsanız, onu optimize etmek için hangi araçlara ihtiyacınız var? Gradyan olmadan sıfır mertebeden mi, gradyanlı birinci mertebeden mi yoksa daha yüksek mertebeden mi, gradyanları hala kullanabiliriz, ancak başka araçlara da ihtiyacımız var. Sıfır dereceden problemleri optimize etmenin verimliliği, birinci dereceden problemlere göre çok daha düşüktür, bu nedenle degradeler bulabilirseniz, degradeleri kullanın. Aslında, pekiştirmeli öğrenmenin başka bir yolu daha vardır: Amaç işlevi ayırt edilemez olduğu için, bir değerlendirici (eleştirmen) tanıtılmıştır. Amacı, farklılaştırılabilir bir işlevle amaç işlevine yaklaşmaktır, mikro. Yani, gradyan inişi işe yarıyor.
Kaelbling: Cevabınız sorduğumdan farklı olsa da, ne demek istediğinizi anlıyorum (izleyiciler gülüyor).
Başka bir soru: Bu oturumun başında konvolüsyonlar, kapsüller hakkında konuştuk ve Transformers'ın çok faydalı olduğunu düşündük.Tüm alanımızdaki insanlar çeşitli mekanizmalar tasarlıyor, modele çeşitli yapısal önyargılar ekliyor gibi görünüyor. İnsan düzeyinde zeka tasarlamak için bu tür kaç şeylerin yeterli olduğunu düşünüyor musunuz? 6 çeşit? 60 çeşit?
Bengio: Sayı ne kadar küçükse o kadar iyidir, ancak şimdi bilmiyoruz.
LeCun: Evet, yalnızca 6 veya 10 yapıya ihtiyaç duyulursa bu harika olur, ancak bunun doğru olup olmadığını hala bilmiyoruz. Bizi umutlandıran şey, insan serebral korteksinin bariz birleşik bir düzene sahip olmasıdır, ancak tüm beyin nöronlarının yalnızca küçük bir kısmı serebral kortekse aittir ve diğerlerinin çoğu tek tip ve düzenli görünmemektedir.
Öğrencilerden gelen sorular
Kaelbling: Metodoloji ve diğer yönler hakkında birkaç soruya bakalım. Dinleyiciler arasında çok sayıda öğrenci var, dolayısıyla öğrencilerle ilgili birçok soru var. Pek çok öğrenci şu soruyu sordu: Artık büyük şirketlerde çok sayıda akademik araştırma yapıldığına göre, bu büyük şirketlerin çok fazla kaynağı var, bu nedenle Google ve Facebook gibi şirketlerin çok fazla kaynağı olduğunda, öğrencilerin yalnızca çok fazla kaynağı var. O zaman üniversite nasıl bir rol oynadı?
Hinton: Cevap vereyim. Hala bu gerçekten orijinal fikirlerin, iyi lisansüstü okullardan iyi tavsiyeler alan lisansüstü öğrencilerden geldiğini düşünüyorum, böylece tarihte sahip olduklarını yeniden işlemek yerine, aslında çok zaman harcayacaklar. Önümüzdeki yıl yeni bir şeyler yapmayı düşünün. Büyük şirketlerde bu kesinlikle mümkün ama bunların çoğu üniversitelerde oluyor. Bence üniversitenin gerçek avantajı bu. (Seyirci alkışlar)
Bengio: Ekleyeyim. AI alanında çok zor problemler vardır ve bunları büyütmeyi ve "oyuncak problemi" nde dikkatlice incelemeyi düşünebilirsiniz (Ek açıklama: özel olarak tasarlanmış, çok basit ortam ve problemler). Sanırım, özellikle makine öğreniminde "oyuncak problemlerini incelemekten" çok erken vazgeçtik. Herkes 2000 CPU ve GPU üzerinde iki hafta boyunca çalışması gereken çok zor teste dikkat ediyor, ancak aslında çoğu kişi için ilginç. Normal ölçekli kaynaklarla analiz ve deney yapabilirsiniz. Ayrıca bazen bu kaynaklar olmadan hayal kırıklığına uğradığımı da itiraf etmeliyim, ancak bu kadar çok kaynak ve enerji kullanmak da bazı çevresel sorunları beraberinde getirecektir.
LeCun: Bu yüzden yeni bir konferans oluşturmamızı öneriyorum, Uluslararası Oyuncak Sorunları Üzerine Derin Öğrenme Konferansı, "Oyuncak Sorunlarında Derin Öğrenme Uluslararası Konferansı". (Seyirci güldü, üçü birbirine gülümsedi)
Hinton: Bu bana yıllardır yaptığım bir öneriyi hatırlatıyor "MNIPS" adlı bir konferans düzenlemeyi önerdim Tüm kağıt algoritmalar deney olarak MNIST kullanmalıdır. (Cidden. Seyirci güldü)
Kaelbling: Harika! Öğrencilerle ilgili sorular sormaya devam ediyorum. Öğrenciler hangi kitapları okumaları gerektiğini ve ne çalışmaları gerektiğini bilmek isterler. Aslında, üçünüz olasılık modelleme çağından önce ortaya çıkan bazı kavramlardan bahsettiniz, ancak sizce öğrencilerin ne öğrenmesi ve öğrenmesi gerekir?
Bengio: Kesin olan şey, hepsinin aynı şeyi okumak ve öğrenmek istememeleridir.
Kaelbling: Bu çok önemli, bu alanda tek bir ses olamaz.
Hinton: Eski akıl hocalarımdan biri "Zihin çubuklarını okumak" (Zihin çubukları okumak) önerdi. Dedi ki, literatürü okumayın, sorunu kendiniz çözmenin bir yolunu bulmalısınız; bir fikriniz olduktan sonra literatürü tekrar okuyun. (Seyirci alkışlar)
LeCun: Feinman'ın da benzer tavsiyeler verdiğini hatırlıyorum.
Kaelbling: Bu büyük AI şirketleri araştırma faaliyetleri yaptıklarında sizinle randevu alacaklar mı? (Seyirci yavaş yavaş gülmeye başlar)
(Hinton, FB'de LeCun'a bakıp cevap vermesini istiyor; LeCun da Google'da Hinton'a işaret ediyor, bu da cevaplamamanız gerektiği anlamına geliyor; Microsoft'un danışmanı Bengio ilk konuşma girişimini başlattı)
Bengio: Evet, fosil enerji endüstrisine yardımcı olabilecek araştırma için bir randevu var.
LeCun: Aslında, Google ve FB'nin AI araştırma kurumları yavaş yavaş karbon emisyonlarını azaltıyor. Bu yılın sonuna kadar FB'ler sıfır emisyona ulaşabilir, ancak Google'ı tanımıyorum.
Hinton: Bence LeCun, sahte haberleri ve kişisel fikirleri belirlemek için daha fazla araştırma yapmalı
Bengio: Güçlü yapay zeka yeteneklerine sahip şirketlerin para kazanmak için askeri uygulamaları incelememelerinin iyi olduğunu düşünüyorum
Hinton: Üçümüz bu noktada hemfikiriz. Google yanlış hissettiği için Savunma Bakanlığı'nın multi milyar dolarlık bir projesini iptal etti, bu bende derin bir etki bıraktı ve Google'ın aslında o kadar da kötü olmadığını düşündürdü (gülüyor).
LeCun: FB bu emri hiç kabul etmiyor, bu problemi hiç yaşamadık.
Araştırma tecrübesi
Kaelbling: Normal konular hakkında konuşalım. Fikirleriniz nereden geliyor? Hangi fikir üzerinde çalışılacağına nasıl karar verilir?
Bengio: Her sabah gözlerimi açtığımda bir fikrim var.
Kaelbling: Peki hangisini çalışacağınızı nasıl seçersiniz? Hepsini araştırmak mı?
Bengio: Sistem 1 (Ek Açıklama: Bengio konuşmasında Sistem 1 ve Sistem 2'den bahsetmiştir. İlki, hızlı, bilinçsiz, sözel olmayan bilişten sorumlu sezgisel bir sistemdir; ikincisi, bilinçli ve mantıklı olan mantıksal bir analiz sistemidir. Planlama ve dil becerileri). Gerçeği söylemek, sezgiye güvenmektir ve sonra denemeye ve başarısız olmaya devam edersiniz ve bazen bazı sonuçlar elde edersiniz. İçgüdülerinizi takip etmelisiniz, bilimsel araştırma yapmanın yolu bu değil mi?
LeCun: Tabii ki sezgiye de güveniyorum, ancak gerçek ve önemli sorunların özünü analiz edebilmeniz gerektiğini düşünüyorum. O zaman fikirleriniz olacak.Başarılı deneylerden sonra, sizin için daha doğal olacak, en azından kendiniz için.Dünyadaki diğer insanların bunu bir bakışta fark etmesi 20 yıl alabilir; bu Süreç bu. Bu yüzden 1980'lerde çok katmanlı sinir ağları fikri aklıma geldi, ki bu bana göre doğal; sonra da doğal olduğunu düşündüğüm evrişimli sinir ağlarını düşündüm. Sonra popüler olmaları uzun zaman aldı.
Şimdi tahminlerdeki belirsizliği çözmek için kendi kendine öğrenmeyi kullanmanın doğal olduğunu düşünüyorum Bunlar çözmemiz gereken önemli problemler. Mevcut gerçek sistemin performansını çeşitli şekillerde iyileştirmeye devam etmek kesinlikle yararlıdır, ancak uzun vadeli etkileri olan şeylerle daha çok ilgileniyorum.
Kaelbling: Önceki konuyla ilgili bir soru daha var: Sinir ağları bir süredir pek popüler değildi ve sadece cesur insanlar çalışmaya devam ediyor ...
Bengio: (Interrupt) "inatçı", sadece inatçı insanlar çalışmaya devam ediyor
Kaelbling: "İnatçı" iyi bir kelimedir. Diyelim ki özellikle popüler olmayan bir konu üzerinde çalışıyorum, onu nasıl geliştirmeliyim, birisi bana özellikle kaba bir yorum yazarsa ve kimse araştırmamı beğenmezse ne yapmalıyım?
Hinton: Bence bilmemiz gereken ilk şey, çoğu popüler fikirlerin iyi çalışmadığı için çok popüler olduğudur (gülüyor). O zaman çok akıllıca bir fark var. Yani bilmiyorum.
Bengio: Fikrinizi desteklemek için bazı kanıtlar bulmanız gerekiyor, tamamen sezgisel olamaz. Yargılamak için kanıta güvenmek ile yalnızca sezgiye güvenmek arasında açık bir fark vardır. Ancak ilerlemeye devam etmek için kendinize de güvenmeniz gerekir. Belki deneyi ilk yaptığınızda başarısız oldunuz, ancak bazı değişiklikler yaptıktan sonra başarılı oldunuz.
Hinton: Bence bir fikre gerçekten güveniyorsanız, ondan asla vazgeçmemelisiniz. Aslında Boltzmann makinelerinin nasıl çalıştırılacağını düşünüyorum. (Seyirciler arasında kahkahalar) Böyle bir mantığa inanıyorum: eğer sezginiz doğruysa, onu incelemelisiniz; eğer sezginiz yanlışsa, o zaman yaptığınız şeyin aslında çok az etkisi olacaktır. (Seyirci gülüyor)
Makine öğrenimi alanıyla ilgili endişeler
Kaelbling: Kendime bir sorum var Jeff, lisansüstü öğrencilerin zor konular hakkında düşünmek için çok zaman harcamaları gerektiğini söyledi. Ama kendi hissim, mevcut alanda makale yayınlama süresinin özellikle kısa ve içeriğin görece dar görüşlü olduğu yönünde. Bunun tüm sahada yaratacağı etki konusunda çok endişeliyim. Aynı duyguya sahip misin bilmiyorum?
Bengio: Kendimi çok iyimser hissediyorum. Bilgisayar bilimi ve makine öğrenimi alanında büyüyen ve büyümekte olan mevcut nesil araştırmacılar, kısa vadeli getiriler için çok sınırlı bir vizyona sahip gibi görünüyor.Araştırma yapmanın amacı, bir sonraki konferans için son teslim tarihini yakalamaktır. Kendi öğrencilerimden bazıları ofisime gelip bana soracaklar: Önümüzdeki dört hafta içinde ne yapabilirim, çünkü o zaman gazete kapanacak. Bunun tüm alan için çok kötü bir şey olduğunu düşünüyorum.Araştırmacıları daha büyük riskler almaya ve daha uzun bir dönemi kapsayan konuları incelemeye teşvik etmek için bazı yapısal değişiklikler yapmamız gerekiyor.
LeCun: Bence burada bir süreklilik var Testte daha yüksek puanların nasıl alınacağını araştırmak, sonuçta kesinlikle faydalı olacaktır, sorun yok. Aslında, bu alanın gelişmesiyle birlikte, pratik uygulamalara gittikçe daha fazla eğilimlidir, çünkü giderek daha fazla insan bu pratik uygulamalara ilgi duymaktadır - bu yüzden bu alana katılmıştır. Bence gerçek soru, bilgisayarla görme konferanslarında, NLP konferanslarında ve diğer daha uygulama odaklı konferanslarda, uzun vadeli sorunları ve bunların etkilerini inceleyen mutlak insan sayısı nedir? Sanırım az önce rasgele bahsedilen "Oyuncaklarda Derin Öğrenme Uluslararası Konferansı" gibi, puanlara fazla dikkat etmeyen konferanslar için biraz alan bırakmamız gerekiyor.
Öyle olsa bile, herkes hala yüksek bir gönderme hızını koruyabilir, çünkü mevcut sistemde bir iş bulmak için çok sayıda evrakları vardır ve bu böyle devam eder. Ancak bu, uzun vadeli, karmaşık ve iddialı konuları aynı anda incelemelerine olanak tanır.
Bengio: Bugünlerde, makale yayınlama baskısı, yüksek lisans öğrencisi olduğum zamankinden çok daha fazla. Öğrencilerin doktora sırasında tamamlamaları gereken makale sayısı çok fazla.
LeCun: Kendi doktora öğrencilerimize başvurmak istiyorsak, maalesef başvuramayacağız (izleyiciler gülüyor)
Kaelbling: Makalenin içeriğinin eksiksizliği aynı değil
Bengio: Doğru. Aslında burada başka bir yan etki daha var: Herkes konferansın gazetede önemli bir şey olduğunu düşünüyor, ancak çoğu zaman bildirileri konferans tarafından kabul edildikten sonra başka konulara yöneliyorlar.
Hinton: Bu sürece bir benzetme yaptım. Herkes problemi araştırmak, küçük bir sonuç almak ve ardından bir makale yayınlamak için sadece kısa bir süre harcıyor. Zor bir Sudoku boş doldurma kitabını almak gibi. Tüm kitabı çevirdikten sonra, Sudoku sorularının en kolay birkaçı dolduruldu, bu da diğerleri için karışıklığa neden oldu. (Seyirci gülüyor)
İzleyici soru zamanı
Kitle 1: Yapay zeka ile bilim eğitimi aynı mıdır? Evet veya hayır ile cevaplayın
Hinton: (Soruyu diğer izleyiciler için tekrarlayın) Cevap "evet".
Bengio: Yapay zeka alanında yapılabilecek çok farklı şeyler var, bazıları daha mühendislik, bazıları daha anlaşılır, kapsamlı olanlar daha çok "bilim" gibi.
LeCun: Ayrıca bir parçası yaratılış olan bir "mühendislik bilimi" de var, bir yöntem tasarlayacaksınız, diğer kısmı bilim, neden etkili olduğunu, neden olmadığını vb. Analiz edeceksiniz. Bir yöntemin yaratılması, onu açıklayabilecek teorinin önündedir. Aslında, bu genellikle bilim ve teknoloji tarihinde görülür. Tipik bir örnek buhar makinesidir. İnsanların ısı motorunun termodinamik prensiplerini ve teorik sınırlamalarını anlaması 100 yıldan fazla sürdü. Şimdi bir buhar makinesi yaratmış gibiyiz ve sorun şu ki, "termodinamik ilkelerimizin" nerede olduğunu ve termodinamik gibi bilgeliği açıklamak için buhar makinesini açıklayabilecek bir ilkenin olup olmadığını bilmiyoruz. Bu da üzerinde çalıştığım en büyük şey. Bilimsel sorunlar.
Kitle 2: İnsanlar evrensel bilgeliğe sahiptir ve matematik gibi soyut şeyler yaratabilirler. F = ma veya e = mc ^ 2 gibi analitik denklemler yazabiliriz. Hesaplamalar çok basittir ve iki kere üç, altıya eşittir. Bu kadar basit.Böyle bir hesaplama yapmak için sadece birkaç transistöre ihtiyaç duyabilir, bu birkaç watt veya birkaç miliwatt enerji tüketimi olabilir. Aksine, derin öğrenme genel olarak çok güçlüdür, ancak binlerce watt enerji tüketimi gerektirir. Öyleyse, bir tür sinir mimarisi yoluyla, sonuçta bu kadar yüksek hesaplama gücüne, bu kadar karmaşıklığa ve bu kadar yüksek kapasiteye ihtiyaç duymayabiliriz.
Bengio: Bununla birlikte, F = ma üreten insan beyni çok sayıda nörona ve yüksek hesaplama gücüne sahiptir. Makinelerin bu yeteneğe sahip olmasını istiyorsak, nihai sonuç çok basit bir denklem olsa bile, arkasında çok fazla hesaplama, deneyim ve öğrenme olması gerekir.
Kitle 3: Öyle görünüyor ki, gerekli olan önceliklerin doğası, kendi kendini denetleyen öğrenmenin değeri ve denetimsiz öğrenmenin değeri gibi fikirleriniz birçok zaman şaşırtıcı derecede tutarlı görünüyor. Biraz merak ediyorum, bu mutabakat noktaları dışında bu yöntemlerin nasıl uygulanması gerektiği ve hangi unsurların önemli olduğu konusunda farklı görüşleriniz var mı?
Bengio: Leslie bu soruyu denedi, ancak bizi tartışmaya itmedi.
Hinton: Bir anlaşmazlıktan bahsedebilirim. Yoshua'nın e-posta adresi "quebec" ile bitiyor (julie.mongeau@mila.quebec) Bundan sonra başka bir ülke kodu olması gerektiğini düşünüyorum, ancak gerekli olduğunu düşünmüyor (izleyiciler gülüyor). (Ek açıklama: Hinton, Quebec'in hala Kanada'nın bir parçası olması nedeniyle mila.quebec.ca olması gerektiğine inanıyor)
Kaelbling: Bu seans sona erdi, üç misafir teşekkür ederim!
(Üç izin, seyirci alkışladı)
Üç adam ciddi ve vicdanlı ama aynı zamanda esprili, huzurlu ve geçmişe gülüyor, üslup tavırlarını bir kez daha gösteriyor ... Belki de bu tavırla önceki soğuk kışı geçip yeni bir dönemi başlatabilirler. Bahar esintisi ve derin öğrenme çiçek açmış durumda.
Üçüne tekrar saygı ve iyi dileklerimle.
Lei Feng.com AI teknolojisi incelemesi harmanlama.
