Geoffery Hinton ile yüz yüze sohbet edin
AI Technology Review Press: Bu yılki Google I / O 2019 konferansında, "Derin Öğrenmenin Vaftiz Babası" ve 2018 Turing Ödülü'nün kazananlarından biri olan Geoffery Hinton'un çeşitli akademik ve akademik olmayan konular hakkında konuşmaya davet edildiği bir oturum vardı. Tüm süreç çok kolay, sadece çeşitli konular hakkında konuşun, ancak yaşlı adam Hinton her zamanki gibi akademik atmosferle dolu. Videonun oynatılmasına göre Leifeng.com AI Technology Review röportaj içeriğini aşağıdaki gibi derledi. Küçük bir kısım kısaltılmıştır.
Moderatör: Herkese merhaba, ben Wired muhabiri Nicholas Thompson. Bugün Geoffery Hinton ile yüz yüze sohbet edeceğiz. Hinton'dan bahsetmişken, hayran olduğum iki şey var: Birincisi elbette çok ısrarcı, herkes fikirlerinin kötü olduğunu söylese de kendine inanmakta ısrar ediyor ve bunu yapmakta ısrar ediyor. Ben de dahil olmak üzere "kötü fikirleri olan" diğer insanlar onun tarafından teşvik ediliyor. İkincisi, hayatımın çoğunda yönetici olduğum ve çeşitli iş unvanları topladığım söylenebilir. Hinton'un profilini gördüğümde, unvanı daha vasat olamazdı - Google Engineering Fellow ( Google Mühendislik Üyesi) yalnızca. Onu sahneye davet edelim.
Hinton: Teşekkür ederim, burada olduğum için mutluyum.
Neden sinir ağlarına bağlı kalalım?
Moderatör: O zaman başlayalım. Hatırlıyorum, yaklaşık 20 yıl önce, en eski etkili makalelerden bazılarını yazmaya başladınız. Okuduktan sonra insanlar "Bu akıllıca bir fikir ama biz böyle bir bilgisayar tasarlayamayız" diye düşündüler. Herkese neden ısrar edebileceğinizi ve neden önemli bir şey bulduğunuza inandığınızı söyleyin?
Hinton: Önce seni düzelttim, 40 yıl önceydi. Bence beyin başka bir şekilde çalışamaz, sadece bağlantının gücünü öğrenebilir. Yani, akıllı şeyler yapabilen bir makine yapmak istiyorsanız, önünüzde iki seçeneğiniz var, onu programlayın veya öğrenmesine izin verin. Açıktır ki, insan bilgeliğimiz başkaları tarafından yazılmamaktadır, bu yüzden sadece "öğrenmek" olabilir. Tek bir olasılık var.
Moderatör: "Sinir ağı" kavramını herkese açıklayabilir misiniz? Orada bulunan insanların çoğu bunu bilmeli, ancak yine de ilk düşüncelerinizi ve nasıl geliştiğini duymak istiyoruz.
Hinton: Her şeyden önce, basit nöron formları olarak görülebilecek bazı çok basit işlem birimleriniz var. Gelen sinyalleri kabul edebilirler ve her sinyalin ağırlıkları vardır.Bu ağırlıklar değişebilir.Bu öğrenme sürecidir. Sonra nöronun yaptığı şey, önce gelen sinyal değerini ağırlıkla çarpmak ve ardından bir toplam elde etmek için hepsini toplamak ve son olarak toplamı göndermeye karar vermektir; örneğin, değer yeterince büyükse, gönderilecektir. Büyük veya negatifse, iletilmeyecektir. Bu kadar basit. Sadece bu ünitelerden binlercesini birbirine bağlamanız gerekiyor, binlerce ağırlık var ve sonra bu ağırlıkları öğrenin, sonra her şeyi yapabilirsiniz. Zorluk sadece ağırlıkların nasıl öğrenileceğinde yatıyor.
Moderatör: Bu yaklaşımın insan beyninin çalışma şekline benzer olduğunu ne zaman hissetmeye başladınız?
Hinton: Sinir ağı, insan beynini başından beri taklit etmek için tasarlandı.
Moderatör: Mesela hayatınızın bir noktasında insan beyninin nasıl çalıştığını fark etmeye başladınız, 12 yaşında veya 25 yaşında olabilir. Ne zaman başladınız ve nasıl? İnsan beyni gibi bir sinir ağı tasarlamak istediğinize karar verdiniz mi?
Hinton: Neredeyse insan beyninin nasıl çalıştığını öğrenir öğrenmez, karar ver. Bu araştırmayı yapmanın tüm fikri, insan beyninin bağlantılarını taklit etmek ve sonra bu bağlantı ağırlıklarını öğrenmeye çalışmaktır. Aslında bu fikrin kurucusu ben değilim, Turing de aynı fikre sahipti. Turing, standart bilgisayar biliminin gelişmesine büyük katkılarda bulunmasına rağmen, insan beyninin net bir yapıya sahip olmayan bir cihaz olduğuna ve bağlantı ağırlıklarının hepsinin rastgele değerler olduğuna ve bu ağırlıkları değiştirmek için yalnızca pekiştirmeli öğrenmeyi kullanması gerektiğine inanıyor. , Her şeyi öğrenebilir. En iyi "bilgelik" modelinin böyle olduğunu hissetti. Benzer fikirleri olan pek çok kişi var.
Moderatör: 1980'lerde, bu alandaki araştırmalarınız sizi ünlü yaptı, ama o zamandan beri, diğer araştırmacılar bu yönü ne zamandan beri terk ediyor? Sadece sen ısrar ettin.
Hinton: (Duraklar) Her zaman, özellikle psikoloji alanında, bugüne kadar inanmakta ve ısrar etmekte ısrar eden küçük bir grup insan vardır. Bununla birlikte, bilgisayar biliminde daha az ısrar var, çünkü 1990'larda sahadaki veri setleri küçüktü ve bilgisayarlar o kadar hızlı değildi. Şu anda, destek vektör makineleri (SVM) gibi diğer yöntem türleri ortaya çıktı. ), bu koşullar altında daha iyi çalışırlar ve gürültüden daha az etkilenirler. Bu, insanları hayal kırıklığına uğratmaya başladı. 1980'lerde geri yayılımı geliştirmemize ve bunun herhangi bir sorunu çözebileceğine inanmamıza rağmen, o zamanlar neden herhangi bir sorunu çözemediğini anlayamadık. Daha sonra sinir ağlarının gücünü göstermesi için büyük ölçekli veri ve bilgi işlem gücü gerektiğini öğrendik, ancak o sırada kimse bilmiyordu.
Moderatör: O sırada etkili olmadığını düşünmenizin nedeni neydi?
Hinton: Bunun kötü bir algoritma, kötü bir amaç işlevi vb. Olduğunu düşündük. Uzun zamandır bir fikrim var.Bence bunun nedeni denetimli öğrenim yapıyor olmamız ve çok fazla veriyi etiketlememiz gerektiğidir; o zaman yapmamız gereken denetimsiz öğrenme, etiketlenmemiş verilerden öğrenme. Ama sonunda ana nedenin ölçek olduğunu gördük.
Moderatör: Kulağa çok ilginç geliyor, ancak bu sadece veri eksikliği, ancak yeterli veri olduğunu düşündünüz, ancak onu iyi etiketlemediniz - yanlış soruyu buldunuz, değil mi?
Hinton: "Etiketli verileri kullanmanın" yanlış olduğunu hissettim İnsan öğrenme sürecinin çoğu herhangi bir etiket kullanmadı, sadece verilerin yapısını modelledi. Aslında buna hala inanıyorum.Bilgisayarlar daha hızlı ve daha hızlı hale geldikçe, yeterince büyük bir veri seti verildikten sonra önce denetimsiz öğrenmenin yapılması gerektiğini düşünüyorum; denetimsiz öğrenme yapıldıktan sonra, daha azını kullanabilirsiniz Veri öğrenmeye açıklama ekleyin.
Moderatör: 1990'larda akademide araştırma yapmaya devam ettiniz ve hala makale yayınlıyordunuz, ancak daha fazla sorunu çözmeye devam edemezdiniz. O zamanlar bunu hiç düşündün mü, yeterince yaşadım, başka bir şey yapmalı mıyım? Yoksa yapmaya devam etmek çok mu kararlı?
Hinton: Sıkı bir şekilde yapmaktır, bu kesinlikle mümkündür. Görüyorsunuz, insan beyni bu bağlantıları değiştirerek öğreniyor, biz sadece çalışıyoruz ve taklit ediyoruz. Bu bağlantıların güçlü ve zayıf yönlerini öğrenmenin birçok farklı yolu olabilir.Beyin birini kullanır, ancak diğer yöntemler de uygulanabilir olabilir. Ancak her zaman bağlantı ağırlıklarını öğrenmenin bir yolunu bulmanız gerekir. Bundan asla şüphe etmedim.
Umut gör
Moderatör: Ne zaman çalışıyor gibi görünüyor?
Hinton: 1980'lerde aslında herkes için bir baş ağrısı vardı, birçok gizli katmanı (orta katman) olan bir sinir ağı tasarladıysanız, onları eğitemezdiniz. El yazısı yazı tiplerini tanıma gibi bazı çok basit görevlerdeki sinir ağları eğitilebilir, ancak daha derin sinir ağlarının çoğu için bunları nasıl eğiteceğimizi bilmiyoruz. 2005 civarında, derin sinir ağlarının denetimsiz eğitimi için bazı fikirler düşündüm. Özellikle, girdinizden, örneğin bazı piksellerden, bazı özellik algılayıcılarını öğrenin, öğrendikten sonra bu piksellerin neden böyle olduğunu açıklayabilirler. Daha sonra bu özellik dedektörlerini veri olarak kullanırsınız, bunları girdi olarak kullanırsınız ve sonra başka bir özellik dedektörü grubu öğrenirsiniz, bu özellik dedektörleri arasında neden bir korelasyon olduğunu açıklayabilirsiniz. Sonra katman katman öğrenin. Daha fazla katman öğrendiğinizde daha iyi bir veri modeli elde edemeyeceğinizi, ancak mevcut modellerinizin karşılaştırma sonuçlarını bileceğinizi matematik yoluyla kanıtlayabilmeniz çok ilginç. Yeni bir katman eklediğinizde, daha iyi karşılaştırma sonuçları alırsınız.
Moderatör: Daha fazla açıklar mısınız?
Hinton: Bir model aldığınızda, "Model verilere ne kadar iyi uyuyor?" Diye soracaksınız. Modele bazı veriler girebilir ve sonra ona "Verilerin fikirlerinizle tutarlı olduğunu mu düşünüyorsunuz? Şaşırtıcı mı? "Bu seviyede bazı ölçümler yapabilirsiniz. İstediğimiz etki iyi bir model elde etmektir. Verileri gördükten sonra "Uh, uh, tek bildiğim" diyecek. Modelin verilere ne kadar aşina olduğunu doğru bir şekilde hesaplamak genellikle zordur, ancak bir model ile model arasındaki göreceli seviyeyi hesaplayabilirsiniz, bu da karşılaştırmanın sonucudur. Daha sonra, eklediğiniz ek özellik algılayıcılarının katmanı ne kadar fazlaysa, yeni modelin verilere o kadar aşina olduğunu kanıtladık. (Leifeng.com AI Technology Review'den not: Bu bölümün spesifik teknik ayrıntıları için lütfen Hintonun NIPS 2007'deki Deep Belief Networks dersine bakın
Moderatör: 2005 yılında böyle bir modelleme fikrine sahip olmak güzel. Modeliniz ne zaman iyi çıktılar almaya başladı? Hangi verileri denediniz?
Hinton: El yazısıyla yazılmış bir dijital veri seti, çok basit. Yaklaşık o dönemde, GPU (grafik hesaplama birimi) hızla gelişmeye başladı ve sinir ağları yapan insanlar muhtemelen 2007'de GPU kullanmaya başladı. O zamanlar çok iyi bir öğrencim vardı, havadan görüntülerde otobanları bulmak için GPU kullanıyordu. O sırada yazdığı kodların bir kısmı daha sonra diğer öğrenciler tarafından fonetik konuşma algılamasında ve yine GPU kullanılarak kullanıldı. Yaptıkları şey ön eğitimdi Ön eğitimden sonra etiket eklendi ve ardından geri yayılım gerçekleştirildi. Bu yaklaşım yalnızca çok derin, önceden eğitilmiş bir sinir ağı oluşturmakla kalmadı, aynı zamanda geri yayılımdan sonra iyi bir çıktı elde etti ve o sırada konuşma tanıma testindeki diğer birçok modeli yendi. Veri seti çok küçük olan TIMIT'tir. Modelimiz o zaman akademi dünyasındaki en iyi sonuçlardan biraz daha iyi ve IBM'inkinden daha iyi. Bu başlangıç, pek bir gelişme değil.
Sonra diğer insanlar, bu yöntemin onu geliştirmeye devam ederek iyi sonuçlar elde edebileceğini çabucak fark ettiler ve sonuçta o sırada yendiği standart modellerin bu etkiye ulaşması 30 yıl sürdü. Öğrencilerim mezun olduktan sonra Microsoft, IBM, Google'a gittiler ve ardından Google bu teknolojiyi üretim seviyesinde bir konuşma tanıma sistemine en hızlı şekilde geliştirdi. İlk sonuçlar 2009'da elde edildi ve Android sistemi 2012'de tanıtıldı ve Android sistemi de konuşma tanımada çok ileride.
Moderatör: O zamanlar, 30 yıldır bu fikrin vardı ve sonunda kamuoyunda tanınan bir sonuç çıkardın ve etkisi diğer araştırmacılardan daha iyiydi. Nasıl hissediyorsun?
Hinton: Gerçekten mutlu hissediyorum, sonunda pratik problemleri çözme aşamasına geldim.
Moderatör: Öyleyse, sinir ağının konuşma tanıma problemini iyi bir şekilde çözebileceğini anladığınızda, diğer problemleri çözmek için onu ne zaman kullanmaya çalıştınız?
Hinton: Bundan sonra, bu yöntemi çeşitli problemlerde denemeye başladık. Konuşma tanıma için sinir ağlarını ilk kullanan kişi George Dahl'dı ve bir molekülün bir şeye bağlanıp terapötik bir rol oynayıp oynamayacağını tahmin etmek için sinir ağlarını kullanmaya başladı. O zamanlar, bunu yapmak için bir yarışma vardı: İlaç moleküllerinin aktivitesini tahmin etmek için konuşma tanıma için doğrudan standart yöntemi kullandı ve sonra yarışmayı kazandı. Bu çok olumlu bir sinyal ve sinir ağı yöntemi oldukça çok yönlü görünüyor. Şu anda öğrencilerimden biri "Geoff, bu yöntemi görüntü tanıma için kullanmanın da işe yarayacağını düşünüyorum. Li Feifei de uygun bir veri seti oluşturdu ve açık bir yarışma var. Denemeliyiz. ". Katıldık ve sonuçlar standart bilgisayarla görme yöntemlerinden çok daha iyiydi. (AlexNet, 2012 ImageNet Büyük Ölçekli Görsel Tanıma Yarışması ILSVRC'de, aşağıdaki resimde gösterilen SuperVision ekibinden ikinciliğinden çok daha iyi birinciliği kazandı)
Moderatör: Kimyasal moleküllerin, seslerin, görüntülerin modellenmesi gibi birçok başarılı durumdan bahsettim Herhangi bir arıza durumu var mı?
Hinton: Başarısızlıklar sadece geçicidir, anlayabiliyor musunuz?
Moderatör: Peki, başarının özellikle hızlı olduğu ve bazı alanların daha yavaş olduğu alanlar var mı? Bana öyle geliyor ki insan algılama organlarının görsel sinyal işleme ve konuşma sinyali işleme gibi temel görevleri, üstesinden gelinecek ilk görevler, değil mi?
Hinton: Pek doğru değil, algı gerçekten aşıldı, ancak hareket kontrolü gibi şeyler o kadar da gelişmedi. İnsan hareket kontrol yeteneği çok yüksek ve çok rahattır Açıkçası beynimiz hareket kontrolü için tasarlanmıştır. Bugüne kadar, hareket kontrolündeki sinir ağlarının performansı önceki teknolojiye yetişmeye başladı. Sinir ağı sonunda yetişecek, ancak yalnızca küçük bir zafer ortaya çıktı. İnsanların sadece sonunda yapmayı öğrendiği akıl yürütme ve soyut türetmenin, sinir ağlarının öğrenmesi en zor şeyler olacağını düşünüyorum.
Moderatör: Her zaman sinir ağlarının nihayet her şeyi halledebileceğini mi söylüyorsunuz? (gülmek)
Hinton: Biz insanlar sinir ağlarıyız. Tek yapabildiğimiz, sinir ağı bunu yapabilir.
Moderatör: Evet, ancak insan beyninin dünyadaki en verimli bilgisayar makinesi olması gerekmiyor. İnsan beyninden daha verimli bir makine var mı?
Hinton: Felsefi bir bakış açısından, tüm bunları başarmanın tamamen farklı bir yolu olduğu görüşüne karşı değilim. Örneğin, mantıkla başlarsanız, otomatik mantığı incelemeye çalışırsınız ve özellikle güçlü bir otomatik teorem kanıtlama makinesi bulursunuz; akıl yürütmeyle başlarsanız ve daha sonra akıl yürütme yoluyla görsel algılama yapmak isterseniz, belki bu yöntem de uygulanabilir. Ancak sonuçta bu yöntemler iyi sonuçlar vermedi. Felsefi bir bakış açısından, bunu başarmanın diğer yollarına karşı değilim. Sadece şu anda beynin veya sinir ağının bunu gerçekten yapabileceğini biliyoruz.
Sinir ağlarını anlıyor muyuz? Beynimizi anladın mı?
Moderatör: Sonra, başka bir soru sormak istiyorum, yani sinir ağlarının nasıl çalıştığını tam olarak anlamıyoruz, değil mi?
Hinton: Evet, sinir ağlarının nasıl çalıştığını bilmiyoruz.
Moderatör: Sonuçlardan sinir ağlarının çalışma yöntemini çıkarmak bizim için zor.Bu, sinir ağlarını anlamamamızın anahtarı, değil mi? Detaylı konuşalım. Ve tabii ki bir sonraki sorum var: Nasıl çalıştıklarını bilmiyorsak, bunları yaptıktan sonra nasıl iyi sonuçlar elde ederiz?
Hinton: Mevcut bilgisayarla görme sistemlerine bakarsanız, çoğunun yalnızca ileri yayılımı vardır ve geri bildirim bağlantısı yoktur. Mevcut bilgisayar görme sistemlerinin bir başka özelliği de, rakip hatalara karşı çok hassas olmalarıdır.Örneğin, bir panda resminiz varsa. Birkaç pikseli biraz değiştirdikten sonra, yine de panda gibi görünürüz, ancak bilgisayar görme sistemi Aniden resmin bir hindi olduğunu düşün. Açıktır ki, pikselleri değiştirmenin bu yönteminin dikkatlice tasarlanması gerekir ve bilgisayar görüntü sistemini yanıltıcı veya aldatıcıdır. Ama asıl mesele şu ki, insanların gözünde hala bir panda ve etkilenmiyor.
İlk başta sinir ağı tabanlı bilgisayar görme sisteminin oldukça iyi çalıştığını düşündük, ancak daha sonra böyle bir rol oynayabilecek bu tür düşmanca değişiklikler (saldırılar) geliştirdiğimizde, herkes biraz endişelenmeye başlayacaktı. Bence bu sorunun nedeninin bir kısmı, ağın üst düzey temsillerden yeniden yapılandırılmamış olmasıdır. Şimdi bazı araştırmacılar, özellik dedektörlerinin birçok katmanını öğrenmek olan ayırt edici öğrenmeyi denemeye başlıyor ve daha sonra nihai amaç, doğru sonuçları daha iyi elde etmek için farklı özellik dedektörlerinin ağırlıklarını değiştirmektir. Son zamanlarda, ekibimiz Toronto'da da bazı keşifler yaptı. Nick Frost, bir yeniden yapılandırma süreci başlatırsanız, bunun, düşman saldırıları karşısında ağı daha istikrarlı hale getirebileceğini keşfetti. Bence insan görsel sisteminde öğrenme süreci yeniden yapılanmayı içerir. Vizyona ek olarak, öğrenme süreçlerimizin birçoğu yeniden yapılandırıldı, bu nedenle düşman saldırıları karşısında çok daha kararlıyız.
Moderatör: Başka bir deyişle, sinir ağındaki arkadan öne bağlantının veri yeniden yapılandırma sürecini test etmenize yardımcı olabileceğini düşünüyor musunuz?
Hinton: Evet, bunun çok önemli olduğunu düşünüyorum.
Moderatör: Öyleyse beyin bilimcileri aynı görüşe mi sahip?
Hinton: Beyin bilimcilerin hepsi bu görüşe katılıyor, yani duyusal sinyal yolu serebral korteksin iki farklı bölgesinden geçerse, ters bir bağlantı olması gerekir. Sadece bu bağlantının rolü üzerinde anlaşamadılar. İşlevi dikkat olabilir, öğrenmek için olabilir, yeniden yapılandırma için veya hatta üçü için de olabilir.
Moderatör: Yani ters bağlantıların rolünü tam olarak anlamıyoruz. Şimdi, ağda yeniden yapılanmada rol oynayan ters bir bağlantı kurmak istiyorsunuz, bunu yapmak mantıklı mı? Beyni taklit etmek istediğinizi söyleseniz de beynin böyle olup olmadığından emin değilsiniz.
Hinton: Bu konuda endişem yok. Sonuçta, hesaplamalı sinirbilim yapmıyorum ve insan beyninin nasıl çalıştığına dair iyi bir model önermeye çalışmıyorum. Yaptığım şey sadece beyni gözlemlemek ve "İyi çalıştığı için, başka şeylerin de iyi çalışmasını istediğimizde buradan biraz ilham alabiliriz" demek oldu. Yani sinirbilim ve beyin biliminden ilham alıyoruz ama beyin sinirlerini modellemiyoruz. Tüm sinir ağı modelimiz ve modelimizde kullanılan nöronlar, insan beynindeki sinirlerden esinlenmiştir: nöronların birçok bağlantısı vardır ve bu bağlantılar ağırlığı değiştirebilir.
Moderatör: Kulağa çok ilginç geliyor. Dolayısıyla, bilgisayar bilimi yaparsam ve sinir ağları da çalışırsam ve Hinton'dan daha iyisini yapmak istersem, beyin bilimindeki diğer bazı modellere dayalı bir arkadan öne bağlantı kurma seçeneği vardır. Öğrenme rolünü oynamasına izin vermeyi seçin.
Hinton: Bu şekilde daha iyi bir model elde edebilirseniz, gerçekten başarılı olabilirsiniz.
Moderatör: Bir sonraki konu, sinir ağlarının çeşitli sorunları çözebileceğini söylediğimiz için, sinir ağlarının insan beynini yakalayıp yeniden üretmesi, örneğin duygular ...
Hinton: (Doğrudan kesmek) İmkansız.
Moderatör: Sevgiyi ve bilinci yeniden inşa etmek için sinir ağlarını kullanabilir miyiz?
Hinton: Bu şeylerin ne anlama geldiğini anladığınız sürece sorun değil. Sonuçta biz insanlar da sinir ağlarıyız. Farkındalık şu anda özellikle ilgilendiğim bir şey, ancak birçok insan bu kelimeyi söylediklerinde tam olarak ne hakkında konuştuklarını bilmiyor. Bu şeyin birçok farklı tanımı var, bana göre bilimsel bir terim olmalı. 100 yıl önce, başkalarına "yaşamın" ne olduğunu sorsanız, "Canlı olan şeyler pozitif bir canlılığa sahiptir ve öldüklerinde, bu canlılık onlarla birlikte gider. Yani yaşamak ve ölüler arasındaki fark" Böyle bir canlılık var mı? " Şimdi canlılıktan bahsetmiyoruz, bunun sözde bilimsel bir kavram olduğunu düşünüyoruz. Biyokimya ve moleküler biyoloji okuduktan sonra bile, yaşam gücünü kınamaya başlayacaksınız, çünkü hayatın gerçekte ne hakkında olduğunu zaten anlıyorsunuz. "Bilinç" anlayışımızın da aynı süreçten geçeceğini düşünüyorum. Bu terim, daha önce önemli anlamları olduğunu düşündüğümüz manevi olayları açıklamak için önerilmişti. Ama bilincin neyle ilgili olduğunu gerçekten anladığımızda, bu "önemli anlamın" içeriği artık önemli değildir. Başkalarına bir kişinin "bilinçli" olduğunu hissettirmek için ne yaptığımızı ve nedenini açıkça açıklayabiliriz. Bu kelimenin tüm farklı anlamlarını da açıklayabilir.
Moderatör: Yani, hiçbir duygu yaratılamaz, hiçbir düşünce yaratılamaz, beynin nasıl çalıştığını tam olarak anladığımız sürece, teorik olarak insan beyninin yapabileceği hiçbir şey iyi çalışamaz. Sinir ağı tarafından mı yeniden üretildi?
Hinton: Az önce söylediğin bu birkaç cümlenin bana John Lennon'ın bir şarkısını hatırlattığını biliyor musun, kelimeler birbirine çok benziyor.
Moderatör: Bunlara% 100 güveniyor musunuz?
Hinton: Hayır,% 100 değil. Ben bir Bayesliyim ve% 99,9 kendime güveniyorum.
Moderatör: Tamam, diğer% 0.1 ne olacak?
Hinton: Tüm dünyamızın büyük bir simülatör olması mümkündür, bunların hiçbiri doğru değil.
Moderatör: İmkansız değil. Peki, bilgisayar araştırmanız aracılığıyla, beyinle ilgili yeni keşiflerimiz var mı?
Hinton: Son on yılda öğrendiğimiz şey şudur: Yüz milyonlarca parametreye sahip bir sisteminiz ve karyola tamamlama gibi objektif bir işleve sahipseniz, doğrudan göründüğünden daha iyi performans elde edebilir. Daha iyi.
Geleneksel AI yapan çoğu insan, milyarlarca parametresi olan bir sistem için, tüm parametrelerin rastgele değerler olduğu ilk durumdan başlamak, amaç fonksiyonunun gradyanını hesaplamak ve ardından bunu tek tek değiştirmek gerektiğini düşünecek veya sıradan bir insan düşünecektir. Milyarlarca parametre, objektif fonksiyonun değerinin biraz daha iyi olmasına izin verin ve her turda bir tur yapmak zorundasınız, bu görev çok fazla iştir, tamamlanması için bir umut yoktur, muhtemelen yarı yolda Sıkışmış. Ama aslında bu çok iyi bir algoritmadır.Tüm yönlerin ölçeği ne kadar büyükse etkisi o kadar iyidir. Bu tamamen deneyimlerimizden özetlenmiştir. Artık böyle bir yasa geliştirdiğimize göre, insan beyninin de belirli nesnel işlevlerin gradyanını hesapladığını ve ardından gradyan temelinde sinirsel elektrik sinyal yayılımının gücünü güncellediğini düşünmek çok daha kolay. Sadece bu sürecin nasıl adımlara bölündüğünü ve amaç işlevinin ne olduğunu anlamamız gerekiyor.
Moderatör: Ama beyin hakkındaki anlayışımız henüz o noktaya ulaşmadı? Bu ağırlık değiştirme sürecini hâlâ anlamıyor muyuz?
Hinton: Bu bir teoridir. İnsanlar bunun uzun zaman önce mümkün olduğunu düşündüler, ancak her zaman "Kulağa güzel geliyor, ancak rastgele başlangıç değerlerine sahip milyarlarca parametreniz olduğunu ve sonra hepsinin gradyan inişinden geçtiğini söylüyorsunuz" demekte ısrar eden bazı geleneksel bilgisayar bilimcileri olacaktır. Öğrenmek, bu imkansız, içinde bazı bilgileri düzeltmeniz gerekiyor. Şimdi onların bakış açısının yanlış olduğunu kanıtlayabiliriz, sadece rastgele parametrelerle başlamanız ve sonra her şeyi öğrenmeniz gerekir.
Moderatör: Biraz açalım. Beynin nasıl çalıştığını düşündüğümüze dayalı modeller tasarladığımızı ve daha sonra bunları geniş ölçekte test ettiğimizi varsayalım, beynin gerçekte nasıl çalıştığı hakkında daha fazla şey öğrenmemiz muhtemeldir. Bir gün beyinlerimizi dönüştürebileceğimiz ve onları daha verimli ve verimli bilgi işlem makineleri yapabileceğimiz bir noktaya gelecek mi?
Hinton: Eğer gerçekten anlayabilirsek, eğitim gibi daha iyi şeyler yapabiliriz. Bunun olacağına inanıyorum. Beyninizde neler olup bittiğini anlayabiliyorsanız, ancak bunu çevrenize daha iyi uyum sağlayacak şekilde ayarlayamıyorsanız, bu garip bir şeydir.
Makine öğrenimi aynı zamanda "rüya görüyor"
Moderatör: Rüyaları daha iyi anlayabilir miyiz?
Hinton: Sanırım, ben de rüyalarla çok ilgileniyorum, bu yüzden rüyalar hakkında en az dört teori biliyorum.
Moderatör: Herkese anlatın.
Hinton: İlki uzun bir hikayeye sahip. Uzun zaman önce, Hopfield ağı denen ve belleği yerel bir çeker olarak öğrenebilen bir şey vardı. Hopfield denen adam, çok fazla hafıza doldurmaya çalışırsanız kafalarının karışacağını keşfetti. Bu, iki yerel çekicinin ortada belirli bir konumda bir araya gelmesini sağlayacaktır.
Yanlış yerel minimumlardan kaçınmak için öğrenmeyi unutabileceklerini söyleyen Francis Crick ve Graeme Mitchison adında iki kişi var. Ardından ağın girişini kapatıyoruz, önce sinir ağını rastgele bir duruma ayarlıyoruz ve sonra durana kadar bekleriz, sonucun iyi olmadığını hissederiz ve sonra ağ bağlantısını o durumda durmayacak şekilde ayarlarız. Bunu birkaç kez yaptıktan sonra daha fazla anı depolayabilir.
Sonra bana ve Terry Sejnowski'ye geldi.Sadece hatıraları depolayan nöronlar değil, aynı zamanda başka roller de oynayan birçok nöron olduğunu hissettik. Diğer nöronların da hatıraları geri yüklemesine yardımcı olacak bir algoritma tasarlayabilir miyiz? Daha sonra makine öğreniminde Boltzmann makinesini geliştirdik.Çok ilginç bir özelliği var: veriyi ona göster ve tatmin edici bir durum elde edilene kadar diğer birimler arasında dolaşmaya devam edecek; Bunu alırsanız, her iki ünitenin de etkinleştirilip etkinleştirilmediğine bağlı olarak tüm bağlantıların ağırlığını artıracaktır. Burada bir aşama var ve onu girdiden ayırmanız gerekiyor. Kendini rahat hissettiği bir duruma gelmesine izin verirsiniz, bu sefer, tüm aktif nöron çiftlerini bulmasına ve aralarındaki bağlantıyı zayıflatmasına izin vereceksiniz.
Burada anlattığım algoritma ilginç bir süreç gibi görünüyor, ancak aslında algoritma matematiksel araştırmanın sonucudur. Bizce "gizli katmanlara sahip sinir ağının verilerin çok olduğunu hissettirmek için bu bağlantıların nasıl değiştirileceği". Benzer". Ve onun başka bir aşamaya sahip olması gerekiyor Biz buna negatif durum diyoruz, yani girdi olmadan çalışmasına izin vermek ve sonra içinde bulunduğu herhangi bir durumu unutmaktır.
Biz insanlar günde birçok saat uyuruz. Rastgele uyanırsan hangi rüyayı yaptığını söyleyebilirsin çünkü rüyanın anısı kısa süreli hafızada saklanır. Yeterince uyuduktan sonra uyanırsanız, sadece son rüyayı hatırlarsınız ve önceki rüyaları hatırlamazsınız. Bu aslında rüyaları gerçeklikle karıştırmamak için iyi bir şey. Öyleyse neden hayallerimizi hatırlayamıyoruz? Crick'in amacı, rüya görmenin amacının birçok şeyi unutmak olduğudur. Öğrenmenin tersi bir işlem gibi.
Ve Terry Sejnowski ve ben bunun bir Boltzmann makinesinin en yüksek olasılıklı öğrenme süreci olduğunu gösterdik. Bu aynı zamanda bir rüya görme teorisidir.
Moderatör: Herhangi bir derin öğrenme algoritmasını böyle bir hayal haline getirdiniz mi? Belirli bir görüntü veri setini öğrenin, sonra unutun, tekrar öğrenin vb.
Hinton: Evet. Makine öğrenimi algoritmalarını denedik. Gizli nöronları işlemeyi öğrenebilen keşfettiğimiz ilk algoritma bir Boltzmann makinesini içeriyordu, ancak verimlilik çok düşüktü. Sonra onlara yaklaşmanın bir yolunu buldum, bu çok daha verimli. Bunlar aslında derin öğrenmenin canlılığını yeniden kazanması için fırsatlar, yani bu yöntemlerle özellik dedektörlerini her seferinde bir katman öğrenebilirim. Bu, sınırlı Boltzmann makinesinin verimli bir şeklidir. Unutmayı da sağlayabilir. Ancak uykuya ihtiyacı yok, sadece her veri noktasını gördükten sonra bir süre meditasyon yapması gerekiyor.
Moderatör: İkinci teori ne olacak?
Hinton: İkinci teoriye Uyanma Uyku Algoritması denir ve üretken bir model öğrenmek isteyeceksiniz. Buradaki fikir, veri üretebilen bir modele sahip olmanızdır.Birçok özellik detektörü katmanına sahiptir.Yüksek seviyeden yavaş yavaş piksel seviyesine kadar aktif hale getirilebilir ve sonra bir görüntü elde edersiniz. Bunu başka bir şekilde de yapabilirsiniz ve bu bir görüntü tanıma haline gelir.
Bu şekilde, algoritmanızın iki aşaması olacaktır.Uyanma aşamasında veriler gelir ve model verileri tanımaya çalışır; bu sefer model öğrenmenin amacı, tanıma için bağlantıyı güçlendirmek değil, üretim için bağlantıyı güçlendirmektir. Veriler geldikçe, gizli katmandaki nöronlar etkinleştirilir ve ardından nöronlar verileri nasıl daha iyi yeniden yapılandıracaklarını öğrenirler. Her katmanı nasıl yeniden oluşturacağınızı öğrenin. Ama soru şu ki, böyle ileri bağlantı nasıl öğrenilir? Buradaki fikir, ileri bağlantıyı zaten biliyorsanız, ters bağlantıyı öğrenebilirsiniz çünkü yeniden kurmayı öğrenebilirsiniz.
Şimdi ters bağlantı kullanabildiğini de bulduk, ters bağlantı öğrenebilirsiniz, çünkü doğrudan üst katmandan başlayıp verileri etkinleştirebilir ve sonra üretebilirsiniz. Ve veri ürettiğiniz için, gizli katman nöronlarının aktivasyon durumunu biliyorsunuz ve bu durumları geri yüklemek için ileri bağlantıyı öğrenebilirsiniz. Bu uyku aşaması. Girişi kapattığınızda, sadece veri üretiyorsunuz ve ardından veriyi oluşturan gizli nöronların durumunu yeniden oluşturmaya çalışıyorsunuz. Ayrıca yukarıdan aşağıya bağlantısını biliyorsanız, aşağıdan yukarıya bağlantısını da öğrenebilirsiniz; tersi de doğrudur. Dolayısıyla, rastgele bir bağlantıyla başlarsanız ve iki şeyi değiştirirseniz, bu da mümkündür. Tabii ki, iyi bir etki yaratması için, çeşitli değişiklikler yapmanız gerekiyor, ama gerçekten de mümkün.
Moderatör: Emmm, hala 8 dakikamız var Diğer iki teori hakkında konuşmaya devam etmeyi planlıyor musunuz? Bu durumda son birkaç soruyu atlayacağız.
Hinton: Diğer iki teori bir saat sürebilir.
Kapsüller iyi bir fikir, aynı zamanda bir hata
Moderatör: O zaman sormaya devam edelim. Şu anda ne tür bir araştırma yapıyorsunuz? Hangi sorunları çözmeye çalışıyorsun?
Hinton: Sonunda, daha önce yapmadığımız araştırmaları yapmaya devam etmeliyiz. Sanırım araştırmamda asla bitmeyecek bir şey var, o da zihnimde yeniden yapılanma yoluyla görsel algılama teorisi ve bilgiyi doğru yere yönlendirme teorisi olan kapsüller. Standart bir sinir ağında bilgi, yani her katmandaki nöronların aktivitesi otomatik olarak hareket eder ve bilginin nereye gitmesine izin vereceğinize karar veremezsiniz. Kapsülün amacı, bilginin nereye gönderileceğine karar vermektir. Şu anda, kapsülleri incelemeye başladığımdan beri, diğer bazı çok akıllı Google meslektaşları aynı şeyi yaparak Transformer modellerini yarattılar. İkisi de bilgiyi nereye göndereceklerine karar veriyorlar ki bu büyük bir gelişme.
Bana kapsül yapmam için ilham veren bir başka şey de koordinat çerçevesi. İnsanlar görsel algılama yaptığında, hepimiz koordinat çerçeveleri kullanırız. Bir insan bir nesne üzerinde yanlış koordinat çerçevesini varsayarsa, o nesneyi tanımayacaktır.
Bunu hissetmek için küçük bir görev yaparsınız: tabanı bir üçgen olan normal bir dörtyüzlü hayal edin ve sonra yanlarda üç üçgen vardır ve dört yüzün tümü uyumlu üçgenlerdir. Hayal etmesi kolay, değil mi? Ardından kare bir kesit elde etmek için onu bir düzlemle kestiğinizi hayal edin. Kesme işlemi basittir ancak kare kesit almak zordur. Her kesmeye çalıştığınızda üçgen bir bölüm elde edeceksiniz.
Bu kare bölümün nasıl kesileceğini görmek zor görünüyor. Öyleyse aynı nesneyi başka bir şekilde tanımlayayım. Kaleminle çizeyim, üstte bir kalem ve altta bir kalem var Uzayda dikey olduklarını hayal edin ve ardından üst kalemdeki tüm noktaları alt kalemdeki tüm noktalara birleştirin. O zaman bir tetrahedronunuz var. Şimdi bu dörtyüzlü ile koordinat çerçevesi arasındaki ilişkiye bakalım: Üst taraf bir koordinat eksenine paralel ve alt taraf diğer koordinat eksenine paraleldir. Bu şekilde baktığınızda, bir dikdörtgenin nasıl kesileceğini görmek kolaydır ve ortada bir kare bulabilirsiniz. Ama sadece bu koordinat çerçevesinde düşündüğümüzde görebiliriz.
Bu insanlar için açıktır, ancak aslında, koordinat çerçevesi algılama için çok önemlidir.
Moderatör: Modele bir koordinat çerçevesi eklemek, 90'lı yıllarda kuralları modele entegre etmek istediğinizde yaptığınız şeyden bir hatadır, herhangi bir fark var mı? Sistemin denetimsiz olması gerektiği anlamına gelmiyor mu?
Hinton: Evet, bu aynı hata. Bunun kötü bir hata olduğundan oldukça emin olduğum için, sadece birazını ekleyebilirim. Bu aslında benim durumumu biraz tuhaf hale getiriyor.
Moderatör: Şu anki araştırmanız özellikle görsel tanımayı mı hedefliyor, yoksa önce koordinat çerçevesini düşündünüz ve sonra onu daha genel hale getirmeye mi çalıştınız?
Hinton: Diğer görevlerde kullanılabilir, ancak özellikle görsel tanıma uygulamalarıyla ilgileniyorum.
Moderatör: Derin öğrenme bir zamanlar benzersizdi, ancak şimdi yapay zekanın büyük ölçüde eşanlamlısı gibi görünüyor; aynı zamanda yapay zeka da güçlü bir pazarlama anlamı olan bir kelime haline geldi.Herhangi bir makine veya algoritma kullanan insanlar bunu kullandıklarını söylüyor. AI. Bu teknolojileri geliştiren ve bu statükonun oluşmasına yardımcı olan biri olarak nasıl hissediyorsunuz?
Hinton: Yapay zeka yalnızca mantık ve işletim sembollerine dayalı bir bilgi işlem sistemine atıfta bulunduğunda çok daha mutluydum; o sırada sinir ağı da sinir ağları ile öğrenebileceğinizi söyledi. Günümüzde birçok şirket bunları sevmiyor, sadece parayı önemsiyorlar. Ben bu ortamda büyüdüm. Hatta yıllardır sinir ağlarının çöp olduğunu söyleyen bazı kişilerin artık "Ben bir yapay zeka profesörüyüm, bu yüzden lütfen bana fon sağlayın" demeye başladığını görüyorum. Gerçekten can sıkıcı.
Moderatör: Araştırma alanınız yükseldi ve biraz da diğer alanları yutmak gibi bir tadı var, bu da onlara para istemek için bir neden veriyor, bu biraz sinir bozucu.
Hinton: Ama bu tamamen haksızlık değil, pek çok insan düşüncelerini değiştirdi.
Moderatör: Son soru, bir röportajda yapay zekanın bir kara delik gibi olabileceğini söylemiştiniz, eğer onu yanlış bir şekilde inşa ederseniz, sizi geri yiyebilir. Öyleyse araştırmanızda onu incitmekten ve hatta bir kara delik yapmaktan nasıl kurtuldunuz?
Hinton: Zarar verecek bir yapay zekayı asla kasıtlı olarak yapmayacağım. Tabii başkalarının kafasını yemekte iyi olan bir kara delik tasarlarsanız, bu çok kötü bir şey, böyle bir araştırma yapmam.
Moderatör: Tamam. Bugün harika bir sohbet yaptım, çok şey söylediğin için teşekkürler. Belki gelecek yıl rüyalar hakkındaki üçüncü ve dördüncü teoriler hakkında konuşmaya devam edeceğiz.
Videonun tamamına bakın:
https://www.youtube.com/watch?v=UTfQwTuri8Y
2019 Küresel Yapay Zeka ve Robotik Zirvesi
Çin Bilgisayar Derneği'nin ev sahipliği yaptığı ve Lei Feng.com ve Hong Kong Çin Üniversitesi (Shenzhen) tarafından ortaklaşa düzenlenen 2019 Küresel Yapay Zeka ve Robotik Zirvesi (CCF-GAIR 2019) düzenlenecek 12-14 Temmuz 2019 Shenzhen'de düzenlendi.
O sırada Nobel Ödülü sahibi James J. Heckman, Çinli ve yabancı akademisyenler, Dünya Zirvesi Başkanı, tanınmış Fellow ve çok sayıda ağır konuk savaşta yer alacak. Yapay zeka ve robotik bilim, üretim ve yatırım alanlarında karmaşık hayatta kalma durumunu tartışmak.
Geoffery Hinton tarafından hazırlanan diğer ilgili makaleleri görüntülemek için orjinal metni okumak için tıklayınız.
