Hinton'un derin öğrenmenin babası olan yüksek profilli Kapsül kağıdı bugün resmen duyuruldu
("MIT Technology Review" APP'nin Çince ve İngilizce sürümü artık çevrimiçi ve yıllık aboneler her hafta teknoloji İngilizcesi dersini canlı yayınlıyor ve ayrıca bir teknoloji İngilizce öğrenme topluluğu da var ~)
Yapay zeka alanında Geoffrey Hinton çok yüksek bir konuma sahip ve bu alanda Einstein olarak bile tanınıyor. "Derin öğrenmenin" babası olarak, yapay zekanın gelişimini bugün olduğu kadar sıcak yapan da bu teknolojidir. Yapay zeka alanındaki en iyi araştırmacılar arasında, Hinton, arkasındaki üç araştırmacının toplamını aşan en yüksek alıntı oranına sahip. Şu anda, öğrencileri ve postdocları Apple, Facebook ve OpenAI'nin yapay zeka laboratuvarlarına liderlik ediyor ve Hinton, Google Brain'deki yapay zeka ekibinin baş bilim insanı.
Aslında, konuşma tanıma, görüntü tanıma ve oyun dahil olmak üzere son on yılda yapay zeka tarafından elde edilen hemen hemen her başarı, Bir dereceye kadar Hinton'un çalışmalarına kadar izlenebilir.
1986'da Hilton ve meslektaşları David Rumelhart (David Rumelhart) ve Ronald Williams (Ronald Williams), "backpropagation" adlı bir yöntemi detaylandıran çığır açan bir makale yayınladılar. "(Backpropagation, kısaca backprop) teknolojisi. Princeton hesaplamalı psikolog Jon Cohen (Jon Cohen) geri yayılımı şu şekilde tanımlar: "Tüm derin öğrenme tekniklerinin temeli." Son tahlilde, bugünün yapay zekası derin öğrenmedir ve derin öğrenme geri yayılımdır, ancak geri yayılmanın 30 yıldan fazla bir süredir var olduğuna inanmak zor.
Ancak geçen ay, Hinton Toronto'daki bir AI konferansında medya Axios ile yaptığı röportajda geri yayılım algoritması hakkındaki şüphelerini dile getirdi. Sinir ağını daha akıllı hale getirmek için geri yayılım algoritmasının beynin çalışma şekli olmadığına inanıyor. Tüm verileri bu şekilde etiketlemekten vazgeçilmelidir. "Backpropagation algoritmasını terk etmemiz ve yeni bir yol açmamız gerekiyor."
Şekil Geoffrey Hinton (Geoffrey Hinton)
Sadece birkaç saat önce, Hinton ve meslektaşları Sara Sabour ve Nicholas Frosst'un Google Brain'de ortak yazdıkları "Dynamic Routing Between Capsules" adlı NIPS 2017 makalesi resmen halka açıldı. Farklı Kapsüller arasında yönlendirmenin öğrenilmesini açıklar. Hiç şüphe yok ki, bunu bir başlangıç noktası olarak kullanmak, yapay zekanın gelecekteki formunun evrimi ve şekillenmesinin tamamen farklı bir görünüm sunması muhtemeldir.
Kağıt adresi: https://arxiv.org/abs/1710.09829
Şekil Hinton'un makalesi yeni yayınlandı
Bu yazıda Hinton ilk olarak Kapsül'ün bir nöron grubu olduğunu ve aktivite vektörünün belirli bir varlık türünün (bir nesne veya bir nesnenin parçası gibi) somutlaştırma parametrelerini temsil ettiğini açıkladı. Yazar, varlık var olma olasılığını ve bunun somutlaştırma parametrelerinin yönünü karakterize etmek için aktivite vektörünün uzunluğunu kullanır. Aynı seviyede aktif olan kapsüller, daha yüksek seviyeli Kapsüllerin örnekleme parametrelerini tahmin etmek için dönüştürme matrisini kullanır. Birden fazla tahmin birleştirildiğinde, üst düzey Kapsül aktif hale gelir.
Özetledikten sonra, diferansiyel eğitimden sonra çok katmanlı Kapsül sistemi MNIST üzerinde en iyi performansı elde eder ve etkisi, üst üste binen sayıları belirlemede evrişimli sinir ağlarından önemli ölçüde daha iyidir. Bu sonuca ulaşmak için Hinton, anlaşmaya göre yinelemeli bir yönlendirme mekanizması kullandı: Düşük seviyeli bir Kapsül, çıktısını, aktivite vektörü büyük bir skaler ürüne sahip olan ve düşük seviyeli Kapsülden tahmin eden yüksek seviyeli bir Kapsüle göndermek ister.
Hinton'un Kapsül kavramını önermesinin nedeni, 1980'lerden beri insan beynine önem vermesi prensibiyle bir ilgisi var, bu nedenle sinirbilim üzerine de bir dizi makale yayınladı.
Yapay zekanın gelişiminin ilk aşamasında, normal düşünceye göre, araştırmacılar doğal olarak, gelişmiş zekaya sahip tek insan beynini makinenin simülasyon nesnesi olarak düşünecekler. Sonuç olarak, popüler yapay sinir ağı elde edildi. Bununla birlikte, tek katmanlı yapay sinir ağı eğitim yöntemi, makinenin en basit "özel VEYA" mantığını öğrenmesini bile sağlayamaz ve çok katmanlı sinir ağının eğitimi görünürde hiçbir yerde yoktur.
En eski sinir ağı Perceptron 1960'larda doğdu ve insan benzeri makine zekasına doğru ilk adım olarak biliniyor. 1969'da Massachusetts Teknoloji Enstitüsü'nden Marvin Minsky ve Seymour Papert, bu ağın yalnızca en temel olanı başarabildiğini kanıtlamak için matematiksel yöntemler kullanarak "Algılayıcılar" kitabını yayınladılar. Özellikleri. Bu tür bir ağ yalnızca iki nöron katmanına sahiptir, bir giriş katmanı ve bir çıkış katmanı. Giriş katmanı ile çıktı katmanı arasına daha fazla ağ eklerseniz, teorik olarak birçok farklı sorunu çözebilirsiniz, ancak kimse bunları nasıl eğiteceğini bilemez. Yani bu sinir ağlarının uygulama alanında hiçbir etkisi yoktur. Hilton gibi yenilgiyi kabul etmeyi reddeden birkaç kişi dışında, çoğu insan bu kitabı okuduktan sonra sinir ağı araştırmasını tamamen terk etti.
Şekil Geoffrey Hinton (Geoffrey Hinton)
Bu nedenle Hinton, yapay sinir ağlarının insan beynini simüle eden bir modeli takip etmesi gerekmediğini düşünüyordu. Bu nedenle, 1980'lerde Hinton farklı bir yaklaşım benimsedi ve çok katmanlı sinir ağlarını eğitmek için kullanılabilecek bir geri yayılım algoritması önerdi. En ikonik olanı, 1986'da Hinton, David E. Rumelhart ve Ronald J. Wlilliams tarafından ortaklaşa yazılan "Geri yayılma hataları ile öğrenme temsilleri" başlıklı makalenin yayınlanmasıdır.
2012'de Hilton ve Toronto'daki öğrencileri, geri yayılımla eğitilmiş derin bir sinir ağının, görüntü tanıma alanında o zamanki en gelişmiş sistemi yendiğini gösteren bir makale yayınladılar "Derin öğrenme" nihayet mevcut. Dış dünyadan, yapay zeka bir gecede patlıyor gibiydi, ancak Hilton için, Bu sadece geç bir hediye.
Şekil Xinton'un 1986'da başkalarıyla işbirliği yaptığı sinir ağı makalesi
Ancak 30 yıl sonra Hinton, geri yayılım algoritmasını bir aydan fazla bir süre önce terk ettiğini duyurdu. Bunun nedeni, Hinton'un her zaman yapay zekanın sınırlamalarını aşmanın anahtarının "bilgisayar bilimi ve biyoloji arasında bir köprü" kurmak olduğuna inanmasıdır. Bu perspektiften, Geri yayılım, biyolojiden ilham alan bir bilgisayar bilimi buluşudur; fikir başlangıçta mühendislikten değil, psikolojiden geldi. Bu nedenle Hinton bu modeli taklit etmeye çalışıyor.
Aslında mevcut sinir ağı büyük düzlem katmanlarından oluşuyor, yani her katmandaki nöronlar benzer şeyler yapıyor. Ancak insan neokorteksindeki gerçek nöronlar yalnızca yatay olarak katmanlar halinde değil, aynı zamanda dikey olarak da düzenlenmiştir. Hinton, insan görsel sistemi gibi bu dikey yapıların rolünü bildiğine inanır ve bu yapılar, perspektif değiştiğinde nesneleri tanıma yeteneğimizi korumamızı sağlar. Bu nedenle, bu teoriyi doğrulamak için "Kapsül" adlı yapay bir görme sistemi kurdu.
Şu anda, Kapsül teorisi üzerine araştırmalar hala nispeten erken bir aşamadadır, bu da araştırılması gereken birçok problem olduğu anlamına gelir. Ancak, Kapsül'ün bazı sorunları çözebileceğine dair artık daha fazla işaret var ve bunun daha fazla araştırmaya değer bir yol olduğuna inanıyorum. Hinton'un bir zamanlar MIT Technology Review'e söylediği gibi, "Kapsül teorisi doğru olmalı, Başarısızlık sadece geçicidir. "
