Derin öğrenmenin yeniden başlaması ve geri yayımı tamamen bırakması mı gerekiyor?
Lei Feng Net Not: Bu makalenin orijinal yazarı SIY.Z, bu makale yazar Zazhihu'dan derlenmiştir "Geoffrey Hinton'un sözlerine nasıl davranılır, derin öğrenme yeniden başlamalı ve geri yayılmayı tamamen bırakmalıdır? Sorunun altındaki cevap. Leifeng.com yeniden yazdırma yetkisine sahiptir.
Bu ifadenin ana kaynağıdır:
Yapay zeka öncüsü, yeniden başlamamız gerektiğini söylüyor (
Fei-Fei Li'nin Twitter'daki yorumu:
Echo Geoff'un duygusu, hiçbir araç ebedi değildir, hatta geriye dönük ya da derinlemesine öğrenme. V. temel araştırmaya devam etmek için önemlidir. (Http://t.cn/RpFfw5f)
Derin öğrenme popüler hale geldiğinde ancak şu an olduğu kadar olgunlaşmadığında (2011), Hinton ve diğerleri bir problem hakkında düşünmeye başladılar: derin öğrenmenin dayandığı back-prop algoritmasını kurmak biyolojik olarak zordur. Evet, sinir sisteminin otomatik olarak ileri yayılmaya karşılık gelen bir geri yayılım yapısı oluşturabileceğine inanmak zor (bu kesin türev hesaplamaları, matris aktarımı ve zincir kuralı gerektirir ve böyle bir sistemin anatomik keşfi hiç olmamıştır. kanıtı).
Diğer bir nokta, sinir sisteminin katmanlı olmasıdır (örneğin, görsel sistem V1, V2, vb. Katmanlara sahiptir), ancak katman sayısı, mevcut büyük ölçekli sinir ağı kadar hızlı olamaz. Bu desteklenmiyorsa, sinir iletim hızı çok yavaştır Sinir ağı katmanını hesaplamak için GPU'nun kullanılmasının aksine, mikrosaniye mertebesinde olabilir, biyolojik sistem iletimi genellikle bir seferde ms mertebesinde olur. Bu kadar sayıda katman mevcut yanıt hızımızı destekleyemez. Ve senkronizasyonun da sorunları vardır).
Ancak ilginç olan, güncel çalışmaların çoğunun, yüzlerce nöron içeren ve katmanlı olan serebral kortekste Kortikal minikolon adı verilen sütunlu bir yapının yaygın olduğuna işaret etmesidir. Bu, insan beynindeki katmanın mevcut sinir ağına benzer bir katman olmadığı, ancak karmaşık bir iç yapıya sahip olduğu anlamına gelir.
(Nörobilimde mini sütun hipotezinden alıntılanan mini sütun resmi | Beyin | Oxford Academic)
Hinton mini sütunu taklit etti ve ilgili yapay sinir ağı yapısı Kapsülü (2011) 'i önerdi ve ilgili makale Transforming Auto-encoders (
(Kağıttan kapsül diyagramı)
Ancak Hinton, CNN'in bu kadar geç gelişmesini beklemiyordu ve o zamanki makalesi çok az ilgi gördü. Son yıllarda CNN, LSTM, NTM vb. Çok fazla ve ilginç olduğu için bu konuya dikkat etmeye devam etmedi.
Bununla birlikte, şimdiye kadar, CNN'in gelişimi bir darboğaza ulaşmış gibi görünüyor: son derece geniş ve derin ağlar; rakip örnekler tarafından aldatılması kolay; hala çok fazla eğitim verisi gerektiriyor; denetimsiz öğrenmede çok az ilerleme.
Hinton, başlıkta verilen videodaki mevcut CNN problemlerini, esas olarak Havuzlamaya odaklanarak yeniden analiz etti (sanırım, birçok CNN artık Havuzlama katmanı yerine evrişimli alt örneklemeyi kullanıyor). Hinton, geçmişte insanların Havuza Alma görüşünün değişmez etkiler getirebileceğine, yani içerik çok az değiştiğinde (ve biraz çeviri ve rotasyon) CNN'in karşılık gelen içeriği hala istikrarlı bir şekilde tanıyabileceğine inanıyor.
Hinton, bunun yanlış yön olduğunu düşünüyor. Bir psikolojik deney örneği verdi, bu örnek, iki R'nin aynı olup olmadığına karar vermeyi gerektirir, çünkü yalnızca rotasyon farka neden olur:
İnsanların (neredeyse tümünün) yaptığı şey, üst üste gelip gelmediklerini "görmek" için sol taraftaki R'yi bilinçaltında döndürmektir.
Ancak CNN'nin değişmezliği fikrine göre, durum hiç de böyle değil. Sinir ağlarını eğitme konusunda tecrübeniz varsa, görüntü ön işleme ve veri büyütme yaptığımızda, bazı resimleri sinir ağı tanıma için yeni örnekler olarak bazı açılardan döndüreceğimizi düşünebilirsiniz. Böylelikle CNN, rotasyonun değişmezliğine ulaşabilir ve bu "sezgisel" bir değişmezliktir. Resmi bir kişinin yaptığı gibi döndürmesine gerek yoktur. Rotasyonu doğrudan "görmezden gelir" çünkü rotasyona değişmez olmasını istiyoruz.
CNN ayrıca mekanın değişmezliğini, yani nesnelerin çevirisine duyarsızlığı vurgular (nesnelerin farklı konumları, tanınmasını etkilemez). Bu, elbette tanımanın doğruluğunu büyük ölçüde geliştirir, ancak verileri taşımak için (video gibi) veya bir nesnenin belirli konumunu tespit etmemiz gerektiğinde, CNN'nin kendisi yapmak zordur ve bazı kayan pencereler veya R-CNN yöntemlerine ihtiyaç vardır. Bu yöntemler anormaldir (neredeyse kesin olarak biyolojide karşılık gelen bir yapı yoktur) ve beynin, durağan görüntüleri tanır ve hareket sahnelerini ve çok farklı olan diğer görsel işlevleri gözlemlerken neden neredeyse aynı görsel sistemi kullandığını açıklamak son derece zordur.
Dolayısıyla Hinton, insan beyninin yaptığı şeyin eşdeğerlik Yani çeviri, seçim vb. Gibi çeşitli farklılıkları algılayabilir, ancak CNN gibi peşinden gitmek yerine belirli görsel problem senaryolarında aynı olduklarını ve bazı senaryolarda farklı olmaları gerektiğini "fark edebilir" Tek bir tanıma oranıyla, bu farklılıklar değişmezlikle maskelenir.
Böylece Hinton yeniden ilgilenmeye başladı Kapsüller Daha önce derin öğrenmede bir atılım yapmayı ve birçok sorunu çözmeyi umuyorum. Bu sorunlar çözülebilirse, Hinton önceki mimariyi tamamen terk edip sıfırdan başlama cesaretine sahiptir.
Bu, Hintonun NIPS tarafından kısa süre önce Kapsüller kağıt Kapsüller Arasında Dinamik Yönlendirme (Yayınlanmamış) https://research.google.com/pubs/pub46351.html. MNIST'de çok başarılı oldu ve tanıma oranı yeni bir zirveye ulaştı, aynı zamanda CNN'in örtüşen görüntüleri tanımlamadaki zorluğu sorununu çözdü.
Not: yukarıda eşdeğerlik eşdeğerlik olarak değiştirildi, bu daha doğru
Bazı analizler
Makalenin sadece özetleri ve Hinton'un son videosu olmasına rağmen, yine de Hinton'un fikirlerini ve arayışlarını analiz edebiliriz:
-
Yorumlanabilirlik.
Hinton'a göre, Kapsül Bir nöron grubudur, bu nöron grubunun uyarma vektörü, bir varlık türüne (bir nesne veya bir nesnenin bir parçası gibi) karşılık gelen örnek parametrelerini temsil edebilir ( örnekleme parametreleri ). Bu ifade, Hinton'un bir zamanlar bahsettiği "Uzmanların Ürünleri" kavramına çok benziyor ve bu kavramı, ünlü kontrast sapma (kontrast sapma) algoritmasını açıklamak için kullanıyor. Andrew Y. Ng'nin videolardan kedi yüzlerini otomatik olarak tanımaya yönelik deneyleri daha çok biliniyor. Bu deneylerin tümü, belirli bir nöronun belirli nesne örneklerini (büyükanne hücre hipotezi) temsil edebileceğini gösteriyor. Ancak belirli bir nöronun kendisinin basit bir matematiksel dönüşüm olduğunu ve kendi başına belirleyici bir rol oynayamayacağını biliyoruz. CNN ve görüntü özelliklerini otomatik olarak çıkarabilen diğer özellikler zaten iyi biliniyor, ancak hangi nöronlar veya yapılar rol oynuyor? Buna cevap vermek zor. Çoğu modern sinir ağının yapısı nispeten bütünleşik ve pürüzlüdür ve belirli iç eylem mekanizmasını açıklamak zordur. Bu nedenle, sinir ağlarına genellikle "kara kutu modeli" diyoruz. Şimdi var Kapsül Daha sonra yapabiliriz Kapsül Her Kapsülün birim için özel işlevini analiz edin, böylece yorumlanabilirlik çok daha güçlü olur.
Not: Hinton'un videodan ne dediğine bakın örnekleme parametreleri Aşağıdakileri karakterize eden parametrelere başvurmalıdır:
1. Belirli bir nesne türünün olasılığı
2. Konum, yön, boyut, hız, renk vb. Dahil olmak üzere nesnenin genelleştirilmiş pozu.
-
Nedensellik.
Hinton'un videoda vurguladığı şey bu ve aynı zamanda birçok makine öğrenimi uzmanının ilgilendiği bir şey. Mevcut sinir ağı, belirli bir "çıkarım" mekanizmasından yoksundur ve daha çok, amaç işlevinin maksimize edilmesine uyan bir işlevdir. Ağın belirli bir resmi doğru şekilde sınıflandırabildiğini biliyoruz, ama neden? Resimdeki hangi kısım veya koşul ağın bu sonuca varmasına neden oldu? Sınıflandırma yanlışsa, hangi kısım veya koşul onu yanıltmaktadır? Bunlar hakkında çok net değiliz, çoğu zaman sonuçları iyileştirmek için yalnızca ayar parametrelerine güveniyoruz. Makaledeki Dinamik Yönlendirme, ağın işlenmek üzere Kapsül_A'ya uygun içeriği Kapsül_A'ya yönlendirmesine izin verecek bir mekanizma oluşturmayı ummaktadır. Bu şekilde belirli bir çıkarım zinciri oluşturulur. "En iyi (işleme) yolu bulmak, görüntüyü (doğru) işlemeye eşdeğerdir" Hinton açıkladı.
Hinton, statik yönlendirmeye benzer şekilde orijinal Havuzlamanın yukarıdaki sonuçları yalnızca alt katmandaki nöronlara verdiğine dikkat çekti. (Aşağıdaki resimde Dinamik Yönlendirme Sadece referans için, özel uygulama yayınlanan makaleye bağlıdır)
-
Denetimsiz öğrenme.
Bu nokta aynı zamanda Hinton tarafından da vurgulanmaktadır (orijinal sözcükler görünüşe göre A insan çok fazla etiket bilmiyor). Hinton, Kapsül temelinde denetimsiz araştırma yapma niyetinin olduğunu tahmin ediyor Önceki bölümde, Hinton Kapsül ile bir otomatik kodlayıcı uyguladı.
Yeniden Hinton tarafından önerilen Kapsül hakkında ne düşünüyorsunuz?
Her şeyden önce, bu işin başarılı veya başarısız olması normaldir.Kapsül gerçekten gelecekteki trend haline gelse bile, Hinton doğru eğitim algoritmasını bu kadar çabuk bulamayabilir; Hinton doğru eğitim algoritmasını bulsa bile, hiç kimse Kapsüllerin bunu garanti edemez. Sayı, insan beynindeki mini sütun sayısından az olduğunda, insanların tanınma oranına ulaşabilir (CNN ile ilgili birçok sorun olmasına rağmen, tanıma oranının insanlardan çok daha yüksek olduğunu belirtmiyorum).
Ayrıca, Kapsüllerle ilgili önceki makalelere bakın. Sonuçlar 2011'de iyiydi, ancak son yıllarda CNN'den çok daha kötüydü Muhtemelen Kapsüllerin daha sonra popüler olamamasının nedeni buydu. Günümüzde pek çok insan derin öğrenmenin çeşitli sorunlarından şikayet ediyor, bu da çok fazla parametre ayarlaması gerektiriyor, ancak çok sayıda insan, makalenin yayınlanması için son tarihten önce parametreleri istenen etkiye ayarladığında, bunun da kabul edilmesi gerekiyor; ikna olmuyorsunuz. SIFT size bir yıl boyunca aynı etkiyi verecek mi?
Belki de en kötü sonuç, iyi bilinen CAP teorisinde (Brewer's teoremi olarak da adlandırılır) belirtildiği gibi, dağıtılmış depolamada tutarlılık, kullanılabilirlik ve parçalama aynı anda tatmin edilemez; belki makine öğrenimi, doğruluk ve yorumlanabilirlik için , Nedensellik aynı anda tatmin edilemez (en iyi model mutlaka anlaşılması en zor olanıdır). Hinton, tıpkı Einstein'ın daha sonraki yıllarda elektromanyetik kuvvet ve yerçekimini birleştirmeye çalıştığı gibi, sonraki yıllarında da derin öğrenmeyi kırmaya çalıştı ve başarısız olmaya mahkumdu. Ama Hinton'un hala beklemeye istekli olduğuna inanıyorum Sonuçta, geri yayılım teklifinden derin öğrenmenin popülerliğine kadar Hinton 30 yıldır ısrar etti.
Yorumlarda biri yapay sinir ağlarının biyolojik yolu izlemek zorunda olmadığından bahsetti. Bence Hinton'un Capsule'den tekrar bahsetmesinin nedeni sadece Capsule'ün biyolojik olarak desteklenmesi değil, dinamik yönlendirme algoritmalarını uygulayabilen mükemmel özelliklere sahip olmasıdır.Hinton üzerinde bazı olası atılım noktaları gördü.
En eski sinir ağı bir algılayıcı olarak ortaya çıktığında, çok biyolojik olduğu söylenebilecek olan Hebb kuralına göre öğrenildi. Biyolojik modelden ayrılan geri yayılma algoritmasını ortaya çıkaran Hinton ve LeCun'du ve Hinton'un daha sonra Boltzmann makinesi ve Boltzmann makinesini termodinamik istatistiklere ve derin öğrenmeye sahip destekleyici kontrast sapma algoritmasına dayanarak kısıtladı. Günümüzün.
Hinton, G. E. (1999) Uzmanların ürünleri.
Hinton, G. E. (2002) Kontrastlı sapmayı en aza indirerek uzmanların eğitim ürünleri.Nöral hesaplama, 14 (8), 1771-1800.
Le, Q. V. (2013, Mayıs) Büyük ölçekli denetimsiz öğrenmeyi kullanarak üst düzey özellikler oluşturma. In Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on (pp. 8595-8598). IEEE.
Hinton, G. E., Krizhevsky, A. ve Wang, S. D. (2011, Haziran). Otomatik kodlayıcıları dönüştürmek. Uluslararası Yapay Sinir Ağları Konferansı'nda (s. 44-51). Springer Berlin Heidelberg.
