Hinton yapay zeka devrimi çağrısı yapıyor: baştan başlayın; Li Feifei ve diğerleri hemfikir: derin öğrenme tek şey
Li Lin Yunzhong Derleyin ve organize edin
Qubit Üretildi | Genel Hesap QbitAI
Hinton ve diğerleri tarafından birlikte yazılmış geri yayılım kağıdı.
1986'da 39 yaşındaki Geoffrey Hinton bir makale yazdı. 40 yıl sonra, bu makale yapay zekanın patlayıcı gelişiminin çekirdeği haline geldi.
Hinton şu anda 70 yaşında ve aynı zamanda Toronto Üniversitesi'nde fahri profesör ve Google Fellow'dur. Birkaç gün önce Toronto'daki AI konferansında Hinton, artık geri yayılım konusunda "son derece şüpheci" olduğunu söyledi. Bir çağrı yaptı:
"Amacım her şeyi bir kenara atmak ve yeniden başlamak."
Toplantıdaki diğer bilim adamları, geri yayılmanın gelecekteki AI gelişiminde hala merkezi bir rol oynayacağını söyledi. Ancak Hinton tatmin olmadı, yeni bir yol bulmak için çok çalışmak istedi.
Planck bir zamanlar bilimsel gerçek hakkında bir gerçeği söylemişti: "Bilimsel ilerleme bir cenazeden gelir." Hinton, yapay zekanın geleceğinin söylediğim her şeyden derinden şüphe duyan lisansüstü öğrencilere bağlı olduğunu söyledi.
Geri yayımda, sinir ağı içindeki fotoğrafları veya sesleri temsil etmek için etiketler veya ağırlıklar kullanılır. Ağırlıkları katman katman ayarlayarak, sinir ağı nihayet AI görevlerini minimum hatayla gerçekleştirebilir.
Sinir ağları kendi kendilerine nasıl daha akıllı hale gelebilir, başka bir deyişle, "denetimsiz öğrenmeyi" nasıl daha iyi geliştirebiliriz? Hinton'un düşüncesi şudur: "Bunun geri yayılmadan kurtulmak anlamına geldiğinden şüpheleniyorum."
"Beynin böyle çalıştığını sanmıyorum," dedi Hinton ve "Açıkçası tüm verilerin etiketlenmesine ihtiyacımız yok."
Pek çok bilim adamı Hinton'un yukarıdaki sözlerine yanıt verdi.
Google Cloud'un baş bilim adamı Li Feifei, Rolls-Royce motorlarının uçaklar için olduğu kadar geri yayılmanın da önemli olduğunu, ancak kuşlar gibi özgürce uçmamıza izin verecek kadar önemli olmadığını söyledi.
"Hinton ile anlaşarak, hiçbir araç ebedi değildir, hatta geri yayılma veya derin öğrenme bile." Li Feifei, en önemli şeyin temel araştırmaya devam etmek olduğunu söyledi. Bundan önce Li Feifei, sektöre her zaman tüm dikkatini ve kaynaklarını ürünleştirmeye ayırmamasını hatırlattı.Temel araştırmalar devam edemezse, yapay zekanın gelişimi yakında tükenecek.
Tanınmış bilim adamı Gary Marcus derin öğrenmenin yeterli olmadığını, yeniden başlamamız gerektiğini söyledi, Hinton'un sözleri de benim uzun yıllardır benim bakış açım.
Bayes'in babası Turing Ödülü sahibi Judea Pearl'ün şu sözleri birçok kişi aklına gelir: "Çoğu insan bilgisi olasılıksal ilişkiler değil nedensel ilişkiler etrafında düzenlenmiştir" .
kapsül
Geri yayılımdan şüphelenmeden önceki yıllarda, Hinton'un enerjisinin büyük bir kısmı kapsül araştırmalarına adanmıştı.
Aslında, kapsül yapmak ve geri yayılmayı tersine çevirmek istemek neredeyse aynı nedenden ötürü: beyin gibi değil.
Hinton, yaklaşık 3 yıl önce MIT'de verdiği bir konferansta, beyin gibi olmayan bu şeylerin yapay sinir ağının iyi çalışmamasına neden olduğuna inandığını söyledi.
Kapsülün sinir ağı ile beyin arasındaki farklılıkla başa çıkması öneriliyor Aynı zamanda Hinton'un son üç yıldır sözünü ettiği "sinir ağının sorunu": yapıdaki çok az seviye.
Hinton, mevcut sinir ağı yapısı temelinde bir kapsül seviyesinin eklenmesi gerektiğini öne sürdü Ağın her katmanının nöronları bir kapsül oluşturur, dahili hesaplamalar yapar ve ardından sıkıştırılmış bir sonuç verir.
Bu yıl Hinton ve Google Brain meslektaşları Sara Sabour ve Nicholas Frosst kağıtlar üzerinde işbirliği yaptı Kapsüller Arasında Dinamik Yönlendirme Yakında NIPS'de yayınlanacak. Frosst, Google Brain'in bu hafta netizenlerden gelen sorulara verdiği kapsamlı yanıtta, ekibi adına kapsül araştırmalarında bazı ilerlemeler duyurdu:
Kapsül iyi gitti!
Grubumuzda 5 kişi var: Sara Sabour, Nicholas Frosst, Geoffrey Hinton, Eric Langois ve Robert Gens Toronto ofisinde sürekli ilerleme kaydettiler.
Kapsül, bir nöron grubudur ve aktivite vektörü, belirli bir varlık türünün (bir nesne veya bir nesnenin parçası gibi) somutlaştırma parametrelerini temsil eder.
Kısa süre önce bildirilerimizden biri, düşük seviyeli özellikler arasındaki tutarlılığın bir ölçüsü olarak kapsüller arasında dinamik yönlendirme kullanan NIPS spot ışığını kazandı.
Bu mimari, MNIST üzerinde en iyi performansı elde eder ve üst üste binen basamakları belirlemede evrişimli sinir ağlarından önemli ölçüde daha iyidir.
Halen yeni yönlendirme yöntemleri üzerinde çalışıyoruz ve NORB veri setinde iyi sonuçlar elde ettik.Aynı zamanda, giriş uzayında belirli bir grupla eşdeğerliği koruyabilen yeni bir kapsül mimarisi üzerinde çalışıyoruz.
Umarım bu araştırma sonuçları yakında yayınlanacaktır.
NIPS'de yayınlanacak makalenin özeti, kapsüle genel bir giriş sağlar:
Kapsül, aktivite vektörü belirli bir varlık türünün (bir nesne veya bir nesnenin parçası gibi) somutlaştırma parametrelerini temsil eden bir grup nörondur. Etkinlik vektörünün uzunluğunu, varlığın var olma olasılığını ve örnekleme parametresinin yönünü belirtmek için kullanırız. Aktif kapsül, dönüşüm matrisi aracılığıyla bir seviyede daha yüksek seviye kapsülün somutlaştırma parametrelerini tahmin eder. Birden fazla tahmin eşleştiğinde, üst düzey kapsül hareket etmeye başlar.
Bu makale, diferansiyel eğitimli çok katmanlı kapsül sisteminin MNIST üzerinde en gelişmiş performansı elde ettiğini ve etkinin, üst üste binen basamakları belirlemede evrişimli sinir ağlarından önemli ölçüde daha iyi olduğunu göstermektedir.
Bu sonuca ulaşmak için, yinelemeli bir yönlendirme protokol mekanizması kullanıyoruz: daha düşük seviyeli bir kapsül, çıktısını, aktivite vektörlerinin büyük bir skaler ürününe sahip olan ve daha düşük seviyeli kapsülden tahmin eden yüksek seviyeli bir kapsüle göndermeyi umuyor.
OMT
Hinton'ın 40 yıl önceki makalesini görmek ister misiniz? QbitAI WeChat herkese açık hesap (QbitAI) diyalog arayüzünde, " bptr "Dört harf, bu değerli bilgiyi elde edebilirsiniz.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
