LSTM'nin babası Hinton'u bombaladı: "Honda Ödülü" ona verilmemeli, ödül konuşmasında altı yanılgı var
İçbükey tapınaktan Xiaocha Qubit Raporu | Genel Hesap QbitAI
LSTM'nin babası Schmidhuber yine burada ve derin öğrenmede Büyük Üç ile savaşı hiç durmadı.
Bu sefer silahını en saygın Hinton'a yöneltti.
Bütün bunlar altı ay önce bir ödül töreniyle başlıyor.
Geçen yılın Eylül ayında Hinton, Honda Motor'un kurucusu tarafından bilim ve teknolojiye önemli katkılarda bulunanları takdir etmek için kurulan o yılın "Honda Ödülü" nü kazandı. Hinton'un ödülünün nedeni elbette AI alanındaki öncü araştırmasıdır.
Şaşırtıcı olmayan bir şekilde, Schmidhuber itiraz etmek için yeniden ayağa kalktı.
Yarım yıllık hazırlıktan sonra, Schmidhuber, Honda Ödülü'nü Hinton'a vermenin bir hata olduğunu kanıtlamak için yaklaşık 100 referans kullandı.
Schmidhuber, "Bir buluşu yanlış bir şekilde birine atfetmeyi bırakmalıyız." En son o ve GAN'ın babası Goodfellow da tartışmanın konusuydu. Kısacası, her şey LSTM'ye dayanıyor.
Honda Ödülü "Altı Ölümcül Günah" sayılıyor
Schmidhuber, bu uzun makalede yapay zeka alanındaki geri yayılım, denetimsiz algoritmalar, Dropout vb. Gibi bazı önemli teknolojilerin Hinton'un ilkleri olmadığına dikkat çekti.
Honda Ödülünün takdimi abartılı, Hinton'da başkalarının araştırma sonuçlarını sayıyor ve altı ciddi hata var.
BirHinton, AI derin öğrenme yöntemlerinin temelini oluşturan geri yayılım algoritmaları da dahil olmak üzere, AI'yı daha yaygın bir şekilde kullanmak için birçok teknoloji yarattı.
Schmidhuber:
Hinton ve meslektaşları, derin öğrenmeye bazı önemli katkılarda bulundular. Ancak yukarıdaki ifade tamamen yanlıştır.
Geri yayılım makalesinin üç yazarından ikincisi, ancak Paul Werbos'un bu yöntemi 3 yıl önce sinir ağlarını eğitmek için önerdiğinden bahsetmedi.
Ve Hinton'un makalesi, İnternette "otomatik farklılaşmanın ters modu" olarak da adlandırılan ünlü kredi tahsis algoritmasının (1970) mucidi Seppo Linnainmaa'dan bile bahsetmiyordu.
iki2002 yılında, kısıtlı Boltzmann makineleri (RBM) için hızlı bir öğrenme algoritması sunarak, herhangi bir etiketli veri olmadan tek katmanlı dağıtılmış gösterimleri öğrenmelerini sağladı. Bu yöntemler, derin öğrenmenin daha iyi çalışmasını sağlar ve mevcut derin öğrenme devrimini tetiklemiştir.
Schmidhuber:
Hinton'un denetimsiz derin sinir ağı ön eğitiminin mevcut derin öğrenme devrimi ile hiçbir ilgisi yoktur. 2010 yılında ekibimiz ileri beslemeli sinir ağının (FNN) basit geri yayılımla eğitilebileceğini ve önemli uygulamalar için denetimsiz ön eğitime hiç gerek olmadığını gösterdi.
üç2009 yılında Hinton ve iki öğrencisi, çok katmanlı sinir ağlarını kullanarak konuşma tanımada büyük bir atılım yaptı ve bu da konuşma tanımada doğrudan önemli bir gelişmeye yol açtı.
Schmidhuber:
Bu çok yanıltıcıdır. Laboratuvarımda nöral konuşma tanımaya uygulanan iki kağıt var, bunlar LSTM ve CTC.
Ekibimiz 2007 yılında CTC tarafından eğitilen LSTM'yi başarıyla uyguladı. 2015 yılına gelindiğinde, bilgi işlem gücü yeterince ucuz hale geldiğinde, CTC-LSTM Google'ın konuşma tanıma özelliğini büyük ölçüde iyileştirdi ve neredeyse tüm akıllı telefonlar bu özelliği destekliyor.
dört2012'de Hinton ve diğer iki öğrenci, derin öğrenmenin görüntülerdeki nesneleri tanımak için mevcut son teknolojiden çok daha iyi olduğunu ve bilgisayar vizyonunu tamamen değiştirdiğini kanıtladı.
Schmidhuber:
Bilgisayarla görme devrimi, 1970'lerde Fukushima ve LeCun gibi çok sayıda bilim insanı tarafından geliştirilen evrişimli sinir ağlarına dayanır. Hinton ekibinin 2012'de ImageNet'teki başarısı büyük ölçüde GPU hızlandırmalı CNN operasyonlarından kaynaklanıyordu.
İsviçreli ekibimiz 2011 yılının başlarında ilk GPU tabanlı CNN-DanNet'i yarattı ve bu da Honda Ödülü'nü Hinton'dan önce kanıtladı.
IJCNN 2011'de DanNet, yarışmayı kazandı ve uluslararası yarışmalarda insanları geride bırakan ilk görsel tanıma modeli olurken, genellikle Hinton ile işbirliği yapan LeCun ekibi ikinci oldu.
BeşlerHinton ayrıca, özellik dedektörlerinin karmaşık işbirliğini önleyerek sinir ağlarının aşırı uyumunu azaltan, yaygın olarak kullanılan "bırakma" adlı yeni bir yöntem icat etti.
Schmidhuber:
Ancak, "bırakma" aslında Hanson'un daha önceki rastgele Delta kuralının bir varyasyonudur. Hintonun 2012 makalesi bundan alıntı yapmadı.
Ek olarak, 2011'de bilgisayarla görme yarışmalarını kazanmak ve insanları geride bırakan sonuçlar elde etmek için okulu bırakmanın gerekli olmadığını kanıtladık Gerçekten önemli olan tek görev CNN'i GPU'da daha derin ve daha hızlı hale getirmektir.
altı"Dünyadaki sayısız yapay zeka tabanlı teknik servis arasında, Hinton tarafından yaratılan sonuçlar olmadan imkansız olacağını söylemek abartı olmaz."
Schmidhuber:
İyi bilinen AI uygulamalarının çoğu, bilgisayarla görme, konuşma tanıma, dil işleme, el yazısı tanıma, robotik, oyunlar, tıbbi görüntüleme vb. Gibi diğerlerinin sonuçlarıdır.
Bunların arasında 2 ~ 6'nın tümü LSTM'imize bağlıdır. 2016'da, Google'ın veri merkezinin TPU bilgi işlem gücünün dörtte birinden fazlası LSTM'yi işlemek için kullanıldı. LSTM, 20. yüzyılda en çok alıntı yapılan AI makalesi haline geldi.
Son olarak, Schmidhuber, Hinton ve meslektaşlarının sinir ağlarına ve derin öğrenmeye önemli katkılarda bulunduğunu doğruladı.
Ama inanıyor:
Hinton'un en dikkate değer çalışması, başkaları tarafından yaratılan yöntemleri tanıtmaktır ve bu makalede hiçbir kaynak belirtilmemiştir.Önemli bir mucit onu destekleyen kişiyi değil, onu icat eden kişiyi ödüllendirmelidir.
Honda bunu düzeltmeli ve kurumsal halkla ilişkilerin bilimsel gerçekleri çarpıtmasına izin vermemelidir.
Ne yazık ki Hinton seleflerinin önemli çalışmalarına güvenmiyor, bu doktora öğrencileri için bir rol model olmamalı.Araştırma yapmak her ne pahasına olursa olsun intihalden kaçınmalıdır. Bu makale aynı zamanda Hinton ve diğer bazı ödüllerin üstü kapalı bir eleştirisidir.
Netizenler ne düşünüyor
Kısa süre sonra bu uzun makale Reddit'in makine öğrenimi bölümünde hararetli tartışmalara neden oldu ve bu, bir netizenin Schmidhuber için tartıştığı ilk şey değil ve AI dünyasında bir "adet yazısı" haline gelmek üzere.
Bazı netizenler, Schmidhuber'ın kendi kendine konuşmasından bıktı.
Reddit'e en son Schmidhuber'ın görüşlerini tanıtmak için geldiğinin bir trompet olduğunu hissetti.Böyle çok fazla makale var.Benzer konuları tekrar tekrar görmek sıkıcı.Ben tartışmayı kapatmanızı öneririm.
Ayrıca sert "yüzler" bulan netizenler de var:
Örneğin, ResNet ImageNet yarışmasını kazandığında, Schmidhuber çıktı ve ResNet'in HighwayNets'in sadece bir varyantı olduğunu, aslında sadece ileriye dönük bir LSTM olduğunu yazdı. Ayrıca Hochreiter'in kaybolan gradyan problemini ilk olarak 1991'de keşfettiğini söyledi.
Daha sonra, 1988'de Lang ve Witbrock tarafından yayınlanan bir makale çıkarıldı ve bunu keşfetti.
Herkesin düşünceleri var olan şeylerin iyileştirilmesidir. Geri dönmeye devam edersek, sinir ağlarının kaynağı Newton ve Leibniz'e geri dönecek mi?
Bununla birlikte, bazı insanlar Schmidhuber'i anlıyor çünkü LSTM gerçekten de konuşma tanıma görevlerinde yaygın olarak kullanılıyor. Honda Ödülünün övgüsü, girişimini gerçekten kabul edilemez olan Hinton'a bağladı.
Gelecekte Schmidhuber'ın yapay zekanın öncü araştırmalarına ilişkin tartışmasının devam edeceği öngörülebilir, onu destekliyor musunuz?
Referans bağlantısı:
https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojideki en son gelişmeleri alın
