Bu kişi Turing Ödülünü ne zaman alacak?
İçbükey tapınaktan on üç Qubit Raporu | Genel Hesap QbitAI
Jürgen Schmidhuber, Turing Ödülü'ne layık değil mi?
Turing Ödülü "adaylık dönemine" girdi ve uzun yıllardır tartışılan bir konu tekrar atıldı.
LSTM'nin babası Jürgen Schmidhuber, bugün yapay zekanın yeniden canlanması ve gelişmesi için geniş kapsamlı bir öneme sahip. En son makalelerdeki alıntı sayısı bile geri yayımı aştı.
Evet, geçen yıl Turing Ödülü'nü kazanan üç derin öğrenme devinin temel teorik sonuçları - Yoshua Bengio, Geoffrey Hinton ve Yann LeCun.
ACM Başkanı Cherri M.Pancake de şu yorumu yaptı:
Yapay zekanın gelişimi büyük ölçüde bu üç kişinin temellerini attığı derin öğrenmedeki yeni gelişmelerden kaynaklanıyor.
Aslında o zamanlar bazı insanlar LSTM'nin babası Jürgen Schmidhuber neden aynı ödülü almadığını sorguladı.
Turing Ödülü neden verilmedi? Jürgen Schmidhuber, LSTM'nin babası ?
Üç ay sonra, yıllık Turing Ödülü sunum anı yakında başlayacak.
Bugün bu konu yeniden ateşlendi.
Reddit netizenleri, bu yılki Turing Ödülünün Jürgen Schmidhuber'e verilmesinin tavsiye edildiğini bildirdi.
Konu ortaya çıkar çıkmaz netizenler arasında hararetli bir tartışmaya neden oldu.
Bazı insanlar buna katılıyor, ancak diğerleri değersiz hissediyor.
Peki neler oluyor?
Jürgen Schmidhuber Turing Ödülü'nü hak ediyor mu?
teklif görünümüBirçok kişi, Turing Ödül Komitesi'nin geçen yıl Jürgen Schmidhuber'i aday göstermeyerek bir hata yaptığına inanıyor.
Reddit'in "Turing Ödülünü Kazanan Üç Büyükler" hakkındaki en popüler gönderisinde bile en çok yorum yapılan içerik Jürgen ile ilgili. https://www.reddit.com/r/MachineLearning/comments/b63l98/n_hinton_lecun_bengio_receive_acm_turing_award/
Bu nedenle "haksız" netizen onu neşelendirmek için bir şarkı yazdı. LSTM Şarkısı .
Netizenler, 2020 Turing Ödülü'nün onu daha da heyecanlandıracağı sonucuna vardı.
2019'da Turing Ödülü'nü muhtemelen yeterince iyi temasları olmadığı için kazanamadı ve bazı insanlar onun dışarıda olduğunu söyledi. Bazı taban kampanyaları yapmalı ve "toplumun tanınmış üyelerini" onu aday göstermeye çağırmalıyız.
Ayrıca Jürgen'in ödülü hak ettiğine dair birçok "kanıt" da gösterildi.
1. Jürgen Schmidhuber, GAN'ı 1990'da gerçekten yarattı, ancak o zamanlar merak olarak adlandırdı. Bu aslında çok meşhur bir çalışma ve GAN sadece basit bir uygulama. Yoshua'nın Jürgen'in onlarca yıl önce icat ettiği bir teori için Turing Ödülü'nü kazanması saçma ve üzücü.
2. Jürgen Schmidhuber ekibinden DanNet, AlexNet'ten önce 4 görüntü tanıma yarışmasını kazandı ve ayrıca ICDAR 2011 Çince el yazısı, IJCNN 2011 trafik işaretleri, ISBI 2012 beyin segmentasyonu, ICPR 2012 kanser tespiti ve diğer zorlukları kazandı. DanNet'in 2011'in "Süpermen CNN'si" olduğu söylenebilir.
3. Geoff Hinton'un beş ana derin öğrenme makalesi, Jürgen Schmidhuber'in daha önceki benzer çalışmalarına atıfta bulunmadı.
KontrpuanTabii ki, yazının altındaki yorumlarda fikirlere karşı çıkan birçok netizen var.
Gerçekten bir ödülü hak ediyor. Ancak aynı katkı için Turing Ödülü'nü kazanamazsınız.
Bununla ilgili şaka yapan netizenler de var.
Dürüst olmak gerekirse, bu noktada bir Schmidhuber ödülü açmalıyız. Yarı şaka yapıyorum. Bu yaşlı adamın kağıtlarını ve notlarını okuduktan sonra, onun bir vizyoner olduğunu düşünmüyorum.
Hinton, Bengio ve LeCun'un ilk Schmidhuber Ödülü'nü kazandığını hayal edin.
Kendi alanlarında çığır açan katkılarda bulunan, ancak başkaları tarafından asla kazanılmayan veya kaçırılmayanları ödüllendirmek için Schmidhuber Ödülü'nü oluşturun.
"Bu benim öncü işim"
Aslında, Jürgen Schmidhuber'in kendisi biraz mağdur durumda.
Son yıllarda sık sık " Öncü çalışmalarına yeterince saygı gösterilmiyor "Böylesine şiddetli ifadeler dünyanın dikkatini çekti.
Öyleyse, önce LSTM'nin nasıl öncü bir çalışma olduğunu anlatayım.
Şarkıda söylendiği gibi, LSTM Uzun kısa süreli hafıza Kısaltması, insan beyninin hafızasına biraz benzer.
İlk olarak 1997'de yayınlanan özel bir Tekrarlayan Sinir Ağı (RNN) türüdür. Peki özel olan nedir?
Sıradan RNN, mevcut görevde önceden öğrenilen bilgileri kullanabilir; ancak bilgi ne kadar uzaksa, ilişkilendirmek o kadar zor olur. Christopher Colah'ın blogundan bir örnek vermek gerekirse:
Tahmin edin "bulutlar gökyüzü "Son söz" gökyüzü "Bağlamla iletişime geçmeniz gerekmiyorsa;
Tahmin etmek istiyorsan "Ben büyüdüm Fransa Akıcı konuşuyorum Fransızca "iç" Fransızca "sıradan RNN bir dili doldurmayı biliyor, ancak iletişim kurmak kolay değil" Fransa "Bu uzak bilgi.
Ve LSTM bu sorunu çözmek için doğdu. Onunla sıradan RNN arasındaki fark şudur:
Sıradan RNN'nin döngü kısmı, yalnızca h durumunun değişikliğine göre değişen tek bir katmana (tanh) sahiptir, bu nedenle kısa vadeli girdiye duyarlıdır:
LSTM'nin döngü kısmında, uzun vadeli durumu kaydetmek için c durumu eklenir. Sonuç olarak, kısa vadeli durumun uzun vadeli grafik üzerinde ne kadar etkisi olduğunu belirlemek için döngü kısmı 4 katman haline gelir.
Bu şekilde, LSTM daha uzun dizileri öğrenebilir. Akademisyenleri uzun zamandır rahatsız eden bir sorun bu şekilde çözüldü.
1997'de yayınlanan makale Schmidhuber ve öğrencisi Hochreiter tarafından yazılmıştır.
Daha sonra, LSTM birçok taraf tarafından ileri taşındı ve artık makine öğrenimi alanında vazgeçilmez bir yöntem haline geldi.
Ancak bu teknoloji ne kadar önemliyse, Schmidhuber yeterince ilgi görmediğini hissediyor.
Sonuçta, makine öğreniminin Büyük Üçlüsü tüm dünyada uzun zamandır ünlüydü ve adı bu birkaç kişinin yankılanmasından çok daha az.
Evrenin merkezinden uzakta, güney İsviçre, Lugano, Ticino'da bulunan Dal Moore AI Enstitüsü'nün (IDSIA) eş-direktörlüğünü yaptı.
2015 yılında üç dev yapay zekanın 60. yıl dönümünü anmak için ortaklaşa bir makale yazdı. Derin öğrenmeye genel bakış , Nature'da yayınlandı.
Herkes dikkatle okurken, bu makale Schmidhuber'den itiraz aldı:
Dokuz konuyu sıraladı ve Büyük Üç'ün incelemesini seleflerinin başarılarına yeterince saygı göstermediği için eleştirdi.
Örneğin, Alexey Ivakhnenko'dan bahsetmeden, kendisi ve arkadaşları İlk etkili derin öğrenme ağı .
Örneğin, yazın Geri yayılım (BP) O zamanlar, 1960'ların başlarında Bryson ve diğerlerinin kağıtlarını görmezden gelerek yalnızca kendi makalelerine ve birkaç başka makaleye atıfta bulundular. Daha sonra BP, o zamanın sonuçlarına göre gelişti.
Örneğin, Schmidhuber'in kendisinin RNN Yukarıdaki çalışma.
Kısa süre sonra, Büyük Üçlü LeCun Avrupa'daki meslektaşlarına döndü. Ana sebep, daha büyük başarıların fikir verenlere ait olması gerektiğidir. Makine öğrenimine fikirler uygulayın Üzerindeki kişiler:
1986'dan önce, birçok kişi zincir kuralını uzun süre kullanmıştı ve birçok kişi, Jacobian matrisinin çok adımlı işlevde ters olarak çarpılabileceğini de keşfetti.
Ama Gauss, Leibniz, Newton ve Lagrange'ın geri yayılımı icat ettiğini söyleyebilir misiniz?
Yapma! Bu fikri makine öğrenimine uygulamadılar ve fark etmediler.
LeCun, birçok insanın bir makineyi zincir kuralıyla eğitmeyi düşündüğünü, ancak geri yayılımın 1980'lere kadar gerçekten icat edilmediğini söyledi.
Ayrıca şunları söyledi:
Juergen, her şeyin onun kredisi olduğunu ve çoğunun hak ettiği gibi olmadığını söyleyerek çok fazla tanınmak istedi.
Bu, onun her konuşmadan sonra ayağa kalkmasına ve başkalarının kendisininmiş gibi gösterdiği şeyi söylemesine neden olur ve önerdiği yol genellikle kibar değildir.
LSTM'nin babası ve Büyük Üç'ün tam tersi oluşur.
Üç Büyükler birlikte Turing Ödülü'nü kazandığında, kavun yiyen herkes bu ilginç savaşı bir kez daha hatırladı ve bir bina, bir bina inşa etti.
LSTM, 20. yüzyılın yapay zeka makalesinin en çok alıntı yapılan 1 numaralı makalesinin zirvesine ulaştı
Ancak, kısa bir süre önce ilginç bir şey oldu. Klasik, klasik tarafından aşıldı .
20. yüzyıldaki derin öğrenme araştırmalarında, en çok alıntı yapılan makale artık geri yayılım değil.
Ve Hochreiter ve Schmidhuber'in yayınladığı şey buydu LSTM .
Geri yayılım için, birçok ilgili makale olmasına rağmen, bunlar artık LSTM'den daha yüksek değildir:
DE Rumelhart, GE Hinton ve RJ Williams üçlüsünün iki geri yayın raporu olan Google Scholar'ın sonuçlarına göre, yeni tamamlanan 2019 gibi sadece bir yıl sayılırsa, geçen yıl tüm yıl için toplam atıf sayısı yeterlidir. 3085 kez.
Ancak yeni favori LSTM'ye 6750 kez atıfta bulunuldu.
İlkinin iki katından fazla.
İşte sorun geliyor.
LSTM'nin babası Jürgen Schmidhuber'in bu yıl Turing Ödülü'nü kazanmasının beklendiğini düşünüyor musunuz?
Bir şey daha
Jürgen Schmidhuber'in birçok öğrencisi ve torunu var, bunlardan en ünlüsü LSTM ile işbirliği yapan Sepp Hochreiter.
Eskiden Josef Hochreiter olarak bilinen Sepp Hochreiter, Alman bir bilgisayar bilimcisidir. 2006'dan 2018'e kadar Avusturya Linz Üniversitesi Biyoinformatik Enstitüsü'nü ve daha sonra Makine Öğrenimi Enstitüsü'nü yönetti.
2017 yılında, yapay zeka araştırmalarını ilerletmeye adanmış Linz Teknoloji Enstitüsü Yapay Zeka Laboratuvarı'nın başkanı oldu. Daha önce Berlin Teknik Üniversitesi, Colorado Boulder Üniversitesi ve Münih Teknik Üniversitesi'nde çalıştı.
Kendisi ve Jürgen Schmidhuber tarafından tamamlanan LSTM, makine öğreniminde bir kilometre taşı olarak kabul ediliyor.
Portal
Reddit tartışması: https://www.reddit.com/r/MachineLearning/comments/eivtmq/d_nominate_jurgen_schmidhuber_for_the_2020_turing/
https://www.reddit.com/r/MachineLearning/comments/eg8mmn/d_the_1997_lstm_paper_by_hochreiter_schmidhuber/
Referans bağlantısı
Colah'ın blogu:
Wikipedia https://en.wikipedia.org/wiki/Sepp_Hochreiter
