Turing Ödülü jüri üyeleri, gelecek yıl bu iki yapay zeka öncüsünü değerlendirebilirsiniz
AI Technology Review Press: Dün hiç şüphesiz heyecan verici bir gündü. Derin öğrenme endüstrisindeki üç "dev", bilgisayar endüstrisindeki en büyük ödül olan Turing Ödülü'nü kazandı. Yoshua Bengio, Yann LeCun ve Geoffrey Hinton'u tekrar tebrik ediyoruz!
Bu yılki ödüllerin nedenleri hakkında konuşurken, Amerikan Bilgisayar Derneği Başkanı Cherri M. Pancake bir açıklamada şunları söyledi: "Yapay zekanın gelişimi ve refahı büyük ölçüde Bengio, Hinton ve LeCun'un temellerini attığı derin öğrenmeden kaynaklanıyor. Dünyadaki en son gelişmeler. Bu teknolojiler milyarlarca insan tarafından kullanılıyor. Akıllı telefon sahibi olan herkes artık doğal dil işleme ve bilgisayar vizyonunda 10 yıl önce yaşanmaya bile cesaret edemeyen gelişmeleri deneyimleyebilir. Düşündüm. "
Ancak ödül haberinin açıklanmasının ardından sosyal medyada başarısız olan "Miras Boncuklar" ın mağduru olan kişiler de oldu, yapay zeka araştırmalarının geliştirilmesinden başka bir şey yapmadığına inandılar. Üç devin katkıları.
Tekrarlayan sinir ağlarının babası-Jürgen Schmidhuber
Jürgen Schmidhuber, İsviçre Yapay Zeka Laboratuvarı'nın (IDSIA) araştırma ve geliştirme direktörüdür.Onun icat ettiği LSTM (Uzun Kısa Süreli Hafıza Ağı) yapay zeka sistemlerinin hafıza problemini etkin bir şekilde çözmektedir.
Dün ödüllerin açıklanmasının ardından kendisine pek çok mağdur edilmiş ses geldi, bazıları "derin öğrenme" olmadan tamamlanamayacağını düşündü.
Gözlüklerdeki ifade derin anlamlarla dolu ...
Ünlü hale gelen LSTM
LSTM'yi anlamak için, Tekrarlayan Sinir Ağı (RNN) ile başlamalısınız.
RNN, dizi verilerini işlemek için bir sinir ağıdır Genel sinir ağları ile karşılaştırıldığında, verileri değişken dizilerle işlemede daha iyidir (örneğin, bir kelimenin anlamı yukarıda bahsedilen farklı içerik nedeniyle farklı anlamlara sahip olacaktır. ) Bununla birlikte, teknik kusurları da çok belirgindir, bunlardan biri de gradyanın kaybolmasıdır:
RNN modelinin bazı değerlerde çok küçük bir eğimi (neredeyse 0) vardır. Bu aynı zamanda, kontrol öğrenme oranı aynı kalırsa, ya parametrelerin aynı kaldığı (hiçbir şey öğrenemezsiniz) ya da büyük ölçüde değiştikleri (öğrenme sonucunun tersine çevrildiği) anlamına gelir.
Bu nedenle, RNN'nin parametre öğrenmede iyi performans göstermesi zordur.
LSTM, RNN'nin yükseltilmiş bir versiyonu olarak anlaşılabilir ve yapısı doğal olarak gradyan kaybolması sorununu çözebilir. İç kısmı üç aşamaya ayrılabilir:
Aşamayı unut
Bu aşama esas olarak önceki düğümden gelen girdiyi seçici olarak unutmak içindir. Basitçe söylemek gerekirse, "önemsizi unutun ve önemli olanı hatırlayın."
"Unutma Kapı Katmanı" olarak adlandırılan bir Sigmod katmanından oluşur. Ht 1 ve xt girilir ve ardından Ct 1'in her nöron durumunda 0 ile 1 arasında bir sayı çıkarır. "1" "bunu tamamen sakla" anlamına gelir, "0" "bunu tamamen unut" anlamına gelir.
Bellek aşamasını seçin
Bu aşamada, bu aşamanın girdisi seçici olarak "hafızaya alınır". Önemli olanı kaydedin ve olmayanı daha az yazın.
İlk olarak, "giriş kapısı katmanı" adlı bir Sigmod katmanı güncellemek istediğimiz değeri belirler. Daha sonra, bir tanh katmanı, nöron durumuna eklenecek olan yeni bir aday değer olan Ct üretir.
Çıkış aşaması
Bu aşama, hangisinin mevcut durumun çıktısı olarak kabul edileceğini belirleyecektir.
İlk olarak, Sigmod katmanını nöron durumunun hangi kısmının çıktılanması gerektiğini belirlemek için kullanırız; sonra nöron durumunun tanh katmanından geçmesine izin veririz (çıktı değerini -1 ile 1 arasında yaparız) ve Sigmod eşiğinin çıktısını çarparak, Sadece istediğimizi çıkarın.
Jürgen Schmidhuber, bu tür bir yapay zeka eğitimini, insan beyninin büyük anları uzun vadeli anılara filtrelemesi ve daha sıradan anıları ortadan kaldırmasıyla karşılaştırıyor. "LSTM, önemli şeyleri hafızaya almayı ve önemli olmayanları görmezden gelmeyi öğrenebilir. Günümüz dünyasında, LSTM, en ünlüleri konuşma tanıma ve dil çevirisinin yanı sıra görüntüler olan çok önemli birçok şeyde iyi performans gösterebilir. Altyazılarla orada bir görüntü görebilir ve ardından gördüklerinizi açıklayan kelimeler yazabilirsiniz dedi.
Gerçekte, Jürgen Schmidhuber'in dediği gibi, LSTM, Apple, Google, Microsoft, Facebook veya Amazon'un kendi işletmelerinde LSTM'yi benimsemiş olsalar da, LSTM'yi günde 4,5 milyar çeviriyi tamamlamak için kullanıyor; Google% 29 Veri merkezinin bilgi işlem gücü LSTM kullanır (CNN yalnızca% 5'tir); LSTM, yaklaşık 1 milyar iPhone'da Siri ve QuickType işlevlerini iyileştirmekle kalmaz, aynı zamanda 2 milyardan fazla Android telefonun ses tanıma özelliğini de destekler; LSTM aynı zamanda Amazon Alexa'dır ve Google'ın konuşma tanıyıcısının özü.
LSTM'nin büyük başarısı, birisi mükemmel sonuçlar elde etmek için RNN kullanımından bahsettiğinde, varsayılan olarak LSTM'yi tercih edecekleri gerçeğine yol açtı.
Genel yapay zeka rüyası
Ancak Jürgen Schmidhuber, LSTM'nin başarısından memnun değil ve nihai hedefi AGI (Genel Kullanım için Yapay Zeka).
İki yıl önce Leifeng.com AI Technology Review ile yaptığı röportajda Jürgen Schmidhuber, "iş bilişi çok geniş değil, ancak çok önemli bir araştırma" olduğunu açıkça belirtti - makinelerin nasıl öğrenme ve daha akıllı olma becerisine sahip olmasını sağlama. 1987'deki makalelerinden birinde, Meta Öğrenme (veya Öğrenmeyi Öğrenme) programının ilk özel çalışmasını, yani sadece problemlerin nasıl çözüleceğini değil, aynı zamanda kendi öğrenme algoritmalarını geliştirmeyi öğrenmeyi de ayrıntılı olarak anlattı. Yinelemeli kendi kendine öğrenme, sonunda süper yapay zeka haline gelir. Ancak, bu varsayım sınırlıydı ve o zamandaki hesaplama yeteneği tam olarak doğrulanamadı.
AGI'nin gerçekleştirilebileceğine olan kesin inancının arkasında, "bir matris bilgisayar simülasyonunda yaşıyoruz" şeklindeki sağlam inancı yatıyor. "Düşündüğüm şey bu, çünkü bu her şey için en basit açıklama." Teorisine göre, insanlar başlangıçtan itibaren ilerlemeyi sürdürmeye hazırlar ve biz kendimizi değiştirene kadar daha güçlü bilgisayarlar yapmaya devam edecekler. Eski hale gelene veya akıllı makinelerle birleşmeye karar verene kadar.
Bu nedenle, Schmidhuber bir keresinde şöyle demişti: "Ya insanlardan gerçekten farklı bir şeye dönüşürsünüz ya da nostalji nedenleriyle hala bir insan olarak var olursunuz. Ama büyük bir karar verici olmayacaksınız, olmayacaksınız. Dünyayı şekillendirmede herhangi bir rol oynayın. "
tartışma
Verileri arama sürecinde, Jürgen Schmidhuber'ın "küstahlığının" her yerde olduğunu göreceksiniz.
Gençken, özgeçmiş akademik deneyimi sütununa "Caltech'in Doktora Sonrası Kabul Bildiriminin Reddedilmesi" ni yazacak olan akademik genç adamdı. 2016 Sinir Bilgi İşleme Sistemi Konferansı'nda Ian Goodfellow'un "Generative Adversarial Network" ün 1992 yılında yapılan bir çalışmadan intihal edildiğini anında sorguladı. Daha sonra Nature dergisinin mesaj panosundaki tüm AI devlerine saldırarak onları yapay zekanın tarihini çarpıtmakla ve kendisinin ve diğer insanların orijinal fikirlerini silmekle suçladı.
Alberta Üniversitesi'nde araştırmacı olan Kory Mathewson, Jürgen Schmidhuber ile olan çatışmanın bir tür "potansiyel ritüel" haline geldiğini ve bazı genç yapay zeka araştırmacılarının bir gün bu "tedaviyi" dört gözle beklediğini söyledi. Ancak bazı kıdemli araştırmacılar için Jürgen Schmidhuber sıkıntılı olabilir: Örneğin, genellikle sadece "şikayetçi", "ikiyüzlü", "bencil" ve "teorinin değerini aşırı vurgulayan" olarak görülüyor.
Bu konuda hala kendi fikirlerine bağlı kalıyor. "Birinin önemli bir şey yaptığını gördüğümde ve tanınmadığında, ancak birisi o şeyi önce başka birinin yaptığını söylediğinde, o zaman bu bilgiyi Doğa'ya ilk ileten benim, "Bilim" dergilerindeki veya diğer dergilerdeki insanlar. Zaman bağlamında ilk kimin yaptığını kanıtlayabilirsiniz. Güzelce söyleyin, diğer her şey yeniden yaratımdır ve garip bir şekilde ifade edin, bu intihaldir. "
Bu nedenle, birçok kişi Jürgen Schmidhuber'in Turing Ödülü listesinde yer alamamasının sebebinin bu olduğundan şüpheleniyor.
Destek vektör makinelerinin (SVM) babası -Vladimir Vapnik
Diğer bir popüler ses, istatistiksel öğrenme teorisini kuran Vladimir Vapnik'tir. Ana başarıları iki yönlüdür:
-
Ünlü istatistiksel öğrenme teorisi Vapnik-Chervonenkis teorisini (VC boyutu) başka bir Sovyet matematikçiyle birlikte yazdı
-
Yukarıdaki teoriye dayanarak, bir Destek Vektör Makinesi (SVM) algoritması geliştirildi
SVM algoritması
1971'de Vladimir Vapnik ve A. Chervonenkis, makine öğrenme algoritması tarafından seçilen modelin hata oranının iki faktöre bağlı olduğunu gösteren "Olayların göreli frekanslarının olasılıklarına tekdüze yakınsaması üzerine" başlıklı makalede Vapnik-Chervonenkis teorisini önerdiler. Etki sonuçları:
-
Model sınıfı ne kadar büyükse, sınıflandırıcı hata oranının kümelenmesi o kadar kötü olur (genelleme hata oranına yakınsama hızı).
-
Model sınıfı ne kadar büyükse, veriler o kadar iyi uyuyor.
Genel olarak genelleme hata oranına göre < = Ampirik hata oranı + genelleme sınırı, genelleme hata oranını en aza indirmek için modelin karmaşıklığını tartmalıyız.
Bu temelde, Vladimir Vapnik ve diğerleri, doğrusal sınıflandırıcılar için başka bir tasarım en iyi kriteri önermiştir. İlke doğrusal ayrılabilirlikle başlar ve daha sonra doğrusal, ayrılmaz ve doğrusal olmayan işlevlere kadar uzanır Bu sınıflandırıcıya Destek Vektör Makinesi (SVM) denir. SVM ilk olarak Vladimir N. Vapnik ve Alexey Ya. Chervonenkis tarafından 1963 yılında önerildi. Mevcut versiyon (yumuşak marj) 1993 yılında Corinna Cortes ve Vapnik tarafından önerildi ve 1995'te yayınlandı.
SVM esas olarak doğrusal olarak ayrılabilir durumu analiz eder.Doğrusal olarak ayrılmaz durum için, doğrusal olmayan haritalama algoritması, düşük boyutlu girdi uzayının doğrusal olarak ayrılmaz örneklerini doğrusal olarak ayrılabilir hale getirmek ve böylece yüksek boyutlu özellik uzayını yapmak için yüksek boyutlu bir özellik uzayına dönüştürmek için kullanılır. Numunelerin doğrusal olmayan özellikleri üzerinde doğrusal analiz yapmak için doğrusal algoritmalar kullanmak mümkündür.
Bu, genellemenin uzaydaki veri noktalarının ölçüm hatalarına karşı daha büyük toleransa sahip olmasını sağlar.Doğrusal olmayan bir uzantı olarak "çekirdek numarası" ile birleştirildiğinde, destek vektör makinesi algoritması makine öğreniminin önemli bir ayağı haline geldi.
Şu anda, SVM, özellikle birçok mühendislik alanında çeşitli alanlarda yaygın olarak kullanılmaktadır ve metin sınıflandırması, hiper metin (web sayfası sınıflandırması), görüntü tanıma, biyoinformatik (protein) gibi birçok gerçek dünya probleminin arkasındaki anahtar algoritmaları başarıyla çözmüştür. Sınıflandırma, kanser özelliği sınıflandırması), el yazısı tanıma vb. Otomatik sınıflandırma teknolojisindeki en önemli anahtar algoritmalardan biri olduğu söylenebilir.
Bir kez `` bastırılmış '' derin öğrenme
Vapnik ve Cortes 1995 yılında destek vektör makinesi (SVM) teorisini önerdiğinde, makine öğrenimi alanı iki ana okul-sinir ağlarına ve destek vektör makinelerine bölündü. SVM'nin çekirdek sürümü 2000 yılında önerildikten sonra, sinir ağları bu rekabette yavaş yavaş dezavantajlı duruma düştü.
Diğer bir deyişle, derin öğrenme popüler hale gelmeden önce, destek vektör makineleri şüphesiz ana akımdır. 2002'den 2014'e kadar, NEC Lab'da çalışan Vladimir Vapnik, destek vektör makineleri alanında bugünün derin öğrenmede Geoffrey Hinton ile aynı pozisyonda kaldı.
Alibaba teknoloji başkan yardımcısı Jia Yangqing, destek vektör makineleri ile derin öğrenme arasındaki karışıklık ile ilgili olarak Zhihu'da şunları söyledi:
Bu iki düşman uzun süredir rekabet halindeydiler.Son zamanlarda, sinir ağı tabanlı derin öğrenme, AlphaGo gibi popüler güncel olaylar nedeniyle benzeri görülmemiş bir popülerliğe ulaştı. Sonuçta, derin öğrenme gibi çok katmanlı gizli katman yapısı, güçlü bir öğrenme yeteneğine sahip bir Pandora'nın kutusu olan bir kara kutu gibidir. Bazı insanlar bunun bizim gerçek sinir ağımız olduğunu düşünebilir. Yüz binlerce nöronun ne yaptığını bilmiyoruz ve böyle bir yapının neden karmaşıklık bilimi gibi bu kadar güzel veriler üretebildiğini anlamıyoruz. En üstte, düşük seviyeli "Aptal Gruplar" ın neden ortaya çıkabileceğini bilmiyoruz. İkisini karşılaştırdığımızda, SVM derin öğrenme kadar fanatik görünmüyor. Hatta Hinton bile SVM'nin sığ bir öğrenme (derin öğrenmeden) olduğu konusunda şaka yaptı. Alay).
Aksi takdirde, kişisel olarak, derin matematiksel kurama sahip SVM'nin araştırmamıza gizli katmanlara meraklı sinir ağlarından daha değerli olduğunu düşünüyorum. DVM'nin arkasındaki büyük matematiksel teorik temelin, bugün insanlığın büyük matematiksel başarısı olduğu söylenebilir.Bu nedenle, DVM'nin açıklayıcı doğası sinir ağlarıyla karşılaştırılamaz.Matematiksel teorisinin onu rasyonellikle dolu kıldığı söylenebilir. nın-nin.
SVM'nin yüksek verimli performansı ve sinir ağlarının daha iyi sonuçlar elde edemediği alanlarda mükemmel performansı.Ayrıca, destek vektör makineleri tüm önceki bilgileri dışbükey optimizasyon seçimleri yapmak ve doğru teoriler ve çekirdek modelleri oluşturmak için kullanabilir.Bu nedenle farklı disiplinlerde kullanılabilir. Büyük bir itici güç oluşturun ve çok verimli teorik ve pratik iyileştirmeler yapın.
Son olarak sizinle konuşmak istiyorum, aklınızdaki Turing Ödülü adayı başka kim?
Referanslar:
1) "Uzun Kısa Süreli Belleği (LSTM) Sinir Ağlarını Anlamak". Yuan Feng
https://zhuanlan.zhihu.com/p/24018768
2) "LSTM, kaybolan gradyanlarda RNN'ye kıyasla neden daha iyi performans gösteriyor? . Liu Tong
https://www.zhihu.com/question/44895610/answer/616818627
3) "O yapay zekanın vaftiz babasıdır, ancak dünya tarafından unutulmak üzere". Joyce Lee. Robot Network
https://www.roboticschina.com/news/2018051811Schmidhuber.html
4) "Vapnik-Chervonenkis Teorisi". Zccg
https://zhuanlan.zhihu.com/p/22457275
5) "SVM nasıl anlaşılır | Bence vektör makinesini destekleyin". Kızarmış balıklarda böcek olamaz
https://www.jianshu.com/p/96e8fad1a2a4#
6) Jia Yangqing'in Zhihu'ya cevabı
https://www.zhihu.com/question/22290096/answer/52642714
Tıklamak Orijinali okuyun , Görünüm Turing Ödülü kazanan John Hennessy ve David Patterson ile röportaj: Gelecekte, ilkokul öğrencileri makine öğrenimi yapabilirler
