Turing Ödülü jürileri, gelecek yıl bu iki yapay zeka öncüsünü değerlendirebilirsiniz.
Lei Feng Network AI Teknolojisi İncelemesi: Dün hiç şüphesiz heyecan verici bir gündü. Derin öğrenme endüstrisindeki üç "dev", bilgisayar endüstrisindeki en büyük ödül olan Turing Ödülü'nü kazandı. Yoshua Bengio, Yann LeCun ve Geoffrey Hinton'a tekrar tebrikler!
Bu yılki ödüllerin nedenleri hakkında konuşurken, Amerikan Bilgisayar Derneği Başkanı Cherri M. Pancake yaptığı açıklamada şunları söyledi: Yapay zekanın gelişimi ve refahı büyük ölçüde Bengio, Hinton ve LeCun'un temellerini attığı derin öğrenmeden kaynaklanıyor. Bu teknolojiler milyarlarca insan tarafından kullanılıyor. Akıllı telefon sahibi olan herkes, 10 yıl önce hayal etmesi zor olan doğal dil işleme ve bilgisayar görüşü alanındaki gelişmeleri artık gerçekten deneyimleyebilir. Düşündüm. "
Ancak ödül haberinin açıklanmasının ardından sosyal medyada başarısız olan miras boncuklardan mağdur olan insanlar da oldu, yapay zeka araştırmasının geliştirilmesinden başka bir şey yapmayan, tanınmış olmasa da böyle bir grup insan olduğuna inandılar. Üç devin katkıları.
Tekrarlayan sinir ağlarının babası-Jürgen Schmidhuber
Jürgen Schmidhuber, İsviçre Yapay Zeka Laboratuvarı'nın (IDSIA) araştırma ve geliştirme direktörüdür.İcat ettiği LSTM (Uzun Kısa Süreli Bellek Ağı) yapay zeka sistemlerinin bellek problemini etkin bir şekilde çözmektedir.
Dün ödüllerin açıklanmasının ardından kendisine pek çok mağdur edilmiş ses geldi, bazıları "derin öğrenme" olmadan tamamlanamayacağını düşündü.
Gözlüklerin üzerindeki ifade derin anlamlarla dolu ...
I.Dünya Savaşı'nda ünlenen LSTM
LSTM'yi anlamak için Recurrent Neural Network (RNN) ile başlamalısınız.
RNN, sıra verilerini işlemek için kullanılan bir sinir ağıdır.Genel sinir ağları ile karşılaştırıldığında, değişken sıralı verileri işlemede daha iyidir (örneğin, bir kelimenin anlamı, yukarıda bahsedilen farklı içerik nedeniyle farklı anlamlara sahip olacaktır. ) Bununla birlikte, teknik kusurları da çok belirgindir, bunlardan biri de gradyanın kaybolmasıdır:
RNN modelinin bazı değerlerde çok küçük bir eğimi (neredeyse 0) vardır. Bu aynı zamanda, kontrol öğrenme oranı aynı kalırsa, parametrelerin aynı kalacağı (hiçbir şey öğrenilemeyeceği) veya büyük ölçüde değişeceği (öğrenme sonucunun tersine döneceği) anlamına gelir.
Bu nedenle, RNN'nin parametre öğrenmede iyi performans göstermesi zordur.
LSTM, RNN'nin yükseltilmiş bir versiyonu olarak anlaşılabilir ve yapısı, gradyan kaybolması sorununu doğal olarak çözebilir. İç kısmı üç aşamaya ayrılabilir:
Aşamayı unut
Bu aşama, esas olarak önceki düğümden gelen girdiyi seçici olarak unutmak içindir. Basitçe söylemek gerekirse, "önemsizi unutun ve önemli olanı hatırlayın."
"Unutma Kapı Katmanı" adı verilen bir Sigmod katmanından oluşur. Ht 1 ve xt girilir ve ardından Ct 1'in her nöron durumunda 0 ile 1 arasında bir sayı çıkarır. "1" "bunu tamamen sakla" anlamına gelir, "0" "bunu tamamen unut" anlamına gelir.
Bellek aşamasını seçin
Bu aşamada, bu aşamanın girdisi seçilerek "hafızaya alınır". Önemli olanı kaydedin ve olmayanı daha az yazın.
İlk olarak, "giriş kapısı katmanı" adlı bir Sigmod katmanı güncellemek istediğimiz değeri belirler. Daha sonra, bir tanh katmanı, nöron durumuna eklenecek olan yeni bir aday değer olan Ct üretir.
Çıkış aşaması
Bu aşama, hangisinin mevcut durumun çıktısı olarak kabul edileceğini belirleyecektir.
İlk olarak, Sigmod katmanını nöron durumunun hangi kısmının çıktı olması gerektiğini belirlemek için kullanırız; sonra nöron durumunun tanh katmanından geçmesine izin veririz (çıktı değerini -1 ile 1 arasında yaparız) ve Sigmod eşiğinin çıktısını çarparak Sadece istediğimizi çıktılar.
Jürgen Schmidhuber, bu tür bir yapay zeka eğitimini, insan beyninin büyük anları uzun vadeli anılara filtrelemesi ve daha sıradan anıları ortadan kaldırmasıyla karşılaştırıyor. "LSTM, önemli şeyleri hafızaya almayı ve önemli olmayanları görmezden gelmeyi öğrenebilir. Günümüz dünyasında, LSTM, en ünlüleri konuşma tanıma ve dil çevirisinin yanı sıra görüntüler olan çok önemli birçok şeyde iyi performans gösterebilir. Altyazılarla orada bir görüntü görebilir ve ardından gördüklerinizi açıklayan kelimeler yazabilirsiniz. "Dedi.
Gerçekte, Jürgen Schmidhuber'in dediği gibi, LSTM, Apple, Google, Microsoft, Facebook veya Amazon'un kendi işletmelerinde LSTM'yi benimsemiş olsalar da, Facebook günde 4,5 milyar çeviriyi tamamlamak için LSTM'yi uyguluyor; Google% 29 Veri merkezinin bilgi işlem gücü LSTM'yi kullanır (CNN yalnızca% 5'tir); LSTM, yaklaşık 1 milyar iPhone'da Siri ve QuickType işlevlerini iyileştirmekle kalmaz, aynı zamanda 2 milyardan fazla Android telefonun ses tanıma özelliğini de destekler; LSTM aynı zamanda Amazon Alexa'dır ve Google'ın konuşma tanıyıcısının özü.
LSTM'nin büyük başarısı, daha sonra birisi mükemmel sonuçlar elde etmek için RNN kullanımından bahsettiğinde, LSTM'yi varsayılan olarak kullanmalarına yol açtı.
Genel yapay zeka rüyası
Ancak, Jürgen Schmidhuber, LSTM'nin başarısından memnun değil ve nihai hedefi AGI (Genel Kullanım için Yapay Zeka).
İki yıl önce Leifeng.com'un AI Technology Review ile yaptığı röportajda Jürgen Schmidhuber, "iş bilişi çok geniş değil, ancak çok önemli bir araştırma" olduğunu açıkça belirtti - makinelerin öğrenme ve daha akıllı olma becerisine sahip olmalarını sağlamak. 1987'deki makalelerinden birinde, Meta Öğrenme (veya Öğrenmeyi Öğrenme) programının yalnızca problemlerin nasıl çözüleceğini değil, aynı zamanda kendi öğrenme algoritmalarını geliştirmeyi de öğrenen ilk özel çalışmasını ayrıntılı olarak anlattı. Yinelemeli kendi kendine öğrenme, sonunda süper yapay zeka haline gelir. Ancak, bu varsayım o zamanki hesaplama yeteneği ile sınırlıydı ve tam olarak doğrulanamadı.
AGI'nin gerçekleştirilebileceğine dair kesin inancının arkasında, "matris benzeri bir bilgisayar simülasyonunda yaşıyoruz" kavramına olan sağlam inancı yatıyor. "Düşündüğüm şey bu, çünkü bu her şeyin en basit açıklaması." Teorisi, insanların en başından itibaren ilerlemeyi takip etmek için kurulduğu ve biz kendimizi değiştirene kadar daha güçlü bilgisayarlar yapmaya devam edeceğidir. Eski hale gelene veya akıllı makinelerle birleşmeye karar verene kadar.
Bu nedenle, Schmidhuber bir keresinde şöyle demişti: "Ya insanlardan gerçekten farklı bir şey olursun ya da nostalji nedeniyle hala bir insan olarak var olursun. Ama büyük bir karar verici olmayacaksın, olmayacaksın Dünyayı şekillendirmede herhangi bir rol oynayın. "
tartışma
Verileri arama sürecinde, Jürgen Schmidhuber'ın "küstahlığının" her yerde olduğunu göreceksiniz.
Gençken, özgeçmiş akademik deneyiminin sütununa "Caltech'in doktora sonrası kabul bildirimini reddet" yazan akademik genç adamdı. 2016 Sinirsel Bilgi İşleme Sistemi Konferansı'nda Ian Goodfellow'un "Generative Adversarial Network" ün 1992 yılında yapılan bir çalışmayı intihal ettiğini anında sorguladı. Daha sonra, Nature dergisinin mesaj panosundaki tüm yapay zeka kodamanlarına saldırdı, onları yapay zekanın tarihini çarpıtmakla ve kendisinin ve diğerlerinin orijinal fikirlerini silmekle suçladı.
Alberta Üniversitesi araştırmacısı Kory Mathewson, Jürgen Schmidhuber ile olan çatışmanın bir tür "potansiyel ritüel" haline geldiğini ve bazı genç yapay zeka araştırmacılarının bir gün bu "tedaviyi" dört gözle beklediğini söyledi. Ancak bazı kıdemli araştırmacılar için Jürgen Schmidhuber sıkıntılı olabilir: Örneğin, genellikle sadece "şikayetçi", "ikiyüzlü", "bencil" ve "teorinin değerini aşırı vurgulayan" olarak görülüyor.
Bu konuda hala kendi görüşlerine bağlı kalıyor. "Birinin önemli bir şey yaptığını gördüğümde ve tanınmadığında, ancak birisi o şeyi önce başka birinin yaptığını söylediğinde, o zaman bu bilgiyi Nature dergisine ilk aktaran benim, Science dergilerindeki veya diğer dergilerdeki insanlar. Zaman bağlamında ilk kimin yaptığını kanıtlayabilirsiniz. Güzelce söyleyin, diğer her şey yeniden yaratmadır ve garip bir şekilde ifade edin, bu intihaldir. "
Bu nedenle birçok kişi, Jürgen Schmidhuber'in Turing Ödülü listesinde yer alamamasının sebebinin bu olduğundan şüpheleniyor.
Destek vektör makinelerinin (SVM) babası -Vladimir Vapnik
Bir diğer popüler ses ise istatistiksel öğrenme teorisini kuran Vladimir Vapnik'tir ve iki ana başarısı vardır:
-
Ünlü istatistiksel öğrenme teorisi Vapnik-Chervonenkis teorisini (VC boyutu) başka bir Sovyet matematikçiyle birlikte yazdı
-
Destek Vektör Makinesi (SVM) algoritması, yukarıdaki teori temelinde geliştirilmiştir.
SVM algoritması
1971'de Vladimir Vapnik ve A. Chervonenkis, makine öğrenme algoritması tarafından seçilen modelin hata oranının iki faktöre bağlı olduğunu gösteren "Olayların göreli frekanslarının olasılıklarına tekdüze yakınsaması üzerine" başlıklı makalede Vapnik-Chervonenkis teorisini önerdiler. Etki sonuçları:
-
Model sınıfı ne kadar büyükse, sınıflandırıcı hata oranının kümelenmesi o kadar kötü olur (genelleme hata oranına yakınsama hızı).
-
Model sınıfı ne kadar büyükse, veriler o kadar iyi uyuyor.
Genel olarak genelleme hata oranına göre
Bu temelde, Vladimir Vapnik ve diğerleri, doğrusal sınıflandırıcılar için başka bir tasarım en iyi kriteri önermiştir. İlke doğrusal ayrılabilirlikle başlar ve daha sonra doğrusal ayrılmaz ve doğrusal olmayan işlevlere kadar uzanır Bu sınıflandırıcıya Destek Vektör Makinesi (SVM) denir. SVM ilk olarak Vladimir N. Vapnik ve Alexey Ya. Chervonenkis tarafından 1963 yılında önerildi. Mevcut versiyon (yumuşak marj) 1993 yılında Corinna Cortes ve Vapnik tarafından önerildi ve 1995'te yayınlandı.
SVM esas olarak doğrusal olarak ayrılabilir durumu analiz eder.Doğrusal olarak ayrılmaz durum için, düşük boyutlu girdi uzayının doğrusal ayrılmaz örneği, doğrusal olarak ayrılabilir hale getirmek için doğrusal olmayan bir haritalama algoritması kullanılarak yüksek boyutlu bir özellik uzayına dönüştürülür, böylece yüksek boyutlu özellik alanı Örneklerin doğrusal olmayan özellikleri üzerinde doğrusal analiz yapmak için doğrusal algoritmalar kullanmak mümkündür.
Bu, genellemeyi uzaydaki veri noktalarının ölçüm hatalarına karşı daha toleranslı hale getirir.Doğrusal olmayan bir uzantı olarak "çekirdek numarası" ile birlikte, destek vektör makinesi algoritması makine öğreniminin önemli bir ayağı haline geldi.
Şu anda, SVM, özellikle birçok mühendislik alanında çeşitli alanlarda yaygın olarak kullanılmaktadır ve metin sınıflandırması, hiper metin (web sayfası sınıflandırması), görüntü tanıma, biyoinformatik (protein) gibi birçok gerçek dünya probleminin arkasındaki anahtar algoritmaları başarıyla çözmüştür. Sınıflandırma, kanser özelliği sınıflandırması), el yazısı tanıma vb. Otomatik sınıflandırma teknolojisindeki en önemli anahtar algoritmalardan biri olduğu söylenebilir.
Bir kez `` bastırılmış '' derin öğrenme
Vapnik ve Cortes 1995'te destek vektör makinesi (SVM) teorisini önerdiğinde, makine öğrenimi alanı iki ana okul-sinir ağlarına ve destek vektör makinelerine bölündü. SVM'nin çekirdek sürümü 2000 yılında önerildikten sonra, sinir ağları bu rekabetin ortasında yavaş yavaş düştü.
Başka bir deyişle, derin öğrenme popüler hale gelmeden önce, destek vektör makineleri şüphesiz ana akımdır. 2002'den 2014'e kadar, NEC Lab'da çalışan Vladimir Vapnik, destek vektör makineleri alanında bugünün derin öğrenmede Geoffrey Hinton ile aynı pozisyonda kaldı.
Alibaba teknoloji başkan yardımcısı Jia Yangqing, destek vektör makineleri ile derin öğrenme arasındaki karışıklık ile ilgili olarak Zhihu'da şunları söyledi:
Bu iki düşman uzun süredir rekabet halindeler.Son zamanlarda sinir ağlarına dayalı derin öğrenme, AlphaGo gibi popüler güncel olaylar nedeniyle sinir ağlarının popülaritesinin eşi görülmemiş bir yüksekliğe ulaşmasına neden oldu. Sonuçta, derin öğrenme gibi çok katmanlı bir gizli katman yapısı, güçlü bir öğrenme yeteneğine sahip bir Pandora'nın kutusu olan bir kara kutu gibidir. Bazı insanlar bunun bizim gerçek sinir ağımız olduğunu düşünebilir. Yüz binlerce nöronun ne yaptığını bilmiyoruz ve böyle bir yapının neden karmaşıklık bilimi gibi bu kadar güzel veriler üretebildiğini anlamıyoruz. En üst düzeyde, alttaki "aptal grubun" neden ortaya çıkabileceğini bilmiyoruz. İkisiyle karşılaştırıldığında, SVM derin öğrenme kadar fanatik görünmüyor. Hatta Hinton bile SVM'nin sığ bir öğrenme (derin öğrenmeden) olduğu konusunda şaka yaptı. Alay).
Aksi takdirde, ben şahsen derin matematiksel teoriye sahip SVM'nin araştırmamıza gizli katmanlara meraklı sinir ağlarından daha değerli olduğunu düşünüyorum. DVM'nin arkasındaki büyük matematiksel teorik temelin, bugün insanlığın büyük matematiksel başarısı olduğu söylenebilir.Bu nedenle, DVM'nin açıklayıcı gücü sinir ağlarıyla karşılaştırılamaz.Matematiksel teorisinin onu rasyonellikle dolu hale getirdiği söylenebilir. nın-nin.
SVM'nin yüksek verimli performansı ve sinir ağlarının daha iyi sonuçlar elde edemediği alanlarda mükemmel performansı.Ayrıca, destek vektör makineleri, dışbükey optimizasyon seçimleri yapmak ve doğru teoriler ve çekirdek modelleri oluşturmak için tüm önceki bilgileri kullanabilir, böylece farklı disiplinlerde kullanılabilir. Büyük bir itici güç oluşturun ve çok verimli teorik ve pratik iyileştirmeler yapın.
Son olarak sizinle sohbet etmek istiyorum, Turing Ödülü adayı sizce başka kimdir?
Referanslar:
1) "Uzun Kısa Süreli Belleği (LSTM) Sinir Ağlarını Anlamak". Yuan Feng
https://zhuanlan.zhihu.com/p/24018768
2) "Neden LSTM kaybolan gradyanlarda RNN'ye kıyasla daha iyi performans gösteriyor? . Liu Tong
https://www.zhihu.com/question/44895610/answer/616818627
3) "O yapay zekanın vaftiz babasıdır, ancak dünya tarafından unutulmak üzere". Joyce Lee. Robot Network
https://www.roboticschina.com/news/2018051811Schmidhuber.html
4) "Vapnik-Chervonenkis Teorisi". Zccg
https://zhuanlan.zhihu.com/p/22457275
5) "SVM nasıl anlaşılır | Bence vektör makinesini destekleyin". Kızarmış balıklarda HATA olamaz
https://www.jianshu.com/p/96e8fad1a2a4#
6) Jia Yangqing'in Zhihu'ya cevabı
https://www.zhihu.com/question/22290096/answer/52642714
Leifeng.com AI Teknoloji İncelemesi Leifeng.com
