Derin Öğrenme Evrimi Chronicle (1943-2016)
Annie Import.io resmi blogundan derlendi
Qubit Production | Genel Hesap QbitAI
Bu makalenin yazarı, görsel bir web kazıma web sitesi olan Import.io'nun kurucu ortağı Andrew Fogg'dur. Bu makale yapay zeka, makine öğrenimi ve derin öğrenme arasındaki ilişkiyi açıklığa kavuşturuyor ve ardından derin öğrenmenin gelişiminin tarihini anlatıyor ve sizi derin öğrenmeye giriş yapıyor.
"Derin öğrenme" yi duyduğunuzda, devasa bir derin sinir ağını hayal edebilirsiniz. "Derinlik" katman sayısını ifade eder ve medya genellikle bu terimi kullanır.
-Jeff Dean
Üç kelime yapay zeka, makine öğrenimi ve derin öğrenme genellikle birbiriyle değiştirilir, ancak farklı anlamları vardır. Üçü arasındaki ilişkiyi özetlemek için bir resim kullanıyoruz.
Yapay zeka, makine öğrenimi ve derin öğrenme arasındaki ilişki
Yapay zekanın tanımı oldukça tartışmalı Bunu söylemenin bir yolu "insan düşüncesine benzeyen bilgisayar programları." Uygulama aralığının büyüklüğüne göre genel amaçlı ve uygulamalı (dar uygulama aralığı) yapay zeka olarak ikiye ayırıyoruz.
Google Trendler verileri, 2015'ten beri "makine öğreniminin" yapay zekanın kendisinden daha popüler hale geldiğini gösteriyor. Makine öğrenimi, açık prosedürler sağlamadan görevleri tamamlamak için makinelerin kendi kendine öğrenmesini ifade eder. Karar ağaçları, kümeleme, pekiştirmeli öğrenme veya Bayes ağları gibi algoritmalar, girdi programını anlamasına yardımcı olur.
Eylül 2015'te, Google aramada makine öğreniminin popülaritesi yapay zekayı geçti
Derin öğrenme, yapay sinir ağları (YSA) temelinde geliştirilen bir temsil öğrenme yöntemidir. Çok katmanlı bir temsil öğrenme yapısı oluşturur ve daha yüksek düzeyde ve soyut bir temsil elde etmek için orijinal verilerdeki basit özellikleri birleştirir.
Derin öğrenme trend tablosu
Bu, şu anda yapay zeka alanındaki en heyecan verici gelişme. Gelişim yörüngesine bir göz atalım.
1943: Sinir ağının ilk matematiksel modeli doğdu
Organizatörler: Walter Pitts ve Warren McCulloch
Açıkçası, makineler ve derin öğrenme problemini çözmek için önce insan beyninin sinir ağını anlamamız gerekiyor.
1943'te, mantıkçı Walter Pitts ve sinirbilimci McCulloch, bir sinir ağının matematiksel modelini oluşturarak gizemi çözdüler. İnsanın düşünme etkinliklerini taklit etmek için matematiği ve algoritmaları birleştirmeyi öneren "Sinirsel Aktivitelerde İçsel Düşünmenin Mantıksal İşlemleri" kitabının ortak yazarlığını yaptılar.
E-kitap adresi (İngilizce):
https://dl.acm.org/citation.cfm?id=104377
Modellerine McCulloch-Pitts nöronu (M-P nöronu) denir ve bu hala standart modeldir.
1950: Makine öğrenimi tahminleri
Organizatör: Alan Turing
Turing, II.Dünya Savaşı'nda Alman Enigma kodunu kırmasıyla ünlü bir İngiliz matematikçiydi, ancak başarıları burada bitmedi.
1947'de makine öğreniminin gelişme eğilimini tahmin etti. Bu eğilim, 70 yıl sonra bugünün görüşüne göre de oldukça öğretici.
Turing
1950'de Turing, makinelerin "Bilgisayar Makineleri ve Zeka" adlı tezinde insanları taklit ettiği ve makinenin meşhur Turing testi olan "düşünecek" olup olmadığına karar vereceği bir oyun tasarladı.
Kağıt adresi (İngilizce):
Turing testi, bilgisayarın bir insanla 5 dakika boyunca metin aracılığıyla sohbet etmesine izin verir.İnsan, rakibin makine mi yoksa insan mı olduğunu belirleyemezse, test başarılı olur. Bu basit testin makine öğrenimi tarihindeki önemli bir nokta olduğunu söylemeliyim.
Bu testin geçerliliği hala tartışmalı olsa da, 60 yılı aşkın süredir araştırmacıların hedefi olmuştur.
1957: Algılayıcı sinir ağı modeli çıktı
Düzenleyen: Frank Rosenblatt
1957'de psikolog Rosenblatt, Cornell Havacılık Laboratuvarı'na "Algılayıcılar: Algılama ve Tanıma Otomatı" başlıklı bir makale sundu.
Frank Rosenblatt
Kağıt adresi (İngilizce):
https://blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdf
Bu yazıda Rosenblatt, Perceptron kavramını önerdi. Bu, sinir ağlarını algoritmalarla doğru bir şekilde tanımlayan ilk matematiksel modeldir ve daha sonra birçok sinir ağı modelinin atasıdır.
Farklı modeller arasındaki benzerlikleri tanımayı öğrenmek için elektronik veya elektromekanik bir sistem kuracağını, bunun bir dereceye kadar biyolojik bir beynin algılama sürecine çok benzediğini açıkladı.
1959: Basit hücrelerin ve karmaşık hücrelerin keşfi
Organizatörler: David H. Hubel ve Torsten Wiesel
1959'da Nobel Fizyoloji veya Tıp Ödülü sahibi David H. Hubel, Torsten N. Wiesel ile birincil görsel kortekste iki tür hücre keşfetmek için işbirliği yaptı: basit hücreler ve karmaşık hücreler.
Bu çalışma, görsel sistemin görsel kortekste nasıl basit görsel özellikler sunduğunu göstermektedir. Bu araştırma, derin öğrenmenin dönüm noktası niteliğindeki bir başarısı değildir, ancak bu alandaki sonraki araştırmalar üzerinde büyük bir etkiye sahiptir.
1960: Önerilen sibernetik
Organizatör: Henry J. Kelley
Kelley aslen Virginia Tech'de havacılık ve deniz mühendisliği profesörüydü ve 1960 yılında "Optimal Uçuş Yolu Eğim Teorisi" adlı makaleyi yayınladı.
Kağıt adresi (İngilizce):
https://arc.aiaa.org/doi/10.2514/8.5282
Ortaya koyduğu kontrol teorilerinin çoğu, girdi sisteminin davranışı, geri bildirimle düzeltme süreci ve diğer sorunlar gibi doğrudan YZ ve YSA'ya uygulanmıştır. Sinir ağlarının sürekli geri yayılım modelini (yani yanlış geri yayılımı) eğitmek için temel oluştururlar.
1965: İlk etkili derin öğrenme ağı doğdu
Organizatörler: Alexey Ivakhnenko ve V.G. Lapa
Matematikçiler Ivakhnenko ve Lapa ve diğer meslektaşları, 1965'te ilk etkili derin öğrenme ağını yarattılar. Bu, denetimli ileri beslemeli çok katmanlı algılama için genel ve uygulanabilir bir öğrenme algoritmasıdır, teori ve fikirleri ilk kez uygulamaya uygular.
Ivakhnenko, Grup Veri İşleme Yönteminin (GMDH) çekirdek teknolojisini önerdi: Bu, parametreleri otomatik olarak modelleyip optimize edebilen bilgisayar matematik modellerine dayalı çok parametreli veri kümeleri için bir indüksiyon algoritmasıdır. Bu teknik sinir ağlarına uygulanabilir.
GMDH resmi tanıtımı (İngilizce):
Bu nedenle, birçok insan Ivakhnenko'nun modern derin öğrenmenin babası olduğuna inanıyor.
Alexey Ivakhnenko
Algoritması, en iyi özellikleri bulmak ve bunları sisteme aktarmak için derin ileri beslemeli çok katmanlı algılayıcılar, katman katman istatistik kullanır.
Ivakhnenko, 1971 yılında, o zamanki hesaplama koşullarının kısıtlamaları altında 8 katmanlı derin bir ağ oluşturmuş ve bilgisayar tanıma sistemi Alpha'nın öğrenme sürecini başarıyla göstermiştir.
1970-80: YSA görsel kalıpları tanımayı öğrenir
Düzenleyen: Kunihiko Fukushima
Japon Kunihiko Fukushima, 1980'de "Neocognitron" kavramını ortaya attı.
Yeni bilişsel makineye giriş (İngilizce):
Bu, görsel kalıpları nasıl tanıyacağını öğrenen yapay bir sinir ağıdır. Şu anda bu teknoloji, el yazısı karakter ve diğer örüntü tanıma, öneri sistemleri ve hatta doğal dil işleme gibi görevlere uygulanmıştır.
1982: Hopfield ağını oluşturdu
Organizatör: John Hopfield
1982'de Hopfield, kendi adını taşıyan bu sistemi yarattı ve tanıttı.
Hopfield ağı, bir tür döngüsel sinir ağı ve kapsamlı bir depolama sistemidir. 21. yüzyılda bile, hala popüler bir derin öğrenme uygulama aracıdır.
Hopfiled nedir? İşte İngilizce bir giriş:
1985: Program İngilizce kelimeleri okuyabilir
Organizatör: Terry Sejnowski
1985 yılında, hesaplamalı sinirbilimci Terry Sejnowski, insan öğrenme sürecini anlayarak NETtalk'ı yarattı.
Yazarın kendi NETtalk hakkındaki konuşmasını dinlemek isteyebilirsiniz:
Bu programla İngilizce kelimeleri öğrenme yöntemi, çocuklarınkinden farklı değildir ve program metninden konuşmaya kalitesi de zamanla gelişmiştir.
1986: Geliştirilmiş şekil tanıma ve kelime tahmini
Organizatörler: David Rumelhart, Geoffrey Hinton ve Ronald J. Williams
1986'da Rumelhart, Hinton ve Williams, şimdi BP algoritması olarak adlandırılan Hata Geri Yayım Algoritmasını önerdi. Bu algoritma, şekil tanıma ve kelime bilgisi tahmini gibi görevlerde hala kullanılmaktadır.
Kağıt bağlantısı (İngilizce):
https://www.researchgate.net/publication/229091480_Learning_Representations_by_Back_Propagating_Errors
Hinton, "derin öğrenmenin babası" olarak tanınmaktadır. Sinir ağlarına yaptığı diğer katkılar arasında merkezi olmayan temsil, gecikmiş sinir ağları, uzman hibrit sistemler ve Helmholtz makineleri bulunmaktadır. Hinton şu anda Toronto Üniversitesi ve Google'da çalışıyor.
1989: Makine okuma el yazısıyla yazılmış sayılar
Organizatör: Yann LeCun
LeCun, derin öğrenme alanında bir başka "rock yıldızı". Optik karakter tanıma ve bilgisayarla görmede evrişimli sinir ağlarının (CNN) nasıl kullanılacağını keşfetti, bu yüzden ona evrişimli ağların babası deniyor.
1989'da, el yazısıyla yazılmış sayıları "okuyabilen" bir öğrenme yöntemi oluşturmak için evrişimli sinir ağlarını ve geri yayılım teorisini birleştirdi.
1989: Q-learning doğdu
Organizatör: Christopher Watkins
Watkins, takviye öğrenmenin pratikliğini ve fizibilitesini geliştiren 1989'da yayınlanan doktora tezi "Gecikmeli Ödüllü Öğrenme" de Q-öğrenme kavramını ortaya koydu.
Kağıt adresi (İngilizce):
Bu yeni algoritma, Markov karar sürecinin geçiş olasılığını veya beklenen getirisini modellemeye gerek kalmadan optimum kontrolün doğrudan öğrenilebileceğini göstermektedir.
1993: "Çok derin öğrenme" görevini çözdü
Düzenleyen: Jürgen Schmidhuber
Alman bilgisayar bilimcisi Schmidhuber, 1993 yılında "çok derin öğrenme" görevini çözerek tekrarlayan bir sinir ağında 1.000 katmana izin verdi.
Bu, sinir ağlarının karmaşık problemlerle başa çıkma becerisinde büyük bir adımdır.
1995: Destek Vektör Makinesi
Organizatörler: Corinna Cortes ve Vladimir Vapnik
Destek vektör makineleri (SVM), 1960'larda piyasaya sürüldüklerinden beri onlarca yıldır geliştirilmiştir.
SVM İngilizce tanıtımı:
Mevcut standart model 1993 yılında Corinna Cortes ve Vladimir tarafından tasarlanmış ve 1995 yılında önerilmiştir.
Basit bir ifadeyle, SVM, metin sınıflandırması, el yazısı karakter tanıma ve görüntü sınıflandırması için kullanılabilen benzer verileri tanımlamak ve haritalamak için bir sistemdir.
1997: Önerilen LSTM
Organizatörler: Jürgen Schmidhuber ve Sepp Hochreiter
Yirmi yıl önce, Schmidhuber ve Hochreiter, Long Short Temporal Memory (LSTM) adı verilen tekrarlayan bir sinir ağı çerçevesi önerdi.
LSTM klasik modeli
Belki bu bilgiye ihtiyacınız var (İngilizce):
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
LSTM, uzun vadeli bağımlılık sorununu çözer ve tekrarlayan sinir ağlarının verimliliğini ve pratikliğini geliştirir, bu da bilgiyi daha uzun bir süre "hatırlayabileceği" anlamına gelir.
Zamanla, LSTM ağları derin öğrenme çevrelerinde yaygın olarak kullanılmıştır. Son zamanlarda Google bunu Android akıllı telefonların ses tanıma yazılımına da uyguladı.
1998: Önerilen gradyan tabanlı öğrenme
Organizatör: Yann LeCun
1998'de Yann LeCun, LeCun'un derin öğrenme alanındaki ilerlemesini gösteren ufuk açıcı bir makale olan "Gradyan Öğrenmeye Dayalı Belge Tanıma Yöntemi" ni yayınladı.
Kağıt adresi:
Stokastik gradyan iniş algoritması (gradyan tabanlı öğrenme olarak da adlandırılır) ve geri yayılma algoritmasının kombinasyonu, yaygın olarak kullanılan bir derin öğrenme yöntemidir.
2009: ImageNet kuruldu
Pervane: Li Feifei
2009 yılında Stanford Üniversitesi Yapay Zeka Laboratuvarı (SAIL) başkanı Li Feifei, şu anda dünyanın en büyük görüntü tanıma veritabanı olan ImageNet'i başlattı.
ImageNet resmi web sitesi:
Bu, 14 milyondan fazla görüntüyü kapsayan ve araştırmacılar, eğitimciler ve öğrenciler için etiketli görüntüler sağlayan ücretsiz bir görüntü veritabanıdır.
Bu resimler etiketlenir ve İngilizce kelime veritabanı Wordnet aracılığıyla yönetilir.
2011: AlexNet çıkıyor
Organizatör: Alex Krizhevsky
AlexNet, 2012 ImageNet yarışmasının galibi Alex Krizhevsky tarafından tasarlandı ve bir tür evrişimli sinir ağıdır.
AlexNet, LeNet5'i geliştirdi (daha önce Yann LeCun tarafından oluşturuldu). Başlangıçta, 5 evrişimli katman ve 3 tamamen bağlı katman dahil olmak üzere yalnızca 8 katmana sahipti ve doğrusal birimi değiştirerek hızı ve bırakmayı iyileştirdi.
AlexNet'in keşfinden bu yana, giderek daha derin sinir ağları da ortaya çıktı ve hatta sonraki CNN ve hatta R-CNN ve diğer ağlar için tonu belirledi.
2012: Kediler üzerinde deneyler
"Kedi deneyi" mi?
Kalbinize bir soru işareti çizmiş olmalısınız. Bu kulağa hoş geliyor ve önemli görünmüyor, ancak gerçekten derin öğrenme için ileriye doğru büyük bir adım.
Deney tanıtımı (İngilizce):
Deneysel ekip, YouTube videolarının 10 milyon işaretsiz ekran görüntüsünü sisteme yüklemek ve çalıştırmak için binlerce bilgisayarda bir sinir ağı kullandı.
Bu denetimsiz öğrenme tamamlandığında, program kedileri nasıl tanımlayacağını ve tanıyacağını kendi kendine öğrenmiştir ve doğruluk oranı yaklaşık% 70'tir, bu diğer tanıma programlarından çok daha iyidir.
Ama aynı zamanda mükemmel de değil. Bu ağ, temsil edilen nesnelerin yalnızca yaklaşık% 15'ini tanımlayabilir. Diğer bir deyişle, gerçek zekadan yalnızca küçük bir adımdır.
2014: DeepFace doğdu
Organizatör: Facebook ekibi
Facebook ekibi ilk olarak 2014 yılında, sinir ağları aracılığıyla yüz tanıma doğruluğunu% 97,35'e yükselten DeepFace çalışmasını duyurdu. Bu, öncekinden% 27 daha yüksek bir doğruluk oranıyla büyük bir atılımdır.
Yüz tanıma artık her yerde. Aşağıdaki resim Google Resimler'de kullanılan benzer bir programı göstermektedir.
2014: Generative Adversarial Networks (GAN) Keşfi
Organizatör: Ian Goodfellow
Ian Goodfellow ve Montreal Üniversitesi'nden diğerleri, iki yıl önce GAN kavramını ortaya koyduğundan beri, GAN bir gelişme hamlesi gösterdi. Yann LeCun da GAN'ı çok seviyor
Yann LeCun, "Derin öğrenme, son zamanlarda pek çok ilginç gelişmeye sahne oldu. Bence en ilginç olanı üretken karşıt ağlar. GAN ve varyantları, son on yılda makine öğrenimi alanındaki en ilginç fikirler." Dedi.
Üretken bir yüzleşme ağı nedir?
Bak, konu GAN olduğunda, Daniel bile ilginç buluyor.
Basitçe söylemek gerekirse, GAN iki rakip ağı ifade eder: üretici ağ ve ayırt edici ağ. Üretken ağ, örnekleri almaktan ve sahte ve doğru olabilecek örnekler oluşturmaya çalışmaktan sorumluyken, ayırt edici modelin her veri noktasının gerçek mi yoksa üretilmiş mi olduğunu belirlemesi gerekir.
Qubit bir zamanlar GAN'ın doğum tarihini tanıttı:
2016: Çeşitli güçlü makine öğrenimi ürünleri
2016, yapay zekanın ilk yılı olarak adlandırılıyor. Bu yıl AlphaGo ve Lee Sedol arasında sadece Go oyunu gibi büyük etkinlikler değil, makine ve derin öğrenmeye dayalı birçok ürün ve çözüm de yaşandı.
Cray (Cray Company), Microsoft'un sinir ağı yazılımını XC50 süper bilgisayarında ve birkaç saat içinde yalnızca son birkaç günde tamamlanabilen derin öğrenme görevlerini işleyebilen yaklaşık bin NVIDIA Tesla P100 GPU'da kullanıyor.
sonuç olarak
Geçtiğimiz 60 yılda, insanlar AI, ML ve DL alanlarında büyük atılımlar yaptı. Bu gelişmeleri kaba bir zaman çizelgesine göre düzenleyebiliriz.
1960: Sığ sinir ağı
196070: geri yayılmanın ortaya çıkışı
1974-80: ilk yapay kış geliyor
1980: Evrişim kavramı ortaya çıktı
1987-93: İkinci yapay kış yeniden geliyor
1990: Denetimsiz öğrenim çıktı
1990-2000: Denetimli derin öğrenme modaya geri döndü
2006'dan günümüze modern derin öğrenme
Artık derin öğrenme, yanlışlıkla hayatımızda görünecek - Google'ın ses ve görüntü tanıma, Netflix ve Amazon'un öneri motoru, Appleın Siri'si, e-postalara ve kısa mesajlara otomatik yanıtlar ve akıllı sohbet. robot
Derin öğrenmenin bir sonraki gelişimi hala belirsizdir. Böylesine karmaşık bir çalışma için, geliştirme zaman çizelgesi hakkında yorum yapamayız.
Kesin olan tek şey geleceğin ilginç olmasıdır.
Bitiş
Bir uyarı
Beş grup kübit okuyucu başvuruya açıktır.Yapay zeka ile ilgilenen arkadaşlar, kübit asistanının WeChat qbitbot2'sini ekleyebilir, gruba katılmak için başvurabilir ve birlikte yapay zeka tartışabilir.
Ek olarak, qubit ustalarının bir araya getirdiği otonom sürüş teknolojisi grubu, Yalnızca otonom sürüşle ilgili alanlarda çalışan öğrenciler veya birinci sınıf mühendisler kabul edilir . Uygulama yöntemi: qbitbot2'yi arkadaş olarak ekleyin, not " Otopilot "Katılmak için başvurun ~
İşe Alım
Qubit'ler işe alıyor Reporter'ı Düzenle Pozisyonları bekliyorum, Pekin, Zhongguancun'da çalışıyor. İlgili ayrıntılar için lütfen şu yanıtı verin: resmi hesabın diyalog arayüzünde "İşe Alım".
