Yapay zeka gelişimi bilgi işlem gücünden mi geliyor? Zhou Zhihua: Katılmıyorum; Chen Yiran "pastayı bölmek" için güldü
Xinzhiyuan önerilir
Son zamanlarda derin öğrenme hakkında çok fazla tartışma oldu. NIPS "Test of Time Award" makalesinin yazarları Ali ve LeCun yola çıktı Derin öğrenme simya savaşı Dünya çapında kapsamlı tartışmaları tetikledi. Yurtiçinde Nanjing Üniversitesi'nden Profesör Zhou Zhihua ve Çin Bilimler Akademisi Bilgisayar Teknolojisi Enstitüsü'nden Bao Yungang, derin öğrenmenin ilerlemesinde algoritmaların ve hesaplama gücünün katkıları hakkında derinlemesine tartışmalar yürüttü.
Özellikle ikincisi için, Bay Zhou Zhihua, yapay zekanın ilerlemesinin bilgi işlem yeteneği tarafından sağlandığını düşünmenin kesinlikle yanlış olduğuna işaret etti! Bay Zhou, IBM Deep Blue ile AlphaGo'yu karşılaştırdı. Deep Blue'nun satranç oynamak için saniyede 600 milyon pozisyonu değerlendirmesi gerekirken, AlphaGo'nun daha karmaşık Go karşısında saniyede sadece 20.000 pozisyonu değerlendirmesi gerekiyor, "600 milyondan 20.000'e Bu, makine öğrenimi algoritmalarının getirdiği bir gelişmedir, hesaplama sürecinin hedef yönünün temelden değiştiğinden bahsetmiyorum bile. "
Yanıt olarak araştırmacı Bao Yungang, algoritmanın yazarda çok önemli bir rol oynadığını ve bilgi işlem gücünün iyileştirilmesinin vazgeçilmez olduğunu söyledi. Bao Yungang, iki tamamlayıcı ilişkiyi karşılaştırmak için "aya inişi" kullandı. "AI ilerlemesinde algoritmaların rolü navigasyon + birinci seviye roketlerdir ve bilgi işlem gücü ikinci seviye + üçüncü seviye roketlere eşdeğerdir", bu da aya iniş için vazgeçilmezdir. Araştırmacı Bao Yungang, Bay Zhou'nun IBM tarafından değerlendirilen 600 milyon lokasyondan AlphaGo tarafından değerlendirilen 20.000 lokasyona kadar değişen verinin, "algoritma verimliliğinin 20 yılda 30.000 kat arttığını" ve algoritmanın ilerlemesini objektif olarak gösterdiğini belirtti.
Bu bağlamda, Bay Zhou Zhihua, hesaplama gücünün iyileştirilmesinin önemli olmadığını, ancak yapay zeka teknolojisinde kaydedilen ilerlemenin kesinlikle sadece "hesaplama gücünün iyileştirilmesinden" kaynaklanmadığını söyledi. Öğretmen Zhou bir açıklama daha yaptı: Yön değişikliği, hesaplama gücünün iyileştirilmesiyle elde edilemez . Algoritma bir ilerleme sağlamazsa, onu hızlandırmak için bir kuantum bilgisayar geliştirilse bile uzman kurallarına güvenmek yine de yararsızdır.
Ayrıca 600 milyon ve 20.000 lokasyon değerlendirmesi ile ilgili olarak ikilinin elde ettiği sonuçlar tutarlı değildir. Bu nedenle, hızlanmayı hesaplamak için 600 milyonu 20.000'e bölemezsiniz. Öğretmen Zhou, algoritma değişikliğinin çözüm sürecinin doğasını değiştirebileceğini söyledi.Yapay zekanın bugün yaptığı ilerleme tam da bu noktadan geçiyor ve bu sadece hesaplama gücünün iyileştirilmesiyle sağlanamaz.
Aşağıda, Duke Üniversitesi'nden Profesör Yiran Chen tarafından 8 Aralık'ta yazılan ve iki anlaşmazlığa ilişkin görüşlerini tartışan bir makale var. Aşağıda yetkilendirme ile çoğaltılmıştır. Daha fazla bilgi edinmek için "Orijinali oku" yu tıklayın.
Chen Yiran: Bir bilgi işlem platformu uzmanı olarak, derin öğrenme için daha az kredi almanız önemli değil, çünkü zaten pastadan bir ısırık almışsınızdır.
"Yarın Katar'a uçuyorum, bu yüzden bu gece erken saatte otele döndüm ve çeşitli NIPS akşam programlarına katılmadım. Bu sırada restoranda biftek bekliyordum ve son derin öğrenme tartışması hakkında birkaç söz yazdım."
İlki, NIPS 2017'de zaman testi makale ödülünü kazanan Ali ve LeCun arasında derin öğrenmenin teorik araştırması (yorumlanabilirlik) üzerine yapılan tartışmadır. Bunun nedeni, Ali'nin kabul konuşmasında derin öğrenme teorisinin yetersiz açıklamasını metafor etmek için "simya" kullanmasıdır. LeCun bundan çok memnun değil, açıkça tarihin birçok yararlı icatının (uçaklar gibi) teorik gelişmelerden önce mühendislik buluşları olduğunu söylüyor. Sonra Ali açıklayıcı bir cevap verdi. Sonra LeCun'un uzun süredir müttefiki olan Bengio da LeCun'u desteklemek için dışarı çıktı.
İkinci argüman ise NTU öğretmeni Zhou Zhihua'nın Moments ve Weibo üzerine düşüncelerini yayınladığıdır.Bazıları derin öğrenme patlamasının esas olarak hesaplama gücünün iyileştirilmesi olduğunu söyler, buna katılmaz ve esas olarak algoritma ve model geliştirmenin katkısı olduğuna inanır. Çin Bilimler Akademisi Bilgisayar Teknolojisi Enstitüsü'nden araştırmacı Bao Yungang, model geliştirme ve hesaplama gücü geliştirmenin karşılıklı olarak pekiştirici olduğunu ve ikincisinin katkısının yine de teyit edilmesi gerektiğini söyledi. Daha sonra Bay Zhou, modelin verimliliğinin bu yıllarda yaklaşık 30.000 kat arttığını söyledi ve ardından Bay Bao, hesaplama yeteneğinin de bu yıllarda 10.000 kattan fazla arttığını söyledi.
1
Alinin ilk kabul konuşmasını ve LeCun ile arasındaki tartışmayı dikkatlice okudum ve söylediklerinin çelişkili olmadığını, hatta aynı şeyi buldum: Ali şu anda derin öğrenme modeli için net bir teorik açıklamaya sahip olmadığımızı ve bu bölümün güçlendirilmesi gerektiğini ifade ediyor. . Aksi halde ileride açıklanabilecek ve mevcut derin öğrenme modellerinin etkilerine ulaşabilecek teorik modeller varsa, herkes derin öğrenmeyi kesinlikle terk edecek ve daha önce olduğu gibi başka modellere geçecektir. "Simya" sadece atmosferi harekete geçirmek için oynadığı bir metafor. ve LeCun, net bir açıklama olmadığı ve problemleri çözmek için derin öğrenmeyi etkilemediği anlamına gelir. Teorik gelişme geride kalabilir . Biraz mantıklı olan herkes, ikisinin söylediklerinin çelişkili olmadığını bilir.
Birkaç öğretmenle özel olarak sohbet ettim ve ikisi de LeCun'un tepkisinin biraz ezici olduğunu hissettim, özellikle de Ali'nin kastettiği şey (en azından tamamen değil) olduğu için. Aslında, derin öğrenmenin şu anki büyük ustaları, yalnızca olumlu olmayan (olumsuz oldukları söylenemez) akademik görüşler olsalar bile, derin öğrenmenin çeşitli eleştirilerine çoğu kez şiddetle tepki verirler. Yıllar önce bastırılan derin öğrenmenin kendi olumsuz hatıralarına ek olarak, bu muhtemelen daha çok ticari çıkarlardan kaynaklanıyor: Hangi yatırımcı belirsiz bir geleceği olan bir teknolojiye yatırım yapacak? Örneğin, şimdi size bir Çin tıbbı icat ettiğimi söylersem, deneysel etki dikkat çekicidir, ancak mekanizma net değildir. Şimdi sadece beş unsurun karşılıklı kısıtlamasıyla açıklanabilir Bir yatırımcı olarak yatırım yapmaya cesaretiniz var mı? İster LeCun liderliğindeki Facebook AI Araştırması, ister Bengio'nun Element AI'si olsun, patronlara veya yatırımcılara bu tür endişelerin tamamen gereksiz olduğunu kanıtlamak acildir.
Şahsen bu tür endişelerin tamamen gereksiz olduğunu hissediyorum: Mevcut derin öğrenmenin teorik gelişimi, uygulamasına göre yavaş olsa da, yine de katı bir bilimsel çerçeve içindedir ve simyadan tamamen farklıdır. (Geleneksel Çin tıbbında bile, modern teorik açıklamalar, Batı tıbbının dayandığı biyokimyasal temele yavaş yavaş yaklaşmıştır). Başka bir deyişle, net bir şekilde açıklanmadıysa, teknolojik gelişimimizin aşama sınırıdır, yolun yanlış gitmesi veya modern bilimsel teori çerçevesine girmenin daha iyi bir yolu olmadığı değildir. Bu yıl NIPS konferansındaki derin öğrenme araştırmasının sıcak bir konusu da yorumlanabilirlik. Bununla birlikte, Ali'nin görüşüne de katılıyorum, derin öğrenme modellerinin etkilerini daha iyi yorumlanabilirlikle elde edebilecek başka yöntemler varsa, bu tür yöntemler henüz mevcut olmasa bile birçok araştırmacının derin öğrenmeyi tekrar terk edeceği yönündeki görüşüne de katılıyorum. .
2
İkinci argümanın kökeni de uzun zaman önce. Önceki birçok makale, bu derin öğrenme dalgasının ikonik başlangıç noktasının, Hinton'un 2006'da yazdığı Science makalesi olduğundan bahsetmişti. Bu makalede, Hinton ilk kez, bilgi işlem gücünün başarılı bir araştırma için üç koşuldan biri olduğunu açıkça belirtti: "Bilgisayarların yeterince hızlı olması, veri kümelerinin yeterince büyük olması ve başlangıç ağırlıklarının bir güzel çözüm". 2014 IBM TrueNoth çip konferansına davet edildim.O zamanlar Stanford'a iki yıldan daha az bir süredir yeni katılan Li Feifei, davet raporunda CNN gibi derin öğrenme modellerinin mimarisinin 1989'da icat edildiğinden önemli ölçüde farklı olmadığını açıkça belirtti. fark, Yaygın olarak kullanılabilmesinin ana nedeni, iki ana koşulun değişmesidir: büyük verilerin ortaya çıkması ve bilgi işlem gücünün iyileştirilmesi (yaklaşık bir milyon kat artış) .
Şimdi derin öğrenme alanı temel olarak Üç parçalı bilimsel araştırma kadrosu : İlk bölüm Geleneksel olarak derin öğrenme algoritmaları yapmak Bu bilim adamları . Birçoğu derin öğrenmenin karanlık dönemini yaşamış ve derin öğrenme araştırmalarının tüm eleştirilerine karşı oldukça duyarlıdır. Bu bölümde çok fazla akademisyen yok. İkinci bölüm Uygulamalı bilim adamı , Bilgisayar görüşü ve örüntü tanıma gibi. Geleneksel olarak araştırmanın bu bölümünde kullanılan yöntem derin öğrenme değildir, ancak derin öğrenme bu yönlerde çalışılan problemler için çok etkili olduktan sonra çoğu bilim insanı derin öğrenme araştırmasına yönelir. Üçüncü bölüm Hesaplama optimizasyonu ve platform yapan akademisyenler Model optimizasyonu, yüksek performanslı bilgi işlem ve çipler gibi. Aslında, araştırmanın bu bölümünün sıcak konuları her zaman değişiyor ve derin öğrenme yalnızca yeni gündemdeki bir konu.
Kişisel olarak bilgi işlem gücünün geliştirilmesinin derin öğrenmenin gelişimine hala büyük katkı sağladığını düşünüyorum. Ancak bu katkı, en azından başlangıçta gerçekten çok pasiftir. Aslında, şimdi bile herkes GPU'nun derin öğrenmenin geniş ölçekli uygulamasında çok önemli bir rol oynadığını kabul ediyor, ancak nVIDIA gibi şirketlerin bunu stratejik düzeyde gerçekleştirmesi çok geç (nVIDIA'nın geliştirme odağını oyunlardan kontrol edebilirsiniz. Hangi yıl derin öğrenmeye dönüştü). Öte yandan, derin öğrenme popüler olmaktan çıkarsa ve gelecekte bir gün doygun hale gelirse, LeCun ve Bengio acı çekmeye devam edecek, ancak bilgisayar platformları olan bu bilim adamları, onlar için araştırmaya devam etmek için yalnızca başka bir uygulamaya geçecekler. Gemi birlikte battı. ve bu yüzden Bence, bilgi işlem platformlarıyla uğraşan bir araştırmacı olarak, derin öğrenme kredisinde daha az puan almanızın bir önemi yok. Sonuçta, hala pastadan bir ısırık alıyorsunuz.
Bu arada, IEEE genellikle sinir ağları üzerindeki araştırmaları Hesaplamalı Zeka (Hesaplamalı Zeka) olarak sınıflandırır, ancak derin öğrenme alanındaki birçok araştırmacı bunu satın almaz. ACM'nin buna karşılık gelen özel bir SIG'si bile yok, bu çok ilginç ve dedikodu yapma şansı var.
yazar hakkında: Chen Yiran, Duke Üniversitesi Elektronik ve Bilgisayar Mühendisliği Bölümü'nde doçent, Duke Evrimsel Zeka Araştırma Merkezi yöneticisi, depolama, beyin benzeri bilgi işlem ve derin öğrenme uzmanı ve bir IEEE Üyesi.
Makale kaynağı: Öğretmen Chen'in söyleyecek bir şeyi var
Yazar: Chen Yiran
Daha fazla bilgi edinmek için "Orijinali Oku" yu tıklayın
