Lecun 20 yıl içinde, "Derin öğrenmenin üç devi bir araya geliyor" Hinton, makinelerin 10 yıl içinde sağduyuya hakim olacağında ısrar ediyor.
AI WORLD 2017 Dünya Yapay Zeka Konferansı'na Geri Sayım 26 gün
Dün RE WORK Montreal Derin Öğrenme Zirvesi'nde tarihte ilk kez "AI Büyük Üçlüsü" Geoffrey Hinton, Yoshua Bengio ve Yann LeCun sadece aynı etkinlikte yer almakla kalmayıp aynı panelde bir araya gelerek paylaştılar. Sınır araştırması ilerlemesi için beklentiler ve Kanada yapay zekası ve derin öğrenme ekosistemlerinin modelini tartıştı.
Tartışmaya McGill Üniversitesi'nden Joelle Pineau başkanlık etti ve çok ilginç bir şekilde açıldı, üç tanrıdan yanında duran insanları tanıtmalarını istedi. Tüm salon hemen kahkahalarla doldu.
Başrolü Yoshua Bengio aldı ve şöyle dedi: "Bu Yann. Onunla yüksek lisans eğitimi sırasında tanıştım. O sırada Geoff ile doktora yapıyordu. Daha sonra Yann, onunla çalışmamı ve evrişimsel sinirler üzerinde çalışmaya başlamamı istedi. İnternet, bugün hala sıcak bir konu! "
Sonra, Yann LeCun, Geoffrey Hinton'u tanıttı. LeCun, "Tarihi de gözden geçireceğim. Lisans öğrencisiyken, sinir ağları üzerinde çalıştım ve 1970'lerde bu alanda yayınlanan bir araştırma olmadığını gördüm." Başlıklı bir makale gördüm. " "Optimal Algısal Çıkarım" (Optimal Perceptual Inference), Geoff üç yazardan biridir. Bu makaleyi okudum ve Geoffery ile tanışmam gerektiğini biliyordum. "
Sonunda sıra Hinton'daydı, Bengio'nun tezinin süpervizörü olabileceğine dair şaka yaptı ama aslında artık hatırlamıyor. Hinton şöyle devam etti: "Bu, konuşma tanıma için sinir ağlarını kullanan çok iyi bir makaleydi. Yoshua ve ben Kanada'da iyi bir iş çıkardık çünkü Kanada temel araştırmayı destekliyor. Alan şu anda çok hızlı gelişiyor ve şu anda takip edemiyorum. Bu Yoshuanın ritmine bağlı! Her hafta yayınlanan birkaç arXiv makalesi var. Yoshuanın dikkat üzerine yaptığı çalışmalardan çok etkilendim. Yoshuanın en genç olduğunu ve hâlâ gidecek bir yolu olduğunu hissediyorum ama ne yazık ki ben Sanırım bizi yakaladı! Artık Yoshua, CNN'deki Yann kadar kendi alanında da etkili oldu. "
Aşağıdaki canlı tartışmanın bir kaydıdır:
Derin öğrenmeyi araştırmakla şimdi ve 1980'lerde ve 1990'larda derin öğrenme alanında çalışmak arasındaki farktan bahsedebilir misiniz?
Bengio: O zaman, herhangi bir müdahale olmadan kendinizi araştırmaya adayabilirsiniz. O zamanlar ortam şimdi tamamen farklıydı. Birkaçımız birbirimizle tanıştığımızda, durum hala şu anki durumumuza biraz benziyordu, ancak sinir ağları hala 5 ila 10 yıldır başlayan sınır araştırmaları. 1990'ların başlarında, sinir ağları bir süredir popülerdi ve şirketler gerçekten çok yatırım yaptılar ve biraz abartı vardı, bu yüzden hala biraz benzerdi. Ama artık sinir ağı gerçekten kullanılabilir .
LeCun: Bence sinir ağları o sırada da kullanılabilir! fakat, 1960'larda algı üzerine çalışan insanlar sinir ağlarının değerli bir yön olmadığına inandılar, bu yüzden isimlerini ve yöntemlerini değiştirmeye başladılar. , Yaptıkları gibi yapmak, büyük bir pratik etki yarattı.
Hinton: Hatırlayıp hatırlamadıklarına göre hepsi çok genç!
LeCun: Mevcut AI ders kitaplarında o zamandan beri hala birçok şey var. 1990'ların sinir ağları modası geçmiş, ancak yine de referans olarak kullanılıyorlar. Kullanışlılar, ancak AI'ya giden yol değiller. Bugün kullandığımız teknolojilerin çoğu aynı şekilde geniş çapta yayılacak ve aynı şekilde gelecek nesillere ve gelecek nesile aktarılacaktır.Bu teknolojileri faydalı olmaya ve ileriye taşımaya devam edecek bir sonraki adımı bulamazsak, aksi takdirde Güncel teknolojilerin çoğu da ölecek.
Hinton: Yann ile aynı fikirde!
Birçok gazetenizde dikkat etmemiz gereken ama gözden kaçırdığımız herhangi bir şey var mı?
Hinton: H-indeksinden daha az alıntı olan (gülüyor). 2008 / 9'da ilişkileri ve kavramları modellemek için matrisleri kullanan bir makale yazdım. Üç şey verildiğinde, üçüncüsünü ilk ikisine dayanarak çıkarmanız gerekir. 2000'lerin başında, temelde erken gömme olmak üzere çok iş yaptım. Bazıları bu çalışmayı bırakmam gerektiğini söylüyor çünkü tüm gazetede kendini atıfta bulunmayan sadece bir tane var! Benim fikrim, bir nesneyi temsil etmek için bir vektör ve bir kavramı temsil etmek için bir matris kullanmak yerine, ikisini temsil etmek için bir matris kullanıyorum, böylece ilişki ifade edilebilir. Ona 3 + 2'nin 5'e eşit olduğunu öğretiyoruz ve sonra 2 ve + 'nın birlikte +2 olduğunu öğretiyoruz.Sistemin ürettiği çıktı "+" kavramını hiç görmedi, bu yüzden kendi kendine öğrenmesi gerekiyor. Bu makale 2, 2 ve 3 puan aldı (10 puan üzerinden). Daha sonra makaleyi bilişsel bilimler tarafına gönderdim ve onlar da beğenmediler, dediler ki, "Makaleden anladığım doğruysa, bu makale gerçekten harika, ama okuyucularımızın bu konuda yorum yapacağını sanmıyorum. Ilgilenen!"
Bengio: Reddedileceğimi bildiğim için ödevimi göndermedim! Bu makalenin ana fikri, öğrenmek için başkalarının rehberliğine ihtiyacımız olduğu, bu yüzden burada daha fazlasını söylemeyeceğim.
Zaman geçtikçe, giderek daha fazla fikir birliğine varmışsınız gibi görünüyor. Şimdi "Derin Öğrenmenin Büyük Üçlüsü" olarak adlandırılıyorsunuz, ama aranızda büyük farkların olduğu başka ne var?
Bengio: Bu bir çukur mu? Ben atlamam!
Hinton: politik! Ama hepimiz Amerika Birleşik Devletleri'nin aynı siyasi görüşlerini paylaşıyoruz.
LeCun: Sorunun kendisi ile karşılaştırıldığında, belki de sorunu çözme yöntemi hakkında farklı görüşlere sahibiz. Bir süre için, Geoff olasılığı kullandı ...
Bengio: Yann, olasılık hakkında hiçbir şey bilmek istemedi, Geoff'a olasılık polisi dedi.
Derin öğrenme ve sinir ağları yapan birçok insan var Derin öğrenme her zaman yapay zekada mı olacak yoksa başka alanlar ortaya çıkacak mı?
Bengio: Mevcut temelde kesinlikle yeni fikirler geliştirmemiz gerekiyor. Bu fikirler, mevcut teknolojilerimizden ve konseptlerimizden ilham alacak ve yeni şeyler yaratmanın temeli olacak.
LeCun: Bu kavramlar parametreleştirilecek ve gelişmeye devam edecekler - yok olmayacaklar, ancak açıkça bunu yapmak için yeterli değil, bu yüzden yeni mimarileri düşünmemiz gerekiyor Çoğu insan dinamik mimariyi aktif olarak keşfediyor ve doğal dil işlemede pek çok ilginç şey oluyor. Ayrıca süper büyük ölçekli öğrenme sistemlerini eğitmek için daha fazla yola ihtiyacımız var - bu nihai cevap olmayabilir ve yeniden popüler hale gelecek eski fikirler olabilir. Sonra, derin öğrenme ve çıkarım gibi daha ayrık şeyleri birbirine bağlayan bazı yöntemler olacak.
Bengio: ML ve DL'nin hedef işlevi tekrar almasına izin vermenin bir yolunu bulmalıyız ve yapay zeka için çok önemli olan bu nesnel işlevleri eğitmek ve eğitmek için yeni yöntemler kullanmalıyız.
Hinton: Yann ve Yoshua da buna inanıyor ... En büyük zorluk, denetimsiz öğrenme için nesnel bir işlev bulamamaktır. . 1992'de mekansal tutarlılığı objektif bir işlev olarak kullanan bir makale yayınladım. Bununla daha fazla katman öğrenebilir ve daha fazla şey öğrenebiliriz. Otomatik kodlayıcıyı da eğitebiliriz.
Bunu tam olarak ne zaman çözeceğimizi bilmiyor olsak da, sizce bir sonraki zorluk ve çözeceğimiz sonraki problem nedir?
LeCun: Facebook'ta StarCraft yapan bir ekip var. Bu oyun Go'dan daha zor çünkü strateji kullanıyor, birden fazla aracı var ve çeşitli teknikler var - partnerinizin ne yaptığını bilmiyorsunuz.Kore'de Interstellar çok zorlu olan bir tür profesyonel yarışmadır. Bazı yıldızlararası robotlar var ama insan seviyesinde değiller. Facebook ve DeepMind ekipleri Interstellar'ı oynamak için makine öğrenimini kullanıyor ve bu alanda bazı ilerlemeler göreceğimizi düşünüyorum. Bununla birlikte, insan hayatını gerçekten değiştiren ve çözebileceğimiz bir sonraki sorun, bir arabayı otomatik olarak sürmesi için nasıl eğiteceğimizdir - tam otomatik ve güvenli olmanın bir yolu var mı?
Bengio: Aslında son zamanlarda böyle bir proje üzerinde çalışıyorum. Bir kişi ve bir AI bebek içeren bir AI oyunu. İnsanların bu yapay zekayı eğitmek, ne olduğunu söylemek ve sıradan ebeveynlerin yapacağı her şeyi yapmak için doğal dili kullanması gerekiyor. Bunların hepsi sanal bir ortamda gerçekleşir. Bu oyun, insanların diğer birçok konu hakkında endişelenmeden AI'yı eğitmenin en iyi ve en hızlı yolunu kullanması içindir. Bu proje harika çünkü ilgili insanlar için çok ilginç bir oyun ve çok fazla veri toplamaya yardımcı oluyor, böylece doğal dil ile çevre arasındaki ilişkiyi belirlemek için pekiştirmeli öğrenmeyi nasıl kullanacağımızı anlayabiliriz.
AI'da, hepsini çözerseniz emekli olabileceğinizi düşündüren herhangi bir sorun var mı?
Bengio: Çözülmesi gereken gerçekten çok zor sorunlar var ki bu çok ilginç! Makinelerin dünyayı açıklamak için Yüksek Temsilcilikleri nasıl bulabileceğini bilmek istiyorum. Dünyanın yorumlanmasına gelince, kısa vadede istatistiksel olarak geçerli olan bazı genel varsayımlar var, bu çok basit, ama çözmek o kadar basit değil.
Hinton: Benim için etkisi olacak özel bir şey doğal dil işleme ve dil anlayışıdır. "Kupa çok küçük olduğu için çantaya konulamaz" veya "Kupa çok büyük olduğu için çantaya konulamaz" gibi cümleler var. İlkinde "o" bavulla ilgili Küçük) ve arkasındaki "o", kupaya (çok büyük) atıfta bulunur. Bunu dil yapısı nedeniyle çıkarabiliriz, ancak bu cümleleri Fransızcaya çevirirseniz, dikkate alınması gereken başka faktörler de vardır: Makine, eril ve dişil kelimeleri doğru bir şekilde ayırt edip kullanıyor mu? Bu yüzden arka planı anlamalıdır. Bir makine bu çevirileri başarıyla tamamlayabiliyorsa, o zaman ne olduğunu gerçekten anladıkları anlamına gelir. Ancak bence bunun, düzgün çalışması için mevcut makine çevirisinden 1000 kat daha fazla performansa ihtiyacı var. Bunu yapabilirsek, makine tüm sağduyuya hakim olacaktır. Geleneğe sadık kalanları, yapay zekanın başarısının tesadüfi olmadığına, ancak makinenin neler olduğunu gerçekten anladığına ikna edecek. Bunun 10 yıl içinde mümkün olabileceğini düşünüyorum.
Bengio: Bence makine öğreniminin uykunun ne olduğunu ve neden uyuduğunu açıklamasına izin vermeliyiz. İnsanların neden hayatımızın üçte birinden fazlasını uyuyarak geçirdiğimizi sorgulamamasını garip buluyorum. Ama insanları uyku haklarından mahrum bırakırsanız, çıldırırlar! 8 saat uykuyu seviyoruz ama nedenini bilmiyoruz. Uyku toplantısının bize insanların nasıl öğrendiğini anlatacağına yürekten inanıyorum.
LeCun: Makinelerin sağduyu kazanmasına nasıl izin veririz? Denetimsiz öğrenme? Mekanın nesnel işlevini temsil ediyor mu? 10 veya 20 yıl sürebilir, bilmiyoruz.
Hinton: Ya da sadece bir hafta sürer.
Teknik sorunları bir kenara bırakın ve etik hakkında konuşun - hangi etik sorunlar sizi geceleri uyanık tutabilir?
Bengio: Benim için yapay zekanın ve geliştirdiğimiz ürünlerin yanlış kullanılması. Örneğin, çok tehlikeli olabilen akıllı silah ve teçhizatta yapay zeka kullanımına özellikle duyarlıyım. Sanırım hükümet anlaşmayı imzalamalı. Ek olarak, yapay zekayı manipüle ederek reklam vermek demokrasi için gerçekten tehlikeli olabilir. Son olarak, yapay zekanın yanlış ellere düşmesi sorunu gerçekten zahmetli.
LeCun: Kötü niyetli kullanıcılar tarafından kullanılıyorsa, bu çok kötü olabilir. Aslında makine öğrenimi yöntemleri gerçekten bazı kötü senaryolarda kullanılabilir ve hasara neden olabilir. Örneğin, önyargılı verilerle bir makineyi eğittiğinizde, makine önyargılı olacaktır ve sistemi eğittiğinizde, onu eğiten kişinin davranışını kopyalayacaktır. Bu hem teknik hem de etik bir sorun - önyargıyı nasıl ortadan kaldırabiliriz? Yapay zekanın toplumdaki imajı sonuç olarak kasvetli hale gelebilir, bu yüzden proaktif olarak değişiklikler yapmalıyız. "The Partnership in AI" ile çalışıyorum ve birlikte güvenliği sağlamak için dağıtım testi için bir kılavuz ortaya koyuyoruz.
Yapay zeka alanında çalışan gençlere ne gibi tavsiyeleriniz var?
Hinton: Güçlü bir içgüdünüz varsa, çok iyi bir fikriniz olduğunu düşünün, ancak herkes "hayır" diyor. Sonra bunun kötü bir fikir olmadığını, aslında orijinal bir fikir olduğunu unutmayın. O zaman bir düşünün, "iyi fikrinizi" incelemeli misiniz? İyi bir sezginiz varsa, fikirleriniz üzerinde çalışmaya başlayın. İyi bir sezginiz yoksa, ne yaptığınız önemli değil!
Bengio: Benim önerim, Hinton'u dinlemek.
LeCun: Üçümüz çok sezgiseliz, sezgimiz aracılığıyla kavramlar ve fikirler ürettik, ancak bazen başkaları bize bunun mümkün olmadığını söylüyor. Yani en ilginç fikirlerden bazıları en karmaşık fikirler değil, ancak bunu başarmanın yolu olabilir. Şaşırtıcı bir şekilde, insanların bazı şeylerin iyi fikirler olduğunu anlamaları çok uzun sürüyor!
Orijinal bağlantı: https://re-work.co/blog/interview-yoshua-bengio-yann-lecun-geoffrey-hinton
AI WORLD 2017 Dünya Yapay Zeka Konferansı'na Geri Sayım 26 gün
Konferansa katılmak için lütfen Xinzhiyuan WeChat resmi hesabını takip edin veya etkinlik sayfasını ziyaret edin:
[Konferansa bilet satın almak için orijinal metni tarayın veya tıklayın]
