Yann LeCun Röportajı: Yetenekli olduğumu sanmıyorum, ancak her zaman akıllı insanlar arıyorum
Kaynak: AI Technology Base Camp'ten yetkilendirilmiştir (ID: rgznai100)
Bu makale hakkında 9300 Word, önerilen okuma 10+ dakika.
"Fransızların çok dürüst olduğunu duydum, ama ben öyle değilim, çok rahatım."
New York Üniversitesi'nde profesör, Facebook başkan yardımcısı ve baş yapay zeka bilim adamı Yann LeCun, derin öğrenmeye yaptığı olağanüstü katkılardan dolayı derin öğrenmenin "troikalarından" biri ve "CNN" in babası olarak biliniyor. Yann LeCun her zaman çok aktif olmuş, makaleler yayınlamış, öğretmiş, akademik konferanslar kurmuş, akademik ve halka açık etkinliklere katılmış ve Facebook'ta yapay zeka akademik araştırmalarına liderlik etmiştir. Bilgisayar bilimi araştırmacıları arasında bir afiş ve halkın gözünde bir yapay zeka "idolü".
RSIP VISIONın "Computer Vision News" dergisi idolle röportaj yaptı ve Kasım 2018 sayısında yayınladı. Röportajda Yann LeCun, akademik kariyerindeki ilginç şeylerden, akıllı bir insan olup olmadığına ilişkin değerlendirmesinden, son teknolojik ilerlemelere ilişkin değerlendirmesinden, endüstri ve akademik çevrelerde işbirliğiyle ilgili beklentilerin ve yanlış anlamaların açıklığa kavuşturulmasından ve "Emeklilikten önce en çok yapmayı umduğum şeyden bahsetti. Sonuçlar". Görüşme aşağıdaki şekilde tercüme edilmiştir.
muhabir: Son iki ila otuz yılda, tüm yapay zeka topluluğu üzerinde büyük bir etkiye sahip oldunuz. Bize bugün olduğun yere nasıl geldin?
LeCun: Çok gençken yapay zeka ile çok ilgilendim. "Bilgelik" kavramı beni büyülüyor. Her gün bahsettiğimiz sadece makine zekası değil, genel anlamda "bilgelik" tir. Her zaman "öğrenmenin" bilgeliğin önemli bir parçası olduğuna inandım. Üniversitede ana dalım elektrik mühendisliği, araştırma yaparken 1950'lerde ve 1960'larda insanların makineler üzerinde çalıştıklarını keşfettim. Aslında biraz beklenmedik olan bu bilgiyle tanıştım, mezun olmadan önce bu alanda çeşitli belgeler okumaya başladım. Bu alanda daha fazla araştırma yapma fikri o sırada ortaya çıktı, sonra okuldayken ilgili birkaç proje yaptım ve sonra bu yönde çalışmaya karar verdim.
Fransa'da bir grup insanın Otomata ağı denen, bilgelikle zayıf bir bağlantısı var gibi görünen bir şey üzerinde çalıştığını buldum. Bu muhtemelen 1983 civarındadır. O zamanlar, bilgisayar biliminde hiç kimse, basit makine öğrenimi bile değil, sinir ağlarını incelemiyordu. Büyük yapay zeka konusu altında az miktarda makine öğrenimi araştırması var, ancak sadece birkaç kişi var. O zamanlar bazı insanlarla tanıştım ve birçok basit birimi birbirine bağlayarak oluşan ağın yeni özelliklerini düşünmeye başladılar Aslında bu bir sinir ağı. Onlarla temasa geçtikten sonra, küresel bir araştırma topluluklarına sahip olduklarını ve sinir ağlarını incelemeye başladıklarını öğrendim.
John Hopfield tarafından yazılan Hopfield ağ makalesini okudum ve ayrıca Geoff Hinton ve Terry Sejnowski'yi de duydum. O zamanlar Boltzmann makineleri hakkında bir makale yayınlamışlardı, kağıdın harika olduğunu düşündüm ve onlarla tanışmak isterim.
Sonra doktoraya başladım. Akıl hocam sinir ağları hakkında hiçbir şey bilmiyordu, bu yüzden dedi ki: "Makalenizi imzalayabilirim. Oldukça zeki görünüyorsunuz, ancak teknik açıdan size gerçekten yardımcı olamam." Lisans aldığım ESIEE aracılığıyla burs kazandım. Son olarak, 1984 civarında geri yayılımın bir versiyonunu kendim keşfettim ve sonunda 1985'te Fransa'da bir konferansta Geoff Hinton ve Terry Sejnowski ile tanıştım.
Bir toplantıda Bell Labs'tan Larry Jackel ve John Denker ile tanıştım ve daha sonra beni Bell Labs'a işe aldılar. 1987'den 1988'e kadar Toronto'da doktora sonrası araştırmacı olarak Geoff Hinton ile çalıştım ve Larry Jackel, Bell Laboratuarlarında sinir ağı donanımını incelemek için bir ekip kurdu ve doktora sonrası arkadaşım biter bitmez beni işe aldılar.
muhabir: Şimdi kişisel yeteneğinizin bir parçası hakkında konuşalım mı? Yoshua Bengio ile daha önce röportaj yaptığımızda şöyle dedi: "Başkalarından daha akıllı olduğum için değil, nasıl odaklanacağımı bildiğim için başarabiliyorum." Bu cümleye katılıyor musunuz? Onun sırrı buysa, senin sırrın nedir?
LeCun: Benden daha zeki bir grup insana girdim, bu yüzden birçok yönden herhangi bir yeteneğim olduğunu düşünmedim. Aksine, başkalarına sık sık hayret ederim. Örneğin, Léon Bottou ile uzun süredir temas ve işbirliğim var. O, makine öğrenimi dünyasında tanınmış bir figür ve neredeyse her açıdan benden daha iyi! (Gülüyor) Yapmaktan hoşlandığım şey ve belki de iyi yaptığım şeylerden biri, bir sorunun arkasındaki gerçek sorunun ne olduğunu bulmak için aşağıya inmek. Bunun gibi "makine öğrenimini nasıl yapabiliriz". Bu biraz genel yönü düşünmeye ve gerçekten önemli olanı düşünmeye benzer. Sorunu basitleştirin ve ardından asıl temel soruna ulaşana kadar basitleştirin.
Bazen bir fikir veya bir kavram çok karmaşıktır çünkü çok fazla zahmetli matematiksel bilgi kullanır, ancak gerçek özü genellikle çok basit bir fikirdir. Richard Feynman ile kıyaslayabileceğimi sanmıyorum ama bu düşünce tarzı gerçekten onunkine benziyor. sadece istiyorum En temel soruları sorun ve inanılmaz derecede basit bir soru alana kadar yüzeydeki her şeyi atın. Ama ben onun kadar iyi değilim.
Yoshua'nın söylediği şeye gelince, o çok disiplinli ve iyi organize olmuş bir kişidir. Ben o tür bir insan değilim, berbat yaşıyorum.
muhabir: Fransız olduğun için!
LeCun: Yoshua da Fransa'da doğdu! Ama ben iyi bir teorik bilim adamı değilim. Buna karşılık, arkadaşım Léon Bottou matematik ve teorik konularda çok iyidir. Yaptığım şey işleri başarmak ve yürütmekti, ama yaptığım şey pek iyi değildi. Farklı insanlar farklı şeylerde iyidir.
muhabir: Sen Fransızsın ve ben İtalyanım. Bazıları bu iki ülkedeki insanların çok organize olmadığını söylüyor!
LeCun: (Gülüyor) Ben de bilmiyorum Fransızların çok düz ve dik olduğunu duydum ama ben öyle değilim, çok rahatım.
muhabir: Üzerinde büyük etkisi olan herhangi bir mentor veya öğretmen var mı? Yoksa temelde kendi kendine çalışmaya mı güveniyorsun?
LeCun: Benim üzerimde büyük etkisi olan birkaç kişi var. Mühendislik okulundayken o matematik hocaları bana çok yardımcı oldu. Onlarla birkaç proje yaptım ve birkaç projenin konusunu çok iyi anlamıyorlar, ancak kendi başıma keşfetmeme izin veriyorlar ve çok erken bilimsel araştırma yapmama izin verdiler. Hepsi çok iyi insanlar. Bu, sinir ağlarını incelemeye başladığım zamandı. Nasıl çalışacağımı bilmiyorum. Ne olduğunu bulmalıyım. Japonlar tarafından İngilizce yazılmış birçok makale okudum ve aynı şekilde İngilizce öğrendim, bu yüzden İngilizcem o zamanlar berbattı. (Gülüyor) 1970'lerin sonu ve 1980'lerin başında, sinir ağları üzerine yapılan araştırma sonuçlarının çoğu Japonlar tarafından yapıldı çünkü Batılılar bu alanı tamamen terk ettiler. Okuyabildiğimiz tek kağıt bunlar.
Sonra çok ilgilendiğim bazı bilimsel figürler var. Doğal olarak başta Einstein hakkında çok şey okudum ve fizikle de çok ilgilendim. Daha sonra okuma materyallerim Geoff Hinton gibilerdi. Onunla bir doktora sonrası araştırma yaptım ve aslında pek çok ortak yönümüz olduğunu öğrendim.
muhabir: Facebook hakkında konuşalım. Günümüzde yapay zeka sektöründeki birçok seçkin yazılım personeli sizi çalışmak için takip ediyor. Pek çok seçkin yapay zeka yazılım personeli ile röportaj yaptım, bunların çoğu şu anda Facebook'ta ve bazıları başka büyük şirketlerde. Ancak komik olan şu ki, bu insanların çoğu Facebook'un ana işinde yer almıyor, ancak orta ve uzun vadede sizin için daha önemli olan bir şey yapıyor. Bize neler olduğunu anlatır mısınız? Ne hakkında konuşabileceğin hakkında konuş.
LeCun: Aslında konuşacak hiçbir şey yok, en azından çok az. Facebook Yapay Zeka Araştırma Enstitüsü, Facebook'un temel bir yapay zeka araştırma laboratuvarı olduğu için, aynı zamanda harici. Tüm araştırma topluluğu ile birçok bağlantısı vardır. Yaptığımız her şey halka açık olarak yayınlanacak, açık kaynak dünyasına çok fazla kod katacağız, üniversitelerle çok fazla işbirliğimiz var, stajyerlerimiz var ve Fransa ve Amerika Birleşik Devletleri'nde doktora öğrencilerimiz var. Oldukça açık. Bir bütün olarak toplum için iyidir ve elbette uzun vadede Facebook'un kendisi için de iyidir. Çünkü bugünün AI teknolojisinin karşı karşıya olduğu en büyük sınırlama, Facebook'un Google, IBM ve Microsoft'a ne kadar liderlik ettiği değil, tüm alanın gelişiminin umduğumuz yönde ilerlediğidir.
Örneğin, akıllı bir sanal asistan inşa etmek istiyorsanız, onunla insanlar arasındaki etkileşim biraz insan sağduyusu gerektirir, ancak böyle bir sanal asistan yaratmamızı sağlayacak bilim ve teknolojimiz yok. Dolayısıyla amacımız, bu tür ürünlerin gerçeğe dönüşmesi için bu teknolojileri geliştirmektir. Çok sayıda üst düzey yeteneği işe alsak bile, hiçbir iyi fikri tekeline almayacağız. Bunun için daha geniş araştırma topluluğu ile de yeterli iletişimimiz olmalı. Bu yüzden bu kadar açığız.
Facebook'ta daha geniş "Facebook AI" kuruluşları olarak kabul edilebilecek başka kuruluşlar da var. Bilgisayarla görme, doğal dil işleme, arama vb. Gibi doğrudan Facebook ile ilgili konularla daha çok ilgilenirler. Bu grupların kullandığı teknolojilerin birçoğu ilk olarak Facebook Yapay Zeka Araştırma Enstitüsü tarafından geliştirildi, başka amaçlar için kullanılsalar da yine de çok etkiye sahipler; ancak bu grupların işleyişi de araştırma enstitüsü ile ilgilidir. Farklıdır, esas olarak şirketin iş ihtiyaçları ile ilgilenirler. Ayrıca bazı makaleler yayınlıyorlar, ancak çok sık değil. Facebook tarafından sağlanan hizmetleri sürekli iyileştirmeleri veya yeni hizmetler oluşturmaları gerekir. Facebook Yapay Zeka Araştırma Enstitüsü'nün yaptığı şey, yeni teknolojiler geliştirmek ve tüm alanı ilerletmektir. Bazen 3, 5 veya 10 yıl sonra geri dönüşü görmeyi umduğumuzu söyleyeceğiz, ancak bazen ortaya çıkardığımız şey aslında hemen işe yarayacak. Bazen bize sürprizler getirecek.
muhabir: Sizce 2018 yılının en iyi bilgisayar vizyonu kağıdı hangisi? Dergimiz tarafından seçilen 2017 yılının en iyi bilgisayar vizyonu kağıdı Mask R-CNN'dir. Şaşırmayacağınıza inanıyorum.
LeCun: İtirazım yok! (Gülüyor) Bilgisayar görüşü alanında çok fazla şey oldu. Bir makaleyi bireysel olarak belirtemem ama bence kendi kendini denetleyen öğrenmenin tüm alanının çok ilginç sonuçları var. İster rakip üretken ağları (GAN'lar) ister diğer bazı teknolojileri kullanıyor olun, insanlar sisteme açıkça verme ihtiyacı duymadan nesneler, hareket, derinlik vb. Gibi üst düzey görsel kavramları keşfetmeye çalışıyorlar. Gözetim sağlayın. Bunun parlak bir yol olduğunu düşünüyorum ve şimdiden bir adım attık. Şu anda bu teknolojilerin pratik bir uygulaması yok, ancak bunun gelecekte bilgisayarla görmede bir sonraki devrimi ya da yapay zekada bir sonraki devrimi getirebilecek büyük teknolojik başarıların başlangıcı olduğunu düşünüyorum. Bunu son üç yıldır kamuya açık konuşmalarımda söylüyorum ki "Yapay zekanın geleceği, kendi kendini denetleyen öğrenmede yatıyor" .
Bu öğrenme yolu, herhangi bir özel görev belirtmeden bir makineyi dünyada neler olup bittiğini öğrenecek şekilde eğitmenizdir; daha sonra onu belirli bir görevi yapması için eğitirsiniz, ancak ona çok çok az veri verirsiniz. İnsanlar ve hayvanlar böyle öğrenir. Facebook, Intel, Google, DeepMind ve NVIDIA bu alanda birçok makale yayınladı. Yapay zekanın videodaki nesneleri renklendirmesinin istendiği bir renklendirme kâğıdı var ve bunun sonucunda nesnelerin hareketini öğrendiği söylenebilir. Bunun gibi pek çok harika şey var.
muhabir: Mühendislerimizden biri size bir soru sormamı istedi. Bu sorunun oldukça komik olduğu söyleniyor ama ben kendim mühendis olmadığım için bu sorunun şakasını anlamıyorum. Sorusu, ReLU ve toplu düzenleme arasında hangisini tercih edersiniz?
LeCun: Oh, anlıyorum, hahahahaha ...
muhabir: Yani gerçekten komik mi?
LeCun: bu çok eğlenceli! Bu sorunun cevabı basit, ancak bu soru birçok başka soruya yol açacak. ReLU'ya cevap vereceğim çünkü bu çok basit bir fikir ve bunu herkes kullanacak ReLU'nun nispeten derin sinir ağlarını eğitmemize izin verdiği söylenebilir. He Yuming tarafından önerilen ve daha derin ağları eğitmemizi sağlayan artık bağlantı olan başka bir fikir daha var. Ben dahil birçok insanın gözünde toplu düzenleme gerekli bir kötülük.
Nasıl anlaşılırsa, kimsenin hoşlanmadığı söylenebilir, ama iyi işliyor, bu yüzden hala herkes kullanıyor; ama aynı zamanda herkes onu başka bir şeyle değiştirmeye çalışıyor, çünkü herkes ondan nefret ediyor. İçinde herkesi pek tatmin etmeyen bazı şeyler var. Hepimiz bundan daha iyi bir şey olması gerektiği hissine sahibiz.
Öte yandan, herkes neden etkili olduğunu ve nasıl çalıştığını anlamıyor. Sinir ağının nasıl birleştiği ve öğrendiği hakkında bazı sezgisel düşüncelerimiz var, ancak toplu düzenlemeler bizim düşüncemizle çelişiyor, bu nedenle neden etkili olduğunu anlamak ve yerini alacak bir şey bulmak istiyorsak, yine de Yapacak çok iş var. Yuming ayrıca grup düzenlemesini önerdi, amacı toplu iş düzenini değiştirmek, daha iyi performans gösteriyor gibi görünüyor.
muhabir: Geleceği hayal ederken, akademi ve endüstrinin bilgisayar vizyonu ve yapay zeka topluluklarında daha iyi işbirliği yapabileceğini düşünüyorsunuz?
LeCun: Kendi kariyerimde, zamanımın yarısını akademide, yarısını da endüstride geçiriyorum. Önce Bell Labs'taydım, daha sonra ATT laboratuvarı oldu; sonra 18 ay NEC Araştırma Enstitüsünde kaldım. Daha sonra profesör oldum ve zamanımın bir kısmı endüstride, bir kısmı da akademide geçti. Zamanımın bir kısmını endüstride, bir kısmını da akademide geçirmenin iyi bir fikir olduğunu düşünüyorum. Bununla ilgili bir makale de yazdım.
muhabir: Bu makaleyi okudum. "Çifte İttifak."
LeCun: Bu kadar. Sanırım birçok kişi bu makaledeki çok önemli noktayı yanlış anladı, yani sadece çalıştığınız endüstriyel laboratuvar bir geliştirme laboratuvarı değil, bir araştırma laboratuvarıdır ve bu laboratuvar Bu tür bir ikili ittifak modeli, açık araştırma yapan ve laboratuvarı kuran şirket, laboratuvarın fikri mülkiyet haklarına yönelik güçlü bir istek duymadığında uygulanabilir. İkili ittifakları savunmamın nedeni, endüstri ve akademi arasında yeterli bilgi iletişimine izin vermektir. Her iki taraftan da yararlanabilmeniz için: sektörde mühendislik desteği alabilirsiniz, büyük ölçekli bilgi işlem tesisleri var ve üniversitede çok sayıda öğrenci var, pek çok genç ve birçok fikirleri var, ancak Çalışma biçimleri endüstriyel dünyadan farklıdır.
Farklı insanlar için farklı motivasyon yöntemlerine sahip olmak iyi bir şeydir, farklı ortamlarda bulunduklarında da farklı fikirler üretebilirler. Bu elbette iyi bir şey, ancak öncül, endüstriyel laboratuvarınızın araştırma yapması, gerçek araştırma yapması ve makale yayınlamaya istekli olmasıdır. İkili ittifakın endüstriyel tarafı her şeyi gizli tutarsa ve herhangi bir iş pratik uygulamalar ve mühendislik için olursa, bu mümkün olmayacaktır.
Makalelerime bazı yanıtlar gördüm, bunlardan bazıları endüstrideki iki araştırma yöntemi arasında açıkça karıştırılıyor. İkili bir ittifakın gerçekçi olmadığını söyleyecekler, çünkü sektörde çalıştığınız için, yapmak istediğiniz şey zaten şirket için faydalı olmalı ve gizli tutulması gereken bazı şeyler var, bu yüzden akademik uygulamalara uygun. Bir çatışma oldu. Eğer durum buysa, o zaman gerçekten bir çatışma olduğuna katılıyorum, ancak sektörde çift ittifak kurmanın imkansız olduğuna katılmıyorum. Sektördeki bu araştırma enstitüsünün nasıl çalıştığına bağlı.
Facebook'ta yaptığım şeylerden biri, kurumun işleyiş şeklini akademik uygulamalarla çelişmeyecek şekilde tasarlamaktır. Bu muhtemelen son beş yılda sektördeki araştırma ortamına yaptığım en büyük katkılardan biridir ve şimdiye kadar böyle bir işbirliği modelinin gerçekten oluşmadığı söylenebilir. Geçmişte, çalıştığım Bell Labs, IBM Research ve Microsoft Research gibi bilimin gelişiminde büyük etkisi olan sanayi kuruluşları vardı, ancak fikri mülkiyet haklarına çok fazla sahiptiler. Kuvvetli. O zamanlar açık kaynak veya başka bir açık gelenek yoktu.
Şimdi, zamanlar farklı ve burada endüstri için araştırma yapmanın yeni bir yolu oluştu. Diğer bazı şirketlerin bizden az çok etkilendiğini düşünüyorum. Örneğin, son beş yılda Google, araştırma sonuçlarına öncekinden çok daha açık oldu. Şu anda hala biraz gizlilikleri var, ancak eskisinden çok daha açık olmalılar.
muhabir: Facebook'ta yapmak istediğiniz bu şeylere tanık olarak kabul edilebilecek birini tanıyorum! Bu kişi Pauline Luc. Onunla geçen ay röportaj yaptım ve bana şöyle dedi: "Facebok'taki laboratuvarım okuldaki laboratuvarımla aynı."
LeCun: Evet, bu o. Elbette Pauline'in çalışmalarını da iyi biliyorum çünkü onun projesine katıldım ve onunla birlikte tez yazdım. Araştırma sonuçlarının çok iyi olduğunu düşünüyorum.
muhabir: Son olarak, emekli olmadan önce neyi başarmak istediğinizden bahsedelim?
LeCun: Kendi kendine denetimli öğrenim yapmanın evrensel ve iyi bir yolunu bulun. Bilgisayarla görü üzerine biraz araştırma yaptım, ancak bilgisayar görüşü araştırmacısı olduğumu sanmıyorum. En azından tamamen bilgisayar görüşü değil. Benim ilgim aslında öğrenmek, örneğin, makinelerin dünyanın nasıl çalıştığını gözlem yoluyla öğrenmesi için farklı yollar bulmayı seviyorum. Bu, belirsizlik içeren bir ortamda öğrenmek demektir. Makinenin bir video izlemesine izin verirseniz ve sonra ne olacağını tahmin etmesine izin verirseniz, aslında pek çok olası gelişme vardır.
Ancak öte yandan, tüm bu olası gelişmelerden sadece bir sonraki videoda gerçekten olacak bir şey olacak, ancak başka durumlar hala mümkün. Bir makineyi bir videoyu tahmin etmesi için eğittiğinizde, dikkatli değilseniz, neredeyse tüm olası senaryoların ortalaması olan belirsiz bir tahmin sonucu verir. O zaman bu kötü bir tahmin.
Çözmek istediğimiz teknik bir problem, ideal tahmin sonucunun tek bir değer değil, bir dizi değer olduğu bir ortamda bir makinenin nasıl eğitileceğidir. Matematiksel olarak yazıldığında, tek bir nokta değil, bir olasılık dağılımını öngördüğünü söyleyebiliriz. Ancak, yüksek boyutlu sürekli bir uzayda olasılık dağılımını nasıl temsil edeceğimizi bilmiyoruz. Sanırım burada daha önce röportajda söylediğim gibi, Gerçekten anahtar kavramları bulmak ve ardından basit, anlaşılması kolay ve belirsizlik sorunuyla başa çıkması kolay bir yapı bulmak .
GAN'lar potansiyel bir yöntemdir, ancak GAN'ları anlamamız çok kapsamlı değildir. Her zaman yakınlaşmazlar, ancak genellikle sonuç ürettiklerinde harika sonuçlar üretirler. Her seferinde sonuçları garanti edemedikleri için, GAN'ların neden sonuç üretebileceğini anlamak veya başka yöntemler bulmak için başka yollar bulmalıyız ve bu yeni yöntemleri, videoyu gözlemleyerek mümkün olduğunca makine öğrenmesine yardımcı olacak şekilde kullanmalıyız. Bu dünyanın arka plan bilgisini öğrenmek için, Fotoğraflar vb.
Daha sonra, makine dünyanın iyi bir modelini öğrendikten sonra, ideal olarak yaptığımız gibi sadece birkaç örnekle veya sadece birkaç denemeyle herhangi bir özel görevi öğrenebilir. Önümüzdeki birkaç yıl için hedefim bu.
- Bitiş -Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
