Altın cümleler sık sık ortaya çıktı, 16 büyük tanrı ICML'de bir makine öğrenimi Büyük Tartışmalar başlattı
Leifeng.com AI Teknolojisi Yorumu: Bu günlerde makine öğrenimi çemberinde ilginç bir olay yaşandı. Bir grup tanınmış bilim insanı ICML 2018'de bir tartışma (tartışma) ile bir araya geldi, ancak tartışmadılar.
"Tuhaf trendler" ile başlayın
ICML 2018'in açılmasından önce, Carnegie Mellon Üniversitesi'nden Yardımcı Doçent Zachary C. Lipton ve Stanford Üniversitesi'nden Dr. Jacob Steinhardt birlikte "Makine Öğrenimi Bursunda Sorunlu Eğilimler" (makine öğrenimi akademik araştırmalarında garip bir eğilim) başlıklı bir makale yayınladılar. , Son yıllarda makine öğreniminin akademik araştırmalarında gördükleri dört garip eğilimi anlatıyor:
-
Açıklama ve tahmin arasında net bir ayrım yapamama;
-
Deneysel deneylerde iyileştirmeler yapıldığında, performans iyileştirmesinin sinir ağı mimarisindeki gereksiz değişikliklerden kaynaklandığının aşırı vurgulanması gibi iyileştirmelerin gerçek kaynağı doğrulanamaz, ancak aslında performans iyileştirmesi yeterli hiperparametre hata ayıklamasından gelir;
-
Matematik: Birçok matematiksel kavram ve formül, kafa karıştırıcı teknik ve teknik olmayan kavramlar gibi net bir ifade oluşturmaktan çok, yalnızca kavramı karıştırmak veya uzun görünmek için kullanılır;
-
Bazı moda, çağrışımsal konuşma sözcükleri kullanmak veya mevcut teknik sözcük dağarcığına ekstra anlam katmak gibi dil sözcüklerinin kötüye kullanılması.
Bu eğilimlerin analizi ve eleştirisine ek olarak, iki yazar da doğru yazım stili, makaleyi nasıl doğru bir şekilde gözden geçirip yayınlayacakları konusunda kendi önerilerini verdiler.
Bu makalenin Twitter'da geniş çapta yeniden yayınlanmasına ve tartışılmasına ek olarak, aslında ICML 2018 bu makaleyi bir giriş olarak kullandı ve çalıştayın son gününde bir tartışma (Machine Learning: The Great Debates) hazırladı ve birçok tanınmış kişiyi davet etti. Tartışmaya makineler alanındaki bilim adamları katılıyor.
Tartışmanın tamamı dört konuya ayrılmıştır: makine öğrenimi araştırmasının titizliği, makine öğreniminin adaleti, makine öğreniminin güvenliği ve derin öğrenme yöntemlerinin olanakları ve sınırlamaları. 16 akademisyen dört gruba ayrıldı ve her grup bir konuyu tartıştı. Tartışmanın arasına küçük konuşmalar da serpildi, Zachary Lipton makaledeki bazı önemli noktaları açıklayarak akademisyenlere zararlı uygulamalara karşı tetikte olmalarını hatırlattı.
- Müstehcen kelime hazinesi: düşünme vektörü, bilinç, a priori, merak, korku, anlambilim. Bu sözler, modelin insan benzeri bilişsel yeteneklere sahip olduğunu ima ediyor gibi görünüyor, ama aslında ondan uzak. Bir kelime dağarcığı kullanıldıktan ve bazı teknik anlamlar kattığı düşünüldüğünde, daha sonraki araştırmacılar onun devam etmesine veya yeni bir kelime dağarcığına geçmesine izin vermelidir.
- Teknik kelime dağarcığının kötüye kullanılması: ters evrişim, tümdengelim, üretken modeller, uydurma, genelleme. Bu kelimelerin zaten kendi teknik anlamları vardır, ancak genellikle benzer, ilişkili ancak aynı olmayan anlamları ifade etmek için kullanılırlar, bu da sürekli kafa karışıklığına neden olur.
- "Seyahat çantası" nın kelime dağarcığı: eşitlik, yorumlanabilirlik, bilinç. Bu kelimelerin birçok farklı anlamı olabilir, bir kelime eşya dolu bir çanta gibidir.
- Motivasyon: "Ne kadar iyi" den tatmin olmak yerine "neden" diye sorun
- Dil: İçerik yazmanın amacı, hakemler, öğrenciler ve (mümkünse) genel halk dahil olmak üzere anlaşılmalıdır.
- Deneysel sonuçların titizliği: tekrarlanabilirliği sağlamak için kodu paylaşın; kontrol değişkenleri üzerinde araştırma yapın ve hataları analiz edin; özellikle algoritmaların zayıf performansını açıklayın
- Teori: Kendinize tekrar tekrar sorun, teori doğru, ilgili, özlü ve güçlü mü?
- Araştırma eğilimine rehberlik eden teşvik, incelemeden gelir, bu nedenle gözden geçirenin sorumluluğu alması gerekir.
- İnceleme yorumlarınız eğitimli bilimsel okuryazarlığın ve açık iletişim becerilerinin önemini yansıtıyor mu?
- Bir makaleyi şu durumlarda kabul etmeye daha istekli olacaksınız / daha az istekli olacaksınız: - Kötü sonuçlar içeriyorsa - bir veri seti üzerinde denenmiş / algoritmanın çalışmadığı bir problemde - bir karmaşık içeriyorsa (ancak aynı zamanda değişebilir) Teoremi okumak zor
Tartışma cümlesi
Tüm tartışmanın içeriği çok zengindi ve görüşlerin yüz yüze iletişimi de birçok kıvılcımı ateşledi. Sunum seyirci ferahlatıcı bir duygu ifade etti. Tam metin koşullar nedeniyle herkes için çoğaltılamasa da, Leifeng.com AI Technology Review, tartışmada ortaya çıkan bazı çok klasik ve düşündürücü cümlelerden alıntı yaptı.
"Derin öğrenme" konusu güncel ve öngörülebilir derin öğrenme yöntemlerinin doğası gereği sınırlamaları vardır ve bu da ek olarak başka yöntemlere sahip olmadıkça gelişmiş makine zekası yapmak için derin öğrenme yöntemlerini kullanma yeteneğini de sınırlar.
Gary Marcus , New York Üniversitesi'nde Psikoloji Profesörü ve Uberin Yapay Zeka Laboratuvarı eski başkanı
-
Giriş verilerini biraz değiştirirseniz, sistem iyi çalışmaz, gerçekten bir şey "öğrenir" mi?
-
Biyolojik evrimi öğrenme olarak sayarsak, o zaman herhangi bir uyarlanabilir süreç "öğrenme" olarak sayılabilir, o zaman "öğrenme" kelimesinin anlamı çok geniş olacak ve şu anki tartışmamızın hiçbir anlamı kalmayacaktır. Yukarı.
-
Kavramsal bir model yoksa, sadece kara kutu optimizasyonu yapmak işe yaramayacaktır.
Thomas G. Dietterich , Oregon Eyalet Üniversitesi'nden emekli profesör, AAAI'nin eski başkanı
-
Gary Marcus'un beyninin kızı, 2 milyon yıllık veriyi evrim yoluyla kodladı, böylece sandalyenin ne olduğunu anlayabilir.
-
Artık algoritmaları kişiselleştirmeyelim. Algoritmaların isimleri, bilgelik, merak ve rüyalar gibi insan kavramlarına belirsiz bir benzetmeden ziyade, ne yaptıklarını ve nasıl yaptıklarını yansıtmalıdır.
-
Öyleyse kedilerin neden dört bacağı vardır? (Gary Marcus devam ediyor: Ve dört ayaktan birini çıkardıktan sonra hala yürüyebiliyor.)
-
Nedensellikle ilgili olarak, insanların nedenselliğin önemini abarttığını ve insanların nedenselliğin üstesinden gelemeyeceğini düşünüyorum. Bu yüzden ilginç bir araştırma konusu.
-
İnsan zekasının% 80 ila% 90'ı sosyal davranış ve duygularla ilgili olabilir, ancak bu konuda veri elde etmek bizim için zor.
-
ICMLDebates tartışmamızın içeriği, tartıştığımız kelimelerin ne anlama geldiğini nasıl yeniden tanımlayacağımızı tartışmamalıdır.
"Eşitlik" konusu - Eşitlik sorunu etrafında etkili bir tartışma yapabilmek için, makine öğrenimi topluluğu eşitliği teknik bir konuya indirgememelidir. Aksine, bu mesele giderek daha fazla ve açık bir şekilde çok çeşitli kurumsal değişikliklere neden olmalı ve aynı zamanda politik faktörlerin teknolojinin etkisi üzerindeki konumunu da göstermelidir.
Rodrigo Ochigame , MIT PhD öğrencisi, MIT Multimedia Lab Artificial Intelligence Ethics and Management Group
-
Bilim ve teknoloji sektörü, 1980'lerde sigorta sektörünün sigorta aktüeryaline yaptığı gibi eşitlik için aynı şeyi yapıyor ve bu toplumsal hareketi başarıyla sona erdirdi.
-
Eşit bir algoritma yoktur. Ama eşitlik kararı var. Aynı zamanda işletmeler tarafından kullanılan ortak bir politik strateji olan eşit bir algoritma geliştirmeyi iddia etmek çok basit; o zaman algoritma eşitliği konusunun geniş kapsamlı sosyal etkisinden kaçınabilirler.
"Zenginlik" konusu
Zachary Lipton , CMU Yardımcı Doçenti, "Makine Öğrenimi Bursunda Sorunlu Eğilimler"
-
Bilimsel araştırmanın önemi, büyük paralar kazanmada değil, değerli katkılarda yatmaktadır.
-
Yeni başlayanlar açık sorunları anlamayabilir ve onlarla uğraşmak istemiyoruz.
-
Yeni keşfedilen ağ mimarisine değil, yeni keşfedilen bilgiye öncelik vermeliyiz.
-
"Eşitlik" ve "yorumlanabilirlik" gibi "seyahat kutusu" sözcüklerini kullanmaktan kaçınmaya çalışmalıyız - ona bakmak için açtığınızda, neyin çıkacağını kim bilebilir. Temelde herkesin bu kelimeleri farklı bir anlayışı vardır, bu yüzden anlamadan önce birçok açıklama ve tanım yapılmalıdır.
James Bradbury
-
Matematiksel titizlik ve konuşma dilinde yorumlanabilirlik bu koordinatın iki ucudur, problemin kendisi değildir.
-
Geçmişte yaptığımız seçimlerin doğru olup olmadığını doğrulamak için daha fazla araştırmaya ve deneysel makaleye ihtiyacımız var.
-
Konuşma insani kavramlar ("merak" gibi) gerçek iletişim için çok önemlidir çünkü daha geniş sosyal kavramlar ve insan sezgisiyle bağlantılı olabilirler.
"Güvenlik" konusu-Günümüzün makine öğrenimi sistemleri o kadar kırılgan ve sorun o kadar kritik ki, bunların gerçek dünya senaryolarında yaygın olarak kullanılmasına izin vermemeliyiz
Percy Liang , Stanford Üniversitesi'nde Yardımcı Doçent, tanınmış NLP bursiyeri
-
Resmi olarak resmi doğrulama işe yaramaz, ancak bunu yapmaya çalışmak faydalıdır.
-
Saldırıların matematiksel modelleri, gerçek dünyadaki uygulanabilir ve yararlı koşulları temsil etmek için genellikle çok basittir.
-
"AI in vitro" dan (test tüpü aşamasında AI) "in vivo AI" ye (embriyonik aşamada AI) gerçek bir fark vardır. Bir yapay zeka sistemi kurmaya çalışmazsak öğrenemeyeceğiz.
Aleksander Madry , MIT Doçenti, CSAIL ekip üyesi
-
(Percy Liang'a) Görüşlerinizi beğendim, çok yaratıcılar. Onlara kesinlikle katılmıyorum ama hoşuma gidiyor.
-
Belki de genç araştırmacılara, makaledeki içeriğin "her zaman doğru olmadığını" hatırlatmamız gerekiyor.
Tartışmanın "görüşü"
Bu tartışmayla ilgili olarak, akademisyenlerin kendiliğinden artılara ve eksilere ayrılmalarını ve şiddetli konuşmalara girmelerini bekleyebilirsiniz. Bununla birlikte, tartışmaya katılan akademisyenlerin alandaki mevcut sorunları net bir şekilde anladıkları açıktır, böylece çoğu konuda tartışmaya katılan dört kişi hızla bir anlaşmaya varabilir. AAAI başkanı ve izleyici tartışmasına katılan Arizona Eyalet Üniversitesi profesörü Subbarao Kambhampati pişmanlıkla tweet attı:
-
Şimdiye kadar, ICML Tartışmaları, "kare bir masanın aynı tarafında rahatça oturan insanların savaşması zor" hipotezini destekliyor gibi görünüyor.
-
İnsanlar birbirleriyle az ya da çok aynı fikirde olduğunda, heyecan verici tartışmalar yapmak gerçekten zordur (ya da belki çok naziktirler ve aynı fikirde olmadıklarında ortaya çıkmazlar)
Tartışmayı izleyen Endgame Veri Bilimi ve Teknolojisi Direktörü Hyrum Anderson, düşünmeye değer olduğunu düşündüğü bir şeyi de özetledi: Saldırganlar, görünüşte önemsiz sistemlere saldırmak için beklenmedik yöntemler kullanabilir ve sonuçta çok büyük sonuçlar doğurabilir. "O zamanlar ucuz bir tavsiye sistemimiz vardı. Şimdi Trump başkan." .
Gazetelerde yeni teknolojileri yayınlamak anlamlıdır, ancak yeni teknolojiler ve yeni trendler etrafında dikkatli değerlendirmemizi hak eden çok fazla şey vardır. Lei Feng.com AI teknolojisi inceleme raporu.
