RNN gözden düşüyor, pekiştirmeli öğrenme ivme kazanıyor, ICLR 2019'un sekiz maddelik toplantı özeti
AI Technology Review Press: Derin öğrenme konusundaki en önemli akademik konferans olan ICLR 2019, geçen hafta New Orleans'ta sona erdi. Stanford Üniversitesi'nden mezun olan ve şu anda Nvidia'da çalışan bir kadın bilgisayar bilimcisi olan Chip Huyen bu konferansa katıldı ve zirve hakkındaki düşüncelerinden bahseden şu 8 noktaya sahip:
1. Kapsayıcılık
Bu ICLR 2019, AI'da kapsayıcılığın önemli rolünü vurguluyor: İlk iki ana konuşma - Sasha Rush'ın açılış konuşması ve Cynthia Dwork'ün davetli konuşması - hepsi adalet ve eşitlik hakkındadır. Bu verilerden bazıları endişelere neden oldu:
Konuşmacılar ve katılımcılar arasında, kadınlar sırasıyla yalnızca% 8.6 ve% 15'tir;
LGBTQ + araştırmacılarının 2 / 3'ü profesyonel olarak katılmadı;
Konferansa toplam 8 konuşmacı davet edildi, ancak hepsi beyazdı.
Maalesef bu durum yapay zeka araştırmacılarının ilgisini ve yansımasını pek çekmiyor gibi görünüyor. Diğer atölyeler çok kalabalık ama Sosyal Fayda için Yapay Zeka atölyesi umursamadı ve Yoshua Bengio ortaya çıkana kadar bu durum düzelmedi. Katıldığım birçok ICLR değişim etkinliğinde hiç kimse çeşitlilikten bahsetmedi - toplantıya beni neden benim için uygun olmayan bu teknoloji etkinliğine neden davet ettiğini sorana kadar bir arkadaşım bana şöyle dedi: " Bunu söylemek rahatsız edici olabilir ama seni davet ediyorum çünkü sen bir kadınsın. "
Bu fenomen bazı nedenlerden dolayı var - bu tür konular teknik değil, yani burada daha fazla zaman geçirseniz bile araştırma kariyerinize yardımcı olmayacak. Öte yandan, sosyal ortam nedeniyle hala bazı sorunlar var. Bir keresinde bir arkadaşım bir grup sohbetinde beni kışkırtan kişiyi görmezden gelmemi söyledi, çünkü "eşitlik ve çeşitlilik hakkında konuşanlarla dalga geçmeyi seviyor." Bazı arkadaşlarım İnternetteki çeşitlilikten bahsetmiyor çünkü "bu konuyla ilgilenmek" istemiyorlar.
2. Denetimsiz temsil öğrenme ve transfer öğrenme
Denetimsiz temsil öğrenmenin temel amacı, sonraki görevleri tamamlamak için etiketlenmemiş verilerden yararlı veri temsilleri bulmaktır. NLP'de, denetimsiz temsil öğrenimi genellikle dil modellemesi kullanılarak yapılır. Ardından öğrenilen gösterimleri duyarlılık analizi, adlandırılmış varlık tanıma ve makine çevirisi gibi görevlere uygulayın.
ELMo (Peters ve diğerleri), ULMFiT (Howard ve diğerleri), OpenAI'nin GPT'si (Radford ve diğerleri), BERT (Devlin) dahil olmak üzere NLP denetimsiz temsil öğrenimi hakkında geçen yıl iyi sonuçlara sahip birkaç makale vardı. ve diğerleri), tabii ki, "yayınlanamayacak kadar tehlikeli olan eksiksiz GPT-2" var.
Tam GPT-2 modeli ICLR'de gösterildikten sonra, etki çok tatmin ediciydi. Herhangi bir açılış cümlesini girebilirsiniz ve bu, Buzzfeed makaleleri, fan sanatı, bilimsel makaleler ve hatta bazı uydurulmuş kelimelerin anlamı gibi sonraki metin oluşturmayı tamamlamanıza yardımcı olacaktır. Ancak şu anki seviyesi hala tam anlamıyla insanlara eşit değil. Ekip şimdi daha büyük ve daha etkili olabilecek GPT-3 üzerinde çalışıyor. Sonuçlarını görmek için sabırsızlanıyorum.
Bilgisayarla görme, transfer öğrenmeyi başarıyla uygulayan eski bir topluluk olsa da, temel görevi olan ImageNet üzerinde bir sınıflandırma modeli eğitmek hala denetlenmektedir. Hem doğal dil işleme topluluğu hem de bilgisayarla görme topluluğu aynı soruyu soruyor: "Denetimsiz temsil öğrenimi görüntülere nasıl uygulanabilir?"
En ünlü laboratuvarlar araştırmaya başlamış olsa da, ICLR konferansında yalnızca bir makale yayınlandı: "Denetimsiz Temsili Öğrenim için Meta-Öğrenme Güncelleme Kuralları" (Metz ve diğerleri). Algoritmaları ağırlıkları güncellemedi, ancak öğrenme kurallarını güncelledi. Daha sonra, görüntü sınıflandırma problemini çözmek için, öğrenilen öğrenme kurallarından öğrenilen temsillere az sayıda etiketli örnek üzerinde ince ayar yapın. MNIST ve Fashion MNIST üzerinde% 70'in üzerinde doğrulukla öğrenme kurallarını bulabilirler.
Yazar bazı kodları açıkladı, ancak "hesaplamalarla ilgili" olduğu için bunları halka açık hale getirme niyetinde değildi. Dış döngü, yaklaşık 100.000 eğitim adımı ve 256 GPU'da 200 saatlik eğitim süresi gerektirir.
Yakın gelecekte bu tür belgeleri daha fazla göreceğimize dair bir önsezim var. Denetimsiz öğrenmeyi kullanabilen görevler şunları içerir: otomatik kodlama, görüntü rotasyonunu tahmin etme (Gidaris ve diğerleri, ICLR 2018'de çok popüler olan "Görüntü Rotasyonlarını Tahmin Etmeye Yönelik Denetimsiz Temsil Öğrenimi" makalesi) ve videodaki bir sonraki kareyi tahmin etme.
3. Geri İzleme ML
Makine öğrenimi kavramı modaya benzer ve hepsi çemberler içindedir. Poster oturumunda dolaşmak, bellek koridorunda yürümek gibi. Daha çok beklenen ICLR tartışması bile geçen yıl Yann LeCun ve Christopher Manning tarafından tartışılan "aşkın yapıya karşı" konusunda sona erdi Bu tartışma, Bayes okulu ile frekans okulu arasındaki yıllara benzer. tartışma.
MIT Media Lab'in "Grounded Language Learning and Understanding" projesi 2001 yılında durduruldu, ancak temelli dil öğrenimi bu yıl iki makale ile sahneye geri döndü, ancak pekiştirmeli öğrenme kisvesine büründü:
DOM-Q-NET: Yapılandırılmış Dilde Temel RL (Jia ve diğerleri): Doğal dilde ifade edilen bir hedef verildiğinde, pekiştirmeli öğrenme algoritması alanları doldurarak ve bağlantılara tıklayarak web sayfalarında gezinmeyi öğrenir.
BabyAI: Temel Dil Öğreniminin Örnek Verimliliğini İncelemek İçin Bir Platform (Chevalier-Boisvert ve diğerleri): Ajan öğrenimine rehberlik etmek için insan öğretmenleri simüle edebilen el yapımı bir bot ajanıyla OpenAI Gym ile uyumlu bir platform Sentetik dil.
Bu iki makale hakkındaki düşüncelerim AnonReviewer4 ile aynı:
"... Burada önerilen yöntem, semantik analiz literatüründe incelenen yönteme çok benziyor, ancak bu makale yalnızca yakın tarihli derin pekiştirmeli öğrenme makalelerinden alıntı yapıyor. Yazarın semantik analiz makalelerinden çok yararlanacağını düşünüyorum ve semantik analiz topluluğu da Bu makaleden biraz ilham aldım ... ancak bazı durumlarda benzer konular üzerinde çalışsak bile, iki topluluk aslında pek fazla iletişim kurmuyor. "
Deterministic Finite State Automata (DFA) ayrıca ICLR 2019 aşamasında iki bildiriye sahiptir:
Biçimsel Dilleri Temsil Etmek: Sonlu Otomata ve Tekrarlayan Sinir Ağları Arasında Bir Karşılaştırma (Michalenko ve ark.)
Tekrarlayan Politika Ağlarının Sonlu Durum Temsillerini Öğrenmek (Koul ve ark.)
İki makalenin ana motivasyonu, RNN'deki gizli durum uzayı büyük olduğu için durum sayısının sınırlı bir sayıya indirilebilmesidir. DFA'nın dilde RNN'yi doğru bir şekilde temsil edip edemeyeceğinden şüpheliyim, ancak Koul ve diğerlerinin makalesinde gösterildiği gibi, eğitim aşamasında RNN'yi öğrenme ve ardından onu muhakeme için DFA'ya dönüştürme fikrini gerçekten seviyorum. Ortaya çıkan sınırlı gösterim, yalnızca Pong oyununda 3 ayrı bellek durumu ve 10 gözlem durumu gerektirir ve bu da RNN'yi açıklamaya yardımcı olabilir.
RNN'den DFA öğrenmenin üç aşaması (koul ve ark.)
Ekstraksiyon otomatı (Koul ve ark.)
4. RNN lehine düşüyor
2018'den 2019'a kadar gönderilen makalelerin temalarındaki değişiklikler şunu yansıtıyor: RNN keskin bir düşüş yaşadı. Bu aynı zamanda beklenen bir durumdur, çünkü RNN'ler sıralı veriler için uygun olsalar da, büyük eksiklikleri de vardır: hesaplamaları paralelleştiremezler, bu nedenle 2012 hesaplama gücünden beri daha büyük araştırma itici faktörünü kullanamazlar. RNN'ler bilgisayarla görme ve pekiştirmeli öğrenme alanında popüler değildir ve bir zamanlar popüler olan doğal dil işleme alanında dikkat temelli mimarilerle değiştirilirler.
Bu, RNN'nin terk edileceği anlamına mı geliyor? Bir şey değil. ICLR 2019'daki en iyi iki makaleden biri olan "Sıralı nöronlar: Ağaç yapılarını Tekrarlayan Sinir Ağlarına entegre etmek" RNN ile ilgilidir. Bu mükemmel çalışmaya ve yukarıda bahsedilen otomatlarla ilgili iki makaleye ek olarak, ICLR 2019 ayrıca RNN'nin yeni uygulamalarını keşfetmek yerine RNN'nin matematiksel temellerini derinlemesine incelemek için araştırılan RNN hakkında 9 makale aldı. .
Endüstride, RNN'ler, özellikle ticaret şirketleri gibi zaman serisi verileriyle ilgilenen şirketler, hala çok aktif. Ne yazık ki, bu şirketler genellikle kendi araştırmalarını yayınlamazlar. RNN şu anda araştırmacılar için çok çekici olmasa da, gelecekte "geri dönüş yapabileceğini" de biliyoruz.
5. GAN hala ivme kazanıyor
Geçen yıl ile karşılaştırıldığında, GAN'daki ilgili değişiklikler nispeten olumsuzdur, ancak ilgili makalelerin sayısı gerçekte yaklaşık 70'ten yaklaşık 100'e yükselmiştir. Ian Goodfellow, her zaman olduğu gibi büyük ilgi gören GAN üzerine bir konuşma yapmak üzere davet edildi.
ICLR 2019'un ilk poster oturumu GAN hakkındadır. Birçok yeni GAN mimarisi, mevcut GAN mimarilerinde iyileştirmeler ve GAN analizi yapılmıştır. GAN uygulamaları, görüntü oluşturma, metin oluşturma, ses sentezi ve PATE-GAN, GANSynth, ProbGAN, InstaGAN, RelGAN, MisGAN, SPIGAN, LayoutGAN, KnockoffGAN ve diğer farklı mimarileri içeren diğer alanları içerir. Dürüst olmak gerekirse, bunun ne anlama geldiğini bilmiyorum çünkü GAN alanında okuma yazma bilmiyorum. Ek olarak, Andrew Brock'un büyük GAN modeline giGANtic demediği için de hayal kırıklığına uğradım.
GAN poster oturumu, topluluğun GAN'a tepkisinin ne kadar kutuplaştırıldığını ortaya koyuyor. Bazı GAN dışı araştırmacılar şu şekilde yorum yaptı: "Bu GAN dalgasının hızla geçmesine izin vermek için sabırsızlanıyorum." "Biri yüzleşmeden bahsettiği anda beynim çöküyor." Bana göre kıskanç olabilirler.
6. Biyolojiden esinlenen derin öğrenme eksikliği
Herkesin gen sıralaması ve CRISPR bebekleri hakkındaki endişeleri ve tartışmaları göz önüne alındığında, ICLR'nin derin öğrenme ve biyolojiyi birleştiren çok fazla makale yayınlamaması şaşırtıcı. Bu konuda 6 makale var:
Biyolojiden esinlenen mimari üzerine iki makale var:
Biyolojik Olarak Makul Öğrenme Algoritmaları Büyük Veri Kümelerine Ölçeklenebilir (Xiao ve ark.)
Anatomik Olarak Kısıtlanmış Derin CNN'ler aracılığıyla Retinadan Kortekse Erken Görsel Temsilciliklerin Birleşik Bir Teorisi (Lindsey ve ark.)
RNA tasarımı üzerine bir makale:
RNA Tasarlamayı Öğrenmek (Runge ve ark.)
Protein manipülasyonu hakkında üç makale:
Evrişimli Sinir Ağları ile İnsan Düzeyinde Protein Lokalizasyonu (Rumetshofer ve ark.)
Protein Yapısını Farklılaştırılabilir Bir Simülatörle Öğrenmek (Ingraham ve ark.)
Yapıdan alınan bilgileri kullanarak protein dizisi yerleştirmelerini öğrenme (Bepler ve ark.)
Retinadan esinlenen evrişimli sinir ağı (Lindsey ve ark.)
Ancak makalelerin hiçbiri genom üzerine değildi ve bu konuyla ilgili hiçbir atölye çalışması yapılmadı. Bu gerçekten sinir bozucu ... Ancak biyoloji ile ilgilenen derin öğrenme araştırmacıları veya derin öğrenmeyle ilgilenen biyologlar için büyük bir fırsat.
Bir gerçeği sıralayalım: Retina makalesinin ilk yazarı Jack Lindsey, hala Stanford Üniversitesi'nde öğrenci. Çocuklar henüz sosyal baskıyı kabul etmeye başlamadılar.
7. Pekiştirmeli öğrenme, gönderilen makaleler arasında hala en popüler konudur
ICLR 2019'daki araştırma makaleleri, pekiştirmeli öğrenme topluluğunun model içermeyen yöntemlerden örnek açısından verimli model tabanlı algoritmalara ve meta öğrenme algoritmalarına geçiş yaptığını gösteriyor. Bu geçiş, TD3 (Fujimoto ve diğerleri, 2018) ve SAC (Haarnoja ve diğerleri, 2018) ve R2D2 (Kapturowski ve diğerleri, ICLR 2019) tarafından belirlenen Mujoco sürekli kontrol kıyaslamasındaki son derece yüksek puanlardan kaynaklanıyor olabilir. Atari'nin ayrık kontrol görevlerinde son derece yüksek puanlarından esinlenilmiştir.
Model tabanlı algoritmalar (yani, verilerden çevresel modelleri öğrenmek ve ardından modeli daha fazla veri planlamak veya üretmek için kullanmak), eğitim için 1 / 10-1 / 100 deneyimi kullanırken model içermeyen algoritmalarla aynı asimptotikliği elde edebilir. verim. Bu avantaj, model tabanlı algoritmaların gerçek dünyadaki görevler için uygun olduğunu göstermektedir. Öğrenilen simülatör arızalı olduğunda, simülatörlerin entegrasyonu gibi daha karmaşık dinamik modellerle hatası hafifletilebilir (Rajeswaran ve diğerleri). Gerçek dünya sorunlarına pekiştirmeli öğrenmeyi uygulamanın bir başka yolu, simülatörün keyfi olarak karmaşık rasgeleleştirmeyi desteklemesini sağlamaktır: Farklı bir simülasyon ortamında eğitilen bir strateji, gerçek dünyayı "başka bir rasgeleleştirme" olarak görebilir ve başarılı olabilir (OpenAI).
Birden fazla görev üzerinde hızlı aktarım öğrenmeyi gerçekleştirebilen meta öğrenme algoritması, örnek verimliliğini ve performansını büyük ölçüde geliştirir (ProMP (Rothfuss ve diğerleri), PEARL (Rakelly ve diğerleri)). Bu gelişmeler bizi "ImageNet pekiştirmeli öğrenme anına" yaklaştırıyor, yani stratejileri sıfırdan eğitmek yerine diğer görevlerden öğrenilen kontrol stratejilerini kullanabiliriz (tabii ki çok karmaşık görevler şu anda mümkün değildir).
Altı kıyaslama görevinde, PEARL'ın asimptotik performansı ve meta-eğitim örnek verimliliği (Rakelly ve diğerleri), önceki meta-pekiştirme öğrenme yöntemlerinden daha iyidir.
ICLR 2019, çevresel bilginin öğrenme algoritmalarına nasıl entegre edileceğiyle ilgili makalelerin büyük bir bölümünü ve RL'de Yapı ve Önceler (SPiRL) atölyesindeki tüm makaleleri alır. Erken derin takviyeli öğrenme algoritmalarının temel avantajlarından biri genellik olsa da (örneğin, DQN hangi belirli oyunun olduğunu bilmeden tüm Atari oyunları için aynı mimariyi kullanır), yeni algoritma, önceki bilgilerin eklenmesinin daha fazla sorunu çözmeye yardımcı olabileceğini gösteriyor. Karmaşık görevler. Örneğin, Transporter Network'te (Jakab ve diğerleri), ajanlar daha fazla bilgiyle yapısal keşif yapmak için önceki bilgileri kullanır.
Genel olarak, son 5 yılda, pekiştirmeli öğrenme topluluğu, modelsiz pekiştirmeli öğrenme sorununu çözmek için çok sayıda etkili araç geliştirmiştir. Şimdi, takviye öğrenmeyi gerçek dünyadaki problemlerde kullanmak için daha fazla örnekleme, verimli ve aktarılabilir algoritmalar bulma zamanı.
Ek olarak, Sergey Levine, 15 bildiriyle bu yıl en çok makalenin yazarı olabilir.
8. Kabul edilen makalelerin çoğu yakında unutulacak
Toplantıda, tanınmış bir araştırmacıya bu yıl kabul edilen makaleler hakkında ne düşündüğünü sordum. Kıkırdadı: "Kabul edilen belgelerin çoğu konferans biter bitmez unutulacak." Makine öğrenimi gibi hızla gelişen bir alanda, en gelişmiş sonuçlar birkaç hafta veya hatta birkaç gün içinde bozulabilir. Kabul edilen makalelerin çoğu henüz Resmi gösterinin aşılmış olması şaşırtıcı değil. Örneğin, ICLR 2018 belgesinde yer alan 8 rakip örnek belgeden 7'si konferans başlamadan önce kırıldı.
Konferanslarda sık sık böyle bir yorum duyuyorum: Kağıt kabulü / reddi çok rastgele. İsimlerini vermiyorum, ancak bazı tanınmış veya çok alıntı yapılan makaleler konferans tarafından reddedildi. Aksine, birçok makale kabul edildi ancak kimse alıntı yapmadı.
Bu alanın bir üyesi olarak sık sık çeşitli tehditlerle karşılaşıyorum. Hangi fikri düşünürsem düşünsem, öyle görünüyor ki, başka biri zaten yapıyor ve daha iyi ve daha hızlı yapıyor. Bununla birlikte, bir makale kimseye yardımcı olmazsa, yayının önemi nedir? Nedenini kim söyleyebilir?
sonuç olarak
Sınırlı alan nedeniyle, ayrıntılı olarak yazamadığım birçok eğilim var, örneğin:
Optimizasyon ve düzenlilik: Adam ve SGD arasındaki tartışma devam ediyor. Bu yılki ICLR konferansı, bazıları oldukça heyecan verici olan birçok yeni teknoloji önerdi. Görünüşe göre her laboratuvar kendi optimize edicisini geliştiriyor ve ekibimiz aynı.
Değerlendirme ölçütleri: Üretken modeller daha popüler hale geldikçe, üretilen çıktıyı değerlendirmek için kaçınılmaz olarak yeni ölçütler önermemiz gerekir.
Daha fazla bilgi edinmek istiyorsanız David Abel tarafından yayınlanan 55 sayfalık ICLR 2019 notuna göz atabilirsiniz. ICLR 2019'un önemli noktalarını bilmek isteyenler için aşağıdaki resim size yardımcı olabilir:
ICLR konferansından gerçekten keyif alıyorum - yeterince büyük, burada benzer düşünen birçok arkadaş bulabilirsiniz; ayrıca sıra beklemeden eğlencenin tadını çıkaracak kadar küçük ve 4 günlük konferans programı tam da doğru. Aksine, NeurIPS konferansı biraz uzun. 4 gün konferansa katıldıktan sonra kağıt afişine bakıp şöyle düşüneceğim: "Tüm bu bilgilere bakın. Şimdi ustalaşmalıydım, ama harekete geçmek için çok tembelim."
ICLR konferansında en çok öğrendiğim şey sadece fikirler değil, aynı zamanda bilimsel araştırma için motivasyon oldu. Benim yaşımdaki birçok araştırmacı tarafından elde edilen olağanüstü başarılar, bilimsel araştırmanın güzelliğini görmemi sağladı ve daha çok çalışmam için bana ilham verdi. Ayrıca, bu haftayı gazete okuyarak ve eski arkadaşlarla tanışarak geçirmek harika bir seçim ~
huyenchip.com/2019/05/12/top-8-trends-from-iclr-2019.html aracılığıyla
2019 Küresel Yapay Zeka ve Robotik Zirvesi
Çin Bilgisayar Derneği'nin ev sahipliği yaptığı ve Lei Feng.com ve Hong Kong Çin Üniversitesi (Shenzhen) tarafından ortaklaşa düzenlenen 2019 Küresel Yapay Zeka ve Robotik Zirvesi (CCF-GAIR 2019) düzenlenecek 12-14 Temmuz 2019 Shenzhen'de düzenlendi.
O sırada Nobel Ödülü sahibi James J. Heckman, Çinli ve yabancı akademisyenler, Dünya Zirvesi Başkanı, tanınmış Fellow ve çok sayıda ağır konuk savaşta yer alacak. Yapay zeka ve robotik bilim, üretim ve yatırım alanlarında karmaşık hayatta kalma durumunu tartışmak.
Tıklamak Orijinali okuyun , Katılmak Yoğun öğrenme kompozisyonu tartışma grubu ~
