En önemli toplantı içgörü serisi: ICML 2018 (Bölüm 2), enerji, GAN, denetimli öğrenme, sinir ağı
Leifeng.com AI teknolojisi yorum notu: Bu makale "Dinghui Bilgi Serisi" ne aittir. Her yıl o kadar çok harika yapay zeka / makine öğrenimi konferansları oluyor, sahneye gitmemiş olmanız üzücü ve sahneye gözlerinizi kamaştırmak çok kolay. Daha sonra diğer araştırmacıların daha sonra öğrendiklerinin özetine bakın ve belki yeni kazanımlar olacaktır.
Çin Bilimler Akademisi Otomasyon Enstitüsü, Devlet Anahtar Örüntü Tanıma Laboratuvarı'nda stajyer olarak çalışan Gautier Marti, şimdi NLP kantitatif analizinde bir araştırmacı. Makine öğrenimi + finans araştırmacılarının daha teorik ICML hakkındaki görüşleri nelerdir? Lei Feng.com AI Technology Review, kişisel blog gönderisinin tam metnini aşağıdaki gibi derledi. Bu ikincisi, toplamda iki tane var. Bir önceki makalede burada görüşmek üzere.
ICML Konferansı 2. Gün-Enerji, GAN'lar, Sıralama, Kurs Çalışması ve Makalemiz
ICML 2018'in ikinci günü, Amsterdam Üniversitesi Makine Öğrenimi Araştırma Başkanı Max Welling'in "Kilovat enerji başına zeka" başlıklı bir konferans raporuyla başladı. Fizik ve yapay zeka arasındaki bağlantıyı (enerji, entropi, bilgi, bitler, minimum açıklama uzunluğu ilkesi vb.), Model yönleri ve enerji maliyeti yönleri dahil olmak üzere tartıştı. Mevcut modeller (derin sinir ağları gibi) çok fazla enerji gerektirir. Bayesçi bir derin öğrenme biçimi, (gerçekte) daha enerji verimli modeller getirebilen fiziksel enerji (modelleme) fikrinden türetilmiştir. Sonunda bu şeyler tek tek birbirine bağlanabilir. İşte bu konuyla ilgili olarak, ICML'nin bu raporundan oldukça farklı olan başka bir raporu.
Konferansın sonraki oturumlarına katıldım ve bazı gazeteler beni çok etkiledi:
Model oluşturma (1. oturum)
Geometri Puanı: Üretken Çekişmeli Ağları Karşılaştırmak İçin Bir Yöntem (geometri puanı: karşıt ağları karşılaştırmak ve oluşturmak için bir yöntem)
Yazar, orijinal verilerin akış modelini ve oluşturulan verilerin geometrik özelliklerini karşılaştırarak, değerlendirme için nitel ve nicel bir araç sağlayan yeni bir GAN (Generative Adversarial Network) performans değerlendirme yöntemi oluşturmuştur. Özellikle, veri manifoldunu incelemek için yazar, ayrık nokta bulutları üzerinde topolojik analiz için bir dizi yöntem gibi Topolojik Veri Analizi kullanır (TDA'yı derinlemesine tanıtan Gunnar Carlsson'un bu makalesine bakın; ve GUDHI (Daha Yüksek Boyutlarda Geometri Anlama) github kodu)
Sıralama ve tercihli öğrenme (2A oturumu)
Accelerated Spectral Ranking (Accelerated Spectral Ranking)
Problem: N madde arasında ikili veya çoklu karşılaştırma verildiğinde, amaç her bir maddenin puanını öğrenmektir. Bu puanlar, bu öğeleri sıralamak için daha fazla kullanılabilir. Örneğin, bir öneri sisteminde amaç, kullanıcıların bu öğelerin farklı alt kümeleriyle karşılaştıklarında yaptıkları seçimleri gözlemleyerek, hepsi bir araya getirildiğinde bu öğelerin sıralamasını öğrenmek olabilir. Çoklu karşılaştırmalar durumunda, n öğenin karşılaştırma grafiğinde rastgele bir yürüyüş (rastgele yürüyüş, Markov'a eşdeğer) oluşturan Luce spektral sıralaması (LSR, Luce spektral sıralaması) adlı bir yöntem vardır. Zinciri) sorunu çözmek için. İki öğe arasında ikili veya çok yönlü bir karşılaştırma varsa, iki öğe arasında bir kenar vardır. Bu rastgele yürüyüşü oluşturmanın amacı, statik dağılımının MNL ve BTL modellerinin ağırlıklarına karşılık gelmesini sağlamaktır. Yazar, bunu yapmak için daha hızlı bir algoritma önermektedir.
Bu oturumun diğer yazıları da çok ilginç görünüyor, ancak şu anda bu alana pek aşina değilim, bu yüzden daha fazla yorum yapmayacağım. Bu yöntemleri son zamanlarda deneyebilirim. İşte SQL-Rank'ın github adresi: İşbirliğine Dayalı Sıralama için Liste Bazlı Bir Yaklaşım.
Denetimli öğrenme (oturum 2B)
Denetimli öğrenme oturumu, birçok makine öğrenimi uygulayıcısının çok ilgilendiği konular hakkında tartışmaları içerir: gürültülü etiketler üzerinde öğrenme; modelin ampirik yakınsama hızını iyileştirme. İkincisi, müfredat öğrenimi yoluyla elde edilebilir, yani, önce basit örnek öğrenmeyi kullanın ve ardından örneklemin zorluğunu yavaş yavaş artırın. Bu oturumun makalelerinin kısa bir süre içinde sektöre etkisi olacak gibi görünüyor. Makalelerin yazarları arasında Uber'in başkanı Raquel Urtasun ve Google AI'nın başkanı Li Feifei yer alıyor.
Curriculun Learning'in makalesi:
MentorNet: Bozuk Etiketlerde Çok Derin Sinir Ağları için Veriye Dayalı Müfredatı Öğrenmek. (MentorNet: Bozuk Etiketlerde Çok Derin Sinir Ağları için Veriye Dayalı Müfredatı Öğrenmek.)
Orijinal yazar github değil, Sağlam Derin Öğrenme için Örnekleri Yeniden Ağırlamayı Öğrenmek (sağlam derin öğrenme için örnekleri yeniden ağırlıklandırmayı öğrenmek)
Gürültülü Etiketlerle Boyut Odaklı Öğrenme (Gürültülü Etiketlerle Boyut Odaklı Öğrenme), github
Derin öğrenme (sinir ağı mimarisi) (3. oturum)
Sorgular ve Karşı Örnekler Kullanarak Yineleyen Sinir Ağlarından Otomata Çıkarma (sorgular ve karşı örnekler yoluyla RNN'den otomata çıkarma), bu makale teorik bilgisayar bilimi ve derin öğrenme konusunda eğitilmiş olanlar için çok ilginç olmalıdır.
Eşzamansız Zaman Serileri için Otoregresif Evrişimli Sinir Ağları (Eşzamansız Zaman Serileri için Otoregresif Evrişimli Sinir Ağları), github. Bu bizim makalemiz, ağırlığı doğrusal olmayan ve asenkron çok değişkenli zaman serilerini işleyebilen otoregresif bir modeldir. Bir uygulama örneği için, bayilerin tezgah üstü piyasada teklif verdiğini hayal edin: bu teklifler rastgele gelir (bayi ile az veya çok ilgili) ve tekliflerde bazı önyargı ve farklılıklar olabilir ve aynı zamanda Diğer distribütörlere aktarılırken biraz gecikme olabilir. Model, bu ilişkileri yakalamayı amaçlamaktadır ve ana ağın ağırlığı, bu bayiler arasındaki ilişkilerin (ön-gecikme) bir miktar yorumlanmasına ve görselleştirilmesine izin verir. Bu çalışmayı diğer ekonometrik modellere genişletebiliriz.
Normal salonun dışında, JP Morgan ayrıca standında derinlemesine korunma yöntemini sergiledi.
ICML, üçüncü gün-zaman serisi analizi, NLP ve daha insan benzeri öğrenme makineleri üzerinde buluşuyor
ICML toplantısının üçüncü gününde, Ronan Collobert ve Jason Weston'ın ICML 2008 makalesi "Doğal Dil İşleme için Birleşik Bir Mimari: Çoklu Görev Öğrenimiyle Derin Sinir Ağları" (doğal dil işleme için birleşik bir mimari: çok görevli öğrenme derin sinir ağları) "Zaman Testi Ödülü" konuşmasını kazandı. Burada yazarların 10 yıl önceki bazı tartışmalarını ve o dönemde kabul edilip edilmediklerini görebilirsiniz. Stockholm'deki şehirlerarası tren askıya alındığı için konuşmalarını canlı olarak duyamadım.
Ben şu oturumlara katıldım:
Zaman serisi analizi (1. oturum)
Parametreler olmadan derin Bayes takibi
Öğrenimi ve çok görevli öğrenmeyi aktarın (2. oturum)
Doğal dil ve konuşma işleme (3. oturum)
Üçü Facebook araştırmacılarından ve biri Google'dan olmak üzere toplam dört ders var
(Tam metin bitti. Leifeng.com AI Technology Review ICML raporu için, lütfen Stockholm'deki ICML 2018 açılışına bakın, adalet araştırması bir hale takıyor, sık sık altın cümleler ortaya çıkıyor, 16 büyük tanrı ICML'de bir makine öğrenimi Büyük Tartışmalar başlattı)
Gautier Mari's Wander, Lei Feng.com AI Technology Review Compilation aracılığıyla
