g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

WGAN liderliğindeki "ICML 2017", Facebook'ta 9 makale

200.000, bu, bugün Xinzhiyuan'ın ulaştığı toplam kullanıcı sayısı. Akıllı evrene yolculuk sırasında, Xinzhiyuan ile seyahat eden her arkadaşınıza teşekkür edin. Dikkatiniz ve desteğiniz "Xinzhiyuan" yıldız gemisinin tükenmez yakıtıdır.

Facebook AI araştırmacıları, bu hafta Avustralya'nın Sidney kentinde düzenlenen Uluslararası Makine Öğrenimi Konferansı'nda (ICML) en son araştırma sonuçlarını sundular. Makine öğrenimi üzerine önde gelen uluslararası konferans olan ICML, uluslararası bilgi alışverişi için endüstrilerden ve akademiden araştırmacıları bir araya getiriyor.

Facebook, bu ICML'de dil modelleme, optimizasyon ve denetimsiz öğrenme görüntüleri gibi konuları kapsayan 9 makale yayınladı. Ek olarak, Facebook ekibi bir video oyunu ve makine öğrenimi (VGML) atölyesi (Workshop) düzenledi.

Facebook, geçen yıl bir sansasyon yaratan WGAN'larını 9 makalede özellikle tanıttı.

WGAN: Kararsızlık sorunlarını çözün ve GAN'ı daha iyi eğitin

WGAN'ı öneren makalenin tam adı, Facebook ve New York Üniversitesi araştırmacıları Martin Arjovsky, Soumith Chintala ve Leon Bottouu'nun ortak yazarı olan "Wasserstein Generative Adversarial Networks" dür ve Wasserstein GAN adı verilen geleneksel GAN eğitimini değiştirmek ve geliştirmek için bir yöntem önerdi.

Generative Adversarial Networks (GAN), denetimsiz öğrenmede güçlü yetenekler göstermiş olsa da, kararsız sayısal yakınsama nedeniyle GAN eğitim algoritmalarını pratikte kullanmak genellikle zordur. Bu makalede, araştırmacılar, GAN'ın amaç işlevini değiştirmek için Dünya Hareketi (EM) mesafesinin yaklaşık bir değerini kullanmayı öneriyorlar. Araştırmacılar, EM mesafesini yaygın olarak kullanılan olasılık mesafesi ve öğrenme dağılımındaki ıraksama ile karşılaştırarak, bunu yapmanın mantığını gösterdiler ve ardından Wasserstein GAN'ı (WGAN) tanımladılar. WGAN, EM mesafesinin uygun yaklaşımını en aza indirebilir ve GAN'ı ortadan kaldırabilir Eğitim sırasında bilinen birkaç sorun.

Kağıt Şekil 2: 8 Gauss dağılımını farklı yöntemlerle öğrenmenin sonuçları: WGAN, mod çökmesi olmadan dağılımları öğrenebilir.

WGAN'ın temel avantajı, araştırmacıların eleştirmenleri tamamen eğitmesine izin vermesidir. Eleştirmen eğitildiğinde, jeneratör için bir kayıp oluşturacaktır. Eleştirmen ne kadar iyi olursa, jeneratörü eğitmek için kullanılan gradyanın kalitesi o kadar yüksek olur. Bu şekilde, GAN eğitim sürecinde jeneratör ve ayırıcı arasındaki dengeyi sağlamak için karmaşık ince ayar yapmaya gerek kalmaz. Araştırmacılar ayrıca, jeneratörün mimarisi belirli koşulları karşılayacak şekilde ayarlandığında, WGAN'ın GAN'dan daha sağlam olduğunu gözlemlediler.

Pratikte WGAN'ın en çekici yönlerinden biri, eğitim sırasında eleştirmeni optimize ederek EM mesafesini sürekli olarak değerlendirmektir. Bu öğeler, gözlemlenen örnek kalitesiyle yakından ilişkili olduğundan, bir öğrenme eğrisi çizmek, hata ayıklama ve hiperparametre aramasında çok yararlıdır.

Kağıt Şekil 4: Farklı eğitim aşamalarında eğitim eğrileri ve örnekleri. Daha düşük hata ve daha yüksek örnek kalitesi arasında açık bir korelasyon olduğu görülebilir.

ICML 2017'de Facebook'tan dokuz makale

Yüksek Boyutlu Varyans Azaltılmış Stokastik Gradyan Beklentisi-Maksimizasyon Algoritması

Rongda Zhu, Lingxiao Wang, Chengxiang Zhai, Quanquan Gu

İki katmanlı ReLU ağı için Popülasyon Gradyanının Analitik Formülü ve Yakınsama ve Kritik Nokta Analizindeki Uygulamaları

Yuandong Tian

Sıralı Öğrenmeye Evrişimli Sıra

Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, Yann Dauphin

GPU'lar için verimli softmax yaklaşımı

Edouard Mezarı, Armand Joulin, Moustapha Cisse, David Grangier, Hervé Jégou

Yüksek Boyutlu Seyrek Çıktı için Gradyan Artırılmış Karar Ağaçları

Si Si, Huan Zhang, Sathiya Keerthi, Dhruv Mahajan, Inderjit Dhillon, Cho-Jui Hsieh

Geçitli Evrişimli Ağlarla Dil Modelleme