Makineler öğrenmiyor: Ian Goodfellow, GAN seviyenizi değerlendireceğim
Üretken modelin performansı nasıl değerlendirilir? Bu karmaşık ve zor bir görev gibi görünüyor. Ian Goodfellow tarafından önerilen üretken yüzleşme ağı GAN, yapay zekanın önemli bir araştırma yönü haline geldi ve birçok akademisyeni araştırmaya yatırım yapmaya çekti. Ancak GAN, "değişiklik yok" sesiyle de karşılaştı (bkz: Altı iyileştirme orijinal sürümü geçmedi: Google'ın yeni araştırması GAN'ın statükosunu sorgular). Son zamanlarda, Goodfellow ekibi üretken modelleri değerlendirmenin yeni bir yolunu önerdi Görünüşe göre GAN'ın yaratıcısı nihayet yerinde duramıyor. Bu sorunu kendisi çözmeye çalıştı.
Ian Goodfellow şunları söyledi: Modelin performansını açıklayan gizli beceri değişkenlerini tahmin ederek üretken bir modelin yeteneğini değerlendirmek umut verici bir araştırma yönü gibi görünüyor.
Google araştırma bilimcisi Jordi Pont-Tuset'in her CVPR oturumunda alınan makalelerin başlıklarına ilişkin istatistikleri, GAN'ın LSTM'yi geçtiğini ve "derin öğrenmeyi" yakalama eğilimiyle önemli bir anahtar kelime haline geldiğini gösteriyor. Ancak birçok makalede, kaç tane gerçek gelişme var?
Üretken modelin değerlendirilmesi çok zor bir iştir. Şu anda, bu alanda birçok farklı yöntem araştırılmıştır, ancak her yöntemin önemli eksiklikleri vardır. Theis ve Borji ve diğerleri bu yöntemleri gözden geçirdiler ve kendi eksikliklerini gösterdiler.
Bu makalede, Google Brain, birçok modelin turnuvalarda yarıştığı bir yüzleşme süreci aracılığıyla üretici modelleri değerlendirmek için yeni bir çerçeve önermektedir. Google Brain ekibi, bu tür turnuvalarda modelin performansını ölçmek için önceden geliştirilmiş insan oyuncu değerlendirme yöntemlerini kullandı.
Satranç veya tenis yarışmalarında, Elo veya Glicko2 gibi beceri puanlama sistemleri, birden fazla katılımcının galibiyet ve kayıp sayısını gözlemleyerek her bir katılımcının gizli ve gözlenmeyen beceri değerlerini çıkarır (gözlemlenen bunları açıklarlar) Beceri performanslarını değerlendirmek için kazanır veya kaybeder. Benzer şekilde, Google Brain ekibi, üretici modelin değerlendirmesini gizli bir beceri tahmin problemi olarak inşa etmek için çok katılımcılı bir turnuva oluşturdu. Turnuva, iki katılımcı tarafından kullanılan gürültü kontrast tahminine (NCE) ve üretici düşman ağına (GAN) genişletilebilir. Oyunu (iki oyunculu ayırt edilebilirlik oyunu) ayırt edin ve bu turnuvalara katılan üretici modellerin gizli becerilerini tahmin edin.
Turnuvadaki katılımcılar, gerçek veriler ile sahte veriler arasında ayrım yapmaya çalışan ayrımcılar olabilir veya ayrımcıyı sahte verileri gerçek veriler gibi yanlış algılaması için kandırmaya çalışan üreticiler olabilirler. Çerçeve esas olarak GAN için tasarlanmış olsa da, çerçeveye katılan herhangi bir modelin etkisini de tahmin edebilir. Örneğin, açık yoğunluk modeli gibi örnekler oluşturabilen herhangi bir model, bir üretici olarak kullanılabilir.
Turnuvanın sonuçlarını özetlemek için iki yöntem sunduk:
Deneyler, turnuvaların jeneratör modellerini değerlendirmenin etkili bir yolu olduğunu gösteriyor. Her şeyden önce, yörünge içi turnuva (eğitimin sürekli yinelemelerinde, tek bir GAN'ın kendi ayırıcısı ile jeneratörün anlık görüntüsü arasında), yalnızca jeneratör veya ayırıcı eğitiliyor olsa bile, eğitim ilerlemesi için yararlı bir ölçüm sağlar. . İkincisi, daha genel turnuva (GAN üreteçleri ve farklı tohumlar, hiperparametreler ve mimarilere sahip ayırt edici anlık görüntüler arasında) farklı eğitimli GAN'lar arasında etkili bir karşılaştırma sağlar.
Bu makalenin ikinci bölümü, araştırmayı üretici model değerlendirme sisteminin daha geniş bağlamına yerleştirir ve Google Brain tarafından önerilen yöntemin diğer yöntemlere kıyasla avantajlarını ve sınırlamalarını ayrıntılı olarak açıklar. Bölüm 4.1, bu yöntemin etiketlenmemiş veri kümeleri veya doğal görüntüler dışındaki formlar gibi standartlaştırılmış görüntü yerleştirmeleri olarak iyi karakterize edilemeyen veri kümeleri için uygun olduğunu ön olarak kanıtlamaktadır. Google Brain araştırmacıları ayrıca, turnuvanın sonuçlarını özetlemek için bir beceri puanlama sisteminin kullanıldığını ve ikinci bir oyuna ihtiyaç duymadan bir oyundaki tüm katılımcıların beceri puanlamasını sağladığını gösterdi. Bölüm 4.2, GAN ayrımcısının, diğer GAN üreteçleri ve diğer üretken modeller dahil olmak üzere hangi örneklerin eğitimsiz jeneratörlerden geldiğini başarıyla belirleyebildiğini göstermektedir. Bölüm 4.3, bu yöntemin mükemmele yakın bir jeneratöre uygulanabileceğini göstermektedir.
Kağıt: Üretken Modeller için Beceri Derecelendirmesi
Makaleye bağlantı: https://arxiv.org/abs/1808.04888v1
Özet: Rekabetçi oyunlarda insan oyuncuların performansını değerlendirme yöntemini kullanarak üretici modelleri değerlendirmenin yeni bir yolunu keşfettik. Jeneratör ve ayırıcı arasındaki turnuvanın üretici modeli değerlendirmek için etkili bir yol sağladığını deneylerle gösteriyoruz. Turnuva sonuçlarını karşılaştırmak için iki yöntem sunduk: kazanma oranı ve yetenek derecelendirmesi. Değerlendirme, eğitim süreci boyunca tek bir modelin ilerlemesini izlemek ve iki farklı tam eğitimli modelin becerisini karşılaştırmak dahil olmak üzere farklı bağlamlarda yararlıdır. Tek bir modeli ve önceki ve sonraki sürümlerini içeren bir turnuvanın, eğitim ilerlemesinin ölçülmesine etkili bir şekilde yardımcı olabileceğini gösteriyoruz. Birden fazla bireysel model içeren bir turnuva (farklı rastgele tohumlar, hiperparametreler ve mimariler kullanarak) farklı eğitim GAN'larının etkili bir karşılaştırmasını sağlar. Şampiyonaya dayalı değerlendirme yöntemi, kavramsal olarak çok sayıda önceki değerlendirme oluşturma modeli yönteminden farklıdır ve tamamlayıcı avantaj ve dezavantajlara sahiptir.
Şekil 1: Yörünge içi turnuvasının Deney 1 sonuçları. Şekil 1a: Soldaki resim orijinal oyun sonucunu göstermektedir. Her piksel, deney 1'in farklı yinelemelerinden ayırıcı ve oluşturucu arasındaki ortalama kazanma oranını temsil eder. Pikseller ne kadar parlaksa, jeneratörün performansı o kadar güçlüdür. Sağdaki resim, oyunun genel göstergeleri ile SVHN sınıflandırıcısının puanını karşılaştırmaktadır. Bu şekildeki oyun kazanma oranı, ısı haritasındaki her bir sütunun ortalama piksel değerini ifade eder. (Not: i = 0 olduğunda, sınıflandırıcı puanı 4.0'dan düşüktür, bu da aynı eksendeki eğrilerin geri kalanının hizalamasını engeller, bu yüzden onu görmezden gelmeyi seçeriz.) Şekil 1b aynı verileri gösterir, ancak daha uzaktaki yinelemelerden birini kullanır. Şekil 1b'de soldaki kahverengi piksellerle gösterildiği gibi ikisi arasındaki eşleşme. Sağdaki resim, en bilgilendirici "savaşlar" ın (resmin sol üst köşesinde gösterildiği gibi erken oluşturucular ve geç ayrımcılar) göz ardı edilmesine ve kazanma oranının artık bilgi içermemesine rağmen, beceri değerlendirmesinin modelin ilerlemesini izlemeye devam ettiğini göstermektedir.
Şekil 2: Elma resimleri çizmek için yörünge içi beceri puanı. QuickDraw veri kümesinde eğitilmiş DCGAN'ı değerlendirdik. Soldan sağa, yinelemelerin sayısı arttıkça öznel örneğin kalitesi artar. SVHN sınıflandırıcısının bu örneklerin kalitesini değerlendirme yeteneği güçlü değildir ve en yüksek puan 0 yinelemede derecelendirilir ve ardından kararsız ve kötüleşen puanlar sağlar. SVHN Fréchet mesafesi daha iyi uyuyor ve örnekleme kalitesi puanı 1300 yinelemeye kadar istikrarlı bir şekilde artıyor; ancak, öznel örnek kalitesi artmaya devam ederken 1300'de doygunluk gösterecek. (Fréchet mesafe grafiğindeki y ekseninin tersine çevrildiğine dikkat edin, bu da daha düşük mesafeyi (daha iyi kalite) grafikte daha yüksek yapar). Yörünge içi beceri puanı 1300 yinelemeden sonra gelişmeye devam ediyor.
Şekil 3: Çok kanallı rekabet sonuçları. SVHN oluşturucuyu ve farklı tohumlar, hiperparametreler ve mimarilere sahip modellerin ayırt edici anlık görüntüsünü içeren bir yarışma düzenledik (bölüm 4.2'de bahsedilmiştir). Bunu değerlendirmek için SVHN sınıflandırıcı puanı (sol), SVHN Fréchet mesafesi (orta) ve beceri puanlama yöntemini (sağ; bkz. Bölüm 3.2) kullanıyoruz. Her nokta, bir modelin bir yinelemesinin puanını temsil eder. Genel yörünge, eğitim sayısı arttıkça her modelin geliştiğini göstermektedir. Fréchet mesafe grafiğindeki y ekseninin tersine çevrildiğine dikkat edin, bu da daha kısa mesafelerin (iyi kalite) grafikte daha yüksek işaretlenmesine neden olur. Gerçek veri örneklerinin puanları siyah çizgilerle belirtilmiştir. 6-auto puanı, tam bir eğitim eğrisi yerine tek bir anlık görüntüye göre hesaplanır ve gri bir çizgi ile temsil edilir. Beceri puanı tarafından oluşturulan öğrenme eğrisi, Fréchet mesafesi tarafından oluşturulan öğrenme eğrisi ile kabaca aynıdır, yalnızca 4 koşullu ve 5 koşullu koşullu modellerde sınıflandırıcı puanının eğrisiyle tutarsızdır - bu fark hakkında Bölüm 4.2'de spekülasyon yaptık.
Şekil 4: Tam eğitimli bir üretim modelinin bir örneği. Her eğitim modelinden 64 örnek (GAN'dan 200.000 yineleme ve 6-auto'dan 106 dönem) ve karşılaştırma için gerçek veriler gösteriyoruz. Her bir örnek kümesinde, modelin Glicko2 beceri puanını (SR), SVHN sınıflandırıcı puanını (CS) ve modelin SVHN Fréchet mesafesini (FD) listeliyoruz. Beceri puanlama sistemimiz, 5 koşullu deneydeki gerçek verilerden biraz daha düşüktür, ancak 4 koşullu ve 1 numaralı deneydeki gerçek verilerden daha iyidir, sınıflandırıcı puanı 5 koşullu gerçek verilerden daha iyidir ve Fréchet mesafesi 5 koşullu 4 koşuldan daha iyidir ve 1 kötü. Diğer durumlarda, sistemimizin sıralaması Fréchet mesafesi ile tutarlıdır.
Şekil 5: Mükemmele yakın bir jeneratörü değerlendirmek için basit bir görev kullanın. Tam bir kovaryans matrisi ile bir Gauss dağılımını simüle etmek için sıradan bir GAN'ı eğitiyoruz. 8000 yinelemeden sonra, jeneratör bu göreve hakim oldu. 8000 yinelemeden sonra, ayırıcı artık yararlı kararlar üretmez (Şekil 5a) ve 8000 yinelemeden sonra Chekhov GAN ayırıcısı, önceki jeneratör örneklerini hala yargılayabilir (Şekil 5b). Şekil 5c, bu ayırıcıların beceri puanlarını, sıradan jeneratörlerin gerçek performansıyla karşılaştırır ve bunları, jeneratörün kovaryans matrisi tahmini ile veri kovaryans matrisi arasındaki ortalama mutlak fark olarak ölçer. Yörünge içi rekabete kıyasla, Çehov ayrımcısının beceri puanı gerçek durumla daha uyumludur.
