GAN hakkında yedi soru: Google beyin mühendisleri sizi üretken yüzleşme ağını kapsamlı bir şekilde çözmeye yönlendirecek
Newau Fei Tapınağı'ndan Balık ve Koyun
Qubit Raporu | Genel Hesap QbitAI
Kafanızı bir kağıt yazarken gömmek, ilgilendiğiniz yön hakkında konuşmak ve başkalarının bilgeliğini dört gözle beklemek yerine, bu aynı zamanda iyi bir fikir olabilir.
Google Beyin araştırmacısı Augustus Odena'nın son zamanlarda yeni bir fikri var.Başka bir GAN makalesi yazmak yerine, ilgilendiği birkaç araştırma yönü öneriyor ve başkalarının bu konularda ne tür harika makaleler yazabileceğini görüyor. .
Augustus Odena, Google'ın beyin makine öğreniminde uzmandır. 2016'da Generative Adversarial Networks (GAN) alanında makaleler yayınlamaya başladı. GAN'ların babası Goodfellow ile yakın çalışmakla kalmadı, GAN'larla ilgili makaleleri de uluslararası makine öğreniminde sık sık yer aldı. Zirve toplantısının aşamasının GAN'ın araştırma alanında ön saflarda lider olduğu söylenebilir.
Kısa bir süre önce, Daniel distill ile ilgili yeni bir makale yayınladı.Yeni bir araştırmadan bahsetmedi, sadece GAN hakkında yedi soru sordu.
Daniel, bu yedi soruyla, GAN'ın araştırma konusu hakkındaki görüşlerini netleştirebileceğini umuyor. Araştırmacılar için Daniel'in rehberliği, ilham kaynağını gözlerine getirmek, böylece birkaç nefes daha alamaz mı?
Yedi soru, yedi yön
Soru 1 GAN ile diğer üretken modeller arasındaki temel ödünleşim nedir?
Problem 1 GAN'lar ve diğer üretici modeller arasındaki ödünleşimler nelerdir?
Soru 2 GAN modeli ne tür bir dağıtım modeli oluşturabilir?
Problem 2 GAN'lar ne tür dağılımları modelleyebilir?
Soru 3 GAN'ın görüntü olmayan verilerde iyi performans göstermesini nasıl sağlayabilirim?
Problem 3 GAN'ları görüntü sentezinin ötesinde nasıl ölçeklendirebiliriz?
Soru 4 GAN'ın küresel olarak yakınsak olduğunu ne zaman kanıtlayabiliriz?
Problem 4 Eğitim dinamiklerinin küresel yakınsaması hakkında ne söyleyebiliriz?
Soru 5 GAN'ı nasıl değerlendirmeliyiz ve diğer üretici modeller yerine onu ne zaman kullanmalıyız?
Problem 5 GAN'leri nasıl değerlendirmeliyiz ve onları ne zaman kullanmalıyız?
Soru 6 GAN eğitimi parti büyüklüğüne göre nasıl ölçeklenir?
Problem 6 GAN eğitimi parti boyutuna göre nasıl ölçeklenir?
Soru 7 GAN ile rakip örnekler arasındaki ilişki nedir?
Problem 7 GAN'lar ile rakip örnekler arasındaki ilişki nedir?
Aslında, bu konular her zaman araştırmacıların ilgi odağı olmuştur, ancak yalnızca soru sormak, Daniel'in peşinde olduğu açık değildir. Augustus Odena sorular sorarak GAN'ın araştırma geçmişini özetledi ve aynı zamanda problemi çözmek için bazı referans talimatlar verdi.
Augustus Odena'nın görüşüne göre, GAN bir darboğaz geliştirme dönemine girmiştir ve bu araştırma alanının geliştirme hedeflerini belirleme zamanı gelmiştir.
Bakalım nasıl özetleyecek.
Özet 1: GAN değiştirilecek mi?
GAN, üretken bir modelle eşdeğer değildir, ancak GAN, görüntü oluşturmada çok öne çıktığı için, İnternette neredeyse bir "net ünlü" haline gelmiştir.
Ama aslında, üretken modeller araştırmanın etkin noktasıdır, ancak GAN tek yön değildir. GAN'ın savunucusu Goodfellow, kararlı bir GAN eğitimi yöntemi bulunamazsa, GAN'ın başka yapılarla değiştirilebileceğini söyledi.
Augustus Odena, GAN'ın yanı sıra şu anda iki popüler üretken modelin daha olduğunu belirtti: akış modeli ve otoregresif model. Son araştırma sonuçları, bu modellerin farklı performans özelliklerine ve değiş tokuşlarına sahip olduğunu göstermektedir. GAN paralel ve etkilidir ancak geri döndürülemez; akış modeli, doğru log-olabilirlik hesaplamalarına ve kesin muhakemeye izin verir, ancak verimsizdir; otoregresif model tersine çevrilebilir ve etkilidir, ancak paralel değildir.
Bu ilk soruyu gündeme getiriyor: GAN ile diğer üretken modeller arasındaki temel değiş tokuş nedir?
Augustus Odena, daha fazla model üzerinde çalışmanın, özellikle hibrit GAN / akış modelleri gibi bazı hibrit modellerin bu sorunu çözmeye yardımcı olabileceğine inanıyor. Bu yönde keşfedilmeye değer birçok şey olduğunu hissediyor.
Özet 2: Belirli bir dağılımı GAN ile modellemek ne kadar zor
Çoğu GAN araştırması görüntü sentezine odaklanır ve insanlar genellikle GAN'ı eğitmek için MINIST, CIFAR-10, STL-10, CelebA ve Imagenet gibi veri kümelerini kullanır. Ve hangi veri setlerinin modellenmesi daha kolaysa, her zaman bazı söylentiler vardır, ancak bu sonuçları doğrulamak istiyorsanız, karmaşık olacaktır.
Augustus Odena, her bilim gibi GAN'ın da deneysel sonuçları açıklamak için basit bir teoriye sahip olmayı umduğunu belirtti. Öyleyse soru iki geliyor: GAN ile modellemenin ne kadar zor olduğunu nasıl bilebiliriz?
Daniel iki yönden başlamayı öneriyor:
Hangi özelliklerin öğrenme performansını etkileyeceğini keşfetmek için sentetik veri kümelerini inceleyerek sentetik veri kümesi
Mevcut teorik sonuçları değiştirin - veri setinin farklı özelliklerini açıklamak için mevcut teorik sonuçların varsayımlarını değiştirmeye çalışın
Özet 3: GAN yalnızca görüntüleri sentezleyebilir mi?
GAN'ın görüntü sentezi alanındaki başarıları herkes için açıktır: Görüntü sentezine ek olarak, Augustus Odena üç ana ilgi alanından bahsetmiştir: metin, yapılandırılmış veri ve ses.
GAN, denetimsiz ses sentezinde nispeten başarılıdır, ancak diğer yönlerden hala yetersizdir. Öyleyse GAN'ın görsel olmayan verilerde daha iyi performans göstermesini nasıl sağlayabiliriz? Bu üçüncü sorudur.
Yeni eğitim tekniklerini mi benimsemeli yoksa önceki bilgilerle mi başlamalıyız? Daniel bunun kolay olmadığını söyledi Bu sorunun çözümü, temel araştırmanın ilerlemesine dayanmak zorunda kalabilir.
Özet 4: GAN'ın yakınsama problemi
Augustus Odena, GAN'ın yakınsama probleminin araştırma sürecini de özetledi.
GAN'ın yakınsama sorunu her zaman bir endişe kaynağı olmuştur. Diğer sinir ağlarından farklı olarak, GAN'ın eğitim süreci, jeneratör ve ayırıcıyı aynı anda optimize etmektir, böylece iki AI birbiriyle savaşacak. Modelin yakınsamama sorunu onu kararsız hale getirecektir.
Daniel, hepsi de çığır açan üç teknik rotayı özetledi, ancak hiçbiri henüz çalışılmadı.
Varsayımları basitleştirin - üreticiler ve ayrımcılarla ilgili varsayımları basitleştirin
Normal sinir ağı tekniklerini kullanın - GAN yakınsaması hakkındaki soruları yanıtlamak için normal sinir ağlarını (dışbükey olmayan) analiz etme tekniklerini uygulayın
Oyun Teorisi-Modelleme Oyun teorisi konseptiyle GAN eğitimi
Özet Beş: GAN'ın Değerlendirilmesi
GAN'ın değerlendirilmesi ile ilgili olarak, pek çok öneri vardır, ancak bunların çoğunun fikir birliğine varılması zordur. Bu öneriler şunları içerir:
- İlk puan ve FID
- MS-SSIM
- AIS
- Geometrik kesir
- Hassasiyet ve geri çağırma
- Yetenek seviyesi
Bu, GAN değerlendirme şemasının sadece küçük bir parçasıdır.İlk puan ve FID nispeten popüler olmasına rağmen, GAN'ın değerlendirilmesi açıkça statik bir problem değildir.
Augustus Odena, GAN'ın nasıl değerlendirileceği konusundaki kafa karışıklığının, GAN'ın ne zaman kullanılacağının anlaşılmamasından kaynaklandığına inanıyor, bu nedenle iki konuyu bir araya getiriyor, önce GAN'ın uygulanabilirliğini değerlendiriyor ve sonra bu bağlamda değerlendiriyor.
GAN, algısal görevleri işlemek için çok uygundur ve görüntü sentezi ve görüntü dönüştürme konusundaki başarıları bunu kanıtlamıştır. Öyleyse soru, algı görevlerinin işlenmesinde GAN'ı nasıl değerlendiririz?
Basit bir yöntem, sınıflandırıcı çift örnek testidir (C2ST'ler) Bu yöntemin temel sorunu, jeneratör sadece küçük bir kusur oluştursa bile değerlendirme sonucuna hakim olacaktır.
Daniel bir süre düşündü ve bu meselenin hala insanlar tarafından yönetilmesi gerektiğini hissetti. Maliyetleri düşürmek için, insan yargılarının sonuçlarını tahmin etmek için makineler kullanılabilir, ancak tahmin edilen sonuçlar belirsiz olduğunda, gerçek insan müdahalesine hala ihtiyaç vardır.
Özet 6: GAN eğitimi parti büyüklüğüne göre nasıl genişletilir
Çoğu GAN'daki ayırıcı yalnızca bir görüntü sınıflandırıcıdır. Darboğaz gradyan gürültüsü ise, toplu iş boyutunu artırmak eğitimi hızlandırabilir. Ancak GAN, sınıflandırıcıdan farklı bir darboğaza sahiptir: eğitim süreci istikrarsızdır.
Augustus Odena daha sonra altıncı soruyu sordu: GAN eğitimi parti büyüklüğüne göre nasıl ölçeklenir? GAN'ın eğitim sürecinde gradyan gürültüsü nasıl bir rol oynar? GAN eğitimini parti boyutuyla daha iyi ölçeklenecek şekilde değiştirmek mümkün müdür?
Üç çözüme işaret etti: Bunlar arasında Optimal Transport GAN'larının parti boyutu çok büyük olduğunda iyi bir seçim olacağını düşünüyor. Eşzamansız SGD de dikkat etmeye değer bir yöntemdir.
Özet 7: Ayırımcının düşmanca sağlamlığı GAN eğitimini nasıl etkiler?
Hepimizin bildiği gibi, görüntü sınıflandırıcılar rakip örneklerden etkilenir: rakip örnekler ile gerçek örnekler arasındaki farkı çıplak gözle ayırt etmek neredeyse imkansızdır, ancak modelin yanlış kararlar vermesine neden olur.
GAN'ın ayırt edicisi bir görüntü sınıflandırıcı olduğu için karşıt örnekler problemiyle de karşılaşabilir.
Augustus Odena, GAN'lar ve muhalif örnekler hakkında çok sayıda literatür olmasına rağmen, aralarındaki ilişkinin çok fazla araştırılmadığını belirtti.
Öyleyse soru şu: GAN ile rakip örnekler arasındaki ilişki nedir? Ayrımcının muhalif sağlamlığı GAN'ın eğitim sonuçlarını nasıl etkiler?
Augustus Odena, bu araştırma konusunun çok değerli olduğunu düşünüyor. Üretken modele yönelik kasıtlı saldırıların uygulanabilir olduğu kanıtlanmıştır ve "kazara saldırı" olasılığı nispeten küçük olsa da, jeneratörün rakip örnekler üretmeyeceğine dair kesin bir kanıt yoktur.
Bu içerikleri okuduktan sonra daha net bir fikriniz var mı? Kısacası, her problem çok fazla arka plan bilgisi içerir ve Daniel'in yüzleşme ağını oluşturmanın geçmişi ve geleceği hakkında konuşmasını dinlerken her zaman bir zararı yoktur.
Daniel kendisi de, diğer alanlardaki araştırmacıların herkesin fikirlerini çözmesine yardımcı olmak için benzer makaleler yazmasını istediğini söyledi.
Portal
Daniel makalesi:
https://distill.pub/2019/gan-open-problems/
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
