"GAN X NLP" doğal dil çatışması yaratma: Kanadalı araştırmacılar eski Çin şiirleri üretmek için GAN'ı kullanıyor
Xinzhiyuan Raporu
Confrontation Generative Network (GAN) şu anda en popüler kelimedir ve GAN'ın doğal dil işleme (NLP) için kullanımı endüstride her zaman bir endişe kaynağı olmuştur. Birkaç gün önce, "Derin Öğrenme" kitabının yazarı ve CIFAR Üyesi Aaron Courville dahil Kanadalı araştırmacılar, arXiv'e "Adversarial Generation of Natural Language" adlı makaleyi yüklediler. Doğal dil üretmek için GAN'ı eğitmek için doğrudan ve etkili bir yöntem sağlar .
Yazara göre, basitlik, ayırıcıya jeneratörden gelen olasılık dağılım dizisini ve gerçek veri dağılımına karşılık gelen 1-sıcak vektör dizisini sağlamada yatmaktadır. Ayrımcıyı sürekli değerler üzerinde çalışmaya zorlayın .
Makalede önerilen model mimarisi.
Ayrıca tez, üst düzey cümle özellikleri (duygular ve sorular gibi) için koşullu metin üretmenin mümkün olduğunu gösteren nicel ve nitel değerlendirme yöntemleri de sunmaktadır.
Makalede verilen metin koşulu oluşturma örneği : Üst satır, eğitim verisi olarak Amazon.com'da "pozitif" ve "negatif" özniteliklere sahip inceleme veri kümesi kullanılarak oluşturulan bir örnektir ve alt satır, aynı veri kümesindeki "sorun" özelliklerine sahip koşullar tarafından oluşturulan bir örnektir.
Yazarlar, daha sonra GAN'ın hedef odaklı olmayan diyalog sistemleri gibi NLP'nin diğer alanlarında uygulanmasını araştırmak istediklerini söylediler.
"Confrontational Generation of Natural Language" tezi ve deneye giriş
Özet
Generative Adversarial Network (GAN), son zamanlarda bilgisayarla görme topluluğunda çok fazla ilgi gördü ve görüntü oluşturmada etkileyici sonuçlar elde etti. Bununla birlikte, doğal dilin gürültüden üretilmesine direnmedeki ilerleme, görüntü üretmedeki ilerlemeyle orantılı değildir ve yine de olasılığa dayalı yöntemlerin çok gerisinde kalmaktadır. Bu yazıda, doğal dil üretmek amacıyla yalnızca GAN'ı kullanıyoruz. Makale, basit bir kıyaslama sunuyor, ayrık çıktı alanı problemini çözüyor, gradyan tahmin edicisine dayanmıyor ve şu anda bir Çin şiir veri setinde en iyi sonuçları elde ediyor. Makale ayrıca bağlamdan bağımsız ve rastgele bağlamdan bağımsız gramerden (olasılıklı bağlamdan bağımsız dilbilgisi) oluşturulan cümlelerin nicel sonuçlarını ve dil modellemesinin nitel sonuçlarını da sağlar. Makale ayrıca cümle koşullu özelliklerine dayalı diziler oluşturabilen bir koşullu versiyonu da açıklamaktadır.
Yazara göre, dil modelleri genellikle model altında örneklerin ve gerçek verilerin dağılım olasılığı ölçülerek değerlendirilir. Bununla birlikte, GAN ile, modelin kendisinin olasılığını ölçmek imkansızdır, bu nedenle, model örneklemlerinin gerçek veri dağılımı altında olasılığını ölçerek sonuçları değerlendirmek için başka yöntemler benimsemiştir.
Yazar, deneyi 4 kategoriye ayırır:
Penn Treebank'tan türetilen CFG örnek veri seti (oyuncak CFG) ve PCFG (Marcus ve diğerleri, 1993) veri setine ait diller oluşturun
Çin şiirleri oluşturun ve (Yu ve diğerleri, 2016) ve (Che ve diğerleri, 2017) sonuçlarıyla karşılaştırın.
1 milyar kelimelik ve Penn Treebank veri kümelerinden basit İngilizce cümleler içeren bir dil oluşturun
Duygu ve soru gibi özelliklere sahip cümleler oluşturmak için Koşullu GAN'ı kullanın.
Deneysel sonuçlar
Tablo 1 (yukarıya bakın), Deney 1'deki cümle oluşturmanın nicel analizinin sonuçlarını göstermektedir. Acc ve Uniq, sırasıyla Doğruluk ve Teklik anlamına gelir ve LSTM-P, çıkış gözetleme delikli LSTM anlamına gelir. WGAN-GP ve GAN-GP, eğitim sürecinde gradyan cezası (GP) kullanan modelleri temsil eder.
Tablo 2'den görülebileceği gibi (yukarıya bakın), beş karakterli şiirlerde ve yedi karakterli dörtlükte yazar tarafından önerilen yöntemin en yüksek BLEU puanına sahip olduğu görülmektedir.
1 milyar kelime veri seti kelime ve kelime seviyesi oluşturma sonuçları.
Kelime düzeyinde oluşturulan Penn Treebank ve CMU-SE veri setlerinin sonuçları.
Kağıt adresi: https://arxiv.org/pdf/1705.10929.pdf
