Doğal dil işlemede GAN'ın sorunlarını açıklayın: ilkeler, teknikler ve uygulamalar
Eser sahibi: MirandaYang
AI devam ediyor, Vientiane güncellendi!
Xinzhiyuan, tüm abonelerine iyi bir Horoz Yılı diliyor!
Xinzhiyuan yeni bir işe alım turu başlattı : COO, Genel Yayın Yönetmeni, Baş Editör, Kıdemli Derleyici, Baş Yazar, Operasyon Direktörü, Hesap Yöneticisi, Danışmanlık Direktörü, İdari Asistan ve diğer 9 pozisyon tamamen açıktır.
Teslime devam et: j obs@aiera.com.cn
HR WeChat: 13552313024
Xinzhiyuan, COO ve yönetici editörlere bir milyon yuan'a kadar yıllık maaş teşvikleri sağlar; kilit çalışanlar için en eksiksiz eğitim sistemini sağlar, Sektör ortalamasından daha yüksek maaşlar ve ikramiyeler.
Xinzhiyuan'a katılın ve dünyayı değiştirmek için yapay zeka endüstrisinin liderleriyle birlikte çalışın.
Xin Zhiyuan Rehberi Bu makale, GAN'ın neden doğal dil işlemede (NLP) şaşırtıcı sonuçlara ulaşamadığından başlamaktadır ve NLP'deki orijinal GAN'ın sorunlarını analiz etmektedir. GAN'ı NLP'ye uygulayan bazı yeni makaleler tanıtıldı ve analiz edildi ve bunları özetledi.
GAN önerildiği günden bu yana, özellikle bilgisayarla görme alanında geniş ilgi gördü. Bu makale esas olarak GAN'ın NLP'de uygulanmasını tanıtmaktadır (kağıt yorumlama veya kağıt not olarak kabul edilebilir) ve GAN'ın temel bilgilerini içermez. Uzun süredir Çince yazı yazmadığım için lütfen beni affedin ve yazıdaki yanlışlıklar için bize önerilerinizi iletin.
GAN neden NLP olmadan iyi sonuçlar elde etmiyor?
GAN, görüntü oluşturmada iyi sonuçlar elde etmesine rağmen, GAN, doğal dil işleme (NLP) görevlerinde şaşırtıcı sonuçlar elde etmemiştir. Sebepler muhtemelen şu şekilde özetlenebilir:
(1) Orijinal GAN esas olarak gerçek sayı uzayında (sürekli veri) kullanılır ve ayrık veri (metinler) oluşturmada çalışmaz. GAN teorisinin yazarı Dr. Ian Goodfellow şu soruyu yanıtladı: GAN'lar şu anda doğal dil işlemeye (NLP) uygulanmamaktadır. Orijinal GAN'lar yalnızca gerçek sayı alanında tanımlanmaktadır. GAN'lar eğitimli üreticiler aracılığıyla sentetik veriler üretir. , Ve sonra ayırıcıyı sentetik veriler üzerinde çalıştırın, ayırıcının çıktı gradyanı, sentetik verileri biraz değiştirerek sentetik verileri nasıl daha gerçekçi hale getireceğinizi söyleyecektir. Genel olarak, sentetik verileri yalnızca veriler sürekli olduğunda biraz değiştirebilirsiniz Veriler ve veriler ayrıksa, sentetik verileri değiştiremezsiniz. . Örneğin, piksel değeri 1.0 olan bir resim çıktısı alırsanız, bu değeri 1.0001 olarak değiştirebilirsiniz. "Penguin" kelimesi çıktı ise "penguin + .001" kelimesi olmadığı için "penguin + .001" olarak değiştirilemez. Tüm doğal dil işleme (NLP), "kelimeler", "harfler" veya "heceler" gibi ayrı değerlere dayandığından, GAN'ları NLP'de uygulamak çok zordur. Genel olarak, pekiştirmeli öğrenme algoritmaları kullanılır. Bildiğim kadarıyla, hiç kimse NLP problemlerini çözmek için gelişmiş algoritmaların kullanımını incelemeye başlamadı. "
(2) Metin oluştururken, GAN tüm metin dizisini modeller ve puanlar. Kısmen (kısmen) üretilmiş bir dizi için, tam (tam) dizi daha sonra üretildiğinde puanı yargılamak çok zordur.
(3) Diğer bir potansiyel zorluk, RNN'lerin doğasıyla ilgilidir (oluşturulan metnin çoğu RNN modellerini kullanır). Gizli kodlardan metin üretmeye çalıştığımızı varsayalım, hatalar cümlenin uzunluğu ile üssel olarak birikecektir. İlk birkaç kelime nispeten makul olabilir, ancak cümlenin uzunluğu arttıkça cümlenin kalitesi bozulmaya devam edecektir. Ek olarak, cümle uzunluğu rastgele bir gizli temsilden üretilir, bu nedenle cümle uzunluğunun kontrol edilmesi de zordur.
GAN'ı NLP'ye uygulayan son makalelere giriş
Aşağıda, GAN'ı NLP'ye uygulama hakkında son zamanlarda okuduğum bazı makaleleri tanıtacağım ve analiz edeceğim:
1. Çekişmeli Eğitim Yoluyla Metin Oluşturma
Kağıt bağlantısı:
Bu, GAN teorisini metin oluşturma görevlerine uygulamaya çalışan 2016 NIPS GAN Çalıştayı hakkında bir makale. Makaledeki yöntem nispeten basittir ve aşağıdaki gibi özetlenebilir:
(1) GAN oluşturucusu olarak Tekrarlayan Sinir Ağı'nı (LSTM) kullanın. Bunlar arasında, LSTM'nin çıktısını yaklaşık olarak tahmin etmek için yumuşak yaklaşım fikri kullanılır. Yapı şeması aşağıdaki gibidir:
(2) Amaç işlevi orijinal GAN'dan farklıdır ve makalede özellik eşleştirme yöntemi kullanılmıştır. Yinelemeli optimizasyon süreci aşağıdaki iki adımdan oluşur:
Bunlar arasında formül (6), standart GAN'ın optimizasyon işlevidir ve formül (7), özellik eşleşmesinin optimizasyon işlevidir.
(3) Bu makalenin ilklendirilmesi oldukça ilgi çekicidir, özellikle ayrımcının ön eğitiminde, orijinal cümle ve cümledeki iki kelimenin yer değiştirmesinden sonra elde edilen yeni cümle ayrımcılık eğitimi için kullanılmaktadır. (Başlatma işlemi sırasında, ayırıcıyı optimize etmek için nokta nokta sınıflandırma kaybı işlevi kullanılır). Bu çok ilginç, çünkü iki kelime birbirinin yerine geçiyor ve giriş veri bilgisi aslında temelde aynı. Örneğin, çoğu evrişim hesaplaması tam olarak aynı değerle sonuçlanacaktır.
(4) Bu yazıda jeneratörün güncelleme sıklığı, orijinal GAN ayarının tam tersi olan, ayırıcının 5 katıdır. Bunun nedeni, LSTM'nin CNN'den daha fazla parametreye sahip olması ve eğitilmesinin daha zor olmasıdır.
(5) Bununla birlikte, bu makaledeki üretken modelin (LSTM) kod çözme aşaması, maruz kalma yanlılığı sorununa sahiptir, yani, gerçek çıktıyı, eğitim sürecinde bir sonraki kelimenin girdisi olarak tahmin edilen çıktıyla kademeli olarak değiştirme.
2. SeqGAN: Politika Gradyanlı Sıra Oluşturan Düşman Ağları
Makaleye bağlantı: https://arxiv.org/pdf/1609.05473.pdf
Kağıt kaynak kodu: https://github.com/LantaoYu/SeqGAN
Metin, hatayı pekiştirmeli öğrenmenin bir ödülü olarak görür ve ileri beslemeli bir şekilde eğitilir ve G ağı, takviye öğrenmenin keşif modu ile güncellenir.
Ana içerik: Bu makale, dizi oluşturma sürecini sıralı bir karar verme süreci olarak ele almaktadır. Aşağıda gösterildiği gibi:
(1) Soldaki resim GAN ağı eğitiminin 1. adımını göstermektedir Ayırıcı D esas olarak gerçek örnekleri sahte örneklerden ayırmak için kullanılır Burada Ayırıcı D CNN tarafından uygulanmaktadır.
(2) Sağdaki resim GAN ağ eğitiminin 2. basamağını göstermektedir Ayırıcı D tarafından döndürülen diskriminant olasılığına göre G jeneratörüne geri gönderilir ve jeneratör G takviye öğrenme yöntemi ile güncellenir Buradaki jeneratör G LSTM tarafından gerçekleştirilir.
(3) G ağının güncelleme stratejisi gelişmiş öğrenme olduğundan, gelişmiş öğrenme durumunun, eyleminin, politikasının ve ödülünün dört unsuru şunlardır: durum, şu anda üretilmiş olan belirteçlerdir (mevcut zaman diliminden önce LSTM kod çözücünün sonucu) ve eylem, bir sonraki oluşturulacak olanıdır. belirteç (mevcut kodu çözülmüş kelime), politika GAN oluşturucu G ağıdır ve ödül, GAN ayırıcı D ağı tarafından üretilen ayrımcılık olasılığıdır. Bunların arasında ödül, yaklaşık olarak aşağıdaki yöntemi kullanır:
Bu işlemin özellikleri: yani, kod çözme t'ye ulaştığında, Monte Carlo araması bir sonraki Tt zaman adımları için N yolu aramak için kullanılır ve N yolları ve kodu çözülen sonuçlar N tam çıktıya dönüştürülür ve ardından D ağı karşılık gelir Ödül olarak ödülün ortalama değeri kullanılır.T = T olduğunda yol geriye doğru araştırılamayacağından, tam çözüm sonucunun ödülü doğrudan ödül olarak kullanılır.
(4) RL bölümü için, bu makale politika gradyan yöntemini benimser. Politika gradyanı teorisine göre, jeneratör G'nin amaç işlevi şu şekilde ifade edilebilir:
Türetme sonucu:
(5) Düzenli aralıklarla, daha gerçekçi cümleler oluşturulduğunda, ayırıcı D yeniden eğitilir.Ayrımcının amaç işlevi şu şekilde ifade edilir:
Algoritma yapı diyagramı şu şekilde ifade edilebilir:
Deneysel kısım esas olarak sentetik veri deneyi ve gerçek veri deneyine ayrılmıştır:
(1) Sentetik veri deneyi: Bir LSTM oluşturucu A rastgele başlatılır ve eğitim verilerinin bir kısmı çeşitli üretken modelleri eğitmek için rastgele oluşturulur.
Kriter şudur: negatif log olabilirlik (çapraz entropi) NLL. Ayrıntılı deneysel ayarlar için lütfen orijinal makaleye bakın.
(2) Gerçekçi veri deneyi: Esas olarak Çin mısralarının, Obama'nın konuşma üretiminin ve müzik üretiminin sonuçlarını gösterir. Deneysel veriler Çin şiir veri kümesi (16.394 dörtlük), Obama konuşma veri kümesi (11.092 paragraf) ve Nottingham müzik veri kümesidir (695 şarkı). Değerlendirme yöntemi BLEU puanıdır ve deneysel sonuçlar aşağıdaki gibidir:
Modelin ürettiği şiirler makalede gösterilmemiştir Spesifik etkiler nelerdir?
3. Sinirsel Diyalog Üretimi için Tartışmalı Öğrenme
Makaleye bağlantı: https://arxiv.org/pdf/1701.06547.pdf
Kağıt kaynak kodu: https://github.com/jiweil/Neural-Dialogue-Generation
Bu makale 26 Ocak 2017'de arxiv'e yüklendi ve NLP için en son GAN makalesine aittir. Bu makalede, çekişmeli eğitim esas olarak açık alan diyalogu oluşturmak için kullanılmaktadır. Bu yazıda, bu görev, jeneratör ve ayırıcıyı birlikte eğitmek için bir pekiştirmeli öğrenme (RL) problemi olarak kabul edilmektedir. SeqGAN gibi, bu makale de RL'nin ödül parçası olarak ayırt edici D'nin sonucunu kullanır.Bu ödül, jeneratör G'yi ödüllendirmek ve jeneratör G tarafından oluşturulan diyaloğu insan diyaloğuna benzer hale getirmek için kullanılır.
Genel olarak, bu makalenin fikri aşağı yukarı SeqGAN ile aynıdır, ancak birkaç fark ve iyileştirme vardır:
(1) Bu makale açık diyalog oluşturmak için kullanıldığından, bu makaledeki oluşturucu seq2seq modelini kullanır (sıradan LSTM modeli yerine). Ayırıcı, hiyerarşik bir kodlayıcı kullanır (CNN yerine).
(2) Tamamen veya kısmen oluşturulan dizilerin ödülünü hesaplamak için iki yöntem benimsenmiştir. Monte Carlo arama (SeqGAN'a benzer) yöntemine ek olarak, bu makale kısmen oluşturulmuş dizilerde ödül hesaplaması yapabilen yeni bir yöntem önermektedir. Ayırıcıyı eğitmek için tamamen ve kısmen kodu çözülmüş dizilerin tümünün kullanılması aşırı uyuma neden olacaktır. Kısmen oluşturulmuş diziler birçok eğitim verisinde görünecektir. Örneğin, üretilen ilk jeton y_1, kısmen üretilen tüm dizilerde görünecektir. Bu nedenle, bu makale, D ayırıcıyı eğitmek için pozitif dizi y + ve negatif dizi y-'nin her alt dizisinden rastgele bir örnek seçmeyi önermektedir. Bu yöntem, Monte Carlo aramasından daha hızlıdır, ancak aynı zamanda ayırıcıyı daha zayıf ve daha az doğru yapar.
(3) SeqGAN'da, oluşturucu, oluşturduğu diziyi yalnızca dolaylı olarak ödüllendirebilir veya ayırıcı tarafından üretilen ödülle cezalandırabilir. Doğrudan altın standart dizisinden bilgi elde etmek mümkün değildir. Bu eğitim yöntemi kırılgandır. Jeneratör bir eğitim grubunda kötüleştiğinde, ayırıcı oluşturulan cümleleri kolayca yargılayacaktır (örneğin, ödül 0 ise), jeneratör kaybolacaktır. Oluşturucu yalnızca oluşturulan cümlenin kötü olduğunu bilir, ancak oluşturulan cümleyi daha iyi hale getirmek için nasıl ayarlanacağını bilmez. Bu sorunu çözmek için, jeneratör güncelleme işlemi sırasında bu makale insan tarafından oluşturulan yanıtlara girildi. İnsan tarafından üretilen bu yanıtlar için, ayrımcı ödülünü 1'e ayarlayabilir. Bu şekilde, jeneratör yukarıdaki durumlarda hala iyi yanıtlar üretebilir.
(4) Eğitim sırasında, diyalog sistemi için bazı püf noktaları vardır. Okuyucular bu bölüm için Jiwei Li'nin diyalog sistemi hakkındaki önceki makalesine başvurabilirler.
Bazı deneysel sonuçlar:
Düşünmeye değer ne: Makalede, ayırt edicinin sonucunu sadece diyalog sistemi makalesinde orijinal yazar tarafından önerilen diğer ödül mekanizmalarıyla (örneğin karşılıklı bilgi) birleştirerek ödül olarak kullanmaya çalışıyorum, etkiyi artıracak mı?
4. Gumbel-softmax dağılımı ile ayrık elemanların dizisi için GAN'lar
Makaleye bağlantı: https://arxiv.org/pdf/1611.04051.pdf
Önceki iki makale ile karşılaştırıldığında, bu makale nispeten basit ve ayrık verilerle uğraşırken şiddetli.
Ayrı veriler (tek sıcak yöntemle temsil edilir) genellikle polinom örneklemeden elde edilebilir, örneğin, softmax fonksiyonu p = softmax (h) çıktısı. Önceki olasılık dağılımına göre, p olasılığıyla y örnekleme işlemi şuna eşdeğerdir: y = one_hot (argmax_i (h_i + g_i)), burada g_i Gumbel dağılımına uyar (sıfır konum ve birim ölçeği ile). Ancak one_hot (argmax (.)) Türevlenemez.
Orijinal GAN'dan farklı olarak yazar, yukarıdaki formüle yaklaşmak için bir yöntem önermektedir: y = softmax (1 / r (h + g)). Bu formül farklılaştırılabilir. Algoritma yapısı aşağıdaki gibidir:
Bu makalenin deneysel kısmı oldukça kabadır, yalnızca oluşturulan bağlamdan bağımsız dilbilgisini gösterir ve diğer metin verilerini üretme konusunda deneyler yapmaz.
Genel olarak, bu makalenin yönteminin kendisi geliştirilmeye değer ve ayrıca öğrenmeye değer.
5. Üretken hasım ağı ile aktör-eleştirmen yöntemlerini birbirine bağlamak
Makaleye bağlantı: https://arxiv.org/pdf/1610.01945.pdf
Aktör-eleştirmen yöntemleri: Çoğu RL yöntemi (örneğin, politika gradyanı) yalnızca politika veya değer işlevi üzerinde çalışır. Aktör-eleştirmen yöntemi, yalnızca politika ve yalnızca değer işlevi olan yöntemleri birleştirir. Eleştirmen, değer işlevine yaklaşmak veya tahmin etmek için kullanılır ve aktör, esas olarak eylemi seçmek için kullanılan politika yapısı olarak adlandırılır. Aktör-eleştirmen, politikaya uygun bir öğrenme sürecidir. Eleştirmen modelinin sonuçları, aktör politikasının performansını iyileştirmeye yardımcı olmak için kullanılır.
GAN ve aktör-eleştirmen birçok benzerliğe sahiptir. Aktör-eleştirmen modelindeki aktör işlevi, GAN'daki oluşturucuya benzer, hepsi bir eylem yapmak veya bir örnek oluşturmak için kullanılır. Aktör-eleştirmen modelindeki eleştirmen, esas olarak bir aktörün veya oluşturucunun çıktısını değerlendirmek için kullanılan GAN'daki ayırıcıya benzer. Belirli benzerlikler ve farklılıklar için, ilgilenen arkadaşlar orijinal metni dikkatlice okuyabilir.
Bu makalenin ana katkısı, GAN ve aktör-eleştirmen modelleri arasındaki benzerlikleri ve farklılıkları farklı bakış açılarından açıklamak, böylece GAN üzerinde çalışan akademisyenleri ve aktör-eleştirmen modellerini inceleyen akademisyenleri genel, kararlı ve ölçeklenebilir bir algoritma geliştirmek için işbirliği yapmaya teşvik etmektir. Veya kendi araştırmalarından ilham alın.
Son zamanlarda, Bahdanau gibi büyük tanrılar, dizi tahminini gerçekleştirmek için aktör-eleştirmen modelini kullanmayı önerdi. İçinde GAN kullanılmasa da sizin için öğretici olabilir. GAN, benzer fikirleri kullanarak sıra tahmininde daha iyi sonuçlar elde edebilir mi?
Derinlemesine yorumlama: GAN modeli ve 2016'daki ilerlemesi
Aktör-Eleştirel Algoritmalar
Dizi tahmini için aktör-eleştirmen algoritması
Yazar ayrıca son zamanlarda hedef odaklı olmayan diyalog sistemi ve hedefe yönelik soruları yanıtlamak için araştırma yapıyor ve araştırmalar yapıyor, benzer ilgi alanlarınız varsa lütfen benimle iletişime geçmekten çekinmeyin.
Sina Weibo: Yangmin_HKU, Wechat: yangmin19911129
[AI Unicorn'u Arıyor] Xinzhiyuan, 10 büyük başkentle güçlerini birleştirdi
2017 Girişimcilik Yarışması'nı başlatın
AI Girişimcilik Yarışması, Xinzhiyuan ve 10 ana akım AI girişim sermayesi kuruluşundan oluşur: Blue Run Ventures, Sequoia Capital China Fund, Hillhouse Smart Artificial Intelligence Fund, Blue Lake Capital, Blue Elephant Capital, IDG Capital, Gaorong Capital, CITIC Jiantou Securities, Mingshi Capital ve Songhe Yuanwang Fund tarafından ortaklaşa başlatılan, Xinzhiyuan sponsorluğunda, Pekin Zhongguancun Bilim Parkı Yönetim Komitesi ve Zhongguancun Bilim Parkı Haidian Park Yönetim Komitesi tarafından desteklenen, AI teknoloji liderleri ve yatırım liderlerinin bir araya gelmesidir. Büyük olay. Xinzhiyuan, risk sermayesi kaynaklarıyla geleceğin iddialı AI tek boynuzlu atlarına bağlanmak için güçlü bir fırsat sunuyor ve en iyi risk sermayesi TS sizi bekliyor.
Orijinal metni okumak ve çevrimiçi başvuru formunu doldurmak için makalenin altına tıklayın. Seçime katılmak için kayıt formu gereklidir.
Daha fazla bilgiye sahipseniz (BP, vb.), Xzy100@aiera.com.cn adresine gönderebilirsiniz.Lütfen e-postanın konusuna şirket adını belirtin. Herhangi bir sorunuz varsa, posta kutusuna bir mektup da gönderebilirsiniz.
