EMNLP2018 en iyi makale: Facebook, 11BLEU'nun denetimsiz makine çevirisini destekliyor
Leifeng.comun yapay zeka teknolojisi yorum notu: Google'ın ticari NMT'si, Microsoft Researchün yapay zeka çeviri sistemi olan ve insan düzeyiyle karşılaştırılabilen makine çevirisinden bahsetmişken, çok sayıda rapor hazırladık ve herkes buna aşinadır, ancak hepsine ihtiyaç vardır Denetimli. Google, NMT'yi eğitmek için doğal olarak muazzam bir külliyat kullanabilir. Microsoft Araştırma sistemi, örnek verimliliğini büyük ölçüde artırmak için birçok yeni teknik kullansa bile, yine de yeterince paralel iki dilli külliyat gerektirmektedir. Ancak, tüm dil çiftleri için çok sayıda iki dilli paralel yapı bulamıyoruz ve denetimli bir MT sistemi eğitemiyoruz .
Facebook'un EMNLP 2018 makalesi "Cümle Tabanlı ve Nöral Denetimsiz Makine Çevirisi" (kelime tabanlı, denetimsiz sinir ağı makine çevirisi), denetimsiz makine çevirisindeki en son başarılarını tanıttı. Denetimsiz makine çevirisi şu anda en sıcak araştırma konularından biridir. Facebook araştırmacıları, 11 BLEU Performans iyileştirme ve EMNLP resmi Twitter bugün, bu makalenin EMNLP 2018'in en iyi iki gazetesinden biri olduğunu duyurdu. . Makalenin yazarları ayrıca daha önce popüler bir giriş yazdılar ve ana fikirlerini tanıtarak bunu Facebook blogunda yayınladılar. Leifeng.com AI Technology Review'in tam metni aşağıdaki gibi derlenmiştir.
Otomatik dil çevirisi Facebook için çok önemlidir ve milyarlarca kullanıcının en sevdikleri dilde bağlantı kurmasına ve iletişim kurmasına olanak tanır. Bunu yapmak için, mevcut makine çevirisi (MT) sistemlerinin büyük miktarda çevrilmiş metne erişmesi gerekir (örneğin, sırasıyla İngilizce ve İspanyolca'da aynı metin çifti). Bu nedenle, MT şu anda yalnızca çok sayıda çevrilmiş metin içeren birkaç dil kümesi için iyi sonuçlar göstermektedir.
Modeli eğitirken herhangi bir çeviri metin kaynağına erişim olmadan bir MT modelinin (denetimsiz çeviri olarak adlandırılır) kurulması, gerekli bir sonraki adımdır. EMNLP 2018'de, bu görevde tamamlanan en son araştırma sonuçlarını gösterdik ( Yeni yöntemimiz, daha önceki son teknoloji denetimsiz yönteme göre önemli bir gelişmedir ve etki, yaklaşık 100.000 referans çevirisiyle eğitilmiş denetimli yöntemle neredeyse aynıdır. Bu alanda, 1 BLEU'nun (MT'nin doğruluğunu değerlendirmek için ortak bir gösterge) iyileştirilmesi küçük bir başarı olarak kabul edilmemektedir ve yeni yöntemimiz, önceki yönteme kıyasla 10 BLEU'nun üzerinde bir iyileştirmeye sahiptir.
Denetimsiz bir çeviri modelinin kurulması, MT alanında, özellikle dünyadaki 6.500 dil arasında önemli bir gelişme yönüdür, dil çiftlerinin çoğunun kullanılabilir çeviri metin kaynak kitaplığı yoktur veya çeviri verilerinin miktarı o kadar küçüktür ki mevcut teknoloji kullanılamaz. . Tercümesi olmayan diller için, artık Urduca ve İngilizce gibi herhangi bir dil arasında çeviri yapmayı öğrenmenin bir yolu var. Metni İngilizce olarak ve Urduca ile tamamen alakasız metni kullanın, herhangi bir tercüme edilmiş metin olmadan .
Bu yeni yöntem, daha fazla dilin daha hızlı ve daha doğru bir şekilde çevrilmesine kapı açıyor ve bu, bu tür ilkeleri makine öğrenimi ve yapay zekaya uygulama yönteminin sadece başlangıcı.
Kelime kelime çeviri
Büyük hedefimize doğru ilk adım, sistemin iki dilli sözlükleri öğrenmesine izin vererek, bir kelimeyi diğer dillerdeki makul çevirilerle ilişkilendirmektir. Bu amaçla, önceki yazıda (https://arxiv.org/abs/1710.04087) sunduğumuz yöntemi kullandık. Her dilde her kelime için ilk kelime düğünlerini eğitin (Kelimelerin vektör gösterimi).
Eğitim kelimesi gömme, bağlam boyunca belirli bir kelimeyi çevreleyen kelimeleri tahmin eder (örneğin, belirli bir kelimeden önce beş kelime ve sonra beş kelime). Kelime gömme biçimi basit olsa da, kelime gömme ilginç anlamsal yapıyı yakalayabilir. Örneğin, "kedicik" e en yakın olanı "kedi" dir ve "kedicik" kelimesi "hayvan" kelimesine "roket" kelimesinden daha benzerdir (çünkü "roket" nadiren "kedicik" kelimesinde geçer. Kelime bağlamında).
Ayrıca farklı dillerdeki kelime düğünleri benzer mahalle yapılarına sahiptir, çünkü sonuçta farklı ülkelerden insanlar aynı dünyada yaşamaktadır. Örneğin İngilizce olarak "Kedi" ve "tüylü" arasındaki ilişki, İspanyolca'daki ("gato" ve "peludo") karşılık gelen çevirileri arasındaki ilişkiye benzer, çünkü bu kelimelerin sıklığı bağlamlarına benzer .
Bu benzerlikler nedeniyle, rakip eğitim gibi çeşitli eski ve yeni teknolojilerin bir kombinasyonunu öneriyoruz. Sistemin, bir dildeki kelime gömme işlemini başka bir dildeki kelime ile eşleşecek şekilde döndürmeyi ve dönüştürmeyi öğrenmesine izin verin . Bu bilgilerle, herhangi bir paralel çeviriye erişmek zorunda kalmadan, oldukça doğru iki dilli bir sözlük çıkarabilir ve temelde kelimesi kelimesine çeviri yapabiliriz.
cümleyi çevir
İki dilli bir sözlüğün kelime kelime çevirisini elde etmek için denetimsiz bir yöntem kullanmak, iyi bir çeviriyi tamamlamaz; kelimeler kaybolabilir, düzensiz veya tamamen yanlış olabilir. Bununla birlikte, kelimenin anlamının çoğunu korur. Bu temelde iyileştirmeler yapabiliriz. Kısmi düzenleme için büyük miktarda tek dilli veri üzerinde eğitilmiş bir dil modelini kullanarak, farklı kelimeleri sıralayabilir ve puanlayabilir, böylece düzgün cümlelerin puanı, dilbilgisine uymayan veya kötü yapılandırılmış cümlelerinkinden daha yüksektir.
Bu nedenle, zaten çok sayıda Urduca tek dilli veri setimiz varsa, İngilizce dil modelimiz varken Urduca dil modelini eğitebiliriz. Dil modeli ve ilk harfi harfine çeviri modeliyle, çeviri sisteminin erken bir sürümünü oluşturabiliriz.
Bu erken sistem yeterince iyi olmasa da, sözlü çeviriden daha iyidir (dil modeli sayesinde) ve çok sayıda cümleyi kaynak dilden (Urduca) hedef dile (İngilizce) çevirmek için kullanılabilir.
Daha sonra, bu sistemler tarafından çevrilen cümleleri (orijinal olarak Urduca'dır ve İngilizceye çevrilir), İngilizceden Urduca'ya ters bir MT sistemini eğitmek için açıklamalı gerçek veriler olarak işleriz. İlk sistem çevirisindeki hatalardan dolayı, giriş ingilizce cümlelerinde bazı problemler olacağı yadsınamaz. ACL2015 makalesinde, R. Sennrich ve diğerleri bu tekniği yarı denetimli öğrenme MT sisteminde (çok sayıda paralel korpus ile) tanıttılar ve bunu ters çeviri olarak adlandırdılar. Bu, teknolojinin tamamen denetimsiz bir sisteme ilk kez uygulandığı zamandır; genellikle, başlangıçta denetlenen veriler üzerinde eğitilir.
Artık akıcı cümlelere daha yatkın bir Urduca dil modelimiz var.İngilizceden Urduca'ya eğitim vermek için yapay olarak üretilmiş paralel cümleleri ters çeviride Urduca dil modelinin sağladığı düzeltmeyle birleştirebiliriz. Erdu çeviri sistemi.
Sistem eğitildikten sonra, onu İngilizce'deki birçok cümleyi Urduca'ya çevirmek için başka bir tür veri kümesi oluşturmak için kullanabiliriz (orijinal cümle İngilizcedir, Urdu'ya çevrilmiştir), bu da önceki İngilizce MT sistemine Urduca. Bir sistem geliştirildikçe, sistem için ters yönde iteratif bir şekilde eğitim verileri oluşturmak ve gerektiği kadar yinelemek için onu kullanabiliriz.
Her iki dünyanın en iyisi
Araştırmada üç adım belirledik: Verbatim yerleştirme başlatma, dil modelleme ve ters çevirme Denetimsiz MT'nin temel ilkesi olarak. Bu ilkelere göre nihayet çeşitli modeller elde edebiliriz. Bunları denetimsiz MT hedefine yönelik çok farklı iki yaklaşıma uyguluyoruz.
İlk yöntem, sözlü çeviriden daha yumuşak bir çeviri üreten, ancak istediğimiz kaliteye ulaşmayan, denetimsiz bir sinir modelidir. Ancak cümlelerin ters çevrilmesi için yeterlidirler. Ters çeviri yoluyla, bu yöntem 100.000 paralel cümle üzerinde eğitilmiş denetimli bir modelle aynı etkiye sahiptir.
Daha sonra, bu ilkeleri, öbek tabanlı makine çevirisi adı verilen klasik sayıma dayalı istatistiksel yöntemin başka bir modeline uyguluyoruz. İlginç bir şekilde, bu modeller düşük kaynaklı dil çiftlerinde daha iyi performans gösterme eğilimindedir, ancak bu yöntem ilk kez denetimsiz MT'ye uygulanmaktadır. Bu durumda, çevirinin doğru kelimelere sahip olduğunu ancak düzgün olmadığını gördük. Yine, bu yöntem daha önce en gelişmiş denetimsiz modellerden daha iyi performans gösterir.
Son olarak, her iki dünyanın da en iyisini elde etmek için iki modeli birleştiriyoruz: hem akıcı hem de çeviri konusunda iyi bir model . Bu amaçla, eğitimli sinir modeliyle başlıyoruz ve ardından onu eğitmek için ifade modeline dayalı diğer ters çevrilmiş cümleleri kullanıyoruz.
Deneyimlere dayanarak, son kombinasyon yönteminin, önceki denetimsiz MT'nin doğruluğunu, test seti olarak İngilizce-Fransızca ve İngilizce-Almanca olmak üzere iki dil çiftinde önemli ölçüde artırdığını bulduk (bu dil çiftleri için bile, Eğitim sırasında hiçbir paralel veri kullanılmadı - yalnızca test sırasında değerlendirildi ve bu kombinasyon BLEU puanını 10 puandan fazla geliştirdi.
Yöntemimizi aşağıdaki diller üzerinde de test ettik: İngilizce-Rusça gibi uzun mesafeli dil çiftleri; İngilizce-Romence gibi çeviri kaynakları zayıf olan diller; İngilizce gibi son derece sınırlı kaynaklara ve uzun mesafeli dil çiftleri Urduca. Her durumda, yöntemimiz diğer denetimsiz yöntemlere kıyasla büyük ölçüde geliştirildi. Bazen diğer etki alanlarından veya diğer dillerden paralel dil verilerini kullanan denetimli yöntemlerden daha fazlası .
Aşağıdaki Almanca-İngilizce çeviri örnekleri her yöntemin sonuçlarını göstermektedir:
10'dan fazla BLEU puanı artışını tamamlamak heyecan verici bir başlangıç, ancak bizim için daha heyecan verici olan şey, gelecekteki iyileştirmelere açılması olasılığı. Kısa vadede, bu kesinlikle daha fazla dili çevirmemize ve daha az kaynakla dillerin çeviri kalitesini iyileştirmemize yardımcı olacaktır. Bununla birlikte, bu yeni yöntem ve temel ilkelerden elde edilen bilgi, MT'nin kendisinin çok ötesine geçer.
Bu araştırmanın potansiyelinin herhangi bir alanda denetimsiz öğrenmeye uygulanabileceğine ve temsilcinin etiketlenmemiş verileri ve şu anda uzman gösterileri (bu durumda çeviri) gerektiren görevler için gelecekte kullanılabileceğine inanıyoruz. İyi sonuçlar elde etmek ve performans sergilemek çok az zaman alır. Bu çalışma, sistemin denetimsiz olarak öğrenmesinin ve her bir bileşenin erdemli bir daire içinde sürekli olarak geliştirilebildiği iki yönlü bir sistem kurmasının en azından mümkün olduğunu göstermektedir.
Kağıt adresi: https://arxiv.org/abs/1804.07755
Kod adresi: https://github.com/facebookresearch/UnsupervisedMT
Blog adresi: https://code.fb.com
EMNLP 2018 makale ödülü durumu
EMNLPnin resmi Twitter duyurusuna göre, en iyi iki gazeteden diğeri Googledan
Anlamsal Rol Etiketleme için Dil Bilgisine Dayalı Öz İlgi
-
Anlamsal rol açıklaması için dil bilgisini dikkate alan öz-dikkat yöntemi
-
Bir de en iyi kaynak kağıt var
MultiWOZ-A Görev Odaklı Diyalog Modellemesi için Büyük Ölçekli Çok Alanlı Oz Büyücüsü Veri Kümesi (Makalenin içeriği henüz kamuya açık değil)
EMNLP 2018, 31 Ekim - 4 Kasım tarihleri arasında Belçika'nın Brüksel kentinde düzenlenecek. Daha fazla rapor için lütfen Leifeng.com AI Technology Review'u takip etmeye devam edin.
