Baidu, bilgi geliştirmeye dayalı NLP modeli ERNIE'yi piyasaya sürdü, birden fazla Çin NLP görevinde BERT'yi aştı
Lei Feng.com AI Technology Review News, Google'ın yakın zamanda önerilen BERT modeli, Transformerın çok katmanlı öz-ilgi iki yönlü modelleme yeteneklerini kullanarak, engellenen kelimeleri tahmin ederek çok iyi sonuçlar elde etti. Bununla birlikte, BERT modelinin modelleme nesneleri esas olarak orijinal dil sinyaline ve anlamsal bilgi birimi modellemesinin daha az kullanımına odaklanır. Bu problem özellikle Çincede belirgindir.Örneğin, BERT, Çin dilini işlerken, Çince karakterleri tahmin ederek modellik yapar ve modelin, daha büyük anlamsal birimlerin tam anlamsal temsilini öğrenmesi zordur. Örneğin, masa tenisi, Qingming, yukarıdaki resim ve Yan Liuse için, BERT modeli kelimelerin kombinasyonu yoluyla maskenin kelime bilgisini kolayca çıkarabilir, ancak anlamsal kavram birimlerini (masa tenisi, Qingming Shanghe Tu gibi) açıkça karşılaştırmaz. ) Ve modelleme için karşılık gelen anlamsal ilişkisi.
Modelin büyük metinde bulunan gizli bilgiyi öğrenebilmesi halinde, her NLP görevinin etkisini kaçınılmaz olarak daha da artıracağı varsayılmaktadır. Buna dayanarak Baidu, bilgi geliştirmeye dayalı ERNIE modelini önerdi.
ERNIE, büyük verilerdeki kelimeleri, varlıkları ve varlık ilişkilerini modelleyerek gerçek dünyadaki anlamsal bilgiyi öğrenir. BERT'nin yerel dil birlikte oluşumunun anlamsal temsilini öğrenmesiyle karşılaştırıldığında, ERNIE doğrudan anlamsal bilgiyi modeller ve modelin anlamsal temsil yeteneklerini geliştirir.
Örneğin, aşağıdaki örnek:
BERT tarafından öğrenildi: Ha Bin, Longjiang eyaletinin başkenti ve Jibing'in ünlü bir kültür şehridir.
ERNIE tarafından öğrenildi: Heilongjiang'ın eyalet başkenti ve uluslararası bir kültür şehridir.
BERT modelinde, "Ha" ve "Bin" 'in yerel olarak birlikte oluşması yoluyla, "er" karakteri değerlendirilebilir ve model "Harbin" ile ilgili bilgiyi öğrenmez. ERNIE, kelimelerin ve varlıkların ifadesini öğrenerek, modelin "Harbin" ve "Heilongjiang" arasındaki ilişkiyi modellemesini sağlar ve "Harbin" in "Heilongjiang" ın başkenti ve "Harbin" bir buz şehri olduğunu öğrenir.
Eğitim verileri açısından, ansiklopedi ve Çince külliyat bilgilerine ek olarak, ERNIE ayrıca forum diyalog verilerini sunar, Sorgu-Yanıt diyalog yapısını modellemek için DLM'yi (Diyalog Dili Modeli) kullanır, diyalog çiftini girdi olarak kullanır ve diyaloğu tanımlamak için Diyalog Gömme özelliğini sunar. Diyalogun örtük ilişkisini öğrenmek ve modelin anlamsal temsil yeteneğini daha da geliştirmek için Diyalog Tepki Kaybı'nı kullanın.
ERNIE modeli, doğal dil çıkarımı, anlambilimsel benzerlik, adlandırılmış varlık tanıma, duyarlılık analizi ve soru-cevap eşleştirme gibi beş kamuya açık Çince veri seti üzerindeki etki doğrulama yoluyla BERT'den daha iyi sonuçlar elde etti.
1. Doğal dil çıkarım görevi XNLI
XNLI, modelin çok dilli cümle anlama yeteneğini değerlendirmek için Facebook ve New York Üniversitesi'nden araştırmacılar tarafından ortaklaşa oluşturuldu. Amaç, iki cümle (çelişki, tarafsızlık, ima) arasındaki ilişkiyi yargılamaktır.
Bağlantı: https://github.com/facebookresearch/XNLI
2. Anlamsal benzerlik görevi LCQMC
LCQMC, Harbin Teknoloji Enstitüsü tarafından COLING2018 Uluslararası Doğal Dil İşleme Konferansı'nda oluşturulmuş bir soru anlamsal eşleştirme veri kümesidir. Amacı, iki sorunun anlambiliminin aynı olup olmadığını değerlendirmektir.
Bağlantı:
3. Duygu analizi görevi ChnSentiCorp
ChnSentiCorp, amacı bir paragrafın duygusal tutumunu yargılamak olan bir Çin duyarlılık analizi veri kümesidir.
4. Adlandırılmış varlık tanıma görevi MSRA-NER
MSRA-NER veri seti, Microsoft Asya Araştırma Enstitüsü tarafından yayınlandı. Amacı, kişi, yer, kurum vb. Adları dahil olmak üzere metinde belirli anlamlara sahip varlıkların tanınmasını ifade eden varlık tanıma olarak adlandırılır.
5. Arama sorgusu eşleşen görev NLPCC-DBQA
NLPCC-DBQA, 2016 yılında Uluslararası Doğal Dil İşleme ve Çin Bilgi İşlem Konferansı NLPCC tarafından düzenlenen bir değerlendirme görevidir. Amacı, soruyu yanıtlayabilecek bir yanıt seçmektir.
Adres:
Ön eğitim modeli indirme bağlantısı:
https://ernie.bj.bcebos.com/ERNIE.tgz
Görev verilerini indirme adresi:
https://ernie.bj.bcebos.com/task_data.tgz
Github adresi:
https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE
