Haberler | Baidu, bilgi geliştirmeye dayalı NLP modeli ERNIE'yi yayınladı, birçok Çin NLP görevinde BERT'yi aştı
AI Technology Review News , Google'ın yakın zamanda önerilen BERT modeli, engellenen kelimeleri tahmin ederek ve Transformerın çok katmanlı öz-ilgi iki yönlü modelleme yeteneklerini kullanarak iyi sonuçlar elde etti. Bununla birlikte, BERT modelinin modelleme nesnesi esas olarak orijinal dil sinyaline odaklanmıştır ve anlamsal bilgi birimi modelleme için nadiren kullanılır. Bu problem özellikle Çincede belirgindir.Örneğin, BERT, Çin dilini işlerken, Çince karakterleri tahmin ederek model alır ve modelin daha büyük anlamsal birimlerin tam anlamsal temsilini öğrenmesi zordur. Örneğin, ping-pong, Qingming ve Yan Liuse kelimeleri için, BERT modeli kelimelerin kombinasyonu yoluyla maskenin kelime bilgisini kolayca çıkarabilir, ancak anlamsal kavram birimlerini (masa tenisi, Qingming Shanghe Tu gibi) açıkça karşılaştırmaz. ) Ve modelleme için karşılık gelen anlamsal ilişkisi.
Modelin, büyük metinde bulunan gizli bilgiyi öğrenebilmesi halinde, kaçınılmaz olarak her NLP görevinin etkisini daha da artıracağı öngörülmektedir. Buna dayanarak Baidu, bilgi geliştirmeye dayalı ERNIE modelini önerdi.
ERNIE, büyük verilerdeki kelimeleri, varlıkları ve varlık ilişkilerini modelleyerek gerçek dünyadaki anlamsal bilgiyi öğrenir. BERT'nin yerel dil birlikte oluşumunun anlamsal temsilini öğrenmesiyle karşılaştırıldığında, ERNIE doğrudan anlamsal bilgiyi modeller ve modelin anlamsal temsil yeteneğini geliştirir.
Örneğin, aşağıdaki örnek:
BERT tarafından öğrenildi: Habin, Longjiang eyaletinin başkenti ve Jibing'in ünlü bir kültür şehridir.
ERNIE tarafından öğrenildi: Heilongjiang'ın eyalet başkenti ve uluslararası bir kültür şehridir.
BERT modelinde, "Ha" ve "Bin" 'in yerel olarak birlikte oluşması yoluyla, "er" karakteri değerlendirilebilir ve model "Harbin" ile ilgili bilgiyi öğrenmez. ERNIE, kelimelerin ve varlıkların ifadesini öğrenerek, "Harbin" in "Heilongjiang" ın başkenti ve "Harbin" in bir buz şehri olduğunu öğrenerek modelin "Harbin" ve "Heilongjiang" arasındaki ilişkiyi modellemesini sağladı.
Eğitim verileri açısından, ansiklopedi ve Çince külliyat bilgilerine ek olarak, ERNIE ayrıca forum diyalog verilerini sunar, Sorgu-Yanıt diyalog yapısını modellemek için DLM (Diyalog Dili Modeli) kullanır, diyalog çiftini girdi olarak kullanır ve diyaloğu tanımlamak için Diyalog Gömme özelliğini sunar. Diyalogun örtük ilişkisini öğrenmek ve modelin anlamsal temsil yeteneğini daha da geliştirmek için Diyalog Tepki Kaybı'nı kullanın.
ERNIE modeli, doğal dil çıkarımı, anlambilimsel benzerlik, adlandırılmış varlık tanıma, duyarlılık analizi ve soru-cevap eşleştirme gibi beş kamuya açık Çince veri seti üzerindeki etki doğrulama yoluyla BERT'den daha iyi sonuçlar elde etti.
1. Doğal dil çıkarım görevi XNLI
XNLI, modelin çok dilli cümle anlama yeteneğini değerlendirmek için Facebook ve New York Üniversitesi'nden araştırmacılar tarafından ortaklaşa oluşturuldu. Amaç, iki cümle (çelişki, tarafsızlık, ima) arasındaki ilişkiyi yargılamaktır.
Bağlantı: https://github.com/facebookresearch/XNLI
2. Anlamsal benzerlik görevi LCQMC
LCQMC, Harbin Teknoloji Enstitüsü tarafından COLING2018 Uluslararası Doğal Dil İşleme Konferansı'nda oluşturulmuş bir soru anlamsal eşleştirme veri kümesidir. Amacı, iki sorunun anlambiliminin aynı olup olmadığına karar vermektir.
Bağlantı:
3. Duygu analizi görevi ChnSentiCorp
ChnSentiCorp, amacı bir paragrafın duygusal tutumunu değerlendirmek olan bir Çin duyarlılık analizi veri kümesidir.
4. Adlandırılmış varlık tanıma görevi MSRA-NER
MSRA-NER veri seti, Microsoft Asya Araştırma Enstitüsü tarafından yayınlandı. Amacı, kişi, yer, kurum, vb. Adları da dahil olmak üzere metinde belirli anlamlara sahip varlıkların tanınmasını ifade eden varlık tanıma olarak adlandırılır.
5. Arama sorgusu eşleşen görev NLPCC-DBQA
NLPCC-DBQA, 2016 yılında Uluslararası Doğal Dil İşleme ve Çin Hesaplama Konferansı NLPCC tarafından düzenlenen bir değerlendirme görevidir. Amacı, soruları yanıtlayabilecek yanıtları seçmektir.
Adres:
https://ernie.bj.bcebos.com/ERNIE.tgz
https://ernie.bj.bcebos.com/task_data.tgz
Github adresi:
https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE
Tıklamak Orijinali okuyun , Daha fazla tartışma için AI Araştırma Enstitüsü tarafından düzenlenen teknik değişim grubuna katılın
