Çin görevleri BERT'i geride bırakıyor: Baidu resmi olarak NLP ön eğitim modeli ERNIE'yi yayınladı
Kaynak: Heart of the Machine
Bu makale yaklaşık 1700 kelimedir , 7 dakika için önerilen okuma .
Baidu, bilgiyle zenginleştirilmiş bir anlamsal temsil modeli olan ERNIE'yi önerdi ve PaddlePaddle'a dayalı açık kaynak kodlar ve modeller yayınladı.
Son zamanlarda Baidu, bilgi ile geliştirilmiş anlamsal temsil modeli ERNIE'yi (kNowledge IntEgration'dan Geliştirilmiş Temsil) önerdi ve PaddlePaddle'a dayalı açık kaynak kodunu ve modeli dil çıkarımı, anlamsal benzerlik, adlandırılmış varlık tanıma, duyarlılık analizi, soru ve cevap eşleştirme vb. Çin'in çeşitli işleme görevlerinin (NLP) doğrulanması, modelin etkisinin BERT'inkini aştığını göstermektedir.
ERNIE Github proje adresi: https://github.com/PaddlePaddle/LARK/tree/develop/ERNISon yıllarda, denetimsiz metnin derin sinir ağı ön eğitim modeli, çeşitli NLP görevlerinin etkinliğini büyük ölçüde geliştirdi. İlk çalışmalar bağlamdan bağımsız kelime vektör modellemesine odaklandı ve Cove, ELMo ve GPT gibi daha sonraki modeller cümle düzeyinde anlamsal temsiller oluşturdu. Kısa süre önce Google tarafından önerilen BERT modeli, engellenen kelimeleri tahmin ederek ve Transformer'in çok katmanlı öz-ilgi iki yönlü modelleme yeteneklerini kullanarak daha iyi sonuçlar elde etti.
Daha önce önerilen Cove, Elmo, GPT veya daha yetenekli BERT modeli olsun, modelleme nesneleri esas olarak orijinal dil sinyaline odaklanır ve anlamsal bilgi birimi modellemesinin daha az kullanımı. Bu problem özellikle Çincede belirgindir.Örneğin, BERT, Çin dilini işlerken, Çince karakterleri tahmin ederek modellik yapar ve modelin, daha büyük anlamsal birimlerin tam anlamsal temsilini öğrenmesi zordur. Örneğin, masa tenisi, Qingming, yukarıdaki resim ve Yan Liuse için, BERT modeli kelimelerin kombinasyonu yoluyla maskenin kelime bilgisini kolayca çıkarabilir, ancak anlamsal kavram birimlerini (masa tenisi, Qingming Shanghe Tu gibi) açıkça karşılaştırmaz. ) Ve modelleme için karşılık gelen anlamsal ilişkisi.
Modelin büyük metinde bulunan gizli bilgiyi öğrenebilmesi halinde, her NLP görevinin etkisini kaçınılmaz olarak daha da artıracağı varsayılmaktadır. Bu nedenle Baidu, bilgi geliştirmeye dayalı ERNIE modelini önerdi. ERNIE modeli, büyük verilerdeki varlık kavramları gibi önceki anlamsal bilgileri modelleyerek gerçek dünya anlamsal ilişkilerini öğrenir.
Özellikle, ERNIE modeli, kelime ve varlıklar gibi anlamsal birimleri maskeler, böylece model, tüm kavramların anlamsal temsilini öğrenir. BERT'nin orijinal dil sinyalini öğrenmesiyle karşılaştırıldığında, ERNIE, modelin anlamsal temsil yeteneğini geliştiren önceki anlamsal bilgi birimini doğrudan modellemektedir.
Örneğin:
- BERT tarafından öğrenildi: Habin, Longjiang eyaletinin başkenti ve Jibing'in ünlü bir kültür şehridir.
- ERNIE tarafından öğrenildi: Heilongjiang eyaletinin başkenti ve uluslararası bir kültür şehridir.
BERT modelinde "ne" karşı "sahil" Yerel birlikte oluştuğunu yargılayabilirsiniz "Ur" Sözler, model ile öğrenmedi "Harbin" İlgili bilgi. ERNIE, kelimelerin ve varlıkların ifadesini öğrenerek modelin model oluşturmasını sağlar. "Harbin" karşı "Heilongjiang" İlişki, öğrenildi "Harbin" Evet "Heilongjiang" Eyalet başkenti ve "Harbin" Karlı bir şehir.
ERNIE modelinin kendisi, kelime özelliği girdisine dayalı olarak modellemeyi sürdürür, böylece model uygulandığında diğer bilgilere güvenmek zorunda kalmaz ve daha güçlü çok yönlülük ve ölçeklenebilirliğe sahiptir. Kelime özelliği giriş modeline göre, kelime özelliği kelimelerin birleşik anlamlarını modelleyebilir.Örneğin, kırmızı, yeşil ve mavi gibi renkleri temsil eden kelimeleri modellerken, kelimeler arasındaki anlamsal ilişki aynı kelimenin anlamsal kombinasyonu ile öğrenilebilir.
Ek olarak, ERNIE'nin eğitim külliyatı çok kaynaklı veri bilgisini sunar. Ansiklopedi makalelerinin modellenmesine ek olarak, haber bilgileri ve forum diyaloglarının verilerini de öğreniyor Burada forum diyalog modellemesinin tartışılmasına odaklanacağız. Diyalog verilerinin öğrenilmesi anlamsal temsilin önemli bir yoludur ve aynı yanıta karşılık gelen Sorgu benzer anlamlara sahiptir. Bu varsayıma dayalı olarak ERINE, Sorgu-Yanıt diyalog yapısını modellemek için DLM'yi (Diyalog Dili Modeli) kullanır, diyalog çiftini girdi olarak alır, diyaloğun rolünü belirlemek için Diyalog Gömme özelliğini sunar ve diyalogun örtülü ilişkisini öğrenmek için Diyalog Yanıt Kaybı'nı kullanır. Model, modelin anlamsal temsil yeteneklerini daha da geliştirir.
ERNIE'nin varlık kavramı bilgisini öğrenmesi ve eğitim külliyatının genişletilmesi, modelin anlamsal temsil yeteneklerini geliştirdi. ERNIE'nin bilgi öğrenme yeteneğini doğrulamak için, araştırmacılar modeli incelemek için birkaç ilginç boş doldurma sorusu kullandılar. Deney, paragraftaki varlık bilgisini ortadan kaldırır ve modelin cevabı hakkında akıl yürütmesine izin verir.
ERNIE'nin bağlamsal bilgiye dayalı muhakemede daha iyi performans gösterdiği görülebilir.
Bilgi çıkarım yeteneği ile ilgili olarak, ERNIE doğal dil çıkarım görevleri üzerine daha ileri deneyler yaptı. XNLI, modelin çok dilli cümle anlama yeteneğini değerlendirmek için Facebook ve New York Üniversitesi'nden araştırmacılar tarafından ortaklaşa oluşturuldu. Amaç, iki cümle (çelişki, tarafsızlık, ima) arasındaki ilişkiyi yargılamaktır. Google'ın duyurduğu BERT ile ERNIE karşılaştırması:
Deneyler, ERNIE modelinin dil çıkarımı açısından BERT'den daha üstün olduğunu göstermektedir.
Birden fazla halka açık Çin veri setinde daha fazla etki doğrulaması, BERT ile karşılaştırıldığında ERNIE modelinin daha iyi sonuçlar elde ettiğini göstermektedir:
1. Anlamsal benzerlik görevi LCQMC
LCQMC, Harbin Teknoloji Enstitüsü tarafından COLING2018 Uluslararası Doğal Dil İşleme Konferansı'nda oluşturulmuş bir soru anlamsal eşleştirme veri kümesidir. Amacı, iki sorunun anlambiliminin aynı olup olmadığını değerlendirmektir.
2. Duygu analizi görevi ChnSentiCorp
ChnSentiCorp, amacı bir paragrafın duygusal tutumunu yargılamak olan bir Çin duyarlılık analizi veri kümesidir.
3. Adlandırılmış varlık tanıma görevi MSRA-NER
MSRA-NER veri seti, Microsoft Asya Araştırma Enstitüsü tarafından yayınlandı. Amacı, kişi, yer, kurum vb. Adları dahil olmak üzere metinde belirli anlamlara sahip varlıkların tanınmasını ifade eden varlık tanıma olarak adlandırılır.
4. Arama sorgusu eşleşen görev NLPCC-DBQA
NLPCC-DBQA, 2016 yılında Uluslararası Doğal Dil İşleme ve Çin Bilgi İşlem Konferansı NLPCC tarafından düzenlenen bir değerlendirme görevidir. Amacı, soruyu yanıtlayabilecek bir yanıt seçmektir.
Araştırma ekibi, bu teknolojik atılımın, kullanıcı deneyimini daha da geliştirmek için çeşitli ürünlere ve senaryolara uygulanacağını söyledi. Baidu, gelecekte bilgi kaynaşmasına dayalı eğitim öncesi modeller üzerinde daha fazla araştırma yapacak. Örneğin, sözdizimsel analizi kullanmak veya modelleme için diğer görevlerden zayıf şekilde denetlenen sinyalleri kullanmak. Ek olarak, Baidu bu fikri diğer dillere de tanıtacak ve başka dillerde daha da doğrulayacaktır.
Baidu Natural Language Processing (NLP) misyonu olarak "dili anlamayı, zekaya sahip olmayı ve dünyayı değiştirmeyi" misyon edinir, temel doğal dil işleme teknolojilerini geliştirir, önde gelen teknoloji platformları ve yenilikçi ürünler yaratır, küresel kullanıcılara hizmet eder ve karmaşık dünyayı daha fazla hale getirir basit.
Editör: Huang Jiyan redaksiyonu: Gong Li - Bitiş -Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
