2019 Natural Language Processing Frontier Forumu başarıyla düzenlendi ve Baidu'nun NLP teknolojisi tamamen ortaya çıktı
Leifeng.com AI Technology Review Press. Son zamanlarda, Baidu ve Çin Bilgisayar Topluluğu Çin Bilgi Teknolojisi Komitesi ve Çin Çin Bilgi Toplumu Gençlik Çalışma Komitesi tarafından düzenlenen "2019 Doğal Dil İşleme Sınır Forumu" nda Baidu ve büyük üniversitelerden konuklar NLP teknolojisi üzerine araştırma deneyimini paylaştı.
Bu forumun teması "Makinelerin Okunması, Yazılması, Konuşulması ve Tercümesi - NLP'nin Geleceğini Keşfetmek" dir ve Baidu'dan konuklar 5 semantik hesaplama, otomatik soru ve cevap, dil oluşturma, insan-makine diyalogu ve makine çevirisi oturumlarına katıldı. Özel rapor, Baidu'nun NLP teknolojisinin araştırma sonuçlarını ve uygulamalarını paylaştı.
Anlamsal hesaplama
Baidu NLP Direktörü Ar-Ge Mimarı, Anlamsal Hesaplama Teknolojisi Başkanı Sun Yu: Baidu Anlamsal Hesaplama Teknolojisi ve Uygulaması
Sun Yu, temel olarak Baidu'nun anlamsal temsil teknolojisinin geliştirilmesini, araştırma sonuçlarını ve uygulamasını tanıttı.
Baidu'nun anlamsal hesaplama yönünün anlamsal temsil öğrenmeyi, anlamsal eşleştirme hesaplamasını, anlambilimsel analizi ve çok modlu anlamsal hesaplamayı içerdiğini söyledi. Bilgisayarların insan dilini anlaması çok zordur.
Anlamsal temsil teknolojisinin sorunu, doğal dilin çok anlamlı, çok kelimeli eşanlamlı ve sınırsız cümle ifadesi özelliklerine sahip olmasıdır. Amacımız, dilbilimsel sembolleri başka bir biçimde "temsil etmektir". Bu temsil, anlamsal denkliğe, daha iyi hesaplanabilirliğe ve anlamsal bilginin daha iyi kavranmasına sahiptir.
Baidu'nun erken anlamsal temsil teknolojisi, geri getirme ve konu modellerine dayalı bir temsil yöntemi kullandı, bunlara terim vektör gösterimi, PLSA, LDA vb.
2013 ~ 2016'da, DNN tabanlı temsil teknolojisinin yükselişiyle Baidu, kelime gömme araştırmasına başladı. Kullanılan algoritma, 1T Baidu web sayfası verisi ölçeğine ve 1 milyon süper büyük ölçekli Çince kelime kapsamına sahip olan RNNLM + Hierarchical softmax'tır.Ana araştırma problemi, büyük ölçekli dağıtılmış hesaplama problemlerini çözmektir. Baidu, 2017'de büyük ölçekli temsil aktarımına dayalı olarak sözlü anlama görevlerini araştırdı.
Anlamsal eşleştirme açısından Baidu, SimNet teknolojisini ilk olarak 2013 yılında önerdi ve web araması için başarıyla kullandı.Önümüzdeki birkaç yıl içinde, bu teknolojide veri analizi, granüler bilgi füzyonu ve etkileşimli eşleştirme modelleri dahil olmak üzere birçok iyileştirme ve yenilik yapıldı. Yenilik. SimNet, Chang Leng Query'nin arama etkisini önemli ölçüde geliştirdi ve Baidu aramasında hayati bir rol oynayarak arama zekası seviyesini geliştirdi. Şu anda SimNet semantik eşleştirme teknolojisi, çeşitli Baidu ürünlerinde yaygın olarak kullanılmaktadır.
Şimdi, Baidunun en son araştırması, bilgi ile zenginleştirilmiş anlamsal temsil modeli ERNIE'yi önermek ve PaddlePaddle'a dayalı açık kaynak kodu ve modeli yayınlamaktır. Çerçeve, büyük ansiklopedi, haber ve diyalog çok kaynaklı verilere dayalı eğitimi, iki yönlü çok katmanlı Transformer anlamsal modelleme modelini, Çince kelimelerin, varlıkların ve diğer önceki anlamsal bilgi öğreniminin birleştirilmesi ve güçlendirilmesini, çok aşamalı bilgi öğrenmeyi içerir. Doğal dil çıkarımı, anlamsal benzerlik, adlandırılmış varlık tanıma, duyarlılık analizi ve soru ve cevap eşleştirme gibi birden fazla kamuya açık Çince veri seti üzerinde yapılan deneyler en iyi sonuçları elde etti.
Baidu'nun bir sonraki büyük çalışması, bilginin kullanımı, kendi kendini denetleyen görevlerin öğrenilmesi, zayıf denetimli sinyallerin kullanımı, çok dilli, modlar arası temsil vb. Dahil olmak üzere semantik temsil üzerine odaklanmaya devam edecek.
Otomatik soru ve cevap
Liu Jing, Baidu NLP Kıdemli Ar-Ge Mühendisi, Okuduğunu Anlama ve Soru-Cevap Teknolojisi Başkanı: Baidu Okuma Anlama Teknolojisinin Araştırma ve Uygulaması
Makine okuduğunu anlama, makinenin metni okumasına izin vermeyi ve ardından okuma içeriğiyle ilgili soruları cevaplamayı ifade eder. Makine okuduğunu anlama, otomatik soru yanıtlamanın anahtar teknolojilerinden biridir.Bu teknoloji, akıllı soru yanıtlama, akıllı konuşmacılar ve akıllı müşteri hizmetleri gibi ürünlerde yaygın olarak kullanılabilir.Bu nedenle, akademik çevrelerden ve endüstriden uzun süredir yoğun ilgi görmektedir. Son iki yılda okuduğunu anlama teknolojisindeki hızlı ilerleme sayesinde, Baidu bu teknolojiyi akıllı soru cevaplamaya uyguladı.
Baidu, temel olarak arama senaryoları için çoklu belge okuduğunu anlama modeli V-NET'i ve bilgi gösterimi ve metin gösterimi KT-NET'in füzyon modelini geliştirdi.
Arama senaryolarına yönelik çok belgeli okuduğunu anlamada, her soru birden çok paragraf içerir, bu nedenle genellikle daha belirsiz bilgi zorlukları vardır. Buna yanıt olarak Baidu, İngilizce çoklu belge okuduğunu anlama veri setinin MSMARCO V2 Soru-Cevap görevinde ilk üç sırada yer alan uçtan uca çoklu belgeli okuduğunu anlama modeli V-NET geliştirdi.
Ek olarak, makine okumasını anlama yalnızca makinenin verilen metin içeriğini anlamasını değil, aynı zamanda makinenin daha karmaşık muhakemeyi desteklemek için harici bilgiye sahip olmasını gerektirir. Bu nedenle Baidu, dil temsili ve bilgi temsilinin derin bir füzyon modeli olan KT-NET'in öncülüğünü yaptı ve aynı zamanda makine okuduğunu anlamanın etkisini daha da artırmak için dili ve bilgiyi kullanıyor. KT-NET şu anda sağduyu muhakeme okuduğunu anlama veri setinin ReCoRD listesindeki bir numaralı modeldir.
Teknolojide araştırma ve geliştirmeye sürekli yatırımın yanı sıra, Baidu geçen yıl arama senaryoları için 300.000 soru, 1.5 milyon belge ve 660.000 yanıt ölçeği ile Çin'in en büyük okuduğunu anlama veri seti DuReader 2.0'ı başlattı. Baidu, China Computer Society ve Chinese Information Society, iki yıl üst üste DuReader veri setine dayalı olarak makine okuduğunu anlama değerlendirmesi gerçekleştirdi ve bu, Çin okuduğunu anlama teknolojisinin ilerlemesini teşvik etti.
Dil üretimi
Xiao Xinyan, Baidu NLP Ar-Ge Müdürü ve Metin Anlama ve Dil Oluşturma Teknolojisi Başkanı: Doğal dil oluşturma, akıllı içerik oluşturmaya yardımcı olur
Xiao Xinyan, içerik ekolojisinin ve akıllı etkileşimin gelişmesiyle birlikte doğal dil üretiminin giderek daha fazla ilgi gördüğünü söyledi. Bir yandan doğal dil oluşturma, içerik oluşturucuların yaratıcı verimliliklerini geliştirmelerine yardımcı olabilirken, diğer yandan etkileşimli kullanıcı deneyimini iyileştirmek için de kullanılabilir.
Doğal dil üretiminin vizyonu, makinelerin insanlar gibi ifade etmesine ve yaratmasına izin vermektir. Spesifik olarak, veriden metne oluşturma, metinden metne oluşturma, şiir beyit oluşturma, çok modlu oluşturma, diller arası oluşturma, diyalog oluşturma ve diğer görevler dahil olmak üzere birçok görev türü içerir. Bu rapor, temel olarak önceki dört görevden içerik oluşturmada doğal dil üretiminin teknolojisini ve uygulamasını tanıtmaktadır.
Birincisi, verilerin metne dönüştürülmesidir. İşte futbol oyunu haber üretimine özel bir örnek. Geleneksel yöntem, makro planlama, mikro planlama ve yüzey gerçekleştirmeye dayalı sözdizimsel bir ağaç oluşturma algoritmasıdır.Bu algoritma, kontrol edilebilir bir etkiye sahiptir ve işte çok pratiktir. Rapor aynı zamanda derin öğrenmeye dayalı yöntemleri de tanıttı. Yöntem, makro planlamayı, genel test setinde iyi çalışan hiyerarşik sıra oluşturma algoritmasına entegre etmektir.
İkincisi, metinden metne üretmedir. Burada, sıcak konuları hızlı bir şekilde özetleyebilen ve raporlayabilen soyut toplamaya dayalı yazım gösterilmektedir. Temel teknoloji soyut teknolojidir. Geleneksel ve pratik yöntemler, esas olarak belge analizi, cümle sıralama, cümle seçimi ve özetler yoluyla çıktı özetleri oluşturan çıkarımsal algoritmalardır. Baidu ayrıca yenilikçi bir şekilde bilgi seçim ağına dayanan üretken bir özet önerdi ve genel ana akım veriler üzerinde iyi deneysel sonuçlar elde etti.
Üçüncüsü, şiir ve beyit üretimi de dahil olmak üzere yaratıcı yazıdır. Baidu Innovation, planlamaya dayalı bir sinir ağı önerdi ve onu şiir üretimi için kullandı. Şu anda, sinir ağı oluşturma algoritmasına dayalı olarak, şiir ve beyit yazmak daha pratiktir.
Son görev, çok modlu üretimdir. Baidu başlangıçta video tabanlı yazmayı denedi.Video anlama, fikir analizi ve bilgi grafiği teknolojisi gibi çok modlu anlayış teknolojisi sayesinde, videonun yapılandırılmış ve yarı yapılandırılmış bir temsilini elde etti ve ardından yukarıda belirtilen veri tabanlı üretimi kullandı, Zengin bir makale yazın.
Xiao Xinyan daha sonra akıllı yazma ile manuel yazma arasındaki ilişkiyi tartıştı. Akıllı yazma, sıcak malzeme elde etmek için büyük veri analizi kullanır ve ardından verilere dayalı olarak hızlı bir şekilde raporlar oluşturur, ancak oluşturduğu rapor formatı nispeten sabittir. İnsanlar yazdıklarında, verileri veya şeyleri gördükten sonra, çeşitli çıkarımlar ve çağrışımlar üretecekler ve çeşitli temaların derinliklerine inecekler, böylece yazı formları da çeşitlidir. Bu nedenle, bir bütün olarak bakıldığında, makineler ve insanlar arasındaki boşluk hala var.Akıllı yazı, yazarların yerini tamamen alamaz, ancak onlarla birlikte çalışmalıdır.
Bu nedenle Baidu, otomatik yazma ve yardımlı yazma yetenekleri sağlayan, böylece içerik oluşturucuların içerik oluşturma verimliliğini ve kalitesini artırmalarına yardımcı olan ve akıllı yaratma alanı için daha fazla olanak sağlayan akıllı bir yazma platformu başlattı. Baidu'nun AI platformu üzerinden zaten erişilebilir.
Gelecekten bahsetmişken, pek çok umut vaat eden uygulama olduğunu söyledi. Bir yandan yazma daha otomatik, daha canlı ve derinlemesine olacak; diğer yandan sinir ağı tabanlı üretken modeller yavaş yavaş pratik hale gelecek; medya endüstrisinde akıllı yazma yaygın bir şekilde uygulanacak ve insan yaratımına yardımcı olacak; Etkileşimli evlerde, dil üretme teknolojisi, kullanıcının etkileşimli deneyimini de geliştirebilir.
İnsan-makine diyaloğu
Dr. Sun Ke, Baidu NLP Araştırma ve Geliştirme Mimarı Direktörü ve UNIT Teknolojisi Başkanı: Diyalog Sisteminin Uygulama Teknolojisinin Keşfi
Son yıllarda, akıllı diyalog yavaş yavaş hayatın her alanına nüfuz ettiğinden, kullanıcılar akıllı diyaloğun getirdiği rahatlığı ve değişiklikleri arabalar, hoparlörler, müşteri hizmetleri ve robotlar gibi sahnelerde şimdiden hissedebiliyorlar.
Bununla birlikte, akıllı diyalog teknolojisinin sanayileşmesinin daha da derinleşmesiyle birlikte, daha fazla zorlukla da karşı karşıya. Örneğin, diyalog sistemlerinin yapım maliyeti ve verimliliği işletmeler için büyük zorluklardır.İşletmelerin veri biriktirmek ve düzenlemek için çok fazla insan gücü ve zaman yatırması ve aynı zamanda yüksek kaliteli etkiler ve karmaşık sistem entegrasyonu için daha fazla ödeme yapması gerekir.
Buna dayanarak Baidu, geliştiricilerin diyalog sistemi araştırma ve geliştirmesinin önündeki engelleri azaltmalarına ve iş ihtiyaçlarına doğru bir şekilde uyum sağlamalarına yardımcı olmak için, doğal dil anlama ve etkileşim teknolojisi, derin öğrenme ve yıllar içinde biriken büyük verinin temel yeteneklerine dayanan akıllı bir diyalog sistemi özelleştirme ve hizmet platformu olan UNIT'i kurdu. Kendi diyalog sisteminizi eğitin.
UNIT platformunda, göreve dayalı diyalog sistemleri, soru-cevap diyalog sistemleri ve küçük sohbet diyalog sistemleri dahil olmak üzere, endüstriyel araştırma ve geliştirmede şu anda nispeten olgun olan üç ana diyalog sistemi teknolojisi entegre edilmiştir. Dr. Sun Ke, göreve dayalı diyalog sisteminin gerçekleştirilmesine odaklandı. Raporlara göre, göreve dayalı diyalog sisteminde, diyalog anlayışının derinliği ve sistemin uygulama maliyeti Baidu UNIT'in odaklandığı temel konulardır. UNIT, ERNIE'nin diyalog anlama modelini ve veri destekli üretim aracı DataKit'i anlamsal temsil eğitim öncesi modelini entegre ederek, göreve dayalı diyalog sistemi geliştirme maliyetinde kapsamlı bir şekilde% 60 tasarruf sağladı.
Buna ek olarak, UNIT ayrıca anlaşılmadaki yaygın hatalar için 15 grup diyalog hata toleransı mekanizmasını özetler ve özetler ve bunları standartlaştırır.Raporlara göre, bu mekanizma basitçe soruları netleştirerek diyalog anlayışının genel verimliliğini büyük ölçüde artırabilir. .
Son olarak, Dr. Sun Ke ayrıca UNIT'in geliştiriciler için okuduğunu anlama teknolojisine dayalı konuşmalı belge soru ve cevap teknolojisini gösterdi. Bu teknoloji ile geliştiriciler, iş belgelerini yükleyerek ve tek tıklamayla eğitim vererek soru cevap sistemini 1 dakika içinde hızlı bir şekilde özelleştirebilirler.
makine çevirisi
Baidu Yapay Zeka Teknik Komitesi Başkanı He Zhongjun: Eşzamanlı Yorumlama İlerlemesi ve Beklentisi
Eşzamanlı tercüme ilk kez 1919'da ortaya çıktı. En belirgin özelliği, kısa zaman gecikmesi ve bilgi aktarımının yüksek verimliliğidir, bu nedenle önemli uluslararası konferanslarda, diplomatik müzakerelerde ve diğer önemli sahnelerde yaygın olarak kullanılmaktadır. Simültane tercüme sürecinde, simültane tercümanlar izleme üzerinde yoğunlaşmalıdır ve iş yoğunluğu son derece yüksektir. Zorlu gereksinimler nedeniyle, simültane tercümanlar dünya çapında azdır. Büyük pazar talebi ile karşılaştırıldığında, ciddi bir yetenek kıtlığı var.
Şu anda, makine simültane çeviri teknolojisi üç büyük zorlukla karşı karşıyadır; biri teknik zorluk, diğeri veri sorunu ve üçüncüsü değerlendirme zorluğudur.
Teknik zorluklar açısından ilk sorun gürültü problemidir Konuşmacının aksanı, konuşma hızı ve yerinde toplantı gürültüsü gibi faktörler nedeniyle konuşma tanıma sonuçları yanlıştır. İkinci sorun, cümle tanıma ve noktalama gerektiren cümle bölütlemedir. Üçüncü sorun, zaman gecikmesi ile doğruluk arasında bir çelişki olmasıdır. Doğruluğu artırmak istiyorsanız, çevirmeden önce konuşmacının özel anlamının tam olarak ifade edilmesini beklemeniz gerekir ve gecikme süresi nispeten yüksek olacaktır. Dördüncü konu, çevirinin tutarlılığıdır. Simultane tercümenin ana sahnesi, konuşmacının içeriğinin gerçek zamanlı tercümesidir ve tercümeden önce ve sonra içeriğin tutarlılığı ve tutarlılığının sağlanması gerekir.
İkincisi, veri sorunu. Gerçek sahneler için eğitim verileri sadece onlarca ila yüzlerce saattir, bu nedenle çok az veri, yüksek kaliteli bir simültane tercüme sistemini eğitmek için yeterli olmaktan uzaktır.
Üçüncüsü, değerlendirme zorluğudur. Metni çevirirken düşünmek, cilalamak ve işlem yapmak için yeterli zamanımız var. Eşzamanlı çeviride, gerçek zamanlı çok güçlüdür ve kullanılan çeviri yöntemi metin çevirisinden farklıdır. Metin tabanlı değerlendirme yöntemi, eşzamanlı çevirinin değerlendirilmesinde geçerli değildir.
Konuşma tanıma hataları sorununu hedefleyen Baidu, ortak bir kelime vektörü kodlama modeli önerdi. Bu model çok basittir, yani hece vektörü, modelin belirli bir hata toleransına sahip olması için orijinal metin vektörü temelinde tanıtılmıştır.
Baidu ayrıca zaman gecikmesi sorununu çözmek için kontrol edilebilir bir gecikmeli çeviri modeli önerdi. Geleneksel metin çevirisi sürecinde, onu çevirmeden önce bir cümlenin tamamen girilmesini beklememiz gerekir. Baidu eşzamanlı tercümandan ilham aldı ve öngörülebilir bir model önerdi.Orijinal cümleye yalnızca birkaç kelime girildikten sonra tahmin ve çeviri başlatılabilir.
Metin çevirisi açısından Baidu, çok aşamalı bir kod çözme stratejisi önerdi: İlk geçiş geleneksel kaba kod çözmedir ve bu temelde, ince kod çözmenin ikinci geçişi cümle bağlamıyla birleştirilir. Aynı zamanda, cümleler arasındaki akıcılığı daha da iyileştirmek için oluşturulan cümleleri geri bildirim ve optimize etmek için bir takviye öğrenme stratejisi sunulur.
Ek olarak, uçtan uca makine eşzamanlı çeviri modeli açısından Baidu, bilgi damıtmasına dayalı bir eşzamanlı yorumlama modeli önerdi. Uçtan uca eşzamanlı çeviri modelini optimize etmek üzere bir öğretmen modeli eğitmek için büyük ölçekli metin çeviri külliyatını kullanın. Bu model, veri seyrekliği sorununun etkin bir şekilde üstesinden gelebilir ve çeviri kalitesini önemli ölçüde artırabilir.
Makine simültane çeviri teknolojisinin gelişimini desteklemek amacıyla Baidu Translator ve CCMT2019 (Ulusal Makine Çevirisi Semineri) dünyanın ilk gerçek dünyadaki Çince-İngilizce simültane tercüme değerlendirme görevini başlattı ve gerçek konuşma sahneleri için ilk Çince-İngilizce simültane tercüme veri seti CCMT2019'u yayınladı. -BSTC, her iki görev de eşzamanlı çevirinin araştırılmasını ve geliştirilmesini büyük ölçüde destekleyecektir.
Zhongjun, gelecekte makine eşzamanlı çevirinin aşağıdaki üç yönden çalışabileceğini söyledi: Modeller açısından yüksek-sağlam ve düşük gecikmeli eşzamanlı çeviri modellerini inceleyeceğiz; veri açısından, gerçek senaryolar için büyük ölçekli eşzamanlı çeviri verisi oluşturacağız; Değerlendirme açısından, simültane tercüme için bir değerlendirme sistemi ve standartları oluşturun.
Lei Feng Ağı Lei Feng Ağı
