Doğal dil diyaloğunun teknik zorlukları ve uygulama olasılıkları hakkında, bu altı büyük fabrikanın birinci sınıf teknik liderleri sohbet etti
Leifeng.com'un AI teknolojisi inceleme notu: Diyalog, insanlar için en temel ve önemli iletişim yoludur.Doğal dil diyalog teknolojisi doğal olarak doğal dil işleme alanındaki en yakın teknolojilerden biri haline gelmiştir. Bu alan ve tüm yapay zeka alanı doğru ilerlemelidir. İdeal olarak, doğal dil diyaloğunun karşılaştığı bir dizi sorunu ve zorluğu çözmek gerekir.
Tüm teknik sorunlar ve zorluklar en kolay şekilde pratik uygulamalara yansıtılır, bu nedenle bu konuda en çok söz sahibi olan, işletmenin teknolojiyi uygulayan birinci basamak teknik personeli dışında kimse yoktur.
Son zamanlarda, Huawei Noahs Ark Lab'da konuşma ve anlambilim şefi olan Liu Qun, CNCC2019'da "Doğal Dil Diyaloğu: Teknik Zorluklar ve Uygulama Beklentileri" temalı bir teknik foruma ev sahipliği yaptı ve Microsoft, Ali, Baidu, Xiaomi'den insanları davet etti. Zhou Ming, Chen Haiqing, Sun Ke, Wang Gang, He Xiaodong ve Jiang Xin gibi birçok büyük fabrikanın birinci basamak teknik liderleri olan JD.com ve Huawei, bu konuyu tartışmak için geldi.Makro perspektiften birkaç konuşmacı Teknik bir perspektiften, araştırma alanına ilişkin görüş ve görüşlerini açıkladı ve ayrıca uygulama vakaları perspektifinden doğal dil diyaloğunun teknik pratiğini paylaştı.
Soldan sağa: Chen Haiqing, He Xiaodong, Sun Ke, Zhou Ming, Wang Gang, Jiang Xin, Liu Qun
Gelin bu teknik forumda neler paylaştıklarına tek tek göz atalım.
Microsoft Zhou Ming: Derinlemesine anlayış için bir sohbet robotu
Microsoft Research Asia'dan Ming Zhou, sohbet robotlarının tüm teknolojik evrimini makro ve genel bir bakış açısıyla paylaştı. Sohbet botu teknolojisinin, arama tabanlı yanıttan üretken yanıta ve ardından entegre yanıta kadar üç geliştirme aşamasına sahip olduğuna dikkat çekti.
Erişim yanıtları, karşılık gelen yanıtların çıktısını almak için benzer diyalogları seçmek için metin eşleştirme teknolojisini kullanırken, üretken yanıtlar karşılık gelen yanıtları almak için metin oluşturma teknolojisini kullanır. İkisine kıyasla, ilkinin avantajları ve dezavantajları vardır. Birincisinin avantajı okunabilirlikte yatmaktadır. İyi performans, dil akışı, güçlü çeşitlilik, kolay analiz ve güçlü yorumlanabilirlik. Dezavantajı, büyük ölçüde alınan verilere dayanması ve çıktı yanıtlarının bazen alaka düzeyi açısından iyi olmaması; ikincisi, alaka açısından daha iyi performans gösteriyor ve kolay Uçtan uca uygulanır ve esnektir ve verilerin alınmasına dayanmaz, ancak çeşitlilik bakımından zayıftır ve çıktı yanıtları genellikle kısadır ve fazla bilgi içermez.
Entegre yanıt oluşturma, aday prototip yanıtları sağlamak için bir geri alma sistemi ve prototipleri değiştirmek için bir üretim sistemi kullanır.Sadece alma modeli yanıtlarının çeşitliliğini miras almakla kalmaz, aynı zamanda üretken modelin esnekliğini de miras alır ve ikisinin gücünü en üst düzeye çıkarır.
Aynı zamanda, Zhou Ming, yanıt teknolojisinde belirli bir ilerleme kaydedilmiş olmasına rağmen, sinir ağı tabanlı S2S modelinin, üretilen yanıtların akıcılığını belirli bir ölçüde geliştirdiğini ve eğitim öncesi modelin, geri alma yanıt teknolojisinin bağlam anlayışını bir dereceye kadar geliştirmesini sağladığını belirtti. , Ancak mevcut sohbet robotu hala ideal durumdan uzaktır, özellikle de şunlara yansımıştır:
-
Birincisi, çoklu diyalog turlarında robot, diyalog tarihindeki cümleler arasındaki karmaşık ilişkiyi hala gerçekten anlayamıyor;
-
İkincisi, diyalog tarzının ve içeriğin ayrıştırılması hala iyi değil Stil eşleşse bile, içerik genellikle yeniden yazmada hatalar yapıyor;
-
Üçüncüsü, diyalogda zaman, mekan ve mantığın tutarlılığını korumak zordur ve tutarsızlıklara eğilimlidir;
-
Dördüncüsü, insan ön bilgisi eksikliği;
-
Beşinci olarak, chatbot "unutkan" ve kullanıcının ne dediğini hatırlayamıyor.
Bu bağlamda, gelecekteki sohbet robotlarının derinlemesine bir anlayış için bir yanıt mekanizması benimsemesi gerekmektedir.Çabaların yönü şunları içerir: sohbet robotlarını sağduyu ve bilgi ile entegre etme, diyalog geçmişini doğru bir şekilde anlama, bağlamsal tutarlılığı iyileştirmek için bellek mekanizmalarını güçlendirme ve özelleştirilmiş yanıt oluşturma. Tarz (kelime hazinesi, duygu, cümle örüntüsü, formalite vb. Dahil) ve bu hedeflere ulaşmak için topluluğun ayrıca veri setleri ve değerlendirme göstergeleri dahil daha doğru değerlendirmeler oluşturması gerekir.
Ali Chen Haiqing: Alibaba Xiaomi'nin Akıllı İnsan-Bilgisayar Etkileşimi Teknolojisi Uygulaması
Alibaba Groupun Dharma Akademisi Akıllı Hizmet Bölümünden kıdemli bir algoritma uzmanı olan Chen Haiqing, Alibabanın temel NLP teknolojisini ve Alinin insan-bilgisayar etkileşim ürünü Ali Xiaomiye dayanan insan-bilgisayar etkileşimi teknolojisi uygulamasını, zorlukları ve zorlukları daha fazla uygulama perspektifinden tanıttı. Gelecekteki gelişim yönü.
Ali Xiaomi platformunun ekosistemini ve uygulamalarını kısaca tanıttıktan sonra Chen Haiqing, arkasındaki temel NLP destek teknolojisini tanıttı:
-
Doğal dil işleme bölümünün hiyerarşik sıralama süreci, temel olarak hiyerarşik alanın çerçeve tasarımını, farklı iş senaryolarına dayalı olarak amaç ve modelin tasarımını ve birikimini ve QA Bot, Task Bot'u tamamlayabilen model yağış ve platform biriktirme yoluyla çerçevenin biriktirilmesini içerir. Predict Bot ve Chit Chat dört görev yapabilir.
-
Dört veri düzeyi, algoritma, hizmet ve uygulama çevresindeki NLU mimari sistemi, veri çökeltme ve iş açıklama eğitim platformu sistemi oluşturma, platform tabanlı algoritma çerçevesi tabanlı niyet tanıma ve varlık tanıma yetenekleri oluşturma, kural tabanlı, bozulmuş modeller ve Derin modelin NLU mühendislik yeteneği platformunu oluşturun.
Şu anda, NLU hala temel yetenekleri olarak niyet tanıma ve varlık tanımayı almaktadır. Karşılaştığı temel zorluk, amacın platform tabanlı genişleme verimliliği ve küçük örnek senaryoların soğuk başlangıcıdır. NLU'nun verimliliği ve etkinliği açısından, ilgili ana sorun nasıl inşa edileceğidir. Veriler, algoritmalar ve hizmetler.
Son olarak Chen Haiqing, gelecekte akıllı hizmet robotlarının yalnızca otomatik bir hizmet modu sağlamakla kalmayacağını, aynı zamanda kullanıcılara ve müşteri hizmetleri personeline daha karmaşık problem çözme yetenekleri ve karar verme destek yetenekleri sağlamak için çok modlu bir şekilde daha iyi bir insan-makine işbirliği modu sağlayacağına işaret etti. Sürekli keşif için teknik talimatlar arasında üretken modeller, pekiştirme modelleri, aktarım öğrenimi, makine okumayı anlama ve duyarlılık analizi bulunur.
Baidu Sun Ke: Özelleştirilebilir Diyalog Sisteminin Zorlukları ve Tasarımı
Baidu'nun doğal dil işleme departmanının araştırma ve geliştirme mühendisi ve UNIT platform teknolojisi başkanı Sun Ke, Baidu'nun akıllı diyalog özelleştirme ve hizmet platformu UNIT'e dayanan mevcut özelleştirilebilir diyalog sisteminin zorluklarını ve tasarımını paylaştı.
Başlangıçta Sun Ke, endüstriyel özelleştirme gereksinimleri ile karşılaşıldığında diyalog teknolojisinin karşılaştığı bazı zorlukları ilk olarak gündeme getirdi:
-
Tüketici İnternetinde, diyalog hizmetlerinin temel görevi, kullanıcı ölçeğini olabildiğince genişletmek için en iyi ürün ve hizmetleri sağlamaktır.Mühendislerin, etkiyi optimize etmek, büyük kaynakları ortaya çıkarmak ve yüksek verim özelliklerine sahip özelleştirilmiş diyalogları dağıtmak için algoritmalar kullanması gerekir. teknoloji;
-
Bununla birlikte, endüstriyel İnternet söz konusu olduğunda, diyalog hizmetlerinin temel görevi, daha iyi sonuçlar elde etme öncülüğünde özelleştirmenin marjinal maliyetini azaltmaktır.Mühendislerin, uygulama algoritmalarının entegre optimizasyonunu düşük maliyetle, düşük kaynak ve sözlük edinme maliyetiyle ve ortama esnek bir şekilde uyum sağlayabilen dağıtım çözümleriyle birleştirmesini gerektirir. Aktarılabilir diyalog teknolojisi.
Aktarılabilir diyalog teknolojisinin amacını ortadan kaldıran tasarım fikri, yüksek öğrenme verimliliğine sahip bir model kullanmak ve diyaloğun etkisini iyileştirmek için birim verilerini iyileştirmek için model hatalarını otomatik olarak keşfetmek ve yapılandırmaya ve önceden belirlenmiş bilgiye yardımcı olmak için bilgiyi kullanmaktır. Birim verilerini edinme maliyetini azaltmak için.
Bu fikre dayalı olarak tasarlanan genel BİRİM, temel diyalog teknolojisi görev temelli diyalog ve soru-cevap diyalogu içerir, özel tasarım fikirleri aşağıdaki gibidir:
-
Görev tabanlı diyalog için UNIT, sezgisel diyalog anlayışı, derin öğrenmeye dayalı diyalog anlayışı ve çok motorlu sonuç füzyonu için temel anlama motoru olarak yüksek verimli bir öğrenme modeli kullanır ve bileşen analizi, alanın çok motorlu füzyonu veya genel anahtar kelime analizidir. Diyalog anlama modeli; model hatalarının otomatik olarak keşfedilmesi ve yüksek verimli bilgi oluşturma araçları açısından, anormal anlama sorunlarını otomatik olarak onarabilen ve diyalog etkilerinin anlaşılmasını geliştirebilen DataKit ve 15 set diyalog anlayış paradigması benimsenmiştir.
-
Soru-cevap diyalogları için, UNIT'in tasarım fikri görevleri tanımlamak veya bilgiyi sıralamak değil, orijinal iş verilerini kullanarak doğrudan yanıtlar üretmektir; temel teknolojisi, metin gösterimi ve bilgi temsilinin bir kombinasyonu olan harici bilgiyi tanıtan bir okuduğunu anlama modelidir. Okuduğunu anlama modeli KT-NET.
Xiaomi Wang Gang: Sesli etkileşim insan-bilgisayar etkileşiminde değişiklikler getiriyor
Xiaomi'nin yapay zeka departmanı genel müdür yardımcısı ve Xiaoai ekibinin başkanı Wang Gang, kendi ürünlerine dayanan önceki iki teknik analizden farklı olarak, ses etkileşiminin insan-bilgisayar etkileşimine getirdiği değişikliklerden başlayarak, ses etkileşiminin gelecekteki gelişim yönüne ilişkin kendi görüşlerini açıkladı. .
Sesli etkileşimin geleceğinin üç gelişme trendi olduğuna inanıyor: her yerde bulunan, daha doğal etkileşim ve sizi daha iyi anlama. Arkasındaki teknoloji, özellikle uyanış, tanıma, anlama, tatmin ve sentez gibi birkaç ana alana ayrılabilir.Bu ana alanlarda halihazırda var olan büyük sorunlar ışığında, Wang Gang bu sorunların karşılaştığı zorlukları, mevcut çözümleri ve Gelecek için potansiyel çözümler:
-
İlk sorun, ASR'nin yüksek hata oranıdır. Karşılaştığı temel zorluklar, homofonik yazım hataları, birden fazla ve daha az karakter, Çince ve İngilizce karışık, aksanlar ve lehçelerdir. Mevcut çözümler "NLP yardım ASR", "ASR yardım NLP" ve Gelecekte, ses ve anlam bilimi bütünleştirmeyi deneyebilirsiniz;
-
İkinci sorun, Sorgunun amacını anlamanın zor olmasıdır. Karşılaştığı temel zorluklar, alan ve sağduyu bilgisinin birikimi eksikliği, bilgi miktarı ve ifade yöntemlerinin çeşitlendirilmesidir. Mevcut çözüm, dikey alanların sürekli inşası ve merkezi kontrol yeteneklerinin geliştirilmesidir. Bilgi yeteneklerini, algoritma yeteneklerini, veri yeteneklerini ve kapalı döngü kullanıcı geri bildirimlerini kapsayan kapsamlı yeteneklerin inşasına doğru kademeli olarak geçecektir.
-
Üçüncü sorun, tüm alanda tam çift yönlü sürekli diyalogdur. Mevcut zorluk, uzun teknik bağlantıdır. Mevcut çözüm, ön uçta yankı iptali gerçekleştirmek ve dikey ve çapraz dikey çok turlu diyalog elde etmek için bağlam kalıtım yöntemini kullanmaktır ve Geçersiz ton reddi (ses reddi, anlamsal ret, ses izi tanıma), ritim kontrolü (yanıt kesintisi, aktif yanıt ve Sorgu tahmini) ve birleşik uygulama grafik etkileşimli arabirim ve sesli etkileşimli arabirim yöntemleri;
-
Dördüncü problem, tek alanlı karmaşık görev diyaloğudur. Mevcut zorluk, alana özgü kelimelerle karşılaşıldığında ASR'nin hata oranının artmasıdır.Ayrıca, belirsizlik ifadesi karşısında, alan bilgisinin belirsizliğini giderme ve yönlendirme diyaloğu gereklidir. Mevcut çözüm şudur: : 1) Alan bilgisinin ontoloji gösterimi, diyalog temsili ve ontoloji temsilinin diyalog temsiline aktarım yetenekleri dahil olmak üzere sunum yeteneklerini iyileştirin; 2) NLU dahil olmak üzere görev diyalog yeteneklerini iyileştirin, bunun yerine diyalog modellemeye dayalı alan bilgilerini çıkarın Sağlamlığı artırmak için yuva etiketleme şeması; DST'de diyalog durumu, diyalog temsili ve NLU çıktısına göre güncellenir; politikaya göre, diyalog kılavuzu diyalog durumuna dayanır.
-
Beşinci problem aktif algılama ve öneri problemidir. Mevcut çözümler bu problemi temel olarak aktif etkileşim, sahne anlayışı ve kullanıcı portrelerinden çözmektedir.
Jingdong He Xiaodong: Görev odaklı büyük ölçekli diyalog sistemi ve uygulaması
Jingdong Yapay Zeka Araştırma Enstitüsü İcra Kurulu Başkan Yardımcısı ve Derin Öğrenme ile Konuşma ve Dil Laboratuvarı Direktörü He Xiaodong, insan-bilgisayar etkileşiminin gelecekteki gelişimi ve halihazırda karşılaşılan büyük teknik zorluklar için insan-bilgisayar diyalogunun önemini vurguladı. Ayrıca diyalog sisteminin bir sonraki gelişme yönü hakkındaki görüşlerini de açıkladı.
İnsan-bilgisayar diyaloğunun çoklu turlarının yapay zekanın başlangıç noktası ve kutsal kasesi olduğunu ve insanlar için en temel ve en önemli iletişim yolu olarak diyalogun aynı zamanda insan-bilgisayar etkileşimi teknolojisinin de gelecek beklentisi olduğunu, ancak belirli alanlarda pek çok uygulama bulunmasına rağmen. Alandaki diyalog sistemleri ve diyalog sistemleri de yüksek karmaşıklık ve yüksek güvenilirlik gereksinimleri olan açık alanları ve görevleri hedeflemeye çalışıyor, ancak şu anda hiçbir sistem Turing testini gerçekten geçemiyor.
Tipik uygulamalarda, JDnin büyük ölçekli ve karmaşık müşteri hizmetleri senaryolarını örnek alarak, diyalog sisteminin satış öncesi, satış içi, satış sonrası ve lojistiği kapsaması gerekir; akıllı planlama, akıllı navigasyon, akıllı özet, gerçek zamanlı yardımcı yanıt, akıllı kalite denetimi ve istihbarat içerir Etkinlik oluşturmak gibi belirli görevler. JD.com, büyük ölçekli görev odaklı senaryoların birikimine dayanarak, Pekin Zhiyuan Araştırma Enstitüsü ile birlikte Zhiyuan-JD büyük ölçekli görev odaklı diyalog veri kümesini ortaklaşa yayınladı.
Teknik zorluklar açısından He Xiaodong, diyalog teknolojisinin şu anda beş büyük güçlükle karşı karşıya olduğuna işaret etti:
-
Birincisi, çoklu diyalog durumlarının yetersiz takibi, diyalog sisteminde etkili bir küresel optimizasyon mekanizmasının olmaması ve değerlendirme kriterlerinin olmamasıdır;
-
İkincisi, bağlamsal tarihsel bilgiye dayalı kesin anlamsal anlayışın iyileştirilmesi gerekiyor ve kullanıcının niyetlerinin tam olarak anlaşılmasında eksiklik var;
-
Üçüncüsü, büyük miktarda alan bilgisi ve temel sağduyu desteğinden yoksundur ve şu anda derinlemesine muhakeme ve karar verme yapamaz;
-
Dördüncüsü, diyalog oluşturma mekanizması henüz keşfedilmemiştir, kontrol edilebilirlik ve yorumlanabilirlikten yoksundur ve kullanıcılara empatik yanıtlar üretmek zordur;
-
Beşincisi, çapraz modal diyalog ve vizyon, konuşma ve dil dahil etkileşim teknolojilerinin derinlemesine çalışılması gerekir;
Bu bağlamda He Xiaodong, diyalog sisteminin bir sonraki adımının kaçınılmaz olarak vizyon, ses, dil ve bilginin birleştirilmesi yoluyla çok yönlü bir etkileşim yöntemine doğru ilerleyeceğini, böylece insanlar ve makineler arasındaki iletişimin sınırsız hale geleceğini söyledi. Bu hedefe dayanarak, JD AI Araştırma Enstitüsü ayrıca çok modlu diyalog zekası üzerine temel araştırmaları sürekli olarak ilerletmektedir.
Huawei Jiang Xin: Diyalog sistemindeki bazı teknik araştırmalar
Huawei'nin Noah's Ark Laboratuvarı'ndan Jiang Xin, diyalog veri toplama ve geliştirme ve diyalog derin anlamsal anlayışının iki boyutundan diyalog sistemindeki bazı teknik keşifleri paylaştı.
Bir diyalog sisteminin inşasının temel taşı olarak, diyalog verilerinin toplanması birçok güçlükle karşı karşıyadır: Örneğin, kullanıcı mahremiyeti, güçlü alan korelasyonu, etiketleme karmaşıklığı, dinamik etkileşim ve değerlendirme, karşılaştığı problemlerdir. Üç veri toplama yöntemi vardır: diyalog, insan-makine diyaloğu ve makine-makine diyalogu.
Wizard-of-Oz (Wizard-of-Oz) gerçek diyalog sahnesine daha yakın olmasına rağmen, manuel etiketleme ve doğrulama maliyeti yüksektir ve etkileşimli davranışın kapsama oranı düşüktür; makine-makine diyalogunun (Self-Play) kapsama oranı olmasına rağmen Çeşitlilik ve çeşitlilik açısından daha iyidir ve etiketleme nispeten kolaydır.Ancak, diyalog verilerinin kalitesi simüle edilmiş kullanıcı robotuna ve sistem robotuna bağlıdır.Bu nedenle, pratikte, Wizard-of-Oz ve Self-Play genellikle ayrı ayrı diyalog verileri oluşturmak için birleştirilir. Diyalog sisteminin NLU, DST, Politika ve NLG modüllerini eğitmek için verileri kullanmak genellikle kısıtlı alanlardaki diyaloglarda daha yüksek bir başarı oranı sağlayabilir.
Diyalog verilerinin iyileştirilmesi açısından, daha genel bir yöntem yeniden anlatmadır. Yakın zamanda yapılan çalışmada, Huawei Noah, daha iyi yorumlanabilirlik, kontrol edilebilirlik ve aktarılabilirliğe sahip Seq2Seq sinir ağına dayalı olarak aynı anlamın farklı ifadelerini üretmeyi önermektedir. Ek olarak, diyalog durum izleme görevinde, Bağlamsal Haydutlara dayalı olarak geliştirilmiş verilerin seçilmesi ve son olarak veri geliştirme modülü ile durum izleme modülünün birlikte eğitilmesi önerilmektedir.
Diyaloğun derin anlamsal anlaşılması açısından, şu anda en iyi model önceden eğitilmiş dil modelidir:
Anlamsal anlama için yeni bir paradigma olarak, ön eğitim dil modeli, özellikle dil modelini büyük ölçekli bir metin külliyatı üzerinde eğitmeyi ve ardından aşağı akış görevlerinde eğitimi ince ayarlamayı ifade eder. Örnek olarak Çince eğitim öncesi dil modeli "Nezha" yı alın. Şu anda BERT tabanlı, Huawei Cloud'da mevcuttur Çok makineli çoklu kart veri paralel eğitimi uyguladı ve karma hassas eğitim ve tam kelime kapsamı gibi bir dizi eğitim tekniğini denedi;
TinyBERT modeli, Transformer modeli için özel olarak tasarlanmış bir bilgi damıtma yöntemidir.Farklı uç cihazların bilgi işlem ihtiyaçlarını karşılamak için BERT tarafından "öğretmen" olarak damıtılan minyatürleştirilmiş bir modeldir. Parametre miktarı BERT'in 1 / 7'si, tahmin hızı ikincisinin 9 katı ve TUTKAL değerlendirmesinde BERT'den sadece 3 puan daha düşük.
Konuşmanın ardından Liu Qun'un himayesinde, altı konuk, Zhou Ming, Chen Haiqing, Sun Ke, Wang Gang, He Xiaodong ve Jiang Xin, bu teknik forumun "" Doğal Dil Diyaloğu: Teknik Zorluklar ve Uygulama Beklentileri "temasına dayalı bir tartışma başlattı. "Diyalog sistemleri geliştirme pratiğinde karşılaşılan zorluklar", "Doğal dil diyalog verileri ve değerlendirme sorunları", "Doğal dil diyaloğunun pratik uygulamasında pekiştirmeli öğrenme" ve "Gelecek diyalog Teknolojinin hangi alanlarda çığır açacağı ve uygulamada katil sahneler olup olmayacağı görüşlerini dile getirdi ve derinlemesine paylaşımlar gerçekleştirdi.
Lei Feng.com AI teknolojisi inceleme raporu.
Leifeng.com Yıllık Seçimi 19 büyük sektörde en iyi yapay zeka iniş uygulamalarını arıyor
2017'de kurulan "En İyi AI Nuggets Vakalarının Yıllık Listesi", sektörün ilk AI iş vaka seçimi etkinliğidir. Ticari boyuttan başlayarak, Leifeng.com çeşitli sektörlerde en iyi yapay zeka uygulamalarını arıyor.
Üçüncü seçim resmi olarak başlatıldı. Kayda katılmak için WeChat genel hesabı "Leifeng.com" u takip edin ve "liste" anahtar kelimesini yanıtlayın. Ayrıntılar için lütfen WeChat ID'ye başvurun: xqxq_xq
