Akıllı Diyalog (1): Yapay Zeka Çağında Tanrı Atı Arayışı! Shenma akıllı diyalog teknolojisinin derinlemesine yorumu
Akıllı diyalog, arama motorlarının gelecekteki formudur. Shenma Arama, ağ çapında arama, yerel bilgi akışı ve uluslararası bilgi akışı gibi büyük veri hizmetleri geliştirirken, akıllı diyaloğun keşfi ve çökelmesi yavaş yavaş su yüzüne çıktı. Geçtiğimiz yıl, arama önerilerinin yıllarca birikimine dayanarak, platform mimarisi, üretim sistemi, algoritma sistemi ve işletim sistemi yapımını tamamladık; Alibaba Group'un çeşitli iş partileri için akıllı bilgi orta istasyon hizmetleri sağladık ve kişisel ses asistanlarında önemli ilerleme kaydettik. . Bu makale esas olarak Shenma Search Intelligent Dialogue'un içerik sistemini ve platform mimarisini tanıtmaktadır. Alan sınırlıdır ve bazı detaylar çok fazla genişletilmeyecektir.
Dönem uyumu
TaskBot Motoru: Temel işleme nesnesi "beceriler" dir. Becerileri, yapılandırılmış (sorgu + içerik) ve gerçek zamanlı sahne sorgusu, araçlar, kontrol vb. Gibi dikey sahne odaklı görevler olarak tanımlarız.
QABot motoru: KG-QA motoru, QAPair motoru, DeepQA motoru dahil. KG-QA temel olarak ansiklopedi ve tüm ağın bilgi grafiği etrafında doğru soru ve cevaptır; QAPair motoru temelde üretim ve tüketim için soru ve cevaba dayanır; DeepQA motoru, url indeksleme, sınıflandırma ve kümeleme, odak kelimeleri ve özetlere dayalı çok seviyeli bir sistemdir.
ChatBot motoru: alma ve oluşturmaya dayalı küçük sohbet motoru dahil
İçerik sistemi
Web araması ve akıllı diyalog, bilgi hizmetlerini taşımanın farklı yollarıdır ve veri, algoritmalar ve mimari açısından aynı kesintisiz çizgidedirler. Tam da bu birikim nedeniyle, Google gibi arama motoru şirketleri, bilgi hizmetlerine dayalı To B / C AI platform ürünlerini hızla piyasaya sürebilir.
- Endüstri Becerileri Kitaplığı
- İlk aşama: Ekip, büyük aramanın 100'den fazla dikey sektörünü yapısal olarak yükseltmek için yarım yıl harcadı; büyük eğlence, büyük seyahat, haber ve bilgi, orta ve otomobil, spor, turizm ve küçükten stoklara, çeviri, Eski şiirler vb.
- İkinci aşama: becerilerin daha fazla yapısal olarak yükseltilmesi, ince sorgu yapısı, çok yönlü diyalog yapısı ve Tmall sihirbaz konuşmacılarının tüm ağının bilgi haritasına çıktı
- Alibaba'nın ağ çapındaki tek bilgi grafiği, bilgi kartları, varlık önerileri, doğru Soru-Cevap ve diğer ürünlerle çıktı; Soru-Cevap kütüphanesi topluluğu Soru-Cevap kitaplığı: UGC Soru-Cevap topluluğuna dayalı, 1B dokümanı; UPGC üretimi: Shenma "Şövalyeleri" kuruldu Şövalyeler projenin kod adıdır.Üretim verimliliğini ve soru-cevap kalitesini artırmak için stok bilgisini düzenlemek, işlemek ve gözden geçirmek için kampüsten tam olarak yararlanır; şu anda 10.000 öğrenci katılıyor; yüksek kaliteli kütüphane: topluluk soru ve cevap kütüphanesi Kapsam yüksek ama kalite dengesiz.Sosyal üretim kalitesi yüksek ancak miktar görece az. Topluluk soru ve cevap kitaplığının makine temizliği ve sosyal üretim kitaplığının genişletilmesi yoluyla, sonunda yüksek kaliteli bir kitaplığa yerleşecek; yumurta akı kitaplığı: yumurta akı ürün stratejisidir . Kullanıcı botla konuştuğunda, en umut verici cevap "yumurta sarısı" olur, ancak bazen makine kullanıcının sorusuna ulaşabilir (veya bazıları alabilir) ancak mükemmel bir cevap veremez. Şu anda kullanıcıya "yumurta akı" vermek de zariftir. Sizi anladığım anlamına geliyor; yumurta akının ilk sürümü piyasaya sürüldü, esas olarak "açıklama / yöntem" sorun türünü kapsayan çekirdek kitaplık
- İnternet ortamını saflaştırmak ve içeriğin kalitesini iyileştirmek için, işletme + madencilik yolunda bir dizi temel kütüphane süreci yürüttük;
Beceri kütüphanesi + bilgi tabanı + Soru-Cevap kütüphanesi + sohbet kütüphanesi, bilgi hizmeti sahnesinde akıllı diyalog altyapısını oluşturur, farklı kütüphanelerin farklı sorgular için memnuniyetini göstermek için birkaç örnek verin, Xiao Ma bir NBA oyunu izliyor , Dedi:
"Roketler kaç puan önde?" - > Beceri kütüphanesi
"Basketbolu kim icat etti?" > bilgi tabanı
"Harden Onur Listesi'nde olabilir mi?" - > Soru-Cevap Kitaplığı
"NBA hakkında konuşalım mı?" - > Sohbet kitaplığı
Genel bilgi hizmetleri her zaman, yarı yapılandırılmış / yapılandırılmamış verilerin işlenmesi, içerik üretim modu, içeriğe duyarlı konular, kullanıcı memnuniyeti vb. Dahil olmak üzere endüstrinin zorluğu olan soru ve yanıtın kapsamını ve kalitesini takip etmektedir; Shenma arama Keşif sırasında biriken çok seviyeli QA sistemi, MOPU (Makine / OGC / PGC / UGC) çeşitlendirilmiş üretim, süreç odaklı ve büyük ölçekli sürdürülebilir üretim sistemi sektörün ön saflarında yer alır; en son Tmall Elf ideal sorgu toplama değerlendirmesinde Yukarıda, tetikleme oranı% 73'e ulaştı ve doğruluk oranı% 91'e ulaştı. Bu verilerin konsepti için, sektördeki temsili ürünlerin göstergelerine bakabilirsiniz:
Stone Temple tarafından yakın zamanda yapılan bir ankete göre, Google Sanal Asistan% 90,6'sı doğru olmak üzere kullanıcı sorularının% 68'ine cevap verebilirken, Microsoft Cortana% 81,9 doğruluk oranıyla kullanıcı sorularının% 56,5'ine cevap verebilir; Apple Siri cevap verirken Amazon Alexa tarafından cevaplanan kullanıcı sorularının yüzdesi% 21,7, doğruluk oranı% 62,2'dir.Amazon Alexa tarafından cevaplanan kullanıcı sorularının yüzdesi% 20,7 ve doğruluk oranı% 87'dir.
Mimari sistem
Yukarıdaki resim, mimari sistemin genel büyük resmidir. "Motor", verilerin yapılandırılmasından ve hesaplamaların taşınmasından sorumludur ve "platform", çekirdek olarak motorla oluşturulan kapalı döngü çözümlerinden (üretim, çok kiracılı tüketim, işletim, talep yönetimi vb.) Sorumludur. Sistemin inişi yıllarca birikim ve yağış arayışını başardı. Sistem, arama işinden tamamen bağımsızdır ve Tmall Wizard (ve Double Eleven'da canlı Soru-Cevap) gibi iş taraflarının trafiğini taşır. Aşağıda God's Advent platformu, TaskBot motoru ve QABot motoru tanıtılacaktır.
Tanrı İniş Platformu
God's Landing Platform; beceri üretimi, tüketim ve çalıştırma gibi sorunları çözen TaskBot motorunun platform tabanlı bir uzantısıdır. Harici geliştiriciler için BotFramework; harici arayanlar için, Shenma'nın tüm akıllı diyaloğunun girişi ve çıkışı; dahili RD için ise üretim ve operasyon platformudur. Şu anda, platform esas olarak grubun iç işine hizmet ediyor. God Coming, bir yetenek açık platformu, bir beceri üretim platformu, bir istatistiksel analiz platformu ve bir operasyon yönetimi platformundan oluşur.
- Beceriler açık platform
- İki açıklık seviyesi vardır: içerik açıklığı + yetenek açıklığı. İlgili beceri açık platformu ayrıca iki rol üstlenir:
- 1. Yetenek açma (BotFramework): Standart api.ai'nin beceri geliştirme platformuna kıyasla, harici geliştiriciler kendi becerilerini geliştirirler;
- 2. İçerik tüketimi (OpenAPI): uygulamalar oluşturarak, becerileri / soruları ve yanıtları seçerek, API aracılığıyla akıllı diyaloğu yönlendirerek;
- Şu anda, BotFramework'ü henüz harici olarak tanıtmadık: Birçok açık platform ürünü olmasına rağmen, mevcut modelin geliştiricilerin ihtiyaçlarını karşılamak zordur.Bir beceri, ürün planlamasından üretim kullanılabilirliğine kadar çok fazla çalışma gerektirir ve bu, külliyatın sunulması, nokta bağlamının yapılandırılması ve Çıktı yapılabilir (basit kontrol sınıfı zar zor yapılabilir). Becerilerimizin ilk aşamasında tamamlanan 20'den fazla becerinin altında yaklaşık 300'den fazla farklı niyet vardır ve tam bir topluluk toplama, etiketleme, inceleme, modelleme ve test süreci oluşturulmuştur. Bu nedenle odak noktamız, gerçekten kullanılabilir olan ve gerçek değer üreten yerleşik becerileri geliştirmektir. Beceri üretim platformu
- Beceri üretme platformu yerleşik beceriler üretmek için kullanılır. Beceri açık platformunun rolü ile tutarlıdır.Sonuçta, TaskBot motoruna malzeme sunmaktır, ancak kullanıcı, ürün PRD'sinden çevrimiçi beceriye kadar tüm süreci kapsayan, çevrimiçi yapılandırılmış PRD yazımı, talep yönetimi ve topluluk yönetimini içeren dahili bir RD'dir. Varlık yönetimi, beceri geliştirme, beceri eğitimi, beceri doğrulama, beceri yayınlama.
Becerilerin evrenselliği için, beceri grupları biçiminde her beceri için birden fazla senaryoyu destekliyoruz: standart ekransız, cep telefonu ekranı, geniş ekran, Tmall sihirbaz hoparlörleri için standart ekransız ve benzer senaryolar, Shenma'nın kişisel asistan senaryoları için cep telefonları , Çok sayıda gereksinim turunda, yapılandırılmış sunumda ve sıralama stratejilerinde aynı değildirler; Varlıkların, derlemelerin ve komut dosyalarının yanı sıra, yerleşik becerilere sahip malzemeler, farklı sıralama stratejilerini, NLG stratejilerini vb. Desteklemek için c ++ dinamik kitaplıkların sağlanmasını destekler.
Bu platform aracılığıyla, beceri geliştirme çevrimiçi olacak, PD / RD / QA / operasyon iş bölümü boru hattı üretimi netleştirilecektir.
- İstatistiksel analiz platformu
- Çok boyutlu yönetim istatistikleri, raporları ve indeks analizi. İlgili konular, üretim ve tüketim verimliliğini (istatistiklerin yönlendirdiği içerik üretiminin yönü), içerik kontrol geri bildirimini ve genel ve bağımsız becerileri içerir. Operasyon Yönetim Platformu
- Operasyon yönetimi platformu iki bölüme ayrılmıştır: içerik operasyonu ve uygulama operasyonu.
- İçerik operasyonu: anahtar alanların ve modüllerin gerçek zamanlı müdahalesi;
- Uygulama operasyonu: uygulama / beceri ekleme, silme, değiştirme, kontrol etme ve eğitim;
Not 1: Ortadaki turuncu, aşağıda tanıtılacak olan TaskBot motorudur.
Not 2: Büyük resimdeki TaskBot motoru, QABot motoru ve ChatBot motoru mantıksal mimarilerdir; QABot ve ChatBot, fiziksel mimaride TaskBot'a kademeli olarak yerleştirilmiştir ve çok kanallı geri çağırma ve pk kararı için birden fazla modül vardır.
TaskBot motoru
TaskBot motoru, beceri geliştirme ve tüketimin özüdür. Çevrimdışı bilgi işlem, içerik yönetimi, zamanlama ve çevrimiçi hizmetleri içerir.
- Çevrimdışı bilgi işlem, harici platform malzemelerini tek tek ilgili dahili verilere dönüştürür; varlık sözlüğü, sınıflandırma modeli, amaç tanıma yuvası eklentisi / kalıp / model, NLG stratejisi ve şablonu, DM komut dosyası eklentisi, ABD sıralama eklentisi, webHook mantık eklentisi vb. Bekle. İçerik yönetimi Yukarıdaki verileri sürümlerde uygulama / beceriye göre yönetin. İçerik yönetimi vatansız olmalıdır ve hızlı bir şekilde aktarılabilir, geri alınabilir ve dağıtılabilir. Çizelgeleme, veri çizelgeleme, çevre yönetimi ve hizmet yönetimi olarak ikiye ayrılır. Veri planlama, çevrimdışından çevrimiçine veri dağıtımından sorumludur.Bir SDS motoru seti birden fazla Rol içerir ve her Rol ilgili verileri yükler; ortam yönetimi, üretim ortamının yinelemesinden, doğrulanmasından, ön sürümünden ve otomatik yönetiminden sorumludur; hizmet yönetimi, işletim ve bakımdan sorumludur Çalışma dalları ve sütunları (uygulama trafiğine göre, beceri tüketimine göre), genişleme ve daralmayı, çevrimiçi ve çevrimdışı vb. İçerir; çevrimiçi motor: SDS motoru, aşağıdaki şekle bakın
SDS motoru, görev temelli diyaloğun temelidir. Kullanıcının sorgusunu kabul eder, DM'yi kontrol merkezi olarak, NLU'yu anlayış merkezi olarak kullanır, geri çağırır ve ABD üzerinden sıralar ve NLG'de paketledikten sonra çıkarır. Güncel bilgi yayını, zaman dilimi, seyahat limiti, tarihte bugün, birim dönüştürme, petrol fiyatı, takvim, nba, lbs ve diğer beceriler.Tmall sihirbazının çevrimiçi yetenek tetikleme oranı% 97-98 ve doğruluk oranı% 95 +;
- DM (Dialog Manager): Diyalog yönetimi diyalog sisteminin önemli bir parçasıdır ve diyalog içeriğini sürdürmekten, diyalog sürecini yönetmekten ve diyalog sürecini sorunsuz tutmaktan sorumludur. Kullanıcının girdisi, niyet, alan ve diğer bilgileri oluşturmak için NLU tarafından işlenir.DM, bu verilere ve mevcut diyaloğun bağlamına dayalı olarak, doğal dil oluşturmak için NLG modülünü çağırmak ve diyalog sürecinde ihtiyaç duyulanları harici hizmet arayüzü aracılığıyla elde etmek dahil olmak üzere ilgili kararları ve davranışları alır. Ek bilgi. DM diyaloğu bir görev ağacı şeklinde yönetir Ağacın her düğümü bir Ajan'dır (sorgulama, yürütme ve yanıtlama); diyalog sisteminin çok yönlülüğü ve ölçeklenebilirliği göz önüne alındığında, diyalog yönetim modülünün tasarımında diyalog motorunu kullanıyoruz Yeniden kullanılabilir iletişim aracı bileşenleri, düzenlenebilir iletişim kutusu kontrol seçenekleri ve genel harici arama mekanizmaları dahil olmak üzere parça ve alanla ilgili bölümler net bir şekilde ayrılmıştır.Farklı iletişim senaryolarını gerçekleştirmek için farklı işlevlere sahip Aracıları özelleştirmek kolaydır.
Diyalog motorunun proses kontrolünde iki önemli bileşeni vardır:
- Diyalog yürütme yığını: Ajanın yürütme durumunu bir yığın biçiminde koruyun ve bağlama göre diyalog akışını kontrol edin. İletişim kutusu yığını Aracıyı yığına koyar ve yığının en üstündeki Aracı bunu yürütür ve yürütmeye devam etmek için uygun alt Aracıyı seçer. Diyalog yığını, belirli bir diyalog sahnesine karşılık gelen diyalogun bağlam bilgisini depolar. Diyalog yığınının üstündeki ajan görsel olarak diyaloğun odak noktası olarak anlaşılabilir Diyalog yığını, diyalog odağını izlemek ve yönetmek için Ajan ilişkisi ağacını ve konu gündem tablosunu birleştirir ve diyalog konusunu esnek bir şekilde koruyabilir, değiştirebilir ve izleyebilir. Konu gündem tablosu: Sistem tarafından beklenen kullanıcı girdisini toplamak için kullanılan, diyalog sürecinin parametre bilgilerinin sürdürülmesinden ve yönetilmesinden sorumludur. Gündem birden çok seviyeye bölünmüştür ve her seviye diyalog yığınındaki bir Aracıya karşılık gelir Bu nedenle, farklı çalışma zamanı yığın bilgileri için gündem tablosu bu diyalog senaryosunda beklenen girdiyi temsil eder. Kullanıcı konuyu sakladığında veya aktardığında, karşılık gelen istenen parametreyi bulabilir ve güncelleyebilir.
- DM'nin yürütme birimi "komut dosyasıdır". Kullanıcı tarafından açık platformda veya üretim platformunda sürükle ve bırak yoluyla oluşturulmuş komut dosyası ağacı, sonunda yüklenmek ve yürütülmek üzere c ++ 'ya inşa edilecektir. Şu anda, DM ve NLU kombinasyonu yoluyla, ihmal ikamesi, referans çözümleme, konu aktarımı ve hata işleme gibi çoklu beceriler üzerinde çok sayıda diyalog turu tamamlanmıştır.
NLU: NLU'nun iki farklı tasarım konsepti var:
- BotFramework etrafında NLU: Kullanıcı sorgusunu Domain / Intent / Slot olarak yapılandırın ve ardından geliştiriciye geri gönderin (güvenle). Bazı BotFramework ürünleri, kullanıcıların bu sonucu kendi başlarına kabul edip etmeyeceklerine karar vermelerini gerektirir. Daha fazla beceri varsa daha zahmetli olacaktır. , Çünkü bu tasarımın özü, kullanıcıların anlamsal anlama sorununu çözmelerine yardımcı olmaktır. Diyalog ürünlerinin NLU'su: NLU sınıflandırması ve geri çağırma sonuçlarının birleştirilmesi, bilgi hizmeti senaryolarında özellikle önemli olan çok boyutlu bir NBest stratejisi oluşturmak.Örneğin, kullanıcı Li Bai, Şair Li Bai, Sa Beningin karısı Li Bai veya Li Ronghaonun "Li Bai" si olabilir. Bununla başa çıkmanın farklı yolları vardır; örneğin büyük arama yardımıyla kullanıcı tıklamaları, kullanıcının geçmiş davranışları ve hatta doğrudan DM'yi sorgulama Hangi Li Bai
Yukarıdaki 2 doğal olarak 1'i kapsar ve Shenma'nın NLU'su bir 2 modudur. Bu yıl, NLU sistemi, biri tüm SDS'nin NBest yükseltmesi ve diğeri alt NLU olmak üzere iki büyük yükseltmeden geçti. Alt NLU, farklı alanların kendi özel dahili kişiselleştirmelerine göre amaç belirleme ve bölme stratejilerini özelleştirmelerine ve RD paralelliğini iyileştirmelerine olanak tanır derece.
NLG / US / Skill-Gateway artık genişlemiyor.
QABot motoru
Sektör, soru cevap için farklı bölüm boyutlarına sahiptir.İçerik boyutuna göre yapılandırılmış veri soru-cevap, yapılandırılmamış veri soru-cevap ve soru-cevap çiftlerine göre soru-cevap olarak ikiye ayrılabilir. Teknik bir bakış açısıyla, endüstri genellikle geri getirmeye dayalı soru cevap sistemlerine ve üretken temelli soru cevap sistemlerine bölünmüştür. İlki, kullanıcı sorularına makul yanıtlar elde etmek için etkili soru eşleştirme ve Soru-Cevap ile ilgili ölçüm modellerinin oluşturulması yoluyla büyük ölçekli bir diyalog veri seti üzerine bir bilgi erişim sistemi oluşturmaktır; ikincisi uçtan uca (uçtan uca) oluşturmaya çalışır. -End) Derin öğrenme modeli, herhangi bir kullanıcı sorusuna otomatik olarak yanıt oluşturma amacına ulaşmak için, büyük diyalog verilerinden sorgu ve yanıt arasındaki anlamsal ilişkiyi otomatik olarak öğrenir.
Şu anda, esas olarak büyük verilere dayanan geri kazanım QA sistemine odaklanıyoruz ve sistem düzeyinde şu bölümlere ayrılıyoruz: KG-QA, Baike-QA, DeepQA, PairQA, bunların tümü mevcut bilginin işlenmesi ve sıralanmasıdır, ancak veri kaynağında / gereksiniminde , İşleme yöntemleri, eşleştirme yöntemleri ve kapsam senaryoları farklıdır. Yazar, dünyanın ideal sonunun yapılandırıldığına (bilgi tabanı) inanmaktadır, ancak bu, bilginin sürekli üretimi ve güncellenmesi ve doğal anlambilimsel işlemenin zorluğu gibi asla gerçekten başarılamayacağına, bu nedenle iki yönün aynı anda ilerletilmesi gerektiğine inanmaktadır.
KG-QA ve Baike-QA son derece doğrudur ancak kapsama alanı sınırlıdır. Yapılandırılmamış Deep-QA'ya göre kapsam yüksektir ancak kirlilik yüksektir. Pair-QA'nın sosyal üretimi verimliliği büyük ölçüde artırır ancak iyi senaryolar ve problemler gerektirir. Soru ve cevabın zorluğu ve engelleri.
Burada temel olarak PairQA ve DeepQA sistemlerini aşağıdaki şekilde gösterildiği gibi tanıtıyoruz:
- Problemi anlamak
- Soru anlama, soru yanıtlama sisteminin, özellikle DeepQA olmak üzere kullanıcının niyetlerini anlamasının önemli bir parçasıdır. Burada, büyük aramanın temel NLP yeteneklerini (anlamsal genişletme, ağırlık analizi, varlık tanıma, yeniden yazma hatası düzeltme, vb.) Yeniden kullanıyoruz; problem sınıflandırması, soruların sınıflandırmasını elde etmek için makine öğrenimi sınıflandırma algoritmalarını ve manuel yöntemleri birleştirir, örneğin: anlamsız, Küçük konuşma, kişi, organizasyon, zaman, vb .; odak kelime tanımlama, esas olarak bilgi ihtiyaçlarının tam olarak konumlandırılmasını tamamlamak için, sorunun ana arka planına veya nesnesine ve konunun varlık, öznitelik, eylem gibi tanımlayıcı etkisini yansıtabilecek ilgili konunun içeriğine atıfta bulunun , Örnekler vb. Bilgi alma
- Bilgi erişimi, ilgili / aday bilginin küresel derlemeden alınmasından ve son yanıt oluşturma modülüne aktarılmasından sorumludur. Bilgi külliyatı farklıdır ve iş senaryosu farklıdır, erişim yönteminin de çeşitli biçimleri vardır, şu anda esas olarak ters çevrilmiş metin alma ve vektör tabanlı anlamsal alma kullanıyoruz. İlki, geleneksel tam metin arama motorları tarafından benimsenen yöntemdir. Basit uygulama ve yüksek doğruluk avantajlarına sahiptir, ancak büyük ölçüde derlem oluşturmaya dayanır. İkincisi, güçlü genelleme yeteneği avantajıyla anlamsal arama motorları için daha iyi bir uygulama yöntemidir. Ancak belirli bir yanlış tetikleme oranı var. İki indeksleme mekanizmasının kendi avantajları ve dezavantajları vardır: Farklı topluluk ve iş senaryolarını birleştirirler, farklı indeksleme mekanizmaları kullanırlar ve ayrıca kendi avantajlarına oynamak için bunları birbirleriyle birleştirirler. Cevap oluşturma
- Geri alma tarafındaki aday cevaplara dayanarak, nihayet doğru ve kısa cevaplar elde etmek için daha fazla ayrıntılandırma, cevap çıkarma ve güven hesaplamaları gereklidir. PairQA, sıkı sıralama + güven hesaplaması yapmak için CNN, DSSM, GBDT ve diğer makine öğrenimi modellerini ve yöntemlerini kullanır; DeepQA, kombinasyon dahil olmak üzere daha derin işlem gerektiren yapılandırılmamış belgeler / topluluk külliyatı içindir Bi-LSTM RNN modelinin özlü soyut çıkarımı, eşanlamlı sorulara verilen cevaplar arasında çapraz doğrulama ve cevap korelasyon doğrulaması. Corpus yapımı
- Korpusun inşası, QABot'un temelidir.Özel bir alan için bir soru ve cevap (anne ve çocuk, Üç Krallık, sokak dansı gibi) veya açık bir alan için bir soru ve cevap (küçük sohbet gibi), yüksek kaliteli korpus desteğinden ayrılamaz. Tmall sihirbazı sahnesi için, açık soru madenciliği, sahne soru madenciliği, sosyal cevap üretimi ve otomatik yüksek kaliteli cevap çıkarma dahil olmak üzere, sözlü soru ve cevap için eksiksiz bir veri madenciliği ve operasyon üretim süreçleri seti uyguladık.
Grafik Motoru
Bilgi Grafiği, Shenma Aramasının temel altyapısıdır. Büyük veri arama, doğal dil işleme ve derin öğrenme teknolojisi yardımıyla oluşturulmuştur.Aynı zamanda en eski veri ürünüdür.Aramada bilgi ve zekanın geliştirilmesinde anahtar rol oynamıştır. Bilgi grafikleri ve doğal dil anlayışına dayanarak, üç ana ürün oluşturduk: bilgi kartları, varlık önerileri ve kesin soru-cevap. Akıllı diyalog işinde tarifler, antik şiirler, Three Kingdoms ve dünyanın en iyileri gibi özel beceriler de konuşmacı sahnesi için oluşturulur ve Tmall sihirbazına verilir. Üretim tarafında, bir yandan bilgi çıkarma ve bilgi muhakemesi gibi en yeni teknolojileri tanıtmaya devam ederken, diğer yandan, bilgi haritasının işletmeye daha iyi hizmet verebilmesi için profesyonel bilgiyi oluşturmaya ve tamamlamaya devam etmek için haritanın sosyalleştirilmiş bir üretim modelini de oluşturduk. Güçlendirme.
Ayrıntılar için lütfen şu iki makaleyi okuyun:
Ali mühendisleri bilgi grafiği veri oluşturmanın "temel kemiklerini" nasıl kazanabilir?
İlk halk! Bilgi Grafiğinin Oluşturulmasında Derin Öğrenmenin Uygulanması
sonuç olarak
Geçen yıl, akıllı diyalog ekibi ilk olarak aramadan akıllı diyaloğa teknik yükseltmeyi tamamladı ve gerçek savaşta AI + bilgi hizmetlerinin mimarisini, algoritmasını, operasyonunu ve içerik sistemini hızlandırdı. Minnettarlık çağında, AI diyaloğunun daha uzun bir yolu var. Hadi birlikte çok çalışalım.
