Bilgi grafiğine dayalı insan-makine diyalog sistemi | Milyonlarca insan AI öğreniyor
Dingdong ~ Refah tarafından vuruldun! Şu andan itibaren, "2020 AI Developer Ten Thousands Conference" için 299 bilet ücretsiz olarak verilecek! Kayıt sayfasına girin [2020 AI Geliştirici On Bin Kişi Konferansı (Çevrimiçi Canlı Biletler) -IT Eğitimi Canlı-CSDN Akademisi], "Şimdi kaydolun" u tıklayın, ödeme sırasında "AIP1410" indirim kodunu kullanın ve fiyat "0" yuan olacaktır !
İnsan-makine diyalog sistemi veya karşılıklı konuşma etkileşiminin, Nesnelerin İnterneti çağında ana etkileşim yöntemi olması bekleniyor. Dilin anlaşılması ve ifade edilmesi bilgi ile yakından ilişkilidir.Büyük ölçekli bilgi temsili biçimi olarak bilgi grafikleri, insan-makine diyalog sisteminin her modülünde önemli uygulamalara sahiptir. Entelektüel diyalog, bilgi grafiğine dayalı insan-bilgisayar etkileşimli bir hizmettir.
AI Technology Base Camp, Yunzhisheng AI Labs kıdemli uzmanı Liu Shengping'i davet etti "İnsan-makine diyalog sistemi yöntemi ve uygulaması bilgi grafiğine dayalı" Sistematik bir açıklama yapın ve sıralayın.
Bu açık sınıf, endüstriyel düzeydeki insan-makine diyalog sisteminin pratik deneyimiyle birleştirilen entelektüel sohbetin çerçevesini ve temel teknolojilerini tanıttı ve bilgi grafiklerinin insan-makine diyalog sisteminin çekirdek modüllerine uygulanmasını açıkladı.
Liu Shengping: Kıdemli Teknik Uzman / Yunzhisheng AI Labs'ın Kıdemli Ar-Ge Direktörü. IBM Araştırma Enstitüsü'nün eski kıdemli araştırmacısı, Çin Bilgi Toplumu Dil ve Bilgi Hesaplama Komitesi üyesi. Doktora derecesini Pekin Üniversitesi Matematik Fakültesi'nden 2005 yılında almıştır. Çin'de Semantik Web çalışmalarının öncülerinden ve 2010 ve 2011 yıllarında Uluslararası Semantik Web Konferansları Program Komitesi üyesidir. Semantik web, makine öğrenimi, bilgi alma, tıbbi bilişim ve diğer alanlarda 20'den fazla makale yayınladı. IBM'deki çalışması sırasında iki kez IBM Araştırma Başarı Ödülü'nü kazandı. 2012'nin sonunda, Dr. Liu Yunzhisheng AI Labs'a katıldı ve doğal dil anlayışı ve üretimi, insan-makine diyalog sistemleri, sohbet robotları, bilgi grafikleri ve akıllı tıbbi bakımın geliştirilmesinden ve yönetiminden tamamen sorumlu olan NLP ekibine liderlik etti.
Bu açık sınıfta, temelde aşağıdaki dört kısma ayrılan insan-makine diyalog sistemlerinde bilgi grafiklerinin geliştirilmesini ve uygulanmasını kapsamlı ve somut bir şekilde tanımladı:
- Dil bilgisi ve diyalog sistemine genel bakış
- Entelektüel konuşmanın temel kavramları ve vaka analizi
- Entelektüel sohbetin temel teknolojisi: bilgi grafiğinin oluşturulması, varlık keşfi ve bağlantı
- Entelektüel sohbetin temel teknolojisi: söylem anlama ve doğal yanıt oluşturma
1. Dil, bilgi ve insan-makine diyalog sistemine genel bakış
1. Dil ve bilgi
Dil ve bilgi yakından ilişkilidir. Bu buzdağı çizelgesi, dil ve bilgi arasındaki ilişkiyi canlı bir şekilde açıklıyor: Gördüğümüz dil, buzdağının sadece küçük bir köşesi, yani söylediğimiz şey. Ama bu cümleyi anlamak istiyorsanız, bu cümle ile ilgili arka plan bilgisi buzdağının altındaki büyük parça gibidir.
Bu nedenle doğal dilin ses ve görüntüden çok farklı olduğu yer de burası.Ses dinlediğimizde veya bir resme baktığımızda tüm bilgileri ses sinyalinde veya görüntü piksellerindedir ancak dil tamamen farklıdır.Bu da doğal dil anlayışıdır. Konuşma tanıma veya görüntü tanımadan çok daha zor bir yer.
Bu raporun içeriği, son üç yılda CCKS toplantılarında yaptığım üç raporun bir sentezidir.
2. İnsan-makine diyalog sistemi
Sektörde büyük bir sansasyon yaratan ilk insan-makine diyalog sistemi, o zamanlar iPhone'da hala bir APP olan ve 2010 yılında Apple tarafından satın alınan Apple Siri idi. Siri'nin yeniliği, geleneksel cep telefonu GUI arayüzümüze bir sesli Ses Kullanıcı Arayüzü eklemesinde yatmaktadır.
İnsan-makine diyalog sisteminin devrim niteliğindeki inovasyonunu gerçekten tetikleyen şey, 2014 yılında piyasaya sürülen Amazon Echo'dur. Tamamen ses etkileşimine dayalı bir donanımdır.Ses teknolojisi, uzaktan konuşmayı desteklediği için Siri'nin çok ilerisindedir.
Amazon, 2017'de ekranlı bir hoparlör olan Amazon Echo Show'u başlattı. Bunun Siri'ye geri döndüğünü mü yoksa GUI'ye mi dayandığını düşünüyor musunuz? Buradaki farka dikkat edin.Amazon Echo, VUI + GUI'dir, bu da ilk önce VUI olduğu anlamına gelir, çünkü sesin avantajı, girişin çok uygun olmasıdır. Yalnızca birkaç kelime, birçok arabirimin yerini alabilecek bir komutu temsil edebilir. Ancak dezavantajı çıktının çok verimsiz olmasıdır Ekranda çok fazla içerik görüntüleniyorsa, ancak bunu sesli olarak konuşmanız gerekiyorsa, birkaç dakika sürebilir. Bu nedenle, VUI + GUI kombinasyonu bu ikisinin avantajlarını birleştirir VUI giriş için ve GUI çıkış için kullanılır.
Daha gelişmiş bir form, artık birçok filmde görülebilen Eva, "Demir Adam" veya "Batı Dünyası" gibi insansı bir robottur.İnsanlarla özgürce konuşabilir.Etkileşimi gerçekten insanları simüle eden VUI ++ 'dır. Modal etkileşimli formlar, zamanın bu noktası 2045'te görünebilir.
İnsan-makine diyalog sistemi sektörde neden bu kadar popüler? En önemli özelliklerinden biri, cep telefonlarında mevcut APP'nin yerini alması ve IoT çağında insan-bilgisayar etkileşiminin en önemli şekli haline gelmesinin beklenmesi ve en önemli önemi budur.
3. İnsan-makine diyalog sisteminin etkileşimli formu ve uygulama senaryoları
İnsanlarla konuşmanın birçok amacı ve biçimi olduğu gibi, insan-makine diyalog sistemi de birçok etkileşim biçimini içerir:
1. Sohbet edin. Tipik temsilci, selamlar ve selamlar içeren XiaoIce'tir. Açık bir amacı yoktur ve kullanıcının sorularını yanıtlaması gerekmez. Mevcut insan-makine diyalog sisteminde sohbet, esas olarak duygusal arkadaşlık rolünü oynar.
2. Sorular ve cevaplar. Kullanıcı sorularına ve cevaplarına doğru cevaplar vermelidir. Bu sorular, "Yao Ming ne kadar yüksek" gibi gerçek sorular olabilir veya başka tanımlar, açıklamalar veya karşılaştırmalar olabilir. Soru-Cevap sistemi, sıkça sorulan soru-cevap listesine göre SSS, Soru-Cevap topluluk verilerine dayalı CQA ve Soru-Cevap veri kaynağına göre bilgi tabanına dayalı KBQA olarak ikiye ayrılabilir.
3. Kontrol, üçüncü bir tarafın yürütmesi için anlamlarını ayrıştırın En tipik kontrol, klimayı açmak, lambayı açmak veya belirli bir şarkıyı çalmaktır.
4. Görev bazlı diyalog. Bu çok amaçlı bir diyalogdur. Amaç, formla dolu bir görevi tamamlamak için bilgi toplamaktır. En yaygın olanları paket servis siparişi vermek, otel rezervasyonu yapmak ve uçak bileti rezervasyonu yapmaktır. Bu diyalog yoluyla yapılır.
5. Aktif diyalog. Makinenin konuyu başlatmak için inisiyatif almasına izin verin, fark, önceki etkileşimin insanların bu etkileşimi başlatmak için inisiyatif almasına izin vermesidir.
Şu anda insan-makine diyalog sistemlerinin hoparlörler, televizyonlar, klimalar gibi birçok uygulama senaryosu bulunmaktadır. Ayırt edici özelliği, doğrudan insanlar tarafından dokunulmaması ve sesli etkileşimin uzaktan kumandanın yerini almasıdır.Uzaktan kumanda vardır. Herhangi bir yerde etkileşim kurmak için sesi kullanabilirsiniz.
Araçta başka bir uygulama senaryosu var: Araba kullanırken gözleriniz, elleriniz ve ayaklarınız meşgul olduğu için aramaları cevaplamak, gezinmek ve hatta WeChat'i sesli olarak göndermek ve almak çok rahat ve güvenlidir. Araçlar sadece ihtiyaç duyulan senaryolardır, bu nedenle mevcut sevkiyatlar en çok bu bölgededir. Örneğin, araç içi sesli etkileşim çözümlerini 2014 yılında yapmaya başladık ve şu anda 15 milyondan fazla sevkiyat var.
Diğer bir uygulama alanı ise çocukların eğitici robotlarıdır.Sağ alt köşede çeşitli şekillerde bulunan bu çocuk robotları aslında çocukların konuşmacısı olarak kabul edilebilir.İçeriği çocuklar içindir, ancak interaktif formu da insan-makine diyalogunun bir yoludur.
4. İnsan-makine diyalog teknolojisi mimarisi
İnsan-makine diyalog sistemi, akademiden uzun bir araştırma geçmişine sahiptir.Belki de AI önerildikten sonra, araştırmalar 1970'lerde ve 1980'lerde başladı. Teknolojisi beş bölüme ayrılmıştır:
1. Ses tanıma: Temelde karmaşık gerçek sahne gürültüsü ve çeşitli kullanıcı aksanları problemini çözmek ve insanlar tarafından konuşulan kelimeleri kelimelere, yani "net duyulmak" a çevirmektir.
2. Anlamsal anlama: Temelde, kullanıcının söylediği şeyi, makinenin anlayabileceği ve uygulayabileceği talimatlara veya sorgulara, yani "anlayabilmek" için dönüştürmektir.
3. Diyalog yönetimi: Diyaloğun durumunu ve hedeflerini koruyun ve sistemin ne söylemesi gerektiğine ve bir sonraki cümleyi nasıl soracağına, yani bir yanıt üretme niyetine karar verin.
4. Doğal dil üretimi: Sistemin yanıt niyetine göre, yanıt niyeti doğal dilde ifade edilir.
5. Konuşma sentezi: Bu cümleyi yayınlamak için makine tarafından sentezlenmiş konuşmayı kullanın.
Bu, tam bir insan-makine diyalogunun kapalı bir döngüsünü oluşturur.
5. Konuşma tanıma senaryolarının evrimi
İnsan-makine diyalog sistemi giriş olarak sesi kullandığından, ses teknolojisinin ilerlemesinden bahsetmek gerekir. Bir insan-makine diyalog sisteminde gerçekten iyi bir iş yapmak istiyorsanız, doğal dil işleme teknolojisini anlamanın yanı sıra, ses teknolojisi hakkında da bilgi sahibi olmanız gerektiği vurgulanmaktadır.
Siri gibi en eski senaryo yakın konuşma moduydu. Çözdüğü asıl sorun aksan sorunuydu. Şu anda, bu alandaki tanıma doğruluğu oranı çok yüksek ve yaklaşık% 97'ye ulaştı. Bu, herkesin genellikle cep telefonu ses girişini kullandığı yöntemdir. Mod, genellikle mikrofon ile arasındaki mesafenin yaklaşık 30 cm olması önerilir.
Amazon Echo uzak modda, mikrofondan 3 metre hatta 5 metre uzakta olabilirsiniz. Pek çok sorunu çözmesi gerekir, çünkü uzaktayken çevredeki gürültüye daha duyarlı olursunuz ve daha ölümcül bir etki, özellikle sesin sürekli olarak yansıttığı cam odalarda ses yansımasından kaynaklanan yankılanma sorunudur. Mikrofon tarafından alınan ses, birçok sesin bir karışımıdır. Ayrıca çok farklı bir yer var, yani WeChat sesini kullandığımızda konuşmak için basabiliriz veya konuşmaya devam etmek için basabiliriz, ancak bir konuşmacı ile karşılaştığınızda, ondan 3-5 metre uzakta olduğunuz için basmak imkansızdır. Konuşurken, "Merhaba, Google" gibi biriyle konuştuğumuzda bir kişinin adı gibi "Sesle Uyandırma" adlı yeni bir teknoloji var, önce makineyi uyandırın ve sonra onunla konuşun.
Şu anda, konuşma tanıma için en zor sahne insanlar arasındaki konuşmadır.İnsanlar insanlarla konuşurken önce onu kaydedin ve metne dönüştürün Bu en yaygın sahne, farklı insanların otomatik olarak yazıya döküldüğü bir toplantı gibidir. Ve hatta otomatik olarak toplantı tutanakları oluşturun. İnsanlarla konuştukları sürece kullanılabilecek adli gibi mahkemeler de var. Buradaki en zor sorun kokteyl partisi.Birçok insan bir arada ve ortam çok gürültülü.Herkes konuşuyor.İnsan sadece dikkatini vereni duyabiliyor.Çok gürültülü de olsa iki kişi konuşup konuşabiliyor ama bu Makine için zor.
6. İnsan-makine diyalog sistemlerinde makine rollerinin evrimi
İnsan-makine diyalogunda, makinenin rolünün gelişen bir süreci vardır: ilk insan-makine diyaloğu çok basittir ve uzaktan kumandanın yerine geçebilir.Kullanıcı, sistemi sabit cümle kalıpları veya tek cümleli talimatlarla kontrol eder.
Siri ve Amazon Echo, bir tür yardımcıdır, yani doğal dille etkileşime girebilirsiniz ve diyalog çok yönlüdür ve hatta makine bile biraz duyguya sahip olabilir.
Ama bir sonraki aşama, özellikle sektöre ya da belirli bir alana yöneldiğinde uzmanlaşması ... Konuşmacı ile konuştuğumuzda konuşmacının da bir müzik uzmanı olmasını umuyoruz.Sizinle müzik hakkında konuşabilir ve sizlerle konuşabilirsiniz. Klasik müzik hakkında konuşun ve hatta size biraz müzik bilgisi öğretin. Çocuk eğitim robotu ile konuştuğumuzda robotun çocukların eğitiminde uzman olmasını umuyor, klima ile konuştuğumuzda ise aşağıdakilerin klima uzmanı olmasını diliyoruz. Şu anda, bu alanda bilgi sahibi olma ihtiyacı ile karakterizedir ve tavsiyelerde bulunmanıza ve karar vermenize yardımcı olabilir.
II. Entelektüel konuşmanın temel kavramları ve örnek analizi
Bu kavramları anlamalıyız - diyalogdaki anlambilim, bağlam ve pragmatik. Özellikle bağlam, sadece diyalog sırasında anlam kazanır. Bağlam, insanların diyalog kurduğu belirli bir ortamı ifade eder.Bu ortam, aynı zamanda sözlü bağlamı da içerir, ki bundan bahsettiğimiz budur ve sözlü olmayan birçok kelime vardır. Konuşmanın zamanı, yeri ve hava durumu gibi bağlamların tümü sözlü olmayan bağlamlardır ve aynı zamanda konuşmacının bilgileri vb. Bugün vurguladığımız bilgi de sözlü olmayan önemli bir bağlamdır.
Kullanıcı "çok soğuk" üç kelimeyi söylerse, anlambilim biraz düşüktür, ancak bu cümlenin edimbilimini, konuşma anlamını ve gerçek anlamını belirli bir bağlamda ele alırsanız: Klima arabada açıksa, anlayın Bu cümlenin anlamı klimanın sıcaklığını arttırmaktır; klima kışın çalıştırılmazsa, bu cümlenin anlamı arabanın ısıtmasını açmak veya arabanın camlarını kapatmak olabilir; şimdi bir kızsa yakında geliyor Sana "çok soğuk" demek, ona sarılmanı falan istemesi anlamına gelebilir. Bu nedenle bağlam ve pragmatik çok önemli kavramlardır.İnsan-makine diyalog sistemi yaparsanız, bu iki kavrama maruz kalırsınız.
1. İnsan-makine (ekipman) diyalog sistemi altındaki bağlam
Şu anda, insanlar ve insanlar arasında konuşurken bağlam çok önemli Şimdi bir insan-makine diyalog sistemi yapıyoruz.İnsanlar ve cihazlar konuşurken hangi bağlam var?
1. Fiziksel bağlam. Yani (1) saat, yer ve yer dahil olmak üzere konuştuğunuz olay yerindeki bilgiler. Bu yer arabada veya evde vb. Anlamına gelir. (2) Hava. (3) Ruh hali ve duygu. (4) Cihazda görüntülenen içerik. (5) Bir klima ile konuştuğumuzda olduğu gibi, cihazın algılayabileceği, içerideki ve dışarıdaki sıcaklık ve nemi algılayabilen bilgiler. Bu bağlamın yaşam döngüsü istek seviyesidir.
2. Konuşma bağlamı. (1) Bağlam, cihazdaki bilgi ve cihazla ilgili geri bildirim de bir bağlamdır ve bu yaşam döngüsü bir oturum seviyesi olarak kabul edilebilir.
3. Bilgi bağlamı. Dahil etmek:
(1) İnsan sağduyu ve alan bilgisi. Basit bir örnek vermek gerekirse, "Çin masa tenisi takımını kimse kazanamaz" ve "Çin futbol takımını kimse kazanamaz" derdik. Bu iki cümle kelimenin tam anlamıyla aynı görünüyor ama insanlar anlayabilir. Bu iki cümle arasındaki fark sağduyuya sahip olmamızdır: Çin futbol takımı zayıf ve Çin masa tenisi takımı çok güçlü. Bu nedenle, bu cümlenin anlaşılması için bilgi gereklidir.
(2) Kullanıcının bazı temel bilgileri, kullanıcının cinsiyeti, yaşı, eğitim seviyesi, hobileri vb. Dahil olmak üzere kullanıcı portresi. (3) Temsilci portresi, bu robot tarafından tanımlanan bilgidir.Örneğin, Xiaobing, Temsilci portresini yan taraftaki 18 yaşındaki bir kız çocuğu olarak tanımlar. (4) Ekipman bilgi veri tabanı: Hoparlör, merkezi kontrol olarak kullanılıyorsa, merkezi kontrole bağlı ekipmanın bilgileri ve ekipman durumu tüm bağlamlardır. Evdeki merkezi kontrole "evdeyim" demek ne anlama geliyor? Merkezi kontrol, ekipmanınızın durumuna ve mevcut çevre koşullarına göre ışıkları açıp kapatmayacağına, pencereleri açıp açmayacağına veya perdeleri çekip çekmeyeceğine karar verebilir.
2. Efsane bilgi grafiği istemiyorum
Bilgi grafiğinin geçmişi ve kavramları zaten iyi anlaşılmıştır.Burada temel olarak birkaç temel kavramı vurguluyorum: bilgi grafiğinin en önemli kavramı "Şeyler, Dizeler Değildir" Bilgi grafiğindeki şeylerin tümü dizeler yerine varlıklardır.
Ek olarak, aslında sadece bir bilgi organizasyonu biçimi olan bilgi grafiğini tanrılaştırmak istemiyoruz. Çünkü hangi uygulama kullanılırsa kullanılsın, çeşitli senaryolarda bilgi vardır ve bu bilgi daha önce başka şekillerde ifade edilebilir. Kavramsal düzeyde de daha önce benzer şeylere maruz kaldık, tıpkı veritabanı modelleme konusunda ER modelini kullandığımız gibi, aynı zamanda kavramsal bir model. Program yazarken nesneye yönelik tasarım yaparken bazı sınıf diyagramları çizeriz Bunlar kavramsal modellerdir.Bu modeller kolayca bilgi grafiklerine dönüştürülerek temsil edilebilir. Bilgi grafiğinin her şeyden önce bir bilgi organizasyon şekli olduğunu düşünüyorum. Veri katmanında bilgi grafiği, varlıkları, değerleri, ilişkileri ve öznitelikleri ifade etmek için düğümleri ve kenarları kullanan bir grafik modelidir.
3. Entelektüel sohbet nedir?
Entelektüel sohbet nedir? Size bir örnek vereyim. Bir kullanıcı bir konuşmacı ile sohbet edebilir: "Nicholas Tse'yi seviyor musun?" "Hoşuma gitti, havalı" "Kız arkadaşının kim olduğunu biliyor musun?" "Faye Wong" "Hadi ona" Efsane " Bu bir tür manipülasyon ve makine size Faye Wong'un efsanesini oynayacak. Çalma işleminden sonra, sistem "Hala Li Jianın orijinal şarkısını dinlemek istiyor musunuz?" Diye sormaya devam edebilir. Bu aktif bir diyalog. Kullanıcı "Tamam" diyor. Sistem Li Jian'ın "Efsanesi" ni çalabilir ve kullanıcı "Onun müzik tarzı nedir?" Diye sorabilir. Sistem "Li Jian'ın tarzı halk şarkılarının sadeliğine sahiptir, ancak halk şarkılarından çok daha muhteşem" der.
Bu örneğe bakarsanız, müzikle ilgili birçok bilgi ve şarkıcıların karakterleri hakkında biraz bilgi içerir. Etkileşimli formlar arasında sohbet, soru-cevap, manipülasyon ve aktif diyalog bulunur.Bilgi yoluyla birbirlerine bağlıdırlar ve tüm diyaloğun çok pürüzsüz bir diyalog olduğunu hissedeceksiniz.
Özetle, entelektüel sohbetin anlamı şudur: bilgi grafiğini merkez olarak alır ve alanlar ve etkileşimler arasında çok yönlü konuşmaları gerçekleştirmek için varlık keşfi ve bağlantı teknolojisi aracılığıyla sohbet olarak kullanılabilecek çeşitli veri kaynaklarını entegre eder. .
Entelektüel sohbetin temel özellikleri şunlardır: Biri çapraz alan , Etkileşimli formlar arasında bağlam paylaşarak, sohbetinin ve Soru-Cevap'ın daha önce bağlanabileceğini görebilirsiniz; İkincisi, alan uzmanlarının robot konumlandırmasını yansıtmasıdır. , Bu alanların bilgisini çok iyi anlıyor ve sohbette veya Soru-Cevapta ustalaştığı alan bilgisini yansıtabilir. Bu bilgiye sahip olduktan sonra bazı diyalogları da başlatabilir.
Entelektüel sohbetin temel teknolojileri:
- Çevrimdışı işleme, önce bir bilgi grafiği gerektirir, bu nedenle bir bilgi grafiği oluşturma sorunu vardır. Ek olarak, varlık keşfi ve bağlantı teknolojisi aracılığıyla çeşitli sohbetle ilgili verileri bilgi grafiğiyle ilişkilendirmemiz gerekir.
- Çevrimiçi işlem. Bilgiye dayalı söylem anlama, bilginin sohbete nasıl entegre edileceği, bilgi grafiğine dayalı soru cevap, bilgi grafiğine dayalı aktif diyalog vb.
Üç, entelektüel konuşmanın temel teknolojisi
(1) Bilgi grafiğinin oluşturulması
1. Bilgi grafiğinin yapım yöntemi
Burada Fudan öğretmeni Xiao tarafından özetlenen bilgi grafiği oluşturma yönteminden alıntı yapacağım. İlk adım modeli tasarlamak. Hangi sınıfları veya kavramları ve hangi nitelikleri veya ilişkileri tanımlamamız gerekiyor.
İkinci adım, bazı yapılandırılmış verilerden, yapılandırılmamış verilerden ve yapılandırılmamış verilerden, yani metinden bilgi çıkarabileceğimiz sözde veri kaynağı olan bilgimizin nereden geldiğini belirlemektir.
Üçüncü adımda, bilgi haritasındaki en önemli şey, kelime dağarcığı, çeşitli eş anlamlılar, kısaltmalar, deyimler vb.
Dördüncü adım, yeterli kelime dağarcığının olmamasıdır.Eş anlamlıları, varlık gerçekleştirme, varlık sınıflandırması, varlık bağlantısı vb. Dahil olmak üzere varlık keşfi olarak adlandırılan bir kavramda toplamamız gerekir.
Beşinci adımda bilgi grafiğinde varlıklara ek olarak taraflar da var, yani ilişkiler, ilişkileri çıkarmamız gerekiyor.
Altıncı adım, bilgi grafiğimiz farklı veri kaynaklarından gelebileceğinden, temelde varlık hizalama, öznitelik füzyonu ve değer standardizasyonu olmak üzere bilgiyi entegre etmemiz gerekir.
Son olarak, bilginin tamamlanması, hatalar varsa düzeltilmesi ve bilginin güncellenmesi ve son olarak alanın bir bilgi haritasının oluşturulması dahil olmak üzere bilgi haritasının kalitesini kontrol edin ve kontrol edin.
2. Bilgi grafiğinin değerlendirme yöntemi
Bilgi grafiğini nasıl değerlendireceğinizi bilmiyorsanız, bilgi grafiğinizin iyi mi kötü mü, yararlı mı yoksa yararsız mı olduğu konusunda hiçbir fikriniz olmaz. Değerlendirme yöntemleri temel olarak dört kategoriye ayrılabilir: En önemli kategori, uygulamalara dayalı ikinci kategoridir.Bilgi grafiğinin uygulamadaki etkisi görülmekte ve ontoloji dolaylı olarak uygulama etkisiyle değerlendirilmektedir. Bir veya iki yıl boyunca bir bilgi grafiği oluşturup daha sonra bir uygulama aramak için düzinelerce insan bulmamıza gerek yok, ancak bilgi grafiği uygulama odaklı olmalıdır.Uygulama etkisine göre bilgi grafiğini değerlendirmek için önerilen bir yöntemdir.
Altın standarda dayalı bir değerlendirme de var, yani bazı iyi bilgi grafiklerimiz varsa veya küçük bir bilgi grafiği oluşturabilirsek, bu standart bilgi grafiğine dayanarak oluşturduğumuz bilgi grafiğinin durumunu değerlendirebiliriz. Hesaplanan kavramların ve ilişkilerin kapsamına, yani, yerleşik bilgi grafiğimizin eksiksiz olup olmadığını değerlendirebilen standart bilgi grafiğinde görünen kaç kavram ve ilişkinin dahil edildiğine bakabiliriz.
Ek olarak, basit değerlendirme yöntemleri göstergelere dayanmaktadır. Bilgi grafiğinde kaç kavram, kaç ilişki ve ilişki niteliği olduğu gibi bazı istatistiksel göstergeler belirlenebilir ve ardından doğruluğunu, tutarlılığını ve diğer göstergelerini görmek için yerinde kontroller yapabiliriz.
3. Çevik yapı
Birçok uygulama durumunda çevik geliştirme yapıyoruz, bu da her yarım ayda bir veya ayda bir sürüm yayınlayabileceğimiz anlamına geliyor. Şu anda, bilgi grafiğimizin uygulama ile hızlı bir şekilde yinelenmesi gerekiyor. Şu anda, bilgi grafiğini çevik bir şekilde oluşturmamız gerekiyor. süreç. Bilgi grafiğinin testini otomatikleştirmemiz gerektiği burada vurgulanmaktadır Testten sonra, serbest bırakılıp bırakılamayacağını belirlemeliyiz.Yayınlandıktan sonra, mevcut sorunlarını analiz etmeye devam etmeliyiz. Bilgi grafiğini, herhangi bir hataya sahip olup olmadığı veya hangi yeni özelliklere ihtiyaç duyulduğu konusunda bir yazılım parçası olarak düşünebilir ve bunlara göre bir sonraki sürüm için bir yayın planı yapabilirsiniz. Temel fikir, bilgi grafiğini, sürüm yönetimi ve çevik geliştirme gerektiren bir yazılım parçası olarak görmektir.
(2) Varlık keşfi ve bağlantısı
çözülmesi gereken sorunlar : Şu anda zaten bir bilgi grafiğimiz varsa, yine de varlık keşfine ve bağlantı teknolojisine güveniyoruz. Bu teknoloji şu anda sorunu çözmektedir, "Dizeler Değil, Düşünür". En önemli sorunu dizeleri bilgi grafiğindeki varlıklarla ilişkilendirmektir. İki sorunu çözmesi gerekiyor: Birincisi, "Kobe", "Kara Mamba" ve "Kobe Tanrısı" gibi aynı anlama gelen farklı ifadelere sahip olabileceğimizdir. Bir diğeri, doğal dilin veya dizenin kendisinin belirsiz olmasıdır. Örneğin, "Apple" Apple bilgisayarları, Apple telefonları veya bir meyve anlamına gelebilir.
Çözüm : Yani yaklaşımı iki adıma bölünmüştür, varlık keşfi ve varlık bağlama Varlık keşfi, bir dizge olan metindeki sözlerin keşfidir. "Bu elma pahalıdır" gibi bir "elma" bir sözdür. Varlık bağlantısı, bu İfadeyi bilgi grafiğindeki varlıklar ile ilişkilendirmek içindir. Bilgi grafiğindeki varlıklar, Apple, Apple markası veya Apple cep telefonları, Apple bilgisayarlar dahil olmak üzere "Apple" hakkında birden fazla varlığa sahip olabilir ve Elma denilen meyveler var, burada "elma" hangisini ifade ediyor? Bağlamın yargısına bağlı olabilir.
1. Varlık tabanlı çok kaynaklı veri füzyonu
İşte çok basit bir bilgi haritası. Nicholas Tsenin kız arkadaşı Faye Wong, Faye Wong "Legend" şarkısını söyledi ve "Legend" şarkısının orijinal şarkıcısı Li Jian.
Sohbette birkaç veri kaynağımız var: Biri sohbet kitaplığı, "Şarkıcı Nicholas Tse'yi seviyor musun?" "Hoşuma gidiyor, havalı." Ayrıca bir SSS veritabanı var, Baidu'dan öğrenebilir veya birçok yerde topluluklar bulabiliriz. Soru ve cevabın verileri "Li Jian'ın müzik tarzı hakkında kim konuşabilir?" Gibi, "Li Jian'ın tarzı halk şarkılarının sadeliğine sahip, ancak halk şarkılarından çok daha muhteşem."
Ansiklopedi belgeleri veya web belgeleri dahil olmak üzere İnternet'ten birçok belge de bulacağız.Bu belgelere, sohbet kitaplıklarına, SSS kitaplıklarına ve belge kitaplıklarına fiziksel bağlantılar yapmalı ve şarkıcılarla bilgimizi birbirine bağlamalıyız. Haritanın şarkıcıları birbirine bağlı.
2. Varlık keşfi ve bağlantısı nasıl yapılır?
İlk ön işleme adımı, ilk olarak varlık (varlık) ilişkisine bir söz oluşturmaktır.Bu aynı zamanda mevcut algoritmanın sınırlandırmasıdır.Bir sözün hangi varlıklara karşılık gelebileceğini önceden bilmemiz gerekir. Ardından varlıkla ilgili özellikleri çıkarın:
Biri, varlığın öncelikli olasılığıdır. Tıpkı bir elmanın meyve olma olasılığının% 40 olması gibi, bir Apple cep telefonunun önceki olasılığın% 60 olması gibi, ya üzüm dersek? Belki de üzümlerin meyve olma olasılığı% 90 ve% 10 başka bir şeydir. İkincisi, varlık bağlamının kelime dağılımıdır Bakalım, bu varlıkların etrafında hangi kelimelerin olduğunu veya bölümlerinin konu kelimelerinin, tıpkı makalelerde görünen Apple cep telefonlarının tümünün teknoloji anahtar kelimeleri olması gibi. Üçüncüsü, varlıklar arasındaki anlamsal alaka düzeyidir.Bilgi grafiği bir grafik yapısı olduğundan, her varlık onu etrafındaki diğer varlıklarla çevreler ve bu varlıklar ilgili özelliklerdir.
İkinci adımda, varlık bağlama bir sıralama problemi haline gelir.Öneri bulduktan sonra, aday varlıklarını önceki bahsedilen ilişki tablosuna göre bulabiliriz.Şimdi sadece aday varlıkları sıralayıp en olası varlığı döndürmemiz gerekiyor.
Üçüncü adım, aday varlıkları en basit şekilde sınıflandırmaktır. Bunun iki türü vardır: Biri varlığın kendisinin bilgisidir, diğeri ise sınıflandırma için varlık ile varlık arasındaki işbirliğine dayalı ilişkinin kullanılmasıdır. Apple'ın yanındaki varlıklar bilgisayar odaklıysa, bu Apple Apple Computers'a başvurabilir.
(3) Bütünleşik bilgi ile söylem anlayışı
Varlık bağlantı işlemi yapıldıktan sonra gerçek diyalog sistemi yapılabilir Diyalog sistemindeki en temel şey kullanıcının kelimelerinin anlaşılmasıdır, kullanıcının söylediği bir kelimeyi nasıl anlarız.
İlk adım varlıkları keşfetmek ve bağlamaktır Az önceki örnekte olduğu gibi, "Nicholas Tse'yi seviyor musunuz?" Nicholas Tse'yi bilgi grafiğindeki varlıklar ile ilişkilendirmemiz gerekiyor.
İkinci adım, "Kız arkadaşının kim olduğunu biliyorsun" gibi bir referansı keşfetmektir, sonra bunu kime "o" kastettiğini, önce onun bir zamir olduğunu keşfetmeli ve sonra bağlama göre "o" yu yargılamalıyız. Örnekte Nicholas Tse varlığı var.
Ek olarak, anlamsal anlama yaptığımızda, belirsizliği gidermek için bilgiyi birleştiren başka bir durum daha vardır. Örneğin, kullanıcı "Zhou Qiaowen'in Doğum Günü" diyor çünkü "Doğum Günü" bir şarkının adı ve Zhou Qiaowen bu şarkının şarkıcısı. Şu anda bunun müzik olduğunu anlıyoruz çünkü orijinal olarak hoparlörün altında. O halde doğrudan Zhou Qiaowen'in çalmasını sağlayabiliriz. "Doğum Günü" şarkısı. Ancak sistem tekrar "Andy Lau'nun doğum günü" diye sorarsa, bu sefer, adlandırılmış varlık tanımamız büyük olasılıkla şarkının adı olarak "doğum günü" olarak etiketlense de, Andy Lau'yu şarkıcının etiketi olarak etiketlemek kolaydır. Müzik çaldığını sanıyordum, ama bilgi doğrulaması yoluyla Andy Lau'nun bu şarkıyı hiç söylemediğini biliyorduk. Şu anda bir soru ve cevaba dönmeliyiz. Bu manipülatif bir talimat değil. Doğruca doğum gününe dönün ve "Andy Lau'nun doğum günü 27 Eylül 1961" deyin.
Bu birkaç örnek, kullanıcı talimatlarının anlaşılmasına yardımcı olmak için bilgiyi nasıl kullandığımızdır. Bilgiyi sohbetle nasıl birleştirebileceğimiz hakkında konuşmama izin verin.
(4) Entegre bilgiyle sohbet edin
1. Bağlam
Günümüzde akademi derin öğrenme modellerini kullanıyor, bu yüzden kısaca derin öğrenme yöntemlerinden bahsedeceğim ve temel fikirlerini açıklayacağım. Şimdi akademik dünyada genellikle sohbeti bir Sıradan Sıraya modeline dönüştürüyoruz, yani bir kodlayıcı girdiyi bir vektöre kodlar ve yanıt bir kod çözücü aracılığıyla oluşturulur. Şu anda temel sorun, bağlamın nasıl ekleneceğidir. En temel yöntem, bağlam metnini kodlayıcının girişi olarak mevcut metnin vektörüyle birleştirmektir; ek olarak, bağlamı bir vektör olarak kullanabilir ve kod çözücü aşamasına girebiliriz veya temayı kullanabiliriz Model, oturumu modeller ve bağlam etkisi elde edilebilmesi için kod çözücünün girdisi olarak oturum konu modelini kullanır.
2. Tutarlılık
Sohbette bir diğer önemli konu da tutarlılıktır. Biraz önce bağlamda bir temsilci portresi var dedik benimle sohbet eden kişi robot olmasına rağmen birleşik bir kişiliğe sahip. Cinsiyeti, yaşı, memleketi ve hobileri aynı olmalı.Bu şu anda en zor sohbet robotu. bir miktar. Robota "Kaç yaşında?" Diye sorarsınız "18 yaşında" diyebilir. Tekrar "Bu yıl yaşarsınız" diye sorarsanız, "88 yaşındayım" veya size "Yaşınız kaç?" "Küçük kız 28 yaşında vb." Şeklinde yanıtlama olasılığı çok yüksektir.
Bu neden oluyor? Mevcut sohbet robotları çeşitli kaynaklardan çeşitli topluluklar toplamaya ve bunları bir araya getirmeye dayandığından, bu topluluk normalleştirilmemiştir, çünkü bazı külliyat "88 yaşındayım" der ve bazı topluluklar içerebilir "18 yaşındayım" deyin, bu sefer başka bir şekilde sorarsanız, soru ve cevapta tutarsızlıklar olabilir. Daha karmaşık bir örnek için, ona "Doğum yerin nerede?" Diye sorarsın, "Pekin'deyim" der ve sonra "Çinli misin?" Diye sorar. İnsan sağduyusu Pekin'in Çin'e ait olduğunu bilse de, cevap veremeyebilir. .
Derin öğrenmede, bu sözde robotların bilgilerini modellemek veya vektörleştirmek ve bunları kod çözücü modeline aktarmak istiyorsanız, belirli bir tutarlılık elde etmek için yanıtı oluşturmak için kimlik bilgisinin kelime vektörüne öncelik verecektir. Etki.
3. Bilginin kaynaşması
Buna ek olarak, soru-cevap yaparken, örneğimizde olduğu gibi "Yao Ming ne kadar uzun" diye sorarken, "O 2,26 metre ve uzaydan görülebilen tek insan o" diyerek daha doğal bir soru ve cevap oluşturuyoruz. Elbette, Bu bir şaka. Bu tür bir sohbet bilgiyi birleştirir, Yao Ming'in boyunu bilir. Bu zamanda, derin öğrenme modeli aracılığıyla kod çözme yapıldığında, düzenli yanıtlar üretmeye ek olarak, bazı yanıtların bilgi tabanından alınması gerekir ve ardından bu yanıt, metin yanıtı ile birleştirilir.
Daha benzer çalışmalar için lütfen bu yıl IJCAI Üstün Makale Ödülünü kazanan Huang Minlie'nin çalışmalarına bakın.
(4) Bilgiye dayalı soru ve cevap
Bilgi sorusu ve cevabı için iki ana yöntem vardır: Biri, bir soruyu resmi bir sorgu diline ayrıştıran ve ardından sorgu dili bilgi tabanını sorgulayan Anlamsal Ayrıştırmaya dayalı geleneksel yöntemdir. Bu yöntemin en büyük zorluğu, doğal dil problemini böyle resmi bir sorgulama diline dönüştürmektir. Ayrıca birçok yöntem vardır, en basitleri kural tabanlı, şablon tabanlı, daha karmaşık çeviri modelleri, derin öğrenme modelleri vb.
Şu anda çoğu akademik çevre, makine öğrenimi bilgi tabanının soru cevap yöntemine dayanmaktadır. Buradaki temel fikir, sorunu bir gömme olarak modellemek ve ardından bilgi grafiğini bir vektöre yerleştirmektir ve bu soru ve cevap dönüştürülecektir. Bir benzerlik eşleştirme problemi haline gelir ve bilgi tabanındaki alt grafiğin vektörü, problemin karşılık gelen alt grafiği ile eşleşir.
Başka birçok yöntem vardır, şu anda bunların çoğu ağ tabanlı yöntemler ve dikkat mekanizmalı döngüsel sinir ağı yöntemleridir. Size bir referans vereyim, çok detaylı ve çok iyi olan "Bilgi Tabanı Sorularının ve Cevaplarının Açıklanması KB-QA" adlı makaleyi okuyabilirsiniz. Kişisel görüşüm, derin öğrenmeye dayalı bilgi temeli soru ve cevabının şu anda endüstride çok olgun olmadığı ve etkisinin kontrol edilemez olduğu, sistemde hala geleneksel Anlamsal Ayrıştırma soru ve cevabını kullanıyoruz.
Bilgiyi CQA'ya entegre etmenin birçok yolu vardır. CQA'nın temel sorunu, kullanıcının sorusu ile Soru-Cevap kitaplığımızdaki soru arasındaki anlamsal benzerliği hesaplamamız gerektiğidir Buradaki temel soru, bilginin cümlenin vektör gösterimine nasıl yerleştirileceğidir. Son SIGIR2018'de, sinirsel bilgi ve dikkat ağının birleştirildiği belirtiliyor. Şimdi bu tür bir kağıt temelde bir ağ diyagramıdır. Başka bir makale benzerdir, genel olarak metni sıralarken bilgiyi vektörleştirmektir.
(5) Bilgiye dayalı aktif konuşma
Bu aslında çok kritik. İnsan-makine diyalog sistemimizde, özellikle VUI etkileşiminde, VUI hoparlörlerin arabirimi yoktur, bu da hoparlörün hangi işlevleri desteklediğini bilemeyeceğiniz anlamına gelir. Konuşmacı ile yüzleştiğinizde, işlevini, ne söylenebileceğini, söylenemeyen ya da neye sahip olduğunu nasıl anlarsınız? Şu anda, robotun aktif olarak diyalog kurması çok gerekli, bu da kullanıcıya onu kullanması ve işlevini bilmesine rehberlik edebiliyor.
Başka bir örnek vermek gerekirse, bir kullanıcı "Efsaneye gelelim" diyorsa, makine aktif olarak ona "Onu çaldıktan sonra Li Jianyuan şarkısını dinlemek ister misiniz?" Diye sorabilir. Aslında, fikri çok basittir. Bilgi haritamıza dayanmaktadır, Aynı varlık altında başka ilişkiler veya öznitelikler olup olmadığına bakın veya aynı ilişki altında başka varlıklar önerin.
İşte bir Baidu makalesi. Fikir benzer. Eğer sohbetin devam etmeyeceğini düşünüyorsanız, önce bağlam içinde varlık analizi ve varlık bağlama yapacaksınız, sohbetin konusu olan varlığı bulacak ve ardından bilgi grafiğine göre ilgili varlığı bulacaksınız. Varlık, konuyu oluşturur.
Dört, özet
Sohbet, soru-cevap, diyalog ve anlamsal analizin bilgi ile nasıl birleştirileceğini kısaca anlattım. Bir özet yapalım:
Birincisi, insan-makine diyalog sistemi neden önemlidir?
1. OS'ye benzer şekilde Nesnelerin İnterneti çağında en önemli etkileşim biçimi haline gelebilir.
2. Entelektüel sohbetin özü bilgi grafiğidir. Bunun için en önemli şey iki şey yapmaktır: Biri çok kaynaklı verileri çevrimdışı bilgi grafiğine göre entegre etmek, diğeri ise hizmet sırasında bilgi grafiğine dayalı sohbet, soru-cevap, diyalog ve manipülasyonu entegre etmektir.
3. Teknik olarak konuşursak, derin öğrenme ve bilgi grafiği teknolojisinin kombinasyonu şu anda en önemli eğilimdir. Zengin ifade yetenekleri ve birçok uygulama senaryosu nedeniyle kişisel olarak Sıradan Sıraya modelini tercih ediyorum Temelde, doğal dil işlemedeki sorunların çoğu Sıradan Sıraya olarak modellenebilir. Bir dilden diğerine çevirimiz de dahil olmak üzere, sohbet sorusu ve cevabı ve hatta pinyin dizilerini metin dizilerine vb. Dönüştürmek için pinyin giriş yöntemi ve ayrıca kelime bölümleme, konuşma parçası tanıma, adlandırılmış varlık tanıma vb. Sıradan -Sequence, bu model iki aşamaya ayrılmıştır: kodlayıcı ve kod çözücü, bazı bilgileri farklı aşamalara entegre edebilir.
İkincisi, insan-makine diyalog sistemindeki teknolojik evrim nedir?
1. Bir diyalogda, sadece semantiğe değil, aynı zamanda pragmatiklere de bakmalısınız.Faydatik "anlambilim + bağlam" dır.
2. Sadece sohbet eden robotlar olamayız ve umarız robotlarımız alan bilgisine hakim olabilir, okur yazar ve kültürel seviye hala çok yüksektir, alan uzmanıdır, entelektüel bir sohbettir.
3. Akış diyaloğu. Hoparlörlerle mevcut etkileşimimiz, önce uyanmak, "Küçük Ai, bana bir şarkı ver" demek ve sonra "Küçük Ai, sonraki şarkıyı çal" demek. Bu çok zahmetli, ancak insanların konuşmaları her zaman insanların adını sık sık çağırmaz. Şu anda, sohbet akışına ihtiyaç vardır. Bu alandaki teknik zorluk, bir kişinin konuşmayı bitirip bitirmediğine nasıl karar verileceği ve konuşmayı kesip kesemeyeceğinizdir. Şu anda teknik olarak en zor nokta bu. Gürültünün nasıl reddedileceği de var, çünkü şu anda konuşmada uyandırma kelimesi yok Bu anda, sıradaki kişinin kelimeleri veya hatta TV'deki kelimeler muhtemelen yanlış anlaşılacak ve makine buna cevap verecektir.
