Microsoft XiaoIce Geliştirme Planı
Microsoft XiaoIce'in 2014 yılında ortaya çıkmasından bu yana, insan duygusal zekasının boyutlarına uyacak şekilde yapay zeka geliştirmeye odaklanan XiaoIce, EQ'nun tüm yönlerinde kendi büyümesini sürekli olarak güçlendirdi. Xiaoice şimdiye kadar 7 evrim ve 3 ana aşamadan geçti. İlk temel yapay zeka etkileşimi temel duyular gelişmiş duyulara sahip yedinci nesil Xiaoice'tan diyalog motoru, lider bir diyalog kurmasına yardımcı oldu.
XiaoIce'in son yıllardaki daha göz kamaştırıcı başarıları, şüphesiz 5. neslin insan idolleriyle kıyaslanabilir hatta onları geride bırakması ve son 7. neslin Hangzhou'daki Vanke Üniversitesi'nin çatı katındaki sanat galerisinde düzenlenen ilk kişisel resim sergisi ise.
Xiaoice'un büyümesinin ardında, Microsoft'un "geliştirilmesinden" ayrılamaz. Bu kez Tianji.com, Microsoft (Asya) İnternet Mühendisliği Enstitüsü'nden üç bilim insanıyla diyalog kurduğu için şanslıydı ve Xiaobing'in arkasındaki az bilinen teknik hikayelerden bahsetti.
Kendi kendini tamamlayan bir diyalog robotuna doğru
NLP alanında, Microsoft'un Xiaoice'tan beklentisi, yalnızca insan konuşmalarından nasıl konuşulacağını öğrenmek değil, aynı zamanda bilgi paylaşmak ve diğer alanlarda robotlarla birbirini tamamlamaktır. Microsoft, ACL üzerinde böyle bir girişimde bulunarak, iki geri alma modelinin eğitim sürecinde öğretmen ve öğrenci olmasına izin verdi.Her tekrarda, bilgi diğer modele aktarılabilir ve bilgiye diğer modelden de erişilebilir. , Birbirimizden öğrenmek için.
Microsoft XiaoIce'in baş NLP bilim adamı Wu Wei'ye göre, "En başından beri bir arama modeli yaptım ve mevcut insan konuşmalarını yeniden kullanarak insan-bilgisayar etkileşimini gerçekleştirdim. Daha sonra, daha sonra geliştirilen üretken modelde XiaoIce, yanıtları bağımsız olarak sentezleme yeteneğini fark etti. Mevcut empati modeli ile Xiaoice, tüm diyalog sürecini kontrol etme yeteneğine sahip. "
Wu Wei, Baş NLP Bilimcisi, Microsoft XiaoIce
Bu yeteneklerin ardında, temel diyalog motoru çalışır. İlk basit LSTM modelinden mevcut BERT önceden eğitilmiş modele, modelin kalitesi büyük bir sıçrama yaptı. Modelin evrimi aynı zamanda Xiaobing'in tek turdan çoklu turlara, sığ eşleşmeden derin temsile doğru büyüme yolunu doğruluyor.
Endüstride, birçok insan derin öğrenmenin özünün temsil öğrenme olduğuna inanır Temsil, model parametreleri aracılığıyla model girdi gözlem örneklerinin yolu ve biçimini ifade eder. Temsil öğrenme, gözlem örneklerinin etkili temsilini ifade eder. Layman'ın terimleriyle, kullanıcı girdisinin nasıl temsil edileceği ve adaylara nasıl cevap verileceği.
Ancak Microsoft'un yaklaşımı, girdi ve yanıt adaylarının yeterli bir etkileşim matrisi elde etmek için her bir kelime üzerinde etkileşime girmesine izin vermek ve ardından bu matristen etkileşimli bilgileri sinir ağı yoluyla çıkarmaktır. Yani, dış bilgi eşleştirmeye dahil edilir, bilgi seviyesinde, kelime seviyesinde ve kelime öbeği seviyesinde ifade edilir ve çeşitli güçlü yönlerde etkileşime girer Son olarak, çeşitli güçlü yönlerde etkileşime giren bilgiler çıkarılır ve nihai girdi ve yanıta entegre edilir. Aday maçları.
Üretken modeller açısından, insan konuşmalarından konuşma becerilerini öğrenmek için Microsoft, Xiaoice'un 5. neslinden beri 1: 1 üretken model oluşturmuştur. Bu model seti sayesinde Xiaoice, yalnızca tek bir modda yanıt verebilen bir yapay zekadan, çeşitlendirilmiş bilgilere (ses, vizyon ve dil dahil) yanıt veren bir diyalog robotuna geçti.
Somut bir örnek vermek gerekirse, Xiaobing'e "Yüzünüzde biraz kırmızı kan var" derseniz, Xiaobing "Ben de hassas bir kasım" şeklinde cevap verecektir. Bunların arasında, bazı konu külliyatları (hassas kas konuları gibi) harici bir denetimsiz eğitim konu modeli aracılığıyla oluşturulur ve daha sonra üretken model, konu külliyatını seçmek ve kod çözme sürecinde onu ayrı yapmak için bir konu dikkat mekanizması kullanır. Bir konu oluşturma olasılığı.
Elbette, geri getirme ve üretken modellere ek olarak, XiaoIcein diğer "akıl hocası" empati modelinden de bahsedilmesi gerekiyor. Altıncı nesil empati modelinin ortaya çıkışından bu yana, Xiaoice'un ne söylemesi gerektiğini ve nasıl söylemesi gerektiğini etkiledi. Wu Wei şunları söyledi: "Bu model Xiaobing'in bağlama dayalı yanıtlar üreten orijinal modelden bağlamdan karar vermeye ve ardından karar verme yanıtlarına doğru bir modele geçmesine izin veriyor. En büyük esneklik, bazı Xiaobing olabilen sözde stratejide yatıyor. İfade etmek istediğiniz niyet veya diğer kişinin ifade ettiğini dinlemek. "
Microsoft'un niyeti aslında çok açık, yani AI'nın çok modalite yoluyla bilgiyi birbirine bağlamasına, sindirmesine ve özümsemesine ve nihayetinde bir dizi organik çıktı oluşturmasına izin vermek, böylece Xiaoice'un insanlarla daha duygusal bir diyalog kurması.
Sadece konuşabilmek değil, aynı zamanda şarkı söyleyebilmek için
Konuşmaya ek olarak, Microsoft'un başka bir geliştirme planı, XiaoIce'i şarkı söylemesi için eğitmektir. Ancak şarkı söylemek ve diyalog tamamen farklı iki konu ve karşılaştıkları zorluklar da çok farklı.
Örneğin, Mandarin'i iyi öğrenmek herkes için kolaydır, ancak melodiyi kaybetmeden şarkı söylemek herkes için zordur. Buna ek olarak, makine öğrenimi esas olarak verilere dayanır. Diyalog eğitiminde ağ, belgeler, bilgi grafikleri, resimler, videolar ve arama motorları gibi çok sayıda doğal avantaja sahiptir. Açıkçası, şarkı kitaplığında çok fazla yüksek kaliteli kaynak yoktur ve müzik kitaplığı genellikle Makinenin insan sesini eşlik eden parçadan ayırt etme yeteneğine sahip olmasını gerektiren son şekillendirme kartıdır. Ayrıca şarkı söylemek telaffuz, ritim ve melodi gibi çeşitli zorluklarla da karşı karşıya.
Önceden, geleneksel sentez yöntemi, bir birim kitaplığı oluşturmak için birimleri birleştirmek ve farklı uzunluklarda ve farklı perdelerde bağımsız telaffuzları kaydetmekti. Sentezleme sırasında, ünite kitaplığından gereksinimleri en iyi karşılayan bir ünite seçin, süresini ve sesini beklenen efekte işleyin ve ardından ideal sesi elde etmek için bu üniteleri bir araya dizerek birleştirin.
Bu yöntem nispeten basit olmasına ve en iyi ses kalitesini elde edebilmesine rağmen, en büyük sorun birim edinim bağlantısında. Bu yöntemle üretilen şarkılar daha keskin olma eğilimindedir ve karakterler "şarkı söylemek" yerine "zıplama" gibi ses çıkarır. Bu nedenle, Microsoft başka bir yol parametresi sentezini seçti.
Microsoft Xiaobing'in baş konuşma bilimcisi Luan Jian'a göre, Parametre sentezi yöntemindeki fark, birincisinin bir hücre kitaplığı oluşturmak, ikincisi ise modelleme için kaydedilen tüm verilerden akustik parametreleri (süre, perde vb.) Çıkarmaktır. Sentezlenirken, modelde istenen telaffuza göre tahmin edilir ve ardından ses dalga biçimi akustik parametreler ve ses kodlayıcı aracılığıyla yeniden oluşturulur. "
Luan Jian, Microsoft Xiaobing'in Baş Ses Bilimcisi
Ancak bu sadece bir giriş aşamasıdır İlk model, skordaki üç unsuru toplamak ve sırasıyla ses spektrumu parametrelerini, ritim sırasını ve perde yörüngesini modellemektir. Ama sorun şu ki, aynı telaffuz, tiz ve alçak tonlu bölgelerde çok farklı ... Aynı şekilde işbirliği yaparsanız, belli ki sorunlar çıkacaktır.
XiaoIce'in ilerlemesi için Microsoft, ritim ve perdeye ilişkin tahmin sonuçlarını girdi olarak alıp ses spektrumu parametrelerinin tahminine ve bu temelde parametreler arasındaki bağlantıya aktaracak başka bir "yetiştirme" yöntemi düşündü. Performansı iyileştirmek için, bu üç parametreyi aynı anda tahmin etmek için bir model kullanın, böylece şarkı söylemenin doğallığını ve akıcılığını iyileştirin.
Bu yıl! Microsoft, Xiaobing'in şarkı söylemekten daha iyisini söylemesini istiyor
Yukarıda Xiaobing'in doğal dil işleme ve şarkı söyleme becerilerinden bahsettik, ancak Microsoft bundan çok memnun değil. Bu yıl, Microsoft'un Xiaoice'un başarmasını istediği şey, söylediklerinizin söylediklerinizden daha iyi olması!
Aslında, Microsoft'un görmek istediği şey, Xiaoice'un diyaloğu daha yeni hale getirmek için metaforlar gibi gelişmiş retorik teknikleri kullanabilmesidir. Örneğin, aşk noumenondur ve matematik metafordur. İlişkisiz görünen iki kavram Boyutu bir vektöre indirgeyin, vektörün etrafına yansıtın ve onları birleştirmek için ikisini birbirine bağlayan anahtar kelimeleri bulun. "Aşk tıpkı matematik gibi karmaşıktır."
Bu, Xiaobing'in noumenon ve metafor anlayışını dikkate alır. Microsoft ilk olarak ontolojiyi ortak bir anahtar kelime olarak kullandı ve arama için arama motoruna koydu, cümleyi bulmak için ilk 100.000 sonucu aldı (fiil-nesne yapısı cümlesi, fiil cümlesi veya isim) ve NLP analizinden sonra, özne-yüklem yapısını buldu. Benzerliğin eşleşmesi, meslekten olmayanların terimleriyle, ve arasında bir ilişki bulmaktır.
Microsoft XiaoIce'in baş bilim adamı Song Ruihua şunları söyledi: "Onları birbirine bağlayan şey genellikle metaforun önemli bir özelliğidir ve ontolojiden özellikle bahsedilmez. Bu tür ifadeler genellikle insanlara bir bağlantı ve yenilik hissi verir."
Song Ruihua, Microsoft XiaoIce Baş Bilimcisi
Genel olarak, Microsoft, XiaoIce'e insanları simüle etme yeteneği vermeye çalışıyor ve XiaoIce'in EQ'sunun insanların yanında durabileceğini umuyor. Ve bu yedi neslin evriminde, dış dünya da Xiaobing'in cahil küçük bir kızdan tuhaf bir küçük elf kızına dönüşmesine tanık oldu.
Ancak Xiaoiceun büyümesi devam edecek. Bugünün Xiaoiceu yalnızca yeteneklerini sürekli olarak geliştirmekle kalmıyor, aynı zamanda çevresindeki "arkadaşları" da etkiliyor (örneğin Netease, Xiaomi, Tencent ve Huawei ile işbirliği). Bir gün, Xiaoice Bizimle işyerinde buluşacak ve işe giderken çekiciliğimi gösterecek.
