Ke Pei, Tsinghua Üniversitesi: Küçük Sohbet ve Diyalogda Cümle Kontrolü AI Araştırma Topluluğu 65. Ders
Leifeng.com AI Araştırma Enstitüsü Basın: Kısa konuşma ve diyalog alanında, diyalog stratejisi araştırması son yıllarda sıcak bir konu olmuştur.Diyalog stratejisini gerçekleştirmek için, sohbet robotlarını kullanıcılarla daha iyi etkileşime girecek şekilde daha kişisel hale getirmek için bazı unsurların tanıtılması gerekmektedir. Tsinghua Üniversitesi'nden Ke Pei, günlük konuşmalardaki cümle kalıplarının bir kişinin diyaloğunun amacını doğrudan yansıtabileceğine inanıyor. Cümle kontrolünü getirerek, sohbet robotları yalnızca kontrollü cümleler değil, aynı zamanda zengin olan yüksek kaliteli yanıtlar da oluşturabilecek. Bilgi hacmi.
Son AI Araştırma Enstitüsü konferans salonunda, Ke Pei bizi bu çığır açan araştırma sonucuyla tanıştırdı.
Sınıf oynatma adresini açın:
Konuyu paylaş: Küçük Sohbette Cümle Kontrolü
Ana hatları paylaşın:
-
Diyalog stratejisinden cümle kontrolünün nedenini analiz edin
-
Koşullu varyasyonel otomatik kodlayıcıya dayalı diyalog oluşturma modeli
-
Otomatik ve manuel kalite değerlendirmesi oluşturun
-
Gelecek çalışma ve görünüm
Lei Feng Network AI Araştırma Enstitüsü Paylaşılan içeriği aşağıdaki gibi düzenleyin:
Çalışmalarımızı sizlerle paylaşma fırsatına sahip olduğum için çok mutluyum.Adım Ke Pei.Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nde doktora öğrencisiyim.Araştırma yönüm doğal dil işleme, doğal dil üretimi ve diyalog sistemlerine odaklanıyor.
Bugün paylaştığımız şey, bu yıl ACL'de yayınladığımız, küçük sohbetlerde cümle kontrolü sorunuyla ilgili bir çalışma. Öncelikle diyalog stratejisi ile başlayacağım, sizinle küçük sohbet diyaloğunun içerdiği ana konular hakkında konuşacağım ve ardından cümle kontrolü görevi ile birlikte kullandığımız modeli tanıtacağım ve ardından modelin etkisini makine değerlendirmesi ve manuel değerlendirme yoluyla açıklayacağım. Bazı diyalog örnekleri verin ve son olarak çalışmamızı ve gelecekteki gelişim yönümüzü özetleyin.
Önce diyalog stratejisi sorusundan bahsedelim. Küçük konuşma diyaloğu ile görev temelli diyalog arasında temel bir fark vardır. Kısa konuşma diyaloğunun en büyük özelliği, Çok çeşitli konuları ele alıyorum ve her şey hakkında konuşabilirim. Şu anda kısa konuşma ve diyalogda daha iyi performans gösteren ürün Microsoft XiaoIce ve onunla sohbet etmek için yeterince sabır olduğu sürece diyalog devam edecek.
Kısa konuşma ve diyalog alanında, diyalog stratejisi üzerine yapılan araştırmalar son yıllarda gündemde olan bir konu olmuştur.Diyalog stratejisinin gerçekleştirilmesi, chatbot'ları daha antropomorfik hale getirmek için bazı unsurların kullanılmasını gerektirmektedir. Kullanıcılarla daha iyi etkileşim kurabilir . Örneğin, laboratuvarımızda yapılan bir çalışma: Sohbet botları, duygusal faktörleri tanıtarak, kullanıcının sohbet deneyimini iyileştirmek için farklı duygularla yanıtlar oluşturabilir. Laboratuvarımız ayrıca sohbet deneyimini daha ilginç hale getirmek için sohbet robotlarına karakter ayarları atamaya çalıştı.
Bu makalede bahsettiğimiz şey cümle işlevidir. Bize göre, günlük konuşmadaki cümle kalıbı, bir kişinin konuşmasının amacını doğrudan yansıtabilir, bu nedenle üç yaygın cümle türünü özetledik:
İlk tür Soru cümlesi , Her iki taraf da birbirine aşina değilse, sizi tanımak istersem daha sorgulayıcı cümleler kullanabilir ve hakkınızda daha fazla bilgi almak için sorular sorabilirim.
İkinci tür Emir cümlesi , Esas olarak istek veya davet göndermek için kullanılır. Benzer yanıtların tümüne emir cümleleri denir ve genellikle daha derin etkileşimleri teşvik edebilir.
Üçüncü tip genellikle daha sık kullanılır beyan cümle , Ton açısından, nispeten sadedir, esas olarak gerçekleri belirtmek veya nedenleri açıklamak için kullanılır.
Makalemizin konusunu daha da genişletmeden önce, birkaç eşanlamlısı açıklığa kavuşturmamız gerekiyor. Cümle Fonksiyonu, tarafımızdan geçici olarak "cümle kalıbı" olarak çevrilmiştir. Cümle İşlevi Tüm cümleleri birden çok parçaya bölebilir Cümle Türü , Şu anda düşündüğümüz üç Cümle Türü gibi: soru cümleleri, emir cümleleri ve bildirim cümleleri. Bununla birlikte, yalnızca soru cümleleri açısından, aslında genel soru cümleleri ve özel sorgulayıcı cümleler gibi birçok alt bölüme ayrılmış kalıp vardır.Bu, aynı cümle türünde birçok farklı cümle türü olabileceğini göstermektedir. Cümle Düzeni .
Cümle kalıplarının bir kişinin konuşma amacını yansıtabileceğini söylediğimize göre, cümle kalıplarının tanıtılması sohbet robotlarının etkileşimini etkili bir şekilde geliştirebilir mi?
Burada bir örnek veriyoruz, kullanıcı şu anda acıktım diyor ve chatbot farklı konuşma amaçlarına göre farklı cevaplar verebilir.
Robot, kullanıcının neden aç olduğunu öğrenmek isterse, soracaktır: Kahvaltıda ne yedin?
Robot, kullanıcıya bir davet / istek göndermek isterse, zorunlu cümleyi kullanacaktır: Birlikte yemek yiyelim!
Elbette robot daha kararlı bir cevap da seçebilir, şu anda şu ifadeyi seçecek: Ben de acıktım ama öğle yemeğinde çok yedin.
Robota farklı cümle kalıplarında yanıt üretme yeteneği kazandırmak için çalışmalarımız üretim sürecinde planlanmıştır. Cümle kontrol kelimeleri , Konu kelime Hem de Ortak kelimeler İstenilen üretim etkisini elde etmek için.
Çalışmamız, kontrol edilebilir diyalog oluşturma ve kontrol edilebilir metin oluşturma görevlerini içerir, yani bir öznitelik değeri verildiğinde, üretilen dil öznitelik değeriyle eşleşmelidir.Şu anda, akademik çevreler duygularla ilgili daha fazla araştırma yapmaktadır. Bir duyguyu "beğenmek" gibi, sohbet robotu otomatik olarak "beğenme" özelliğiyle eşleşen çeşitli diyalog içeriği oluşturacaktır; ayrıca esas olarak "olumlu duygu" ve "olumsuz duygu" olarak bölünmüş daha kalın bir duygusal kutupluluk vardır. ". İngilizce zamanla ilgili başka bir tür daha var. Oluşturulan diyalogun önceden belirlenmiş diyalog niyetlerini karşılayabilmesi için diyalog niyetlerini inceleyen insanlar da vardır. Bazı insanlar "stil" ile ilgili bazı araştırma çalışmaları yaparlar, ancak bu yön, stil aktarımı gibi daha çok imgeler alanında yoğunlaşmıştır. Dil alanındaki araştırmalar söz konusu olduğunda, bu hala nispeten erken bir aşamadadır (diyalog stillerinin birleşik uyarlanması gibi) "Erkek" olarak).
Yukarıdaki beş çalışma türü, son yıllardaki sıcak araştırma yönleridir.
Çalışmamıza geri dönersek, önce kullanıcı talebini ve set cümle türünü gireceğiz, model bir cevap oluşturacak - bu yanıtı Yalnızca kullanıcının isteğine anlamsal olarak karşılık gelmemeli, aynı zamanda ayarlanan cümle türüyle de eşleşmelidir.
Bu görevi tamamlamak, nispeten büyük iki zorlukla karşılaşacaktır: ilki, üretim sürecini içerir. Global kontrol Örneğin, sorgulayıcı bir cümle oluşturmak için, başlangıç bir soru sözcüğü olabilir, ortada bazı yardımcı fiiller yer alabilir ve sonunda noktalama işaretleri düşünülebilir; ikinci zorluk nasıl dengeleneceğidir. Cümle kontrolü ve bilgi hacmi arasında uyumluluk Sonuçta, üretilen sonuç çok fazla bilgi içeremezse, cümle kalıbı ne kadar mükemmel olursa olsun, diyalog deneyimini etkileyecektir.
Koşullu varyasyonel otomatik kodlayıcıya dayalı diyalog oluşturma modeli
Ardından, modelimizi size tanıtacağım ve yukarıdaki iki zorluğu nasıl çözdüğümüzü göreceğim.
Solda, diyalog alanında ortak bir "kodlama-kod çözme" yapısı var.Bu yapı genellikle yazı ve yanıt arasındaki uyumu geliştirmeye dikkat ediyor. Ancak, yalnızca bu yapıyla üretilen sonuç kesinlikle istediğimiz şey değil, bu yüzden ihtiyacımız var Modelin cümle kalıplarını kontrol etme etkisini elde etmesini sağlamak için kontrol bileşenleri ekleyin.
Modelin tamamı temel olarak Koşullu Değişken Otomatik Kodlayıcı (CVAE modeli) Bu model ilk yıllarda daha çok görüntü alanında kullanıldı ve son iki yılda yalnızca metin ve diyalogda kullanıldı.CVAE sadece teknik bir çerçeve olarak tanıtıldıysa, yukarıda bahsedilen küresel kontrol ve bilgi uyumluluğu sorunları hala çözülemiyor, bu nedenle Orijinal CVAE temelinde iyileştirmeler yaptık.
Bu modeli size dört temel bileşenden açıklayacağım: Geleneksel kodlayıcı-kod çözücü , Tanıma / önsel ağ , Ayrımcı Hem de Tip kontrolör .
Geleneksel kodlama-kod çözme çerçevesi, her bir konumun gizli katman vektörünü elde etmek için ilk olarak kullanıcının gönderisini tekrarlayan bir sinir ağı aracılığıyla kodlar ve ardından gizli katman vektörünü kod çözücüye geçirir ve son olarak aşamalı kod çözme yoluyla bir yanıt üretir.
Kodlayıcının her bir pozisyonunun gizli durum vektörüdür;
Kod çözücüdeki her bir konumun gizli durum vektörüdür; kod çözücüdeki her bir konumun gizli durumunu elde ettikten sonra, her konumda üretilen her bir kelimenin değerini elde etmek için basit bir eşleme, yani doğrusal bir dönüşüm artı bir softmax katmanı kullanırız Olasılık ve ardından nihai kod çözme sonucunu elde etmek için kelimenin olasılık dağılımından örnek alıyoruz. Bu, dikkat mekanizmasına sahip çok klasik bir kodlama-kod çözme modelidir.
Yanıt cümlesini önceki ayarımıza uygun hale getirmek için, bir tanıma ağı ve bir önsel ağ getirdik. Koşullu varyasyonel otomatik kodlayıcı ilkesine göre, eğitim sırasında gerçek yanıtı biliyoruz, bu nedenle, gizli değişken dağılımının parametrelerini elde etmek için eğitim sırasında Post bilgilerini ve Yanıt bilgilerini kodlamak için posterior ağı kullanacağız ve gizli değişken dağılımı seçilir. Bir Gauss dağılımı mı, burada kovaryans matrisinin köşegen bir matris olduğunu varsayıyoruz, bu nedenle elde etmek istediğimiz iki parametre
ile
Ardından MLP gibi bir tanıma ağı tasarlayabilir ve tanıma ağı üzerinden gizli değişkenlerin Gauss dağılımını elde edebiliriz.
Bu Gauss dağılımının kullanımı nedir? Aslında, gizli değişkenleri tanıtmanın amacı, Cümle örüntüsü ile ilgili bazı özellikleri gizli değişkenlere kodlayın ve ardından yanıtın oluşturulmasına rehberlik etmek için gizli değişkenleri kullanın . Bununla birlikte, bunun eğitim sürecinde elde edildiği ve gerçek yanıtın test sürecinde görülemeyeceği unutulmamalıdır, bu nedenle test sırasında yanıt bilgisi içermeyen bir priori ağ kullandık.
Bunun neden olabileceği sorunlardan biri, iki farklı ağın eğitim ve test arasında bir boşluğa neden olmasıdır. Bu bağlamda, çözümümüz, test sırasında cümle bilgilerini içeren gizli bir değişken dağılımının da elde edilebilmesini sağlamak için iki ağın gizli değişken dağılımlarını olabildiğince yakın hale getirmek için kayıp bir işlev tasarlamaktır.
Tanımlamadan / önceki ağdan sonra, gizli değişken z'nin bir Gauss dağılımını elde edeceğiz.Z'yi elde etmek için Gauss dağılımını örneklersek, o zaman yeni bir problemle karşılaşacağız: ağın girdisi x (post) ve y (yanıt) , Bu, z'nin gönderi ve yanıt bilgilerini çıkardığı anlamına gelir, ancak bu bilginin cümle kalıbı ile hiçbir ilgisi olmayabilir. Z'nin olabildiğince çok cümle kalıbı bilgisini kodlaması için ne yapmalıyız? Çözümümüz, z'yi girdi olarak alan ve sonunda bir sınıflandırma sonucu elde eden ayırıcıyı kullanmaktır.Bu sınıflandırma sonucu, daha önce bahsedilen üç cümle örüntüsünün (sorgulayıcı cümle, zorunlu cümle, bildirici cümle) ayrık olasılığıdır.
Sınıflandırıcı, girdi anında belirlenen cümle türüne göre denetlenir.Sınıflandırma sonucunun yapay olarak belirlenen cümle türü sonucundan farklı olduğu tespit edilirse, Kayıp üretecek , Ve sonra z'yi Posta veya yanıtta yer alan daha fazla cümle bilgisini kodlamaya teşvik edin. Genel olarak, ayırıcı esas olarak cümle kalıplarıyla ilgili z-kodlama bilgisine yardımcı olmak için kullanılır.
Paylaşılacak bir sonraki şey, daha önemli kısım olan tip kontrolördür. Mevcut neslimizin her adımında, kod çözücü hesaplayacaktır
,Bu
Cümle örüntü bilgisini kodlayan z, mevcut deşifreleme konumunda hangi tür sözcük kullanıldığını görmek için ilk önce tür denetleyicisi aracılığıyla sözcük türü üzerinde bir dağılım oluşturacaktır.
Burada kelimeleri üç türe ayırıyorum: birinci tip cümle kontrolü ile ilgilidir, ikinci tip konuyla ilgili kelimelerdir ve üçüncü tip cümle bağlantısında rol oynayan sıradan kelime dağarcığıdır. Ardından kategoriye olasılık dağılımını normal kod çözme sürecine koyarız, Bu olasılık dağılımı, üretilen kelimenin orijinal olasılık dağılımı ile karıştırılabilir. , Ve son olarak her bir kelimenin kod çözme olasılığını elde edin ve kod çözme sonucu örnekleme ile üretilebilir.
Bu tip kontrolörün uygulanması da nispeten basittir, işte MLP, giriş akımdır
(Çıktıdaki dil modeli bilgisi) ve z (cümle örüntü kontrolü ile ilgili bilgiler) birleştirilir ve ardından kelime kategorisinin olasılık dağılımını elde etmek için bir MLP ve softmax kullanılır.
Kod çözücümüz ile genel kod çözücümüz arasındaki fark, her bir kelimenin kod çözme olasılığını hesaplarken, mevcut duruma göre karışık bir hesaplama yöntemi kullanmasıdır.
Ve hangi kelime türünün daha uygun olduğunu seçmek için z ve sonra hangi kelimenin daha yüksek kod çözme olasılığına sahip olduğunu görmek için her türe gidin Olasılık Karması . Bunların arasında her algoritma türü farklıdır, örneğin ilk tür cümle kontrolü ile ilgili kelimeler, olasılık hesaplanırken bu tip kelimeler kullanılacaktır.
Dil modeli bilgileri, gizli değişken bilgileri ve etiket bilgileri. İkinci tip konu kelimelerinin ve üçüncü tip ortak kelimelerin algoritması benzer olacaktır, ancak kelime haznesi biraz farklıdır, bu daha geleneksel
Projeksiyon süreci. Sonunda olasılıkları karıştırarak üç sözlüğün sonuçlarını hesaplıyoruz ve her bir kelimeyi çözme olasılığımızı elde edebiliyoruz Bu noktada kod çözme çalışmamız tamamlandı.
Son olarak, tüm modeli gözden geçirelim. Bu modelin kayıp üreteceği üç ana nokta vardır: İlk nokta, son yanıt ile verilen yanıt arasındaki çapraz entropidir; sonra z'yi sınıflandırırken mevcut kategoriyi değerlendirin ve Belirlediğimiz kategoriler aynı olsun, ortada da bir Kayıp olacaktır; üçüncü nokta tanıma ağı ile önceki ağ arasındaki dağıtım mesafesini daraltmaktır.Bir KL öğesi belirledik ve bu süreçte de kayıp oluşacaktır.
Üçünün ortak optimizasyonunu yaptık ve sonunda bir Toplam kayıp , Sonra geç Gradyan inişi ve diğer yöntemler Son model parametrelerimizi almak için eğitime gidin.
Değerlendirme sonuçları
Çalışmamızın bir başka katkısı da, akademide nispeten nadir görülen bir Çin veri setinin cümle etiketleriyle oluşturulmasıdır.
Veri setinde yaklaşık 1.96 milyon gönderi var Yanıtlar ve gönderiler sayı olarak eşittir, ancak karşılık gelen cümle etiketleriyle.Sonunda, test kümesi olarak hala 6000 gönderiyi ayırıyoruz.
Konu faktörleri dikkate alınmazsa, c-seq2seq, MA ve KgCVAE modelleri gibi diğer modeller şu anda aynı şeyi yapmaya çalışıyorlar.Bunları üç yönden yanıtlar üretmek için temel modeller olarak kullanıyoruz: dilbilgisi, çeşitlilik ve doğruluk. Bu yönleri karşılaştırdığımızda, sonuçlar, gramatikliğe ek olarak, modelimizin çeşitlilik ve doğruluk açısından olağanüstü sonuçlar elde ettiğini göstermektedir.
Diyalog alanına dahil olan öğrenciler, otomatik göstergelerin bazen güvenilmez olduğunu bilebilirler. Şu anda, bazı manuel değerlendirmeler kullanmamız gerekiyor. Burada kullandığımız, bire bir karşılaştırmalı değerlendirmedir. Açıklayıcıya bir kullanıcı talebi ve ilgili Model sonuçlar üretir ve onların daha iyi modelimiz, daha iyi temel modelimiz ve eşitlik arasında seçim yapmalarına izin verir, adil olmak için, etiketleme işlemi sırasında modelin adını gizli tutacağız.
Karşılaştırdığımız üç ana gösterge var: Dilbilgisel , Uygunluk , Bilgi miktarı Sonuçlardan, sonuçlar 0,5'ten fazla olduğu sürece, modelimizin bu projedeki diğer modellerden daha iyi performans gösterdiği anlamına gelir.Ayrıca bir anlamlılık testi de yapacağız.Sonuçlarda, sorgulayıcı cümlelere ek olarak (nispeten konuşursak, Cümle örüntüsü nispeten basittir) Diğer yönlerden, modelimiz özellikle bilgi miktarında daha belirgin bir performans sergiliyor.Bu aynı zamanda makalemizin çözmesi gereken zorluktur, böylece yanıt hem zengin bir bilgi hem de bir cümle kalıbı içerir. Kontrollü.
Bu yanıtların kurallarını analiz etmek için, çoğunlukla sık desen madenciliği algoritmalarıyla analiz edilen yüksek frekanslı kelimeleri ve ortak kalıpları saydık. Soru cümleleri en göze çarpanlardır.Sıklıkla ortaya çıkan kalıplar sadece genel soru cümlelerini değil, aynı zamanda özel sorgulayıcı cümleleri de içerir. Model gerçekten bu kalıpları yanıtlara esnek bir şekilde uygulayabilirse, yüksek kalitede üretilmiş sonuçlar elde edebiliriz. Emir cümleleri ve bildirim cümleleri aynıdır.
Bildirici cümlelerin sık kalıplarının ve yüksek frekanslı kelimelerinin sorgulayıcı cümleler ve zorunlu cümlelere kıyasla o kadar önemli olmadığını belirtmekte fayda var, çünkü bildirim cümleleri daha fazla geçiş ve yan yana gelmedir, ancak modelimiz bu kalıpları çeşitli yanıtlar oluşturmak için kullanabilir.
Ardından, açıklamak için daha sezgisel bir nesil örneği kullanacağım.
Bu örnekte, gönderi "Bir gün senden koparsam ne yapacaksın?" Şeklindedir. Modelimizin ürettiği yanıtta, kırmızı kısım cümle kontrolü ile ilgili sözcük dağarcığından üretilir; mavi kısım konu başlığındadır. Kelime dağarcığından üretilir; kalan siyah kısım genel kelime dağarcığından üretilir. Bu aynı zamanda, iyi bir yanıt üretmek istiyorsak, bu üç farklı türdeki kelimeyi makul bir şekilde planlamamız gerektiği anlamına gelir, böylece farklı cümle türlerinin üretme gereksinimlerini karşıladığımızda nispeten yüksek kaliteli bir yanıt üretebiliriz Sadece cümle yapısını kontrol etmekle kalmaz, aynı zamanda bol miktarda bilgi de içerebilir.
Modelden birden fazla soru yanıtı oluşturmasını istersek ne olur? Modelimiz, birden fazla gizli değişkeni örnekleyerek hedefe ulaşabilir z. Şekilde gösterildiği gibi, mevcut üretilen sonuçlarda hem genel soru cümleleri hem de özel soru cümleleri bulunmaktadır. Bu, modelimizin üç tür cümle örüntüsünü ayırt etmekten daha fazlasını yapabildiğini göstermektedir. Gizli değişkenleri tanıtarak, cümlelerin çeşitliliğini de öğrenebiliriz .
sonuç olarak
Özetle, tek bir diyalog turunda, farklı cümle kalıpları ile cevaplar üreterek diyaloğun amacına ulaşabiliriz Modelimiz daha iyi bir iş çıkardı. İlk kontrol yetenekleriyle, bir sonraki adımı yapmamız gerekiyor Algılamak , hangisi Kullanıcının ne tür bir devlet sergilediğini bilin , Böylelikle, çoklu diyalog turlarında yüksek kaliteli yanıtlar oluşturmak için kullandığımız cümle kalıbını, diyalog amacını ve stratejiyi belirleyebiliriz. Şu anda, işimiz yalnızca ilk adımı gerçekleştirmiştir.İkinci adım, kullanıcı davranışının algılanmasını ve algılanmasını içerdiği için nispeten zordur. Bu, işimizin gelecekteki gelişimi için bir yön olarak görülebilir.
Ek olarak, anlamsallık ve yapı açısından, çalışmamız şu anda sadece cevapta hangi kelime kategorisinin kullanılması gerektiği gibi planlama çalışması yapmak için kategori denetleyicileri kullanıyor. Aslında hala yapabiliriz Anlamsal ve yapısal ayrıştırma Bunu sağlamak için Aynı yapı farklı anlamlar gösterdiğinde yapı değişemez Bu aynı zamanda gelecekteki çalışmalarımızın bir gelişme yönüdür.
Son olarak, size Kontrol Edilebilir Diyalog'un son iki yıldaki bazı araştırma sonuçlarını göstereceğim: Hepsi aynı problemi çözüyor: cevabın belirli bir niteliğinin nasıl kontrol edileceği. Bu konularla ilgileniyorsanız, bu son makalelere bakmayı düşünebilirsiniz. Hepsi bugün paylaştığım için, hepinize teşekkür ederim.
Yukarıdakiler, bu sayıda davetliler tarafından paylaşılan tüm içeriklerdir. Daha fazla genel sınıf videosu için lütfen izlemek için Leifeng Net AI Araştırma Topluluğu Topluluğuna (https://club.leiphone.com/) gidin. WeChat genel hesabını takip edin: AI Araştırma Enstitüsü (okweiwu), en son genel sınıf canlı yayın süresi önizlemesini edinebilirsiniz.
