Sohbet etmek için birden fazla sohbet botunu bir araya getirin, sonuç ne olacak? Bu oyunun bir cevabı olabilir
Sık sık "üç kadın, bir drama" deniyor, eğer üç robotsa bize ne gibi sürprizler yaşatacak?
AI Technology Review Press: Apple Siri'den Amazon Echo'ya, sohbet robotları hayatımızda giderek daha önemli bir rol oynuyor. Çıplak gözle görülebilen değişiklik, yüksek düzeyde bilgi gerektirmeyen alanlarda / endüstrilerde, sohbet robotlarının kademeli olarak insan müşteri hizmetlerinin yerini alma eğiliminde olması ve IoT teknolojisinin yaygınlaşmasıyla bu teknolojinin, insanların ev aletlerini uzaktan kontrol etmeleri için zamanla bir araç haline gelmesidir. bir. Bununla birlikte, chatbot'ların şu anda bağlamın anlaşılması, entelektüel diyalog ve denoising gibi birçok sorunu var. Doğal dil işleme uzmanları zorlukların üstesinden gelmek için çok çalışıyor. Son "SMP Robot Grup Sohbeti" yarışmasında, Bu alandaki araştırmayı bir adım daha ileriye taşımaya çalışmak - insan-makine çok taraflı karışık diyalog / robot çok partili grup sohbeti. Geçmişte sık sık "bir dizide üç kadın" dedik, üç robot olsaydı bize ne tür sürprizler verirdi?
Etkinliğin tam adı SMP Multi-bot Conversation Challenge'dır (SMP Multi-bot Conversation Challenge,
Çin'de robot grup sohbeti yarışmalarının emsali olmadığından, rekabet hazırlığı, kural koyma ve değerlendirme standartları hakkında çok fazla düşünce olmalıdır. Etkinliğin asıl amacını anlamak için AI Technology Review özel olarak röportaj yaptı Harbin Teknoloji Enstitüsü'nden Doçent Zhang Weinan'dan bu etkinliğin organizasyon komitesi üyesi aynı zamanda etkinliğin ana başlatıcısı ve değerlendirme planının ana geliştiricisidir. Spesifik mülakat içeriği aşağıdaki gibidir:
1) Çin Çin Bilgi Topluluğunun etkinliğe ev sahipliği yapma ilk niyeti neydi?
Robot grup sohbeti biçimi aslında Öğretmen Liu Ting tarafından ilk sosyal robot forumunda aynı konuşma senaryosundaki grup sohbetlerinde birden fazla robotun konuşma zekasını değerlendirmek için önerilen bir fikirdi. Bay Liu ve benim aramdaki birçok tartışmadan sonra, değerlendirme planı geliştirildi Değerlendirme planının oluşturulması sırasında, Çin Çin Bilgi Toplumu Sosyal Medya İşleme Komitesi Sosyal Robot Çalışma Grubundan Bay Zhang Hongzhong ve Bay Huang Minlie de Yapıcı görüşler verdi.
2) İnsan-makine diyalog teknolojisi için grup sohbeti sahnesinin özelliği nedir?
Yurt içi ve yurt dışında insan-makine diyalogu üzerine yapılan önceki araştırmalar "bire bir" şeklinde olduğundan, yani diyaloğun bir tarafı robot, diğer tarafı insan ... Robot ile insan arasındaki diyaloğu değerlendirmek için bir dizi değerlendirme göstergesi kullanılıyor. Bu, robotlar arasında "etkileşim" olmadan bağımsız bir değerlendirme olarak kabul edilebilir. Bununla birlikte, çoklu diyalog turlarının doğası gereği, aynı ilk girdi için, farklı robotlar farklı diyalog süreçlerine sahiptir, bu nedenle farklı robotların tamamen olduğundan emin olmak zordur. Değerlendirme aynı diyalog bağlamında gerçekleştirilir. Robot grup sohbeti, tamamen yeni bir makineden makineye diyalog modudur. Robot artık bir insanla değil, birden fazla robotla karşı karşıyadır. Diyalog bağlamını paylaşırlar. Diyalog süreci ayrıca robotun diyalog bağlamını da test eder. Anlambilimi anlama ve yanıtlayanı seçme yeteneği.
3) Soruları hazırlarken dikkat edilmesi gereken noktalar nelerdir?
Sadece grup sohbeti konuları verdiğimiz ve katılımcı ekiplerin veri setinin kaynağını sınırlamadığımız için, ağırlıklı olarak konuşma konuları için veri toplamanın zorluğunu göz önünde bulunduruyoruz.Veri toplama eşiği olmayan konulara öncelik vereceğiz ve verileri kullanmaya çalışacağız. Koleksiyon, katılan takımlar için bir engel teşkil etmez.
4) Bir takımın sonuçlarını nihai olarak hangi faktörlerin etkileyeceğini düşünüyorsunuz?
Sanırım birkaç ana faktör var:
Birincisi, robotun tutarlılık, çeşitlilik ve alaka düzeyi gibi yanıt kalitesinin yeterince iyi olması gerektiğidir;
İkincisi, temanın anlaşılması ve diğer robotların tepkilerinin anlaşılması dahil, diyalog tarihine ilişkin güçlü bir anlayışa sahip olmaktır;
Üçüncüsü, yanıt stratejisinin seçimidir ve dördüncüsü, sistemin sağlamlığını ve buna karşılık gelen hızını sağlamaktır.
5) En iyi grup sohbeti etkisini elde etmek için hangi zorlukların üstesinden gelinmesi gerektiğini düşünüyorsunuz?
Doğal dil anlayışının ve doğal dil üretiminin birçok teknik zorluğu olduğunu düşünüyorum.Ayrıca, diyalog stratejilerinin formülasyonu (kurallara, planlamaya veya öğrenme yöntemlerine dayanabilir) ve diyalog tarihinin modellenmesi nispeten yeni zorluklardır. Aynı zamanda, tamamen ücretsiz bir grup sohbeti modunda, sıra almak da daha önemli bir özelliktir.
6) Çin'in robot grup sohbeti üzerine genel araştırması hangi aşamada?
Şu anda, çok taraflı diyalog veya çok taraflı konuşma üzerine araştırma, insan-makine diyaloğunun önemli bir yönüdür ve birçok bilim insanı birçok katkı sağlamıştır, ancak araştırmanın amacı, "insanlar" arasındaki grup sohbetlerinin ve gruplarının içeriğini daha iyi anlamak ve modellemektir. Sohbet davranışı ve robot grup sohbeti biçimi şu anda araştırma ve uygulamada nadiren yer almaktadır. Daha önce robot sohbetleriyle ilgili haberler görmüştüm ama ticari propaganda daha önemli.
7) Etkinlik haberleri gönderildikten sonra akademi / sektörden herhangi bir geri bildirim aldınız mı?
Akademi ve endüstriden geri bildirimler alındı ve akademik topluluk daha da fazla Dikkat Yarışmanın formatı ve değerlendirme yolu, bazı akademisyenler ve uzmanlar çok alakalı Önermek . Sektörden gelen geri bildirimler, temanın seçimi, veri setinin kaynağının sınırlandırılıp sınırlandırılmayacağı gibi rekabetin detaylarına odaklanıyor ve ayrıca grup sohbeti yarışmasının mükemmelliğini teşvik ediyorlar.
8) Çin Bilgi Toplumunun bu yıl yarışmaya ev sahipliği yapmak için ne gibi planları var?
Çin Çin Bilgi Topluluğunun özel komitesi her yıl bazı değerlendirmeler düzenler.Özel bilgiler için lütfen Çin Bilgi Topluluğunun resmi web sitesine bakın. toplantı Ve faaliyetlerin tanıtımı ( http : // www. cipsc.org .cn /hcontent.php?xuhao=106) ve ilgili akademik toplantı Resmi internet sitesi. Bildiğim kadarıyla bu yıl 16-18 Ağustos tarihlerinde Shenzhen'de düzenlenecek 8. Ulusal Sosyal Medya İşleme Konferansı'nda 4 teknik değerlendirme olacak, bizim düzenlediğimiz Çin insan-makine diyalog değerlendirmesi de bunlar arasında. Üç seans.
Etkinlik detayları
Etkinliğin son bildirimine göre, bu etkinliğin belirlenen görevi, bilinen grup sohbeti temasına ve geçmiş mesaj kayıtlarına dayalı olarak robot grup sohbeti sahnesinde grup sohbeti temasına ve bağlam mantığına uygun bir yanıt oluşturmaktır ve oluşturulan yanıtlar sorunsuz ve grup sohbeti olmalıdır. Konuşma konusu ilgilidir.
Özel ayrıntılar:
-
Grup sohbeti konusu
Görevde, organizatör bir grup sohbeti konusu verecek ve her konu altında bir diyalog turu yürütecektir (N, toplam grup sohbeti robotu sayısını temsil eder). Bunlar arasında konular arasında tıbbi, ulaşım, eğitim, finans vb. Yer alır ancak bunlarla sınırlı değildir.
-
Rotasyon stratejisi
Belirli bir grup sohbeti teması altında, organizatör, tüm robotların aynı yanıt önceliğine sahip olmasını sağlamak için robot yanıt sırasını belirli bir stratejiye göre başlatacaktır. Grup sohbetlerinin diğer temalarında, organizatör, son puanlama ortamının adil olmasını sağlamak için robotların yanıtlarının sırasını birden çok kez değiştirecektir.
-
Haber kararı
Değerlendirme görevinde, organizatör her bir robota bir cevap istediğinde, mevcut grup sohbeti konusunu ve geçmiş mesaj kayıtlarını sağlayacaktır. Katılımcı ekiplerin, makul yanıtlar oluşturmak için grup sohbeti konularına ve geçmiş mesaj kayıtlarına dayalı olarak ilgili kararlar alması gerekir.
Sonuçların değerlendirilmesi ile ilgili olarak iki aşama olacaktır: ön ve nihai. Ön aşamada organizatör, katılan ekipleri değerlendirmek için otomatik değerlendirme göstergelerini kullanacaktır. Robotun grup sohbetindeki performansı, sıralama için temel olarak kullanılacaktır. Bu göstergeler şunları içerir:
Konu: Çıktı yanıtının grup sohbetinin konusuyla ne kadar alakalı olduğunu değerlendirin.
Şaşkınlık: Çıktı yanıtlarının akıcılığını değerlendirin.
Farklı: Çıktı yanıtlarının çeşitliliğini değerlendirin.
BLEU: Referans yanıta göre çıktı yanıtının N-gram örtüşmesini değerlendirin.
Son aşamada, organizatör, her grup sohbet robotunun yanıtını aşağıdaki üç açıdan kitle kaynaklı bir şekilde değerlendirmek için manuel bir değerlendirme yöntemi uygulayacaktır:
Konu: Oluşturulan yanıtın mevcut grup sohbetinin konusunu karşılayıp karşılamadığı (konu dikkate alınarak).
Akıcılık: Üretilen yanıtın ifadesinin akıcı olup olmadığı ve dilbilgisi hataları içermediği (cümleyi düşünün).
Uygulama asayiş: Üretilen yanıtın insanların günlük iletişim alışkanlıklarına uygun olup olmadığı (bağlam dikkate alınarak).
Bazı hususlar için, bu yarışmada anonim değerlendirme benimsenecek, yani sadece katılan takımların kod adları ve değerlendirme sonuçları dış dünyaya duyurulacak ve katılan takımların özel bilgileri açıklanmayacaktır.
Kayıt için son tarih: 28 ağustos
Yarışma bildirimindeki gereksinimlere göre, katılan takımların chatbot arayüz API'sini sağlaması gerekir ve organizatör bu arayüz API'sini grup sohbeti değerlendirmesi için kullanacaktır. Arayüz API'sinin engelleme süresinin 10 sn olduğu unutulmamalıdır. Zaman aşımından sonra yanıt gelmezse, yanıt başarısız olarak işaretlenecektir. Birden çok hata, nihai değerlendirme puanını etkileyecektir.
Arayüz API'sinin etkileşimli veri formatı aşağıdadır:
Eğitim verileri açısından katılımcı ekipler, model eğitimi için tıp, ulaşım, eğitim, finans ve diğer konular dahil ancak bunlarla sınırlı olmamak üzere çok taraflı diyalog verilerini kullanabilir.
Yarışmaya katılmakla ilgilenen birimler için kayıt işleminin 28 Ağustos 2019'dan önce tamamlanması gerekmektedir. Kazanan takım, Çin Çin Bilgi Toplumu tarafından düzenlenen forumda teknik + konu raporu verme fırsatına sahip olacaktır.
Çevrimiçi kayıt formunu doldurmak için kodu tarayın, herhangi bir sorunla karşılaşırsanız, lütfen değerlendirme konferans ekibiyle iletişime geçin: smp_mcc @ 163 .com
2019 Küresel Yapay Zeka ve Robotik Zirvesi
12-14 Temmuz 2019 , Lei Feng.com ve Hong Kong Çin Üniversitesi (Shenzhen) tarafından ortaklaşa düzenlenen ve Shenzhen Yapay Zeka ve Robotik Enstitüsü tarafından ortaklaşa düzenlenen Çin Bilgisayar Federasyonu (CCF) sponsorluğunda 2019 Küresel Yapay Zeka ve Robotik Zirvesi (CCF-GAIR 2019 olarak kısaltılmıştır) Shenzhen'de resmen açılacak.
O zamanda, Nobel Ödüllü JamesJ. Heckman, Çinli ve yabancı akademisyenler, Dünya Zirvesi Başkan , Tanınmış Dost, birçok ağır konuk savaşta oturacak Yapay zeka ve robotik bilim, üretim ve yatırım alanlarında karmaşık hayatta kalma durumunu tartışmak.
