Hong Kong Bilim ve Teknoloji Üniversitesi Profesörü Feng Yan: Robotların büyük patlama teorisini anlamasını sağlama
Konuşmacı: Feng Yan | Hong Kong Bilim ve Teknoloji Üniversitesi
Qu Xin düzenlemeyi bitiriyor
Qubit Üretildi | Genel Hesap QbitAI
Bu makale, Profesör Feng Yan'ın 18 Ağustos'ta Pekin İnovasyon Atölyesi'ndeki paylaşım kaydı tarafından düzenlenmiştir. Paylaşım konusu, "Empatik Makineler Nasıl Yapılır".
Feng Yan, şu anda Hong Kong Bilim ve Teknoloji Üniversitesi Elektronik ve Bilgisayar Mühendisliği Bölümü'nde profesördür. Başlıca araştırma alanları konuşma anlama, makine çevirisi, çok dilli işleme ve müzik bilgisine erişimdir.
Profesör Feng Yan, 1988'de İngiltere'deki Worcester Polytechnic Institute'tan elektrik mühendisliği alanında lisans derecesi ve sırasıyla 1993 ve 1997'de Columbia Üniversitesi'nden bilgisayar bilimi alanında yüksek lisans ve doktora derecesi aldı.
2015 yılında insan-bilgisayar etkileşimi alanındaki üstün katkılarından dolayı IEEE akademisyeni onuruna layık görüldü.Ses, Konuşma ve Dil İşleme, IEEE Sinyal İşleme Mektubu, Konuşma ve Dil İşleme Üzerine ACM İşlemleri ve Dernek İşlemleri üzerine IEEE İşlemleri olarak görev yaptı. Hesaplamalı Dilbilim ve diğer uluslararası dergilerin editör yardımcısı, aynı zamanda ACL SIGDAT'ın başkanı ve yönetim kurulu üyesidir.
Profesör Feng Yan
Herkese iyi günler, Dr. Kaifu Li'nin daveti için çok teşekkür ederim. Bugünkü konum şudur: Empatik Makineler Nasıl Yapılır, robotlar nasıl daha empatik hale getirilir.
Bu konu neden bahsediliyor? Çünkü artık yapay zeka konusunda herkes bir çok iş fırsatı görecek ancak iş fırsatlarının yanı sıra 5 yıl sonra, 10 yıl hatta 20 yıl sonra gibi geleceği de yapay zekanın nasıl gelişeceğini görmemiz gerekiyor.
Öyleyse şimdi birkaç büyük soru var, kendimizi düşünmemiz gerekiyor:
Yapay zeka tamamen mühendislik bir şey mi? Yapay zeka, diğer makinelerden farklıdır, bunda en önemli nokta "insan", sözde "yapay zeka" da "insan" dır.
İnsanlara hizmet etmek için bir teknoloji yapılmışsa, bu teknolojinin "empati" ye ihtiyacı var mı, yani sadece IQ'ya değil, duygusal zekaya da sahip olması gerekiyor mu?
Bu makine doğru değerlere sahip mi? İki yıl önce, Microsoft bir Chatbot başlattı ve uygunsuz bir şey söylediği için çevrimiçi olduktan kısa bir süre sonra çevrimdışı duruma getirildi. Bu sadece bir Chatbot.Müşteri hizmeti yapıyorsanız, sistemin ne söyleyeceği ve söylemeyeceği konusunda çok net olması gerekir.
Makinenin hizmet ettiği nesneler insanlardır ve insanlar her türden, farklı kişiliklere ve farklı duygulara sahiptir, bu makine psikolojik sorunlarımızı tespit etmemize yardımcı olabilir mi?
Daha sonra tartışılacak iki soru daha var: Yapay zekanın mizah ve estetik anlayışı olabilir mi?
Her şeyden önce, herkesin sadece eğlenceli değil, duyguların da önemli olduğunu düşünmesini istiyorum. Sesin duygusal rengini değiştirmek için sinyal işlemeyi kullanın, böylece duyulan sesin anlamı farklı olacaktır.
İngilizcede "empati" denen "empati" denen şey hakkında konuşalım: Bir başkasının duygularını, düşüncelerini ve deneyimlerini anlama, farkında olma, duyarlı olma ve deneyimleme eylemi. Aynı şeyi hissedebileceğim anlamına gelir. İnsan düşünceleri ve duyguları.
O zaman bu empatik iletişim, insanlar arasındaki iletişimin çok önemli bir parçası olan empati ile iletişim kurmaktır. Normalde fazla hissetmeyebilirsiniz, ancak bir bilgisayarla iletişim kurduğunuzda, iletişim engellerine neden olacak bir "empati" yoktur.
Bahsettiğimiz doğal dil anlayışı yapay zekada büyük bir alandır. Şimdi önerdiğimiz "Doğal Dil Empatisi" duygu, niyet tanıma ve bunun doğal dil anlayışına cevaplarını eklemektir.
Bunun girişimcilikle ne ilgisi var? Yapay zeka pazarı ile şu anda görülebilen ilişki nedir?
Önce sanal ajan hakkında konuşmama izin verin: sanal asistan, pazarı.
Artık robot müşteri hizmetleri gibi sanal asistanlar gerektiren birçok senaryo görebiliyoruz. Bundan sonraki on beş yıl içinde, ev robotları ve hizmet robotları gibi pazarların odağının Avrupa ve ABD yerine Çin ve Asya'ya kayacağını görebiliyoruz. Bu nedenle, robotlar insanlara yardım etmek ve onlara hizmet etmek için buradaysa, insanların ihtiyaçlarını anlamak için bir yazılıma ihtiyaç vardır. Mevcut müşteri hizmetleri görevleri makinelerle değiştirilebilir, ancak bu makinenin insanların neye ihtiyacı olduğunu anlaması gerekiyor. Örneğin, otonom sürüşte, arabanın kendisi bir insan asistanı haline gelir ve insanların ona ihtiyaçlarımızı söylemesi gerekir; diğeri akıllı ev ve mevcut gelişme yönü insan-bilgisayar etkileşimidir.
Makineler neden duygusal zekaya ihtiyaç duyar? Çünkü makinenin üç büyük avantajı vardır:
Makine EQ'ya sahip olduktan sonra, insanlardan daha iyi çalışabilir ve insanların duygularını daha doğru tanıyabilir, çünkü mevcut veri seti makinelerin öğrenmesine izin verir ve belirli bir alandaki insanlardan daha güçlüdür.
Makine, kullanıcının mevcut ruh haline hızlı ve otomatik olarak adapte olabilir ve kişinin mevcut durumdaki ruh halini doğru bir şekilde anlayabilir.
Kullanıcının yapışmasını artırın. Kullanıcının bağlılığını artırmak, doğruluktan daha fazlasını gerektirir. Artık doğruluk çok yüksek olabilir, ancak konuşma tanımadan sonra, niyetlerimizi anlamak ve neden bahsettiğimizi anlamak için makinelere ihtiyacımız var.
İnsan-bilgisayar etkileşimi nasıl daha empatik hale getirilir? Aslında araştırma yaparken birkaç noktanın çok önemli olduğunu buldum:
Çoğu insan, Siri gibi somut olmayan mobil asistanları sık sık kullanmaz, çünkü belirli bir görüntünün olmaması, insanlara bunun kendisiyle önemli ölçüde ilişkili olmadığını hissettirir, bu nedenle bir sistemin belirli bir görüntüye sahip olması gerekir. Diyalogda, diğer tarafın somut bir imaja sahip olmasını, ilginç bir şekilde konuşmasını, ifademi, üslubumu anlayabileceğini ve niyetlerimi anlayabileceğini umuyoruz, bunların hepsi makinenin gerçek zamanlı tepki vermesini gerektiriyor.
Mevcut araştırma gerçek zamanlı olarak yapılabilir ve aynı zamanda güncel bir yöndür: empatiyi anlamak.
Bir başka nokta da, birçok araştırmanın insanların insan benzeri robotları sevdiğini bulmasıdır. Bu yüzden laboratuvarımız beton bir robot-Zara tasarladı. Zara ve siri'nin prensipleri ve işlevleri benzerdir, fark bizim Görev Odaklı Diyalog Sistemiyiz.
İki tür diyalog sistemi vardır: Sohbet Robotu ve Görev Odaklı İletişim Sistemi. Xiaoice gibi sohbet robotları, konuşmaları tekrar edebilmeyi hedefler. Görev Odaklı İletişim Kutusu, yatırım yapmanıza, bilet rezervasyonu yapmanıza veya sizin için restoran rezervasyonu yapmanıza yardımcı olmak gibi tamamlanması gereken bir görevi ifade eder.
Görev Odaklı Diyalog, ön uç işleme, konuşma tanıma, diyalog hizmetleri (doğal dil işleme, diyalog yönetimi, doğal dil üretimi) ve son olarak geleneksel bir yaklaşım olan konuşma sentezine ayrılmıştır. Şimdi önerilen şey ortasına bir empati modülü eklemek, ardından bu modül insanların duygularını, kişiliğini ve hatta psikolojik sorunlarını tanımlayacaktır.
Ses ve dil ile duygu tanımanın nasıl yapılacağından bahsedelim.
İlk bölüm, duygusal bilgilerin doğrudan ses ve ses üzerinden nasıl kaydedileceğidir.
Önce müziğin analizi hakkında konuşmak istiyorum. Müzik yapıyorum çünkü müziğin kendisi duyguları ifade ediyor. Aşağıdaki şekilde görülen yatay eksen, kişinin mutluluk derecesini temsil eden değerliktir; dikey eksen uyarılma, heyecan derecesini temsil etmektedir. Müzik ve insan duyguları aynı plan. Bu nedenle, müzik analizi yaparken, müzik tarzını doğrudan ayırt etmek için makine öğrenimini kullanıp kullanamayacağımızı görmek istiyoruz.
Birkaç yıl önceki yöntemimiz, 1000'den 2000'e kadar öznitelik çıkararak doğrudan özellik çıkarma yapmaktı ve her müzik parçası özelliklerle temsil ediliyordu. Özelliklere sahip olmanın avantajı: görselleştirme.
Örneğin, üç şarkıcıyı görebiliriz, tüm şarkılarını iki boyutlu bir boyuta yerleştirebiliriz, sezgisel olarak kırmızı şarkıcıların ve mavi şarkıcıların benzer tarzlara sahip olduğunu görebiliriz. Sağ, aynı zamanda Bollywood müzisyenleri arasındaki karşılıklı etkiyi arayan bir yöntemdir. Bu, müzik tavsiyesi için çok önemli bir şey.
Sorunlardan biri, özellik çıkarmanın çok yavaş olmasıdır. İnsan duygularını tanımak istiyorsanız, gerçek zamanlıya ihtiyaç vardır ve özellik çıkarma gerçek zamanlı olarak gerçekleştirilemez. Daha sonra derin öğrenme ortaya çıktı.
Derin öğrenmenin avantajı, makinenin onu otomatik olarak çıkarmasıdır. Ardından, müziği bir örnek haline getirdikten sonra, herhangi bir işlem yapmadan, kendi kendine özellikleri ayıklayıp çıkaramayacağını görmek için yerleştirdik.
Daha sonra bu yöntemin uygulanabilir olduğu bulundu. En önemlisi, makinenin çok hızlı olması, öncekinden 6 kat daha hızlı olması, böylece gerçek zamanlıya ulaşabilmesidir. Bu, DNN yönteminin gerçek zamanlı sesli duygu tanımada kullanılabileceğini buldu.
Etkisine bir göz atabilirsiniz. 2016'da. Etkisi geleneksel SVM'ye benzer ve SVM'nin 1000-2000 özelliği çıkarması gerekiyor. Aşağıdaki resim müzik tarzının tanınmasıdır.
Aşağıdaki resim müzik duygusunun tanınmasıdır. Uzmanların belirlediği binlerce müzik parçasıyla CNN'i eğittik ve hızının ve sonuçlarının çok iyi olduğunu gördük. Başka bir deyişle, müziğin tarzını ve ruh halini etiketlemeden doğrudan belirleyebilirsiniz.
Diğeri ise insanların konuşurken duyguları, peki bu nasıl anlaşılıyor?
Müziği tanımak için CNN'i kullanmaktan bahsettiğimiz algoritma, doğrudan insan duygu tanımaya uygulanır. Ardından, CNN'nin orijinal özellik çıkarımından daha iyi, daha hızlı ve daha iyi sonuçlar olduğunu buldu. Esas olarak mutluluk, üzüntü, öfke ve sakinlik gibi insanların ana duygularını tanımlamaktır.Mizah, insanları hor gören vb. Dahil olmak üzere bir düzineden fazla ikinci duygu vardır.
Bunlar daha zordur, ancak CNN kullanmanın avantajı daha fazla veri olması ve daha sonra daha doğru hale gelmesidir. Bu noktada makineler insanları geçebilir, çünkü insanlar bunu yaparsa herkesin empatisi farklıdır ve standart farklı olacaktır.
Bir düzineden fazla saniyeden fazla duyguyu belirleme sürecinde, bunun orijinal SVM'den daha iyi olduğunu göreceksiniz, ancak bazı duyguların tanımlanması kolay ve bazılarının kolay olmadığı, genel ortalama% 60, bu nedenle bu alanda hala yapılması gereken çok iş var: daha fazlasına ihtiyaç var Büyük veri; algoritmaların optimize edilmesi gerekiyor.
Sonra CNN'in yapısı var. CNN'in ilk katmanı sinyal işleme yapıyor ve yüksek seviyeden sonra giderek daha soyut hale gelecektir.
Her CNN seviyesi kulaklarımızın işitme sistemiyle ilgilidir.
Daha derinlemesine gördüğümüz şey şudur: sinyal işlenmemiş seste görülmesi gereken şey. Başka bir soru da duygu tanımanın, İngilizce eğitimi almış bir duygu tanıma sistemi kullanarak Çin duygularını tanıyıp tanıyamayacağıdır. O halde bilmemiz gereken, CNN'nin tamamı ve her seviyesinin neyle uğraştığıdır.
Bu bir seviye, duygu ve kişiliktir. Düşük frekanstan yüksek frekansa, enerji, perde, frekans ve diğer bilgilerin ilk katmanın başında çıkarıldığı bulunmuştur.
Gelecekte, seslerin nerede olduğunu ve hangi seslerin daha heyecan verici olduğunu ayırt edebilen farklı aktivasyonlar olacak.
T-SNE adlı bir yöntem kullanıyoruz, noktalarının her seviyesini yansıtıyoruz ve farklı dilleri temsil etmek için farklı renkler kullanıyoruz.
Birinci katmanda sinyal işlemeden sonra her dilin hala birbirine karıştırıldığını görebiliriz, CNN ne kadar yüksekse, her dil o kadar fazla ayrılabilir ve sonunda temelde tamamen ayrılır. Mevcut derin öğrenmede, en düşük dil bağımlıdır ve yükseldikçe, insani özelliklerimize çok benzeyen daha fazla dil bilgisi mevcuttur.
Bu bizim veri tabanımız.
Bu sonuç herkese şunu söylemek istiyor: Duygu tanıma açısından, ilk katman birçok dilde eğitilmişse, bu yöntem iyidir, dil ne kadar yüksekse ayrılacaktır.
Daha sonra bir deney yaptık. Robot, kişinin kişiliğini bu şekilde tanır.
İnsanlar başkalarıyla iletişim kurduğunda, kasıtlı veya kasıtsız olarak başkalarının kişiliğine hitap ederler Bu, iletişim halindeki insanlar arasında bir işbirliği şeklidir. CNN ayrıca yüz ifadelerini ve sesleri doğrudan tanımak için makinenin karakter tanımasında da kullanılabilir. Dışadönük olup olmadığını belirlemek gibi, anlaşmak kolay mı, vb.
Bu eğitim yönteminde birden çok dili birlikte kullanmak da mümkündür.
İnsanları örnek olarak almak, Çin'de yaşarken kişiliği dil aracılığıyla tanımlama becerisidir Yurtdışına gittikten sonra, bir adaptasyon döneminden sonra, Çin'deki kuruluş nedeniyle kişiliği dil aracılığıyla hızlı bir şekilde belirleyebiliyorum.
Temel duygu tanıma yeteneği ile, dil kısıtlamalarından gitgide daha özgür hale gelir.
Az önce ses ve konuşmada duygu tanımadan bahsettik. Daha sonra doğal dil ve metinle ilgili duygu tanıma hakkında konuşalım.
Metindeki Dianping gibi duygular, mağazaya kaç yıldız verdiğini değerlendirme açıklamasından yargılar, buna metinde duygu tanıma denir.
Kullanıcı robotla iletişim kurduğunda, söylenmemesi gereken şeylere robot nasıl tepki vermelidir.
Doğal dili anlamada daha büyük konu: duyguları ve duyguları birleştirme ihtiyacı.
Bu, Twitter'dan insanların duygularına bakmak içindir. Temelde CNN ve Word yerleştirme kullanıyoruz.
Word katıştırmanın avantajı, verilerin doğrudan kullanılabilmesidir; bu, kendi verileriniz yeterli olmadığında çok yararlıdır.
Bu yaptığımız bir konudur: bir haberde manşetlerin nasıl çıkarılacağı.
Haber başlığı, özetleme açısından nispeten basit bir görevdir, ancak daha sonra gazetenin başlığının İnternet'teki manşetten farklı olduğunu gördüm.Makinenin ürettiği başlık, içeriğin gerçek bir özeti ve şimdi tıklama oranlarına sahip birçok başlığa ihtiyaç var. Ve bu tür bir başlık duygusaldır.
Makinenin tıklama oranlarına sahip başlıkları otomatik olarak oluşturmasına nasıl izin veririz? Orijinal başlık çıkarma yapısına duygusal yerleştirme ekleyin, böylece başlık daha çekici olacaktır.
Daha kabul edilebilir başlıklar üretmek için doğal dil işleme alanında duygu tanımanın gerekli olduğunu ilk kez keşfettik.
Finans haberlerinden piyasanın gidişatını görmemiz gerekiyor.Avrupalı bazı uzmanlar geçmişte araştırma yaptı.Eğer onu finans haberlerine göre incelerseniz, 12 gün sonra trendi tahmin edebilirsiniz. Bu aslında büyük veri ve bizim madenciliğimiz duygu.
Araştırmalar, insanların% 20 -% 25'inin söylenmemesi gereken bir şeyi, yani küfürlü bir dil söyleyeceğini ortaya çıkardı, öyleyse robotlar nasıl tepki veriyor? Bu aynı zamanda CNN ile de öğrenilebilir. Bir adım kullanabiliriz: küfürlü mü, seksi mi, ırkçı mı, vb. Veya iki adım: önce sözcüğün söylenip söylenmeyeceğini ve sonra sözcüğün hangi kategoriye ait olduğunu bil. .
İki görevi olan Chatbot'a bir değer katabiliriz: Chatbot'un önceki konuşma içeriğini hatırlamasını sağlama; nasıl cevap verebiliriz. Eğitim sırasında ona duygu da eklenmelidir.
Bu, karakter analizidir. İnsanlarla ve makinelerle iletişim kurduğumuzda, makine kişiliğimizi biliyorsa, bizimle istediğimiz şekilde konuşabilir. Öyleyse karakter tanımaya nasıl gittik? Kişilik tanıma ayrıca CNN yöntemini kullanır.
Tanımlamak için aynı sistemi kullanabilir miyiz? Farklı dilleri konuşan insanların sezgisel olarak farklı kişilikleri vardır, ancak deneyden sonra bir yöntem öneriyoruz: iki dilli kelime yerleştirme, hangi dil olursa olsun, aynı anlamı tanıyabilir, o zaman bunu yapabilen bir sistem olabileceğini görürüz. Kişiliği farklı dil türleri aracılığıyla analiz edin.
O halde bu, insanların psikolojik sorunlarını ayırt etmek için psikolojik olarak ilişkilidir. E-posta, Facebook vb. Gibi bazı metinler ve bu tür sorunları belirlemek için sohbet süreci. Sonuç: dilin anlamını ve sesin durumunu anlamanız gerekir. Bu iki nokta, ne söyleneceğini anlamaktan daha önemlidir.
Bu Büyük Patlama Teorisi. Büyük Patlama Teorisinde Sheldon adında bir kişi var. Laboratuvarımızdaki bir öğrenci Sheldonbot adlı bir sohbet robotu yaptı. Bazen gülümsemeyi tanıyamadığı için adı Sheldonbot. Araştırma konusu: makinelerin nasıl komik hissettireceği. Mizah duygusuna sahip olmanın iki adımı vardır: İlk adım gülme noktasına gülmek, yani mizah duygusunu tanıyıp tanımamaktır; ikinci adım mizah duygusu yaratmaktır.
Bunu nasıl başardı? Ayrıca iki adıma bölünmüştür: ilk adım, makinenin kahkahayı tanımlaması ve anlamasına izin vermektir.Eğitim verilerinin kaynağı, Amerikan dizilerinin komedileridir, çünkü Amerikan dizilerindeki tüm komediler göründüklerinde kahkahalara boğulacaklar, bu yüzden kahkahanın hemen önündeki cümle Diyalogda mizah duygusuna sahip olun;
İkinci adım, mizah üretimi, makineyi güldürmektir. Az önce bahsettiğimiz Chatbot'a benzer, ancak bir fark, amacının insanları güldürmek olmasıdır. Sequence2sequence öğrenme modelini kullanmanın yanı sıra, eğitim sürecinde insanların güldüğü öğrenmeyi güçlendirmek için pekiştirmeli öğrenmeyi de ekler. Bu alanda, bu hala çalışmaya başlıyor.
Özetle, ister müşteri hizmeti ister Chatbot olsun, robot konuşma sürecine bir empati analizinin eklenmesi gerekir. Bir diğer nokta da empati analizi yaparken yüz ifadesi tanıma da ekleyebileceğimiz ve diğer çalışmaların da duygu ifadesi olan beden dilini ekleyeceği.
Bir diğeri bizim yöntemimiz. Grubumuz iki yıldan beri tüm makine öğrenimi için DNN kullanıyor. Birincisi hızlı hızdan, ikincisi DNN'yi tek tip olarak kullanmanın daha kolay olmasıdır. Duygular, yüz ifadeleri vb. Duygu tanımayı ifade edebilir ve birlikte öğrenebilir. Tüm duygusal ifadeleri tanıyan bir sistem oluşturmak için DNN bu konuda iyi bir platformdur.
Hepsi bugün paylaştığım için, hepinize teşekkür ederim.
(Anahtar kelimelere arka planda yanıt verin " 170818 ", Profesör Feng Yan tarafından paylaşılan PDF'nin tam sürümünü edinebilirsiniz.)
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
