Döngüsel Zeka Yang Zhilin: "İnsan-makine bağlantısı", semantik diyalog uygulamalarında yeni bir trend olacak
Görüşülen | Yang Zhilin, Recycling Intelligence Kurucu Ortağı
Muhabir | Xu Weilong, Editör | Guo Rui
Üretildi | CSDN (ID: CSDNnews)
"AI Teknolojisi Ekoloji Teorisi" karakter röportajı sütunu, CSDN tarafından başlatılan Milyon İnsan Öğrenen Yapay Zeka girişiminin önemli bir parçasıdır. AI ekosistemindeki en büyük kahveler, girişimciler ve endüstri KOL'leri ile yapılan röportajlar aracılığıyla, endüstri hakkındaki düşüncelerini, gelecekteki trendler hakkındaki yargılarını, teknik uygulamaları ve büyüme deneyimlerini yansıtıyorlar. 2020'de CSDN, AI ekolojisindeki ve AI endüstrisinin panoramasındaki en etkili kişileri özetlemek için bir dizi oluşturmak için 1000'den fazla kişiyle röportajlar yapacak!
Bu makale, bu röportaj dizisinin 12. sayısıdır.Recycle Intelligence'ın kurucu ortağı Yang Zhilin ile yapılan röportaj aracılığıyla, bu makale XLNet modeli gibi doğal dil teknolojilerini ve diyalog verilerinin uygulama senaryolarını ayrıntılı olarak açıklamaktadır.
Milyonlarca insan AI öğreniyor ve sizin payınız var! Makale yorumlarına katılın, yorum alanına yorum bırakın ve 299 yuan değerinde "2020 AI Geliştiricileri Konferansı" için çevrimiçi canlı bilet alın.
Son yıllarda, büyük ölçekli kullanıcılar için ses, video, görüntü ve diğer hizmetlerin hızlı büyümesi nedeniyle, küresel veri miktarı patlayıcı bir büyüme gösterdi. "Data Petroleum" ayrıca sayısız teknoloji şirketine "elleri buluta çevirme" geliştirme fırsatı sağladı . Veriler, 2020 yılına kadar küresel veri hacminin 40ZB'ye ulaşacağını ve Araçların İnterneti, akıllı üretim, akıllı enerji, kablosuz tıbbi bakım, kablosuz ev eğlencesi ve drone gibi yeni uygulamaların yeni veri boyutları oluşturacağını tahmin ediyor. Teknolojinin değişmesiyle, veri tsunamisine eşlik eden "altına hücum" da yüksek olmaya devam ediyor.
Gerçekler, verilerin getirdiği fırsatların son derece büyük olduğunu kanıtladı, ancak insanlar henüz veri varlıklarının tam değerini tam olarak ortaya çıkaramadı. Geçmişte, diyalog verilerinin "altın içeriği" ciddi şekilde göz ardı edildi.
Doğal dil işleme teknolojisinin sürekli gelişmesiyle birlikte, diyalog verilerinin değeri yavaş yavaş uyanmakta ve farklı alanlardaki en iyi endüstri uygulamaları ve gerçek etkiler giderek gelişmektedir ve bu vizyon sahibi şirketler diyalog verilerinin değerine önem vermeye başlamıştır. Ancak, birçoğu iş değeri yaratmak için bu verileri kullanmak için en iyi uygulamalardan hâlâ yoksundur. Dairesel zeka, bu başlangıç noktasına dayanır ve bu teknik boşluğu doldurur.
Loop Intelligence, orijinal XLNet modeline, Transformer-XL modeline ve altında yatan diğer doğal dil işleme teknolojilerine dayalı olarak lider bir yapay zeka teknolojisi matrisi oluşturmuştur. "Yaptığımız en önemli şey şudur: Şirketle anlık mesajlaşma sohbeti, WeChat sohbeti, telefonla satış iletişimi, metin bilgileri dahil olmak üzere satış sürecinde oluşturulan konuşma verilerinden, karar verme düzeyini etkinleştirin ve sonuçta satış dönüşüm oranını artırın. "Farklı sektörlerin özel ihtiyaçlarına göre, farklı diyalog veri uygulama senaryolarının inişini gerçekleştirin. Bu makalede CSDN, Cyclic Intelligence'ın kurucu ortağı Yang Zhilin ile röportaj yaptığı için şanslıydı. Diyalog verilerinin uygulama senaryosundan başlayarak, bizim için XLNet model prensibini, çekirdek teknolojiyi, mevcut NLP geliştirmeyi ve AI yetenek geliştirme yolunu kapsamlı bir şekilde analiz edecek.
Derin öğrenme ve doğal dil işleme alanında Yang Zhilin büyük başarılar elde etti. İlk yazar olarak, o ve Carnegie Mellon Üniversitesi ve Google Brain ekibi, bir zamanlar 20 standart görevde en iyi performans rekorunu elinde tutan Google BERT modelini geride bırakan, NLP alanında popüler uluslararası modern ön eğitim XLNet modelini birlikte başlattı. Geçmişte 18 standart görevde en iyi sonuçları elde etmeye daha çok "BERT'den sonra önemli ilerleme" denir.
Yang Zhilin, iki akıl hocası Ruslan Salakhutdinov (Apple AI Araştırma Lideri, sağda) ve William Cohen (Google Baş Bilimcisi, solda) ile bir grup fotoğrafı çekti.
Ayrıca Pekin Zhiyuan Yapay Zeka Enstitüsü tarafından açıklanan 2019 "Zhiyuan Genç Bilim Adamları" listesindeki en genç ve tek "90'lar sonrası".
Konuşmaların anlamını analiz edin ve verilerin değerine dokunun
Verilerin değerini oynamak, çoğu şirketin fikir birliği haline geldi.Bunların arasında, birçok şirket, hizmet düzeyini ve verimliliğini artırmak ve kurumsal veri varlıklarını korumak için çok sayıda satış ve müşteri, müşteri hizmetleri ve müşteri iletişimi kayıtlarını ve metin kayıtlarını saklar. Diyalog verilerinden işletme için faydalı bilgilerin nasıl bulunacağı ve müşteri tarafından ifade edilen içerikte örtük olarak bulunan potansiyel ürün talebinin nasıl ortaya çıkarılacağı döngüsel zeka teknolojisinin asıl amacıdır.
Şu anda dört özel senaryo olduğunu söyledi: birincisi, yüksek niyetli satış potansiyellerini araştırmak, sıralamak ve puanlamak için diyalog verilerini kullanın ve her müşteri adayı için çözüm eşleştirme ve ürün önerisi yapın; ikincisi, müşterileri diyalog verilerinden çıkarın Portre, şirketlerin bir portre sistemi oluşturmasına yardımcı olur. Portre sistemi sayesinde işletmeler hedeflenen operasyonel faaliyetler tasarlayabilir; üçüncü olarak, yeni satış elemanlarına gerçek zamanlı yardım sağlayabilen ve müşterilerle daha verimli iletişim kurmalarını söyleyebilen konuşma verilerinden otomatik olarak etkili satış becerilerini ortaya çıkarabilir; Dil becerilerinin uygulanmasını izlemek için bu sürece genellikle yönetici denetimi veya kalite denetimi denir.
"Aynı zamanda, diyalogun anlambilimiyle nihai sonuç arasındaki ilişkiyi analiz ediyoruz - bunun bir düzen olup olmadığını ve hangi diyalogların bir düzen olma niyetinin daha yüksek olduğunu tahmin ediyoruz, böylece bu dört senaryo kapalı bir döngü oluşturuyor." Gerçek durumda, Yang Zhilin paylaştı. En iyi bir hayat sigortası şirketi başvurusu yazdım: "Müşteri adayı puanımız yayınlandıktan sonra arama süresi% 100 arttı ve dönüşüm oranı% 270'e çıktı."
Dolaşım zekası ürün mimarisi diyagramı
Teknik analiz: XLNet daha iyidir BERT !
"Teknik uygulama düzeyinde, yaptığımız şeyler ve uyguladığımız senaryolar geleneksel diyalog robotlarından, sohbet robotlarından veya robot müşteri hizmetlerinden çok farklı."
Yang Zhilin, robotun yaptığı en önemli şeyin bir dizi şablon aracılığıyla basit eşleştirme yapmak ve ardından ne söyleneceğini oluşturmak için kuralları kullanmak olduğunu söyledi. Teknik olarak konuşursak, şu anda robot şirketleri temelde yeni nesil bir teknoloji kullanmamaktadır.Cyclic Intelligence'ın yaptığı iş senaryoları, şirketlerin ürünleri müşterilerle eşleştirmesine ve satış potansiyelleri önermesine yardımcı olmaktır. Bu senaryolar şirketin performansını doğrudan etkiler, bu nedenle şirket Doğruluk oranı çok hassastır ve en yeni nesil, daha yüksek doğruluk teknolojisi kullanılmalıdır. "Büyük bir model oluşturmak için orijinal XLNet algoritmamızı kullandık ve öğrenmek için çok fazla veri kullandık, böylece etiketleme ve uzun metin dizilerinin işlenme verimliliği büyük ölçüde iyileştirildi, bu da üst düzey işimizi destekleyebilir." Buna ek olarak, uygunluk kalite denetimi, müşteri portrelerinin ve geri bildirimlerin otomatik madenciliği ve satış ve müşteri hizmetlerinin yönetici denetimi için bağlamsal semantiği daha iyi entegre edebilir ve iletişim diyalog verilerinden anlamsal etiketleri gerçek zamanlı olarak çıkarabilir.
Yang Zhilin'in görüşüne göre, XLNet modelinin BERT ile karşılaştırıldığında bariz avantajları vardır. Prensip olarak, her ikisi de ön eğitim yöntemleridir. Ancak daha spesifik bir bakış açısından, XLNet aslında iki farklı eğitim öncesi yöntemi birleştirir: otoregresif ve otomatik kodlama. "BERT, kendi kendini kodlamanın bir yöntemi olarak kabul edilebilir ve XLNet, BERT'nin bazı eksikliklerinin üstesinden gelecektir." Esas olarak iki tane vardır: XLNet'in özel Maske sembollerini tanıtması gerekmez, bu nedenle ön eğitim ve ince ayar (İnce ayar) süresini azaltır Veri dağılımı tutarsızdır; Ek olarak, XLNet farklı kelimeler arasındaki korelasyonu modelleyebilir ve BERT tahmin edilecek tüm kelimelerin bağımsız olduğunu varsayar. XLNet'in daha ustaca ve resmi değişiklikler yaparak bu varsayıma sahip olmasına gerek yoktur. "Yani XLNet, daha katı varsayımları ortadan kaldıran ve bağlamı doğal dilde daha iyi modelleyebilen daha genel bir modeldir."
XLNet şematik
Belirli ürünlerin ve çözümlerin arkasında, dairesel zeka ayrıca iki teknik zorlukla karşı karşıyadır. Bir yandan kendi modellerini iş senaryolarına uygulamaları, diğer yandan da belirli senaryolarda bazı zorluklar için teknik çözümler ortaya koymaları gerekiyor. Spesifik olarak, "İlk blok temelde, bizim tarafımızdan önerilen Transformer-XL ve XLNet gibi bir dizi genel amaçlı NLP modelini ve ayrıca bazı aktif öğrenme algoritmalarını, üst katman uygulamalarını desteklemek için alt katman olarak kullanır. İkinci blok, Bu özel senaryolar için nispeten zor olacak. "
Zorluk 1: İşaret puanlama, birden çok farklı modaliteden verilerin nasıl entegre edileceğini içerir. Örneğin, konuşma verilerine ek olarak, bazen davranışsal veriler ve iş verileri vardır ve farklı modalitelerin verilerinin aynı çerçevede birleştirilmesi gerekir. Zorluk 2: Metin uzun bir diyalog yapısıyla nasıl modellenir. Önceden eğitilmiş model genellikle iyi çalışmaz, çünkü diyalog yapısını etkili bir şekilde modelleyemez ve çok uzun bir metin dizisini modelleyemez. Bu nedenle, modeli iyileştirmek için artık modelin uzunluğunu ele alabiliriz. Bin kelimelik metin. Zorluk 3: Büyük ölçekli üretimin büyük ölçüde etiketleme verilerine dayanmasının bir yolu yoktur, bu nedenle etiketlemenin verimliliğinin iyileştirilmesi gerekir. Küçük örneklem öğrenme fikriyle yeni bir sistem uygulandı.Şimdi etiketleme hacminin yalnızca% 10'u eskisi ile aynı etkiyi elde etmek için kullanılabilir, bu da büyük ölçekli çoğaltma işi için çok yararlıdır.Bunların arasında teknik darboğazlar kaçınılmazdır.
"Deney yaparken, her yeni fikriniz işe yaramayabilir." Yang Zhilin, darboğazlarla uğraşırken daha önemli olanın daha iyi bir zihniyete sahip olmak olduğuna inanıyor. "Çoğu durumda, başarısız olmadan deneyler yapmanıza gerek kalmaz, daha hızlı yineleme yapıp sonuçları daha hızlı almanız gerekir."
NLP'nin görkemli çağı geldi
Son yıllarda konuşma tanıma, bilgisayarla görme ve dil anlama gibi teknolojilerin "yükselişi", yarım yüzyıldan fazla süredir sessiz kalan yapay zekayı yeniden sıcak hale getirdi. Gerçekler ayrıca yapay zekanın yalnızca talebe dayalı olmadığını, aynı zamanda iç kaynaklı olduğunu da kanıtladı.
Yang Zhilin, algoritmaların ve hesaplama gücünün aslında sarmal bir süreç olduğuna inanıyor. "Yapay zekanın itici yöntemi, hesaplama gücünün ve algoritmaların spiral artışıdır ve birbirlerini tamamlarlar. Başlangıçta, hesaplama gücü çok küçüktür ve bilim adamları yalnızca en iyi algoritmaları inceleyebilirler. Ancak, hesaplama gücü büyük olduğunda, birçok algoritma işe yaramaz. Gazetelerin hepsinde şu sorun var: hesaplama gücü düşük olduğunda iyi çalışıyor, ancak hesaplama gücü yüksek olduğunda işe yaramaz. "" Özünde, yineleme algoritmaları ve hesaplama gücü sürecinde, en yeni nesil Algoritma, büyük veri ve büyük modellerin iki problemini çözer. Örneğin, NLP yaparsanız, büyük model Transformer'dır ve büyük veri ön eğitim yoluyla çözülür. "
NLP'nin görkemli çağını doğrudan yaratan da büyük model + büyük verinin "patlaması" dır.
Son yıllarda NLP alanında iki büyük atılım olduğunu belirtti: ilk atılım, basit bir modelden büyük bir Transformer tabanlı modele evrilen model perspektifinden yapıldı. Transformer'in avantajı, parametreler arttıkça etkinin iyileşmeye devam etmesi ve çok güçlü bir uzun mesafe modelleme yeteneğine sahip olmasıdır. Transformer modelinin bu iki avantajı, daha önce yapılamayan birçok şeyi yapmayı mümkün kılıyor. İkinci büyük ilerleme, etiketlenmemiş verileri etkili bir şekilde kullanabilen eğitim öncesi temelli bir yaklaşımı doğuran düşünme paradigmasındaki değişikliktir. "Basit bir ifadeyle, Transformer, modelin perspektifinden bir atılımdır. Ön eğitim yöntemi, düşünme paradigmasında bir dönüm noktasıdır. İlki, büyük bir modelin nasıl eğitileceği sorununu çözer ve ikincisi, büyük veri olmadan NLP sorununun nasıl çözüleceği sorununu çözer."
AI alanında kök salmak isteyen geliştiriciler için Yang Zhilin, zamanın fırsatlarını kavramanın çok önemli olduğunu söyledi. "AI geliştirme teknolojisini öğrenmek istiyorsanız, bunun iki yola ayrılabileceğini düşünüyorum: İlk yol yukarıdan aşağıya sistematik öğrenmedir. Örneğin, tamamını anlamanıza yardımcı olacak daha sistematik bir ders kitabına veya çevrimiçi kurslara bakın. Alanın bilgi ağının sistematik bir anlayışı vardır; ikinci yol aşağıdan yukarıya, talebe dayalı bir yaklaşımdır. Yani, önce gerçekte bir sorunla karşılaşırsınız ve ardından çeşitli çevrimiçi aramalarla bu sorundan başlarsınız. Literatürü araştırmak için araçlar. "Ve en önemli şey," Kod yazmalısınız! "Veya gerçek bir kod çalıştırmanız, sadece bakma-uygulama düzeyinde değil, çok önemlidir.
Yapay zeka, "tek başına insan-makine mücadelesinden" "insan-makine bağlantısına" kadar, sonunda iletişimi mümkün kılacaktır.
"Yapay zeka alanında, en çok 'Sinir Ağlarının Babası' Geofrey Hinton'a hayranlık duyuyorum çünkü en eski kurucusu ve önemi apaçık ortada." Yang Zhilin'i yıllarca doğal dil işleme alanında uygulama yapmaya devam etmeye iten de o. Ayrıca, "Dilin kendisinin daha ilginç olduğunu düşünüyorum. Dil, insan bilgisinin ve bilişinin taşıyıcısıdır. Bir makine dili anlayabilir ve sonra dilin anlaşılmasına bağlı olarak bazı kararlar verebilirse, aslında çok gelişmiş bir zekadır. Bu aynı zamanda yapay zeka alanında da görece önemli bir konu ... Öte yandan zamanlama ile ilgili çünkü araştırmama dört beş yıl önce başladığımda bilgisayarla görme CV veya konuşma tanıma atılımlar yaptı ve birçok etki elde edildi. Daha iyi yapıldı. Ancak NLP hala bazı atılımlardan yoksun. Bence bu alanda çözülmesi gereken daha zorlu sorunlar olacak. "
Google ve Facebook gibi önde gelen şirketlerin iş tecrübesi, sonraki başarılı girişimciliğinin de temelini attı. "Bu iki şirketten en doğrudan iki kazanım var: Birincisi, bazı araştırma sonuçları yapmış olmamız ve şimdi bunları fiilen kullanıyoruz, Aktif Öğrenme (aktif öğrenme) fikirleri ve doğrudan kullanılabilen ön eğitim modelleri dahil. İkinci kazanım ise daha kısmi bir metodolojidir.Yani bir problemle karşılaştığınızda büyük problemi daha küçük problemlere ayırmayı öğrenin ve sonra tek tek ayırın.Girişimcilik ve araştırmanın birçok ortak metodolojisi olduğunu düşünüyorum. . "
Ancak yapay zeka, iletişimi gerçekten güçlendirmeden önce, çözülmesi gereken bazı teknik zorluklar var. Üç ana husus olduğunu söyledi:
Birincisi, "tek başına insan-makine mücadelesinden" "insan-makine bağlantısı" na. Şu anda, piyasada diyalog robotları yapan çoğu şirket var ve aslında yaptıkları şey "insan ve makine tek başına savaşıyor". Örneğin satış senaryosunda robotun önce satış ipuçlarını takip etmesine izin verin, sonra daha iyilerini takip etsin; müşteri hizmetleri senaryosunda robot önce bazı basit soruları cevaplamak için kullanılır, sonra zor olanlar insana teslim edilir. Müşteri hizmetleri onu alır. Bu aslında parçalanmış bir durumdur Robotlar ve insanlar bağımsız görevler yapıyorlar ve işbirliği yok. "İnsanların ve makinelerin daha iyi bir araya gelmesini umuyoruz. Örneğin, satış sürecinde makine satış elemanına yardım sağlar ve insanlara karar vermede yardımcı olur veya makine insanlara çözümler önerir ve insanlar çözümleri uygular. Bence" insan-makine bağlantısı " Sonunda, sadece insanlar ve makinelerin ayrı ayrı savaşması değil, satış senaryolarının daha iyi bir biçimi olacak. " İkincisi, nispeten sığ müşterilerden derin karar verme çıktılarına ulaşmak. Hala diyalog robotlarına bir örnek: Müşterilere bazı basit bilgiler sunmak için genellikle otomatik giden robotlar kullanıyorlar veya bir anket toplamak için bazı basit sorular soruyorlar veya bir hatırlatma işlevi kullanıyorlar. Bunlar aslında nispeten sığ dokunuşlardır, bu da robotun yalnızca bilgi aktarımından sorumlu olduğu anlamına gelir ve bu nispeten basit bilgilerdir. "Yaptığımız şey, makine öğrenimi veya NLP algoritmalarının en önemli satış karar verme sürecine derin bir şekilde katılmasına izin vermektir; kimin takip etmesi gerektiği, onu neyi yönlendireceği, müşterilerle nasıl iletişim kuracağı vb. Üçüncüsü, makinenin kendi kendine öğrenme yeteneğine sahip olmasına izin verin. "İnsan-makine bağlantısını başardığımızda ve makineler insanlarla çalışabildiğinde, makinelerin algoritma modelini insan davranışı veya insan karar alma sonuçlarına göre otomatik olarak güncelleyip yükseltmesi, kapalı bir döngü oluşturması ve satış yeteneklerinin gelişmeye devam etmesine yardımcı olması gerekir. , Statik bir modelde kalmak yerine. "
Gartner'ın konteyner ürününde birinciliği kazanan Alibaba Cloud, bulut yerel için önemli savaşı kazandı!
Tencent mülakatçısı bana bunun gibi ikili ağaç hakkında soru sordu, bunda iyiyim | Kuvvet Projesi
GitHub 2000+ Star'ı edinerek, Aliyun'un açık kaynak Alink makine öğrenimi platformu çift 11 veri "oyunundan" nasıl daha iyi performans gösteriyor? | AI teknolojisi ekolojisi
Microsoft bir kişi için bir şirket mi satın alıyor? Sony programlarını kırın, hacker romanları yazın ve sağlam program hayatını izleyin!
Makine öğrenimi proje şablonu: Makine öğrenimi projesinin 6 temel adımı
IBM, Microsoft, Apple, Google, Samsung ... blok zincirindeki teknoloji devleri şimdiden çok şey yaptı!
Kıdemli programcının özeti: Linux sürecini analiz etmek için 6 yöntem, size hepsini anlatacağım
Bugünün refahı: yorum alanı seçildi, çevrimiçi 299 yuan değerinde "2020 AI Geliştiricileri Konferansı" nı alabilirsiniz Bir canlı bilet. Parmaklarınızı hareket ettirin ve söylemek istediklerinizi yazın.
