2,6 milyar parametre ile seviye insana yakın, Google'ın açık alan sohbet robotunun önemi nedir?
Zaman zaman teknoloji devleri, yapay zeka alanında şaşırmadığımız atılımlar yaptıklarını beyan ediyorlar.
28 Ocak 2020, yerel saatte Google, "tarihin en güçlüsü" olarak bilinen bir blogda açık etki alanı sohbet robotu olan Meena'yı tanıttı. Peki bu yeni atılım insanları parlatacak mı?
[Resim kaynağı: Google Blog sahibi: Google Blogu]
Açık alanda sohbet robotu geliştirmek zordur
Aslında akıllı sohbet robotları, bilgi patlaması çağında aşırı bilgi yüklemesi sorunuyla başa çıkmak için tasarlanmıştır. Başlangıçta insanlar, arama motorlarının nihai biçimi olarak sohbet robotları tasarladı ve geliştirdi. Mevcut arama motorlarından farklı olarak, sohbet botları, kullanıcıların sorularına doğal ve sorunsuz bir şekilde doğru yanıtlar vererek çok zaman kazandırır ve daha iyi bir kullanıcı deneyimi sağlar.
Kullanım senaryosuna göre iki ana sohbet robotu türü vardır: Açık Alan ve Görev Odaklı.
Bunların arasında, göreve yönelik tip, temel olarak, sırasıyla kullanıcının sorusuna dayalı bir cevap veren (genellikle akıllı evlerde akıllı arama ve ev aletleri kontrolü gibi senaryolarda kullanılan) ve kullanıcıyla çoklu diyaloglar gerçekleştiren sohbet robotlarına atıfta bulunan soru cevaplama sistemi ve diyalog sistemi sohbet robotlarını içerir. (Müşteri hizmetleri robotları, satış robotları vb.)
Adından da anlaşılacağı gibi açık etki alanı sohbet robotları (küçük sohbet robotları olarak da bilinir), Microsoft XiaoIce ve Apple Siri gibi sınırsız konu ve içerikle açık etki alanı diyalog senaryolarını hedefliyor. Google yukarıdaki blogda şunları belirtti:
Açık alan sohbet robotlarının araştırılması sadece akademik değere sahip olmakla kalmaz, aynı zamanda daha derin insan-bilgisayar etkileşimi, yabancı dil eğitiminin etkisini iyileştirme ve etkileşimli filmler ve oyun karakterleri yapma gibi birçok ilginç uygulamayı da teşvik eder.
Açık alan sohbet robotlarının, insanların "yapay zeka" konumlamasına daha uygun olduğunu ve geliştirilmesinin doğal olarak zor olduğunu belirtmekte fayda var Açık alan sohbet robotlarının karşılaştığı ciddi bir sorun, ifade ettikleri içeriğin genellikle anlamsız ve imkansız olmasıdır. Kullanıcının sorusu ile tutarlıdır ve temel sağduyu ve bilgi eksikliği nedeniyle hedeflenmiş bir yanıt vermek imkansızdır.
Ve Google tarafından geliştirilen Meena, açık alanlı bir sohbet botudur. Mevcut sohbet robotlarıyla karşılaştırıldığında, yenilikler nelerdir?
[Meena ile insanlar arasındaki görüşmenin içeriği. Resim kaynağı: Google Blog]
2,6 milyar parametre uçtan-uca sinir diyalog modeli
Google, blogda Meena'nın 2,6 milyar parametreli uçtan uca eğitilmiş bir sinirsel konuşma modeli olduğunu tanıttı; bu, GPT-2 modelinin 1,7 katı en büyük sürümüdür (1,5 milyar parametre). Google'ın en iyi sürümü elde etmek için 30 gün boyunca 2048 tensör işleme birimi (yani, Google'ın özel AI çipi olan Tensor İşleme Birimi) ile eğitmek için 40 milyar kelimelik bir veri kümesini kullandığı söyleniyor. Deneyler, Meena'nın sohbetleri sohbet botu SOTA'dan daha iyi tamamlayabildiğini ve içeriğin daha spesifik ve net olduğunu göstermiştir.
Meena'nın 1 Evrimleşmiş Transformatör kodlayıcı ve 13 Evrimleşmiş Transformatör kod çözücüsünden oluştuğu bildirildi: kodlayıcı diyalog içeriğini işlemek için kullanılır, bu da Meena'nın diğer tarafın sözlerini anlamasına yardımcı olur ve kod çözücü bilgiyi bir yanıt oluşturmak için kullanır. Bu süreçte Google şunları söyledi:
Araştırmacılar, hiperparametre ayarlamalarından sonra, yüksek kaliteli diyalog elde etmenin anahtarının daha güçlü bir kod çözücüde yattığını keşfettiler.
[Resim kaynağı: Google Blog sahibi: Google Blogu]
Leifeng.com, Google'ın 341 GB'lık metni kamu alanındaki sosyal medya konuşmalarından filtrelediğini ve metni "çok yönlü konuşma" eğitimi için ağaç benzeri bir bağlamda düzenlediğini öğrendi. Araştırmacı her diyalog turunu bir eğitim örneği olarak kullanır ve önceki 7 diyalog turu, birlikte bir veri seti oluşturan bağlamsal bilgilerdir. Bağlam olarak 7 tur diyalog seçmenin eğitim sürecinin yeterli bağlam bilgisi elde etmesini sağlayabileceği ve modelin bellek sınırını da aşamayacağı bildirildi. Sonuçta, metin ne kadar uzunsa, o kadar fazla hafıza kaplar.
Yeni önerilen insan değerlendirme endeksi SSA
Bloga göre, yukarıda bahsedilen performans, yeni önerilen insan değerlendirme endeksi "Hassasiyet ve Özgüllük Ortalaması (SSA)" temel alınarak Google tarafından elde edilmektedir. Sohbet robotlarının mevcut insan değerlendirme endeksi oldukça karmaşık olduğu için bu kez yeni dizin önerilmiştir. Ve tutarlı bir değerlendirme indeksi oluşturmak zordur. Google, SSA'nın insan konuşması için temel ancak önemli özellikleri yakalayabileceğini söylüyor.
Bu göstergeyi hesaplamak için araştırmacılar, Meena, Mitsuku, Cleverbot, DialoGPT ve Xiaoice gibi yaygın sohbet robotlarını test ettiler. Testte, araştırmacılar her bir chatbot için 100 sohbet içinde 1.600 ila 2.400 tur topladılar.Her bir chatbotun yanıtları, insan değerlendiriciler tarafından puanlandı (esas olarak konuşmanın akıcılığına ve cevabın doğruluğuna dayalı olarak) , İlgili performansı aşağıdaki şekilde gösterilmektedir.
[Resim kaynağı: Google Blog sahibi: Google Blogu]
Meena'nın insan performansına yakın olsa bile mevcut SOTA sohbet robotundan daha yüksek bir SSA puanına sahip olduğunu görmek zor değil.
Şaşkınlık, SSA ile güçlü bir şekilde ilişkilidir
Hiç şüphe yok ki insan değerlendirmesinde az ya da çok sorun var, bu nedenle birçok araştırmacı otomatik olarak hesaplanabilen bir değerlendirme indeksi bulmayı umuyor ve bu indeksin insan değerlendirmesine tam olarak karşılık gelmesi gerekiyor.
Leifeng.com, şaşkınlığın (herhangi bir sinirsel konuşma modeliyle kolayca elde edilebilen bir hesaplama indeksine atıfta bulunarak) seq2seq modeli olduğunu öğrendi (Leifeng.com Not: Kodlayıcı ve kod çözücüyü içeren tekrarlayan sinir ağının bir çeşidi. Doğal dil işlemede önemli bir modeldir.Makine çeviri, diyalog sistemleri ve otomatik özetlemede ortak bir gösterge olarak dil modellerinin belirsizliğini değerlendirmek için kullanılabilir.
Google'ın, kafa karışıklığının SSA ile yüksek oranda ilişkili olduğunu kanıtladığını belirtmekte fayda var.
Aslında Meena, kafa karışıklığını en aza indirmek ve bir sonraki belirtecin belirsizliğini tahmin etmek için eğitilmiştir (Lei Feng Net Not: Konuşmadaki bir sonraki kelimeyi ifade eder) - bloga göre, bunun nedeni Meena'nın özüdür. Evrimsel nöral mimari araştırmasıyla keşfedilen bir Transformer mimarisi olan Evolved Transformer seq2seq mimarisi kafa karışıklığını artırabilir.
Blogda Google, araştırmacıların katman sayısı, dikkat miktarı, eğitim adımlarının sayısı, kodlayıcı ve eğitim yöntemi gibi faktörlere göre 8 farklı modeli test ettiklerini belirterek, karışıklık ne kadar düşükse SSA puanının o kadar yüksek olduğunu tespit etti. Korelasyon katsayısı çok yüksektir (R ^ 2 = 0.93).
[Resim kaynağı: Google Blog sahibi: Google Blogu]
Google aynı zamanda şunları söyledi:
Araştırmacılar, algoritmaları, mimariyi, verileri ve hesaplamaları geliştirerek bu sinirsel konuşma modelinin kafa karışıklığını azaltmaya devam edecekler.
Meena anlamlı mı?
Blogda gösterilen verilere göre Meena'nın olağanüstü bir performansa sahip olduğuna inanıyoruz, ancak Meena'nın lansmanının ne zaman yapılacağı ve lansmandan sonra nasıl performans göstereceği soru işaretleri olabilir. Blogda, araştırma ekibinin şu anda bu araştırmanın riskleri ve faydaları hakkında daha fazla değerlendirme yapmakta olduğu ve önümüzdeki birkaç ay içinde bu alanın gelişimini desteklemek için Meena'yı başlatabileceği belirtiliyor.
VentureBeat muhabiri Ronald Ashri buna yanıt olarak raporunda şunları söyledi:
Her şeyden önce, Google tüm kodu açık kaynaklı olsa bile, çok az kişinin Meena gibi bir modeli eğitebileceğini bilmeliyiz. Meena hala laboratuvarda olmalı, operasyon da çok karmaşık, bir araca entegre edilemiyor ve Googleın bunu kısa sürede kullanıcılara hizmet olarak sunması imkansız. Bu nedenle, Meena'nın kısa vadede lansmanının zor olacağından korkuyorum.
Ek olarak, pratiklik açısından, açık alan sohbet robotu olarak Meena'nın birden fazla diyalog turu gerçekleştirebileceği doğrudur. Ancak Meena, kullanıcıların belirli bir görevi tamamlamalarına, belirli bir yeni beceriyi öğrenmelerine veya güçlük çeken kullanıcılara duygusal veya psikolojik destek sağlamalarına yardımcı olamaz ve kullanıcılarla sohbet etmenin net bir amacı yoktur. Ve zaman alıcı anlamsız sohbet, çağımız bağlamında ideal bir ürün gibi görünmüyor.
Aynı zamanda, muhabir Ronald Ashri, Meena hakkında başka sorular da gündeme getirdi. Yukarıda belirtildiği gibi, Google, daha fazla eğitim için kamuya açık sosyal medya görüşmelerinden 341 GB'lık metni filtreledi. Öyleyse, milyonlarca kamuya açık sosyal medya konuşması, bu sözde "tarihteki en güçlü sohbet robotu" için doğru veri kümesi olacak mı? Meena'nın uygunsuz kelimeler söyleyip söylemeyeceği de endişemizin bir noktası olabilir.
Son yıllarda, daha fazla yapay zeka sohbet çözümü hayata girdikçe, insan benzeri konuşmaları tanımlayan ve bu tür sohbetlerin sohbet robotları alanındaki rolünü keşfetmeye yönelik en değerli şeylere odaklanmamız gerekiyor.
Ronald Ashri'nin dediği gibi:
Meena bizi hedefe yaklaştırdı, ama henüz bizi hedefe götürmedi.
referans:
https://venturebeat.com/2020/02/01/just-how-big-a-deal-is-googles-new-meena-chatbot-model/
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html
