İki Çinli ve Amerikalı AI ustası "zirve diyalogu": NLP alanında bir "tek boynuzlu at" ın görünmesi neden zordur?
2017 yılında yapay zeka alanı bir dönüm noktasına girdi: Bu yıl, geleneksel bilgisayar görüşü ve konuşma tanıma yeni zirvelere ulaştı ve performansları da doygun hale geldi. . 2017 ImageNet görüntü tanıma yarışmasında, katılan 38 takımdan 29'unda hata oranı% 5'in altındaydı (2011'de en iyi performans gösteren takım da yaklaşık dörtte bir hata oranına sahipti). ImageNet, kısmen bu nedenle 2018 yılında veri setini değiştirerek zorluğu artıracağını duyurdu.
Sektörde, bilgisayarla görmeye odaklanan birçok şirket de önemli ilerleme kaydetmiştir. Temsili olanlardan biri, 2 milyar ABD dolarının üzerinde bir değerlemesi olan SenseTime'dır. Birkaç tur büyük ölçekli finansmanın ardından, tek boynuzlu attan deve dönüşme eğilimi zayıftır.
Ancak yapay zekanın bir diğer ilgili alanı olan doğal dil işleme bu seviyeye ulaşmış görünmüyor. Teknoloji açısından, bu alandaki teknik doğruluk oranı, bilgisayar görüşü ve konuşma tanıma seviyesinden çok uzaktır.Teknik ürünler (kişisel asistanlar gibi) genellikle alay konusu olur ve sadece sataşmak için kullanılabilir ve pratik değeri yoktur. Yeni kurulan şirketler açısından, doğal dil işleme alanı Shangtang, Megvii, Yitu ve Yuncong gibi "küçük devler" üretmedi.
Bu statükoların tümü sadece doğal dil işlemenin zorluğunu açıklar. Ancak bu teknolojinin zor olduğu kadar önemli olduğu da söylenebilir.
Microsoft'un kurucusu Bill Gates bir keresinde "Dil anlayışı yapay zeka alanında en önemli mücevherdir" demişti. Microsoft'un Başkan Yardımcısı Shen Xiangyang da 2017'nin sonunda halka açık bir konuşmada şunları söyledi: "Dil dünyayı anlıyor ... Önümüzdeki on yılda, yapay zekanın atılımı doğal dilin anlaşılmasında yatıyor ... Yapay zekanın insanlık üzerindeki en derin etkisi doğal dildir."
Yapay zeka iki önemli bölümden oluşur - "algılama" ve "biliş". Bunlar arasında, bilgisayarla görme ve konuşma tanıma, algısal kısma aitken, doğal dil işleme, bilişsel kısmın önemli bir parçasıdır. Bir "zeka" için, tek başına algılama kesinlikle yeterli değildir.İçeriği anlama ve sindirme bilişsel yeteneği gerçek anlamda özüdür.
Peki, bu "yapay zekanın tacındaki mücevheri" ne zaman çıkarabiliriz? Bu sorunun etrafında, Son zamanlarda, Bay DT, doğal dil işleme alanında iki liderle röportaj yaptı: Pennsylvania Üniversitesi profesörleri Dan Roth Microsoft Asya Araştırma Başkan Yardımcısı Zhou Ming ile .
Doğal dil işleme alanındaki uygulayıcılar için bu ikisinin bir itibarı vardır.
Resim | Profesör Dan Roth'un EmTech Çin Zirvesi'ndeki konuşması
Profesör Dan Roth, makinelerin makine öğrenimi ve muhakeme yoluyla doğal dili anlamalarına yardımcı olmaya kendini adamıştır. Kendisi aynı zamanda AAAS, ACL, AAAI ve ACM üyesidir. Birçok önemli konferansta program başkanı olarak görev yapmıştır. Aynı zamanda Çin Bilgisayar Topluluğu'nun sponsorudur. Uluslararası Doğal Dil İşleme ve Çin Hesaplama Konferansı'nın (NLPCC2018) başkanlarından biri.
Resim | Dr.Zhou Ming'in EmTech Çin Zirvesi'ndeki konuşması
Çin'deki doğal dil işleme alanındaki en iyi akademisyenlerden biri olan Dr.Zhou Ming, şu anda Microsoft Research Asia'nın başkan yardımcısı, Uluslararası Hesaplamalı Dilbilim Derneği'nin (ACL) başkan yardımcısı, Çin Bilgisayar Topluluğu'nun yöneticisi ve Çin Bilgi Teknolojisi Komitesi'nin direktörüdür. Terminoloji Çalışma Komitesi Direktörü, Çin Çin Bilgi Toplumu'nun yönetici müdürü ve diğer birçok pozisyonda, Harbin Teknoloji Enstitüsü, Tianjin Üniversitesi, Nankai Üniversitesi ve Shandong Üniversitesi gibi birçok okulda doktora öğretmeni.
Bay DT, iki NLP lideriyle yaptığı bir görüşmede şunu keşfetti: Görüşülen iki kişi bazı sıcak konular hakkında fikir ayrılığına düşüyor. Örneğin, son yıllarda profesyonel yarışmalar giderek daha popüler hale geldi.Dan Roth, bu tür yarışmaların uzun vadede bilimsel araştırma ve geliştirmeyi teşvik etmede çok az değeri olduğuna, Zhou Ming'in görüşlerinin ise çok daha olumlu olduğuna inanıyor. Doğal dil işleme ve bilgisayar görüsünün gelişimini karşılaştırırken, her ikisi de doğal dil işlemenin bilgisayar görüşünden çok daha karmaşık olduğuna ve hala çözülmemiş birçok sorun olduğuna inanıyor.
Yine de görüşmenin sonunda, Dan Roth ve Zhou Ming ayrıca doğal dil işlemenin 2018'de yeni bir ilerleme kaydetmesinin beklendiğine duydukları güveni ifade ettiler. Aşağıda röportajın tam metni yer almaktadır:
Çok büyük bir NLP başlangıcı görmedik
S: Doğal dil işleme alanında neden çok büyük bir başlangıç şirketi olmadı?
Zhou Ming: Bu soru çalışmaya değer. Genel olarak bunun nedeni, doğal dil işlemenin teknik zorluğunun çok büyük olması ve uygulama senaryolarının çok karmaşık olmasıdır.
Bir şirketin kurulması ve gelişmesi talebe bağlıdır. Görüntü tanıma için büyük bir talep var.Örneğin, güvenlik ve kimlik doğrulama için birçok uygulama senaryosu var.Her yerde kameralar var ve kimse gelemez. Bu nedenle, güvenlik alanı, bir eşiğe ulaştığı sürece hemen kullanılabilecek bir teknolojiyi dört gözle beklemekte ve derin öğrenme, son iki yılda bilgisayar görme seviyesini bu eşiğe yükseltmiştir. Ayrıca yukarıdaki yanıtın da söylediği gibi, Görüntü tanıma sorunu daha temiz, ayrıca hazır ve devasa sahneler var. Bu nedenle, teknolojide küçük bir ilerleme olduğu ve sahne doğal olarak birleştirildiği sürece, şirket hepsini bir kerede yapacaktır.
Özellikle saf doğal dil uygulamaları (arama dahil değil), özellikle makine çevirisi . Makine çevirisi için uzun vadeli bir talep var, ancak güvenlik ve kimlik doğrulaması için çok fazla talep yok. Dahası, makine çevirisi seviyesi yerinde değil. Bugün bile, makinelerin karmaşık cümleleri arka plana sahip çevirmesi zordur.
Ek olarak, doğal dil işleme uygulaması, kullanıcı arayüzüne çok fazla bağlıdır. Görüntü tanıma temelde UI'ye ihtiyaç duymaz, sadece bazı teknolojileri doğrudan sistemin içine entegre edin. Microsoft dahil olmak üzere tüm şirketler çeviri yazılımı kullanır.Eğer UI iyi değilse ve kullanıcı deneyimi iyi değilse, insanlar onu kullanmak istemeyecektir.
Teknolojinin sanayileşmesi ile ilgili en önemli şey iş modeli, yani teknolojinin nasıl para kazanacağıdır. Görüntü tanıma şirketlerinin para kazanma modeli oluşturuldu, ancak çeviri için ödeme yapmak çok daha zor. Bu nedenle, doğal dil, araştırmadan teknolojiye, inişten ticarileştirmeye kadar bir dizi zorlukla karşı karşıyadır.
Mevcut durum, doğal dil işleme teknolojisinin daha çok bir şirketin dahili iş zekası veya insan-makine arayüzü işlevleri gibi dahili teknolojisidir. Ancak bu, gelecekte böyle bir kanal bulamayacağımız anlamına gelmez.
Dan Roth: Çeşitli mesleki uygulamalarda, doğru doğal dil modelini seçmek gerekir Doğal dil alanında karşılaşılan tüm sorunları tek bir model çözemez. Doğal dil işleme, tüm sorunları çözebilecek sihirli bir kutuya sahip değildir , İlgili tüm bilgi tabanlarını kutuya koymalı, doğru algoritmayı seçmeli ve belirli problemleri hedefli bir şekilde ele almalısınız, bu durumda sonunda bu kutu bir etkiye sahip olacaktır. Bu statüko, teknoloji uygulamasının zorluğunu artırmıştır.
Örneğin, bilgisayar görüşünün gelişmesinin sonunda, sadece görüntüleri veya nesneleri tanımak değil, aynı zamanda bu nesnelerin bir sonraki eylemini, örneğin masaya bir şişe su koymak ve ardından şişeyi dışarı itmek gibi, tahmin edebilmektir. , Gelişmiş bir bilgisayar görüş sistemi, şişenin son yörüngesinin masanın altına düşebileceğini belirleyebilir. Ancak doğal dil işleme teknolojisi bu seviyeye ulaşamaz, tahmin edemez. Tüm kelimelerin anlamını yalnızca mevcut kelime kombinasyonu ve veri tabanına dayalı olarak yargılayabilir.
Bilgisayar görüşünün nesne tanıma doğruluğu yaklaşık% 100'e ulaşabilir ve doğal dilin mevcut okuma doğruluğu yalnızca yaklaşık% 90'dır ve bu, doğal dil işlemenin ticarileştirilmesinin önündeki en büyük engeldir. Profesyonel alanı kullanmak istiyorsanız, mevcut doğruluk açıkça yetersizdir.
Temel araştırmanın zorluklarını dikkate almasak bile, doğal dil işlemenin mevcut temel araştırma sonuçları bile iyi bir şekilde dönüştürülmüş görünmüyor. Birçok ürünün basın toplantısındaki etkisi, genellikle gerçek etkiden tamamen farklıdır.
Zhou Ming: Doğal dil işleme ürünlerinin mevcut sorunları genellikle teknolojiyle ilgili değildir, ancak ürün tasarımı ve kullanıcı arayüzünde yeterince iyi değildir.
Makine okuduğunu anlama ve makine çevirisi üzerine araştırma yaparken, genellikle sabit bir değerlendirme setinin yanı sıra F skoru ve doğruluk gibi değerlendirme yöntemlerine sahibiz. Ancak, deneyde puan% 100'e ulaşsa bile bunlar kullanıcının deneyimini temsil etmez. Teknoloji, ürünün uygulama yönünden bağımsız olarak gelişir ve ürünü yapan kişinin teknolojiyi uygularken tek bir akılla kullanması gerekir. Düşünmek zorundalar, İster teknolojinin% 78'i, ister teknolojinin% 88'i veya% 98'i, kullanıcı deneyimini en iyi hale getirmek için ürüne nasıl uygulanacağı.
Kullanıcı deneyimi için nelere dikkat edilmelidir? En önemli şey kullanıcı arayüzüdür. Sistemin% 100 doğru olması zor olduğundan, hatalı sonuçları kabul edebilmeleri için kullanıcıların nasıl çalıştığını ve hataları nasıl tolere edeceklerini düşünmek gerekir. Örneğin, arama motorlarının birden çok arama sonucu döndürmek için tasarlanması aslında çok zekice. Çünkü herkes aramanın bu kadar iyi bir seviyeye gelmediğini bilir, ancak birden fazla sonuç döndürüldüğünde kullanıcı arama motorundan şikayet etmez ancak arama motoru sonuçlarının düşüncesini genişlettiğini ve kötü şeyleri iyi şeylere dönüştürdüğünü düşünür.
Bu tür ustaca kullanıcı arayüzü tasarımı ve kullanıcı deneyimi tasarımı, doğal dil işleme yapan kişiler tarafından dikkatlice düşünülmelidir. İyi bir sistem ve araştırma, kullanıcı deneyiminin iyi yapılabileceği anlamına gelmez. Kullanıcının bakış açısından, kullanıcıların gerçek sorunlarını çözmek için teknolojinizi diğer tüm ilgili senaryolara nasıl entegre edeceğiniz.
Örnek olarak makine çevirisini ele alalım.Laboratuvarda, tüm kelimeler birçok kez test edildi ve gürültü yok. Etkisi kesinlikle iyidir. Ancak bir ürün yaparken konuşmayı, çevresel gürültüyü, arka plan gürültüsünü, uzak alan tanımayı, özel isimleri, aksanları vb. Dikkate alın. İyi yapılmazsa, çeviri sonucu bozulur.
Ama arka plan gürültüsü nasıl çözülür? İlk olarak, bazı ses tanıma sorunlarını çözmek için kullanıcı arayüzünü iyi ayarlayın ve sonra belki de basit çoklu diyalog turları sorununu çözün ve kullanıcının aksanını otomatik olarak ayarlayın. Kullanıcı çevirinin iyi olmadığını hissederse, onlarla etkileşim kurmanın uygun bir yolu olmalıdır. Bu sayede kullanıcılar, sistemin o kadar iyi olmamasına rağmen benim için birçok sorunu çözdüğünü hissedebilirler. Bu, tasarım seviyesini göz önünde bulundurma yeteneğidir.
Dolayısıyla bu teknoloji ile çözülmesi gereken bir sorun değil, ürün tasarımı ile çözülmesi gereken bir sorundur.
2018'de NLP'de nasıl bir ilerleme bekleyebiliriz?
Soru: Bu zorluklara ve sorunlara ek olarak, doğal dil işleme teknolojisi bu yıl veya önümüzdeki birkaç yıl içinde araştırma ve uygulama açısından daha büyük ilerleme sağlayabilir mi?
Dan Roth: Bilgi tabanını kullanarak, gelecekteki doğal dil işleme uygulamaları, şirketlere uzmanlıklarını belirli doğal dil işleme modellerine dönüştürmede yardımcı olacaktır. Bu modelleri kullanarak, doğal dil işleme teknolojisi çok iyi bir araç haline gelebilir ve insan yaşamının daha derin bir seviyesini etkileyebilir.
Zhou Ming: Dikey alanların belirli koruma eşikleri vardır (örneğin, bazı açıklanmamış veriler vardır), bu da büyük şirketlerin doğrudan giriş yapmasını engeller. Böyle bir alanda, genel doğal dil teknolojisini kullanmak yerine, bilgi grafiklerinde biraz keşif yapabilir, ayrıca alanın özelliklerine göre bazı özel optimizasyon ve hedefli araştırmalar yapabilirsiniz. . Bu şekilde, profesyonel bir bilgi haritası ve özel haritaya dayalı doğal dil anlama teknolojisi üretilebilir. Son olarak, tüm alanın üretkenliğini artırın.
Ek olarak, Sinir ağı makine çevirisi, okuduğunu anlama, sohbet diyaloğu ve oluşturma yardımı Bu dört uygulama, bu yıl ve gelecek yıl birçok yerde popüler hale getirilecek.İlgili uygulama senaryoları arasında arama motorları, kişisel asistanlar, sesli asistanlar, makine çevirisi, kişisel müzik üretimi, kişisel haber üretimi, çevrimiçi roman yazma, soru-cevap sistemleri vb. Yer alıyor. .
Bir diğer önemli uygulama ise Makine müşteri hizmetleri . Genelde kimse ürün el kitabını okumak istemez ancak bilgisayarın ürün klavuzunu okumasına izin verirseniz el kitabında ortaya çıkan ürün sorunlarını sorabilir, müşteri hizmetleri ve satış sonrası hizmet alanlarında iyi uygulamalara sahip olabilirsiniz. Akıllı müşteri hizmetleri, verimliliği artırmaya ve personeli kurtarmaya yardımcı olabilir. Sistem koltuk bazında da ücretlendirilebilir ve bir iş modeline sahiptir.
Olgun şirketler için her şeyden önce arama motorlarında iyileştirme için yer vardır. Arama motorunun okuma ve anlama yeteneği varsa, cep telefonu ekranında döndürülen sonuçlar özellikle doğrudur ve bu da büyük bir rekabet avantajı yaratacaktır. İkincisi, bilgi akışı artık çok önemli. Örneğin, Toutiao'nun arkasındaki öneri teknolojisinin metni anlaması, kullanıcıları anlaması ve ardından onları eşleştirmesi gerekir. Doğal dil işleme yeteneğimiz gelişirse, öneri seviyesi artacaktır.
Yeni başlayanlar için ilk fırsat makine çevirisidir , Ancak kullanıcı deneyimi ve iş modeli konusunda iyi bir iş çıkarmalıyız. İkinci fırsat müşteri hizmetleridir. Sonuncusu, dikey endüstriler için doğal dil işleme teknolojisinin geliştirilmesidir.
"Doğal dil işleme, bilgisayar görüşünden çok daha karmaşıktır"
Soru: Genel makine öğrenimi, yapay zeka ve makine görüşü ile karşılaştırıldığında, doğal dil işleme alanında benzersiz zorluklar var mı? Hangi çözümler var?
Dan Roth: Bilgisayar görüşü temelde nesne algılamadır. Birçok bilgisayarla görme uygulaması olmasına rağmen, temel algoritmalar temelde nesne algılama yönünden ayrılamaz ve bunların arkasındaki mantık oldukça tutarlıdır.
Ayrıca, bilgisayar vizyonunun teknolojik olgunluğu ticarileştirme standardına ulaştığı için birçok farklı şirketin filizlendiğini görüyoruz. Ancak doğal dil işleme ile durum tamamen farklıdır. Farklı senaryolar, farklı diller ve hatta farklı ana dallar, farklı seviyelerde doğal dil işleme gerektirir. Yani doğal dil işleme, bilgisayar görüşünden çok daha karmaşıktır , Ve mevcut uygulamalar hala oldukça azdır, bu birkaç uygulama için kendi algoritmalarınızı geliştirmek uygun maliyetli değildir.
Zhou Ming: Hem konuşma tanıma hem de görüntü tanıma, bir girdi ve bir çıktıdır ve sorun çok açık ve özdür. Örneğin, bir resim girerseniz, içinde çiçek mi yoksa çimen mi olduğuna karar vermeniz gerekir, sadece doğrudan yargılayın. Bu yönlerde birden fazla tur yoktur ve etkileşim gerekmez Genelde bilgi grafiklerine ve sağduyuya dayanmaz ve kullanıldığında bile çok az etkisi olduğu kanıtlanmıştır.
Ancak doğal dil işlemede bunu zorlaştıran üç önemli fark vardır:
Birincisi, doğal dil çok yönlüdür, Bir cümle tek başına görülemez, ya bağlamı vardır ya da ön ve arka diyalogları vardır. Mevcut derin öğrenme teknolojisi, birden çok tur ve bağlamı modellerken tek girişli tek çıkışlı problemden çok daha zordur. Bu nedenle, konuşma tanımada başarılı olan ve görüntü tanımada başarılı olan kişiler doğal dilde iyi olmayabilir.
İkincisi, doğal dilin çok yönlü özelliklerine ek olarak, Aynı zamanda arka plan bilgisi ve sağduyu bilgisini de içerir , Bu aynı zamanda herkes için nasıl model olunacağı açık değildir ve onlar tam olarak anlamazlar.
Üçüncüsü, doğal dil işleme, bireyselleştirme sorunlarıyla yüzleşmelidir. Aynı cümlede, farklı insanlar farklı ifadeler ve farklı ifadeler kullanır ve görüntüler genellikle çok fazla değişmez. Bu tür bir bireyselleştirme ve çeşitlendirme sorununun çözülmesi çok zordur.
Yapay zeka, algısal zeka (görüntü tanıma, dil tanıma ve jest tanıma vb.) Ve bilişsel zekayı (esas olarak dil anlama bilgisi ve akıl yürütme) içerdiğinden ve dil, bilişsel zekada en merkezi rolü oynar. Dolayısıyla bu sorunları çözersek yapay zekanın en zor kısmının da temelde çözüleceğini rahatlıkla söyleyebiliriz.
Soru: Bu problemler nasıl çözülür?
Zhou Ming: Teknolojinin geliştirilebileceğinin bir garantisi olmamasına rağmen, denemeye değer üç yön vardır:
İlk olarak, bağlamın modellenmesi, büyük ölçekli veri setlerinin kurulmasını gerektirir. Çoklu diyalog turları ve bağlam anlayışı gibi. Verileri etiketlerken bağlama dikkat edin. Bu tür veriler olmadan bir atılım yapmak zordur.
İkinci olarak, pekiştirmeli öğrenme çok önemlidir. Modeli daha optimize hale getirmek için modeli tersine çevirmemiz ve kullanıcı geri bildirimlerine göre parametre düzeltmeleri yapmamız gerekiyor. Pekiştirmeli öğrenme doğal dil alanında yeni kullanılmaya başlandı, performans istikrarlı değil ama gelecekte iyi bir şans var.
Üçüncüsü, sağduyu ve mesleki bilgiyi tanıtmalı ve bu bilgiyi iyi inşa etmeliyiz. Bu soruları daha doğru cevaplayacaktır. Sağduyu bilgisinin dil Soru-Cevap ve aramada ne kadar yararlı olduğunu kimse kanıtlayamaz. Bu nedenle, sonuçları doğrulamak için bir test setine ihtiyacımız var. Bu test seti, sistem performansının iyileştirilip iyileştirilemeyeceğini görmek için yeni modelleri (pekiştirmeli öğrenme veya bilgi grafikleri gibi) durdurmadan deneyip hata yapabilmemiz için özellikle bağlamı ve sağduyuyu test etmelidir.
Makine anlayışı rekabetinin değeri nedir?
Şekil Stanford Soru Cevaplama Veri Setinin (Stanford Soru Cevaplama Veri Seti) tam adı olan SQuAD, Stanford Üniversitesi Doğal Dil İşleme Laboratuvarı tarafından geliştirilen bir veri seti ve yarışmadır. SQuAD verileri Wikipedia makalelerinden gelir. Veri açıklayıcısı, makaledeki bazı kelimeleri çıkardı ve katılımcı ekiplerden, modelin makaleyi anlayıp anlamadığını test etmek için boşlukları tekrar doldurmak için modeli kullanmalarını istedi.
Soru: 2017'de Microsoft Research Asia, Alibaba ve Harbin Institute of Technology-IFLYTEK Ortak Laboratuvarı, kendi modellerinin makaleleri anlamada insan açıklamaları düzeyini aştığını duyurdu ve bu da birçok yankı ve tartışmaya neden oldu. SQuAD gibi yarışmaların puan kazanmak için bazı hileleri var mı? Sektöre benzer yarışmalar ne kadar önemli? Ne tür veri kümelerine ve yarışmalara ihtiyacımız var?
Dan Roth: Bu tür bir rekabet, teknik altyapının iyileştirilmesine belirli bir katkı sağlayacaktır. Ancak uzun vadede, bilimsel araştırma ve geliştirmeyi teşvik etmede pek bir değeri yoktur. .
Örneğin, aynı veri seti bir veya iki yıl boyunca rekabet etmek için kullanılırsa, rekabetin kendisi anlamını tamamen kaybedecektir. Bunun ana nedeni, eğer insanlar sadece rekabet verileri için eğitim alıyorsa, genel olarak ilgilendiğimiz sorunların çözülmesi yerine, sonunda gerçek teknolojik ilerlemeyi göremeyeceğiz, sadece Yarışmanın sıralamasına göre geliştirilen çeşitli beceriler.
Resim | Profesör Dan Roth, DT Jun ile röportajı kabul etti
Zhou Ming: Bazı SQuAD ayarları puanlamayı etkili bir şekilde önleyebilir. Örneğin, veri seti büyüktür ve test seti yayınlanmamıştır. Genel olarak, Stanford'un SQuAD'sinin doğal dil işleme alanında bir dönüm noktası inovasyonu olduğu söylenebilir. İnsanlar genel olarak okuduğunu anlama yapıyorlardı ve hangi seviyeye geldiklerini asla bilemediler. Ancak şimdi Stanford, ince ayar yoluyla performansı iyileştirmesi (ince ayar) kolay olmayan büyük ölçekli bir veri seti oluşturdu. Aslında bu alanı tanıtmak çok etkilidir.
Ancak SQuAD'in sorunları var. Ancak doğru tutum, test setinin yeni zorluklarını ustaca tasarlamak ve bu zorlukları tek tek, okuduğunu anlamanın içerdiği teknik zorlukların üstesinden gelmek olmalıdır. Zamanla, genel okuduğunu anlama düzeyimiz döngüsel olarak artacak ve nihayetinde gerçekten ortalama insan düzeyine yaklaşacaktır.
Resim | Dr.Zhou Ming, DT Jun ile röportaj yaptı
Örneğin, SQuAD çok fazla muhakeme yeteneği içermez, özellikle muhakeme yeteneğini test etmek için bir test seti yapabiliriz. Akıl yürütme ayrıca birkaç seviyeye ayrılabilir: basit akıl yürütme yukarıdakilere göre gerekçelendirilebilir, karmaşık muhakeme tam metne dayalı olarak gerekçelendirilebilir ve daha karmaşık muhakeme, arka plan ve alan bilgisini bile kullanmalıdır. Böyle bir zorluk seviyesi yapabilirseniz, yarı başarılı olursunuz.
Gelecekteki araştırmaların başarısı için iki önemli faktör vardır, biri model, diğeri ise rekabeti değerlendirmek için kullanılabilecek veri setidir.
