g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Kaynak: Microsoft Research AI manşetleri

Bu makale toplam 8800 kelimeden oluşmaktadır. , 10+ dakika için önerilen okuma .

Bu makale, gelecekteki teknoloji için bir plan çizmeye çalışan birden fazla AI alanının ileriye dönük perspektiflerinden başlıyor.

1998'deki kuruluşundan bu yana, Microsoft Research Asia, bilgisayar bilimi alanında en son teknolojilerin geliştirilmesini desteklemeye kendini adamıştır. Akademi'nin kuruluşunun 20. yıl dönümünde, Microsoft Research Asia'nın farklı alanlarından uzmanları, makine öğrenimi, bilgisayar görüşü, sistem mimarisi, grafikler, doğal dil gibi kendi alanları perspektifinden birlikte bir dizi "Geleceği Öngörmek" makalesi yazmaya özel olarak davet ettik. İşleme gibi birden çok yönden başlayarak, gelecekteki teknoloji için bir plan çizmeye çalışmak.

NLP, yapay zeka alanının önemli bir parçasıdır ve NLP'nin ilerlemesi yapay zekanın gelişimini destekleyecektir. NLP, son yirmi yılda makine öğrenimi ve derin öğrenmenin araştırma sonuçlarını kullanarak birçok açıdan büyük ilerleme kaydetti. Önümüzdeki on yıl, NLP gelişiminin altın dönemi olacak. Bu makalede, Microsoft Research Asia Natural Language Computing Group'tan araştırmacılar, NLP'nin bizim için yaptığı teknolojik ilerlemeyi değerlendirecek ve gelecekteki araştırma etkin noktalarını dört gözle bekleyecekler.

Bill Gates bir keresinde şöyle demişti: "Dil anlayışı, yapay zekanın tacındaki mücevherdir" . Doğal Dil İşlemedeki (NLP) gelişmeler, yapay zekanın genel ilerlemesini destekleyecektir.

NLP'nin tarihi neredeyse bilgisayarların ve yapay zekanın (AI) tarihi kadar uzundur. Bilgisayarların doğuşundan bu yana yapay zeka üzerine araştırmalar yapılmakta olup, yapay zeka alanında ilk araştırmalar makine çevirisi ve doğal dil anlayışıdır.

1998 yılında Microsoft Research Asia'nın kurulmasının başlangıcında, NLP en önemli araştırma alanlarından biri olarak belirlendi. 20 yıllık refahın ardından, önceki dekanların desteğiyle Microsoft Research Asia, NLP'nin ve yetenek eğitiminin yaygınlaşması ve geliştirilmesini teşvik etmede olağanüstü başarılar elde etti. Toplam 100'den fazla ACL konferans makalesi yayınlanmış, iki kitap "Makine Çevirisi" ve "Akıllı Sorular ve Cevaplar" yayınlanmış ve 500 stajyer, 20 doktor ve 20 post-doktor eğitilmiştir.

Geliştirdiğimiz NLP teknolojileri, giriş yöntemleri, kelime segmentasyonu, sözdizimsel / anlamsal analiz, özetler, duygu analizi, soru-cevap, diller arası erişim, makine çevirisi, bilgi grafikleri, sohbet botları, kullanıcı portreleri ve önerileri vb. İçerir. Windows'ta yaygın olarak kullanılmaktadır. Office, Bing, Microsoft Bilişsel Hizmetler, Xiaoice, Xiaona ve diğer Microsoft ürünleri. Innovation Technology Group işbirliği ile geliştirilen Microsoft Couplet ve Bing Dictionary binlerce kullanıcıya hizmet vermiştir.

Son yirmi yılda, NLP, büyük ölçekli etiketli verilere dayalı uçtan uca öğrenmeyi gerçekleştirmek için istatistiksel makine öğrenimi yöntemlerini kullandı ve önemli ilerleme kaydetti. Özellikle son üç yılda, derin öğrenme NLP'ye yeni gelişmeler getirdi. Hangisi içinde Tek cümle çeviri, çıkarımlı okuduğunu anlama, dilbilgisi denetimi Görevleri beklerken, insanlarla kıyaslanabilecek bir seviyeye ulaştı.

Aşağıdaki yargılara dayanarak, önümüzdeki on yılın NLP geliştirme için altın dosya olacağına inanıyoruz:

Çeşitli endüstrilerden Büyük veriye kısa mesaj gönderin Daha iyi toplanacak, işlenecek ve saklanacaktır.

Arama motorları, müşteri hizmetleri, iş zekası, sesli asistanlar, çeviri, eğitim, hukuk, finans ve diğer alanlardan NLP'ye olan talep büyük ölçüde artacak Ayrıca, NLP kalitesine ilişkin daha yüksek gereksinimleri ortaya koymaktadır.

Metin verileri, ses ve görüntü verilerinin çok modlu füzyonu, gelecekteki robotlar için katı bir talep haline geldi. Bu faktörler, NLP'ye yatırımı daha da teşvik edecek ve daha fazla insanı NLP'nin araştırma ve geliştirmesine katılmaya çekecektir. Bu nedenle, durumu değerlendirmemiz, kilit noktaları kavramamız, zamanında plan yapmamız ve daha büyük atılımlarla yüzleşmemiz gerekiyor.

Bu nedenle, NLP araştırması aşağıdaki yönlere yönelecektir:

• Mevcut veriye dayalı öğrenme sistemine bilgi ve sağduyu getirin.
• Düşük kaynaklı NLP görevleri için öğrenme yöntemleri.
• Bağlam modelleme, birden fazla anlamsal anlama turu.
• Anlamsal analiz, bilgi ve sağduyuya dayalı açıklanabilir NLP.

Anahtar bilgi: NLP teknolojisinin gelişimi

Bazen doğal dil anlayışı olarak adlandırılan doğal dil işleme, Doğal dildeki cümleleri ve metinleri analiz etmek, önemli bilgileri çıkarmak, alma, soru-cevap, otomatik çeviri ve metin oluşturmak için bilgisayarları kullanmayı hedefler . Yapay zekanın amacı, bilgisayarların dinlemesini, konuşmasını, dili anlamasını, düşünmesini, sorunları çözmesini ve hatta yaratmasını sağlamaktır. Hesaplamalı zeka, algısal zeka, bilişsel zeka ve yaratıcı zeka dahil olmak üzere çeşitli düzeylerde teknoloji içerir. Bilgisayarlar, bilgi işlem zekası, yani bellek ve hesaplama yeteneklerinde insanları çok geride bıraktı. Algısal zeka, bilgisayarın insan kulağı, gözleri ve ellerine eşdeğer olan işitme, görme ve dokunma dahil çevreyi algılama yeteneğidir.

Şu anda, algısal zeka teknolojisi büyük ilerleme kaydetmiştir; bilişsel zeka, doğal dil anlayışını, bilgisini ve muhakemeyi içerirken, hala derinlemesine araştırmayı beklemektedir; yaratıcı zeka üzerine çok fazla araştırma yoktur. Bill Gates bir keresinde "Doğal dil anlayışı yapay zekanın tacındaki mücevherdir" demişti. NLP'nin ilerlemesi, yapay zekanın genel ilerlemesini destekleyecektir.

Derin öğrenme ile yönlendirilen NLP, birçok alanda büyük ilerleme kaydetmiştir. Şimdi NLP'nin aşağıdaki önemli teknik gelişmelerine kısaca bir göz atalım:

• Sinir makinesi çevirisi
• Akıllı insan-bilgisayar etkileşimi
• Makine okuduğunu anlama
• Makine oluşturma

1. Nöral Makine Çevirisi

Nöral makine çevirisi, insan beynini simüle eden çeviri sürecidir.

Çevirinin görevi, kaynak dil cümlelerini aynı anlambilimle hedef dil cümlelerine dönüştürmektir. İnsan beyni çeviri yaparken önce cümleyi anlamaya çalışır, sonra cümlenin anlamsal temsilini zihinde oluşturur ve son olarak anlamsal gösterimi başka bir dile dönüştürür. Nöral makine çevirisi, insan beynini simüle eden çeviri sürecidir ve iki modül içerir: biri kaynak dil cümlesini anlamsal uzayda bir vektör temsiline sıkıştırmaktan sorumlu kodlayıcıdır ve vektörün kaynak dil cümlesinin ana anlam bilgisini içermesi beklenir; Diğeri, kodlayıcı tarafından sağlanan anlamsal vektöre dayalı anlamsal olarak eşdeğer hedef dil cümleleri üreten kod çözücüdür.

Nöral makine çeviri modelinin avantajları üç yöndedir:

• Biri Uçtan uca eğitim , Artık istatistiksel makine çevirisi yöntemi gibi birden çok alt modelle üst üste binmez, dolayısıyla hata yayılmasına neden olur;
• iki Dağıtılmış bilgi temsilini kullanın , Çok boyutlu çeviri bilgisini otomatik olarak öğrenebilir, yapay özelliklerin tek taraflılığını önleyebilir;
• Üç yapabilir Küresel bağlamsal bilgilerden tam olarak yararlanın Çeviriyi tamamlamak için artık kısmi ifade bilgileriyle sınırlı değildir.

Tekrarlayan sinir ağı modeline dayalı makine çeviri modeli, önemli bir temel sistem haline gelmiştir.Bu yönteme dayanarak, ağ modeli yapısından model eğitim yöntemine kadar birçok iyileştirme ortaya çıkmıştır.

Nöral makine çeviri sistemlerinin çeviri kalitesi sürekli gelişiyor ve insanlar makine çevirisinin insan çevirisi düzeyine nasıl ulaşacağını araştırıyor. 2018 yılında, Microsoft Research Asia ve Microsoft Translation Ürün Ekibi tarafından geliştirilen Çince-İngilizce makine çevirisi sistemi, WMT2017 haber etki alanı testi veri setinde insan profesyonel çeviri kalitesiyle karşılaştırılabilir bir seviyeye ulaştı (Hassan ve diğerleri, 2018 ). Sistem, büyük ölçekli tek dilli verileri verimli bir şekilde kullanabilen ortak eğitim ve ikili öğrenme teknolojilerinin yanı sıra maruz kalma yanlılığı sorununu çözen tutarlılık düzenleme teknolojileri ve müzakere ağ teknolojileri dahil olmak üzere Microsoft Research Asia tarafından önerilen dört gelişmiş teknolojiyi bir araya getiriyor.

2. Akıllı insan-bilgisayar etkileşimi

Akıllı insan-bilgisayar etkileşimi, insanlar ve makineler arasındaki doğal iletişimi gerçekleştirmek için doğal dilin kullanılmasını içerir. Önemli kavramlardan biri "platform olarak diyalog" dur.

"Diyalog platformdur" (CaaP, Conversation as a Platform) 2016 yılında Microsoft CEO'su Satya Nadella tarafından önerilen bir konsepttir. Yeni nesil grafik arayüzlerin diyalog olduğuna ve tüm yapay zeka ve bilgisayar ekipmanına yeni bir boyut getireceğine inanıyor. Devrim.

Satya bu kavramı önerdi çünkü: Öncelikle, herkesin başkalarıyla sohbet etmek için WeChat ve Facebook gibi sosyal araçları kullanmaya alışması sürecinden kaynaklanıyor. Bu iletişim sürecini günümüz insan-bilgisayar etkileşiminde sunmayı umuyoruz. İkinci olarak, şu anda karşı karşıya olduğunuz cihazların bazılarının çok küçük ekranları (cep telefonları gibi) var ve bazılarının ekranı bile yok (bazı IoT cihazları gibi) ve ses etkileşimi daha doğal ve sezgiseldir. Konuşmalı insan-bilgisayar etkileşimi, Bot'u kahve siparişi verme, bilet satın alma vb. Gibi bazı belirli işlevleri tamamlaması için arayabilir. Pek çok şirket CAAP platformunu açtı ve tüm dünyadaki geliştiricilerin bir ekosistem oluşturmak için en sevdikleri Bot'u geliştirmelerine izin verdi.

Microsoft Xiaona gibi görev odaklı diyalog sistemleri bilgisayarlarla iletişim kurmak için cep telefonlarını ve akıllı cihazları kullanır.İnsanlar komutlar verir ve Xiaona görevleri anlar ve tamamlar. Aynı zamanda Xiaona, alışkanlıklarınızı anlar ve size bazı samimi ipuçları vermek için inisiyatif alabilir. Microsoft Xiaobing gibi sohbet botları da sohbetten sorumludur. Xiaona'nın görev yürütmeye odaklanan teknolojisi veya Xiaoice'un sohbet sistemi, arkasındaki birim işleme motoru üç katmanlı teknolojiden başka bir şey değildir:

• İlk katman: genel sohbet robotu;
• İkinci katman: arama ve soru ve cevap (Infobot);
• Üçüncü katman: belirli görevler için diyalog sistemi (Bot).

Sohbet sisteminin mimarisi

3. Makine okuduğunu anlama

Doğal dil anlamanın önemli bir araştırma konusu okuduğunu anlamadır.

Okuduğunu anlama, bilgisayarın makaleyi tekrar okumasına, bu makaleler hakkında bazı sorular sormasına ve bilgisayarın bunları cevaplayıp cevaplayamayacağına bakmaya izin vermektir. Makine okuduğunu anlama teknolojisinin geniş uygulama olanakları vardır. Örneğin, arama motorlarında, kullanıcıların aramalarına (özellikle soru tipi sorgulara) daha akıllı cevaplar sağlamak için makine okuma anlama teknolojisi kullanılabilir. Kullanıcılara doğrudan doğru yanıtlar sağlamak için tüm İnternet belgelerini okuyor ve anlıyoruz.

Aynı zamanda bu Mobil sahneler için kişisel asistan Microsoft Cortana (Cortana) gibi doğrudan uygulamalara da sahiptir:

• Akıllı müşteri hizmetleri Makineyi, otomatik olarak metin belgelerini (kullanım kılavuzları, ürün açıklamaları vb.) Okumak veya müşteri hizmetlerinin kullanıcı sorularını yanıtlamasına yardımcı olmak için kullanabilirsiniz;
• içinde Ofis alanı Kişisel e-postaları veya belgeleri işlemek için makine okuduğunu anlama teknolojisi kullanılabilir ve ardından ilgili bilgileri elde etmek için doğal dil sorguları kullanılabilir;
• içinde Eğitim alanı Soruya yardımcı olmak için kullanılabilir;
• içinde Yasal alan Yasal terimleri anlamak, avukatlara veya hâkimlere yargılarda bulunmada yardımcı olmak; finans alanındaki yapılandırılmamış metinlerden (haberler gibi) finansalla ilgili bilgileri çıkarmak için kullanılabilir.

Makine okuduğunu anlama teknolojisi genel bir yetenek oluşturabilir ve üçüncü taraflar buna dayalı daha fazla uygulama oluşturabilir.

Stanford Üniversitesi, Temmuz 2016'da 100.000 insan etiketli soru ve yanıt içeren, okuduğunu anlama teknolojisini (SQuAD) değerlendirmek için büyük ölçekli bir veri seti yayınladı. SQuAD veri setinde, pasajlar Wikipedia makalelerindendir.Her pasaj kitle kaynaklıdır. Açıklayıcılar 5 soru sorar ve sorunun cevabı pasajdaki bir alt segmenttir. Etiketli veriler, eğitim seti ve test setine bölünmüştür. Eğitim seti, okuduğunu anlama sistemini eğitmek için kamuya açıklanırken, test seti halka açık değildir. Katılımcıların, geliştirilen algoritmaları ve modelleri operasyon için Stanford'a göndermeleri ve ardından sonuçları web sitesinde raporlamaları gerekir.

Başlangıçta 100 puan örnek alırsak, bir kişinin seviyesi 82,3 civarında ve bir makinenin seviyesi sadece 74 puan, ki bu makineden çok uzak. Daha sonra, sürekli iyileştirme yoluyla, makine okuduğunu anlama performansı kademeli olarak iyileştirildi. Ocak 2018'de, Microsoft Research Asia tarafından sunulan R-Net sistemi, SQuAD veri kümesinde ilk kez 82.65 doğrulukla bu göstergede insan performansını aştı. Daha sonra Alibaba, iFLYTEK ve Harbin Institute of Technology sistemleri de bu göstergede insan seviyesini aştı. Okuduğunu anlama teknolojisinin yeni bir aşamaya girdiğine işaret ediyor.

Son zamanlarda, Microsoft Research Asia'nın NL-Net ve Google'ın BERT sistemi, bulanık eşleme göstergelerinde insan seviyesini aştı. Okuduğunu anlama teknolojisinin tanıtımı için, anahtar rol oynayan SQuAD veri setine ek olarak, aşağıdaki gibi üç faktör vardır:

• Birincisi, uçtan uca derin bir sinir ağıdır;
• İkincisi, önceden eğitilmiş sinir ağı;
• Son olarak, sistem ve ağ yapısında sürekli yenilik vardır.

4. Makine Oluşturma

Makineler birçok rasyonel şey yapabileceği gibi bazı yaratıcı şeyler de yapabilir.

2005 gibi erken bir tarihte, Microsoft Research Asia, o zamanki dekan Shen Xiangyang'ın önerisi ve desteğiyle "Microsoft Couplet" sistemini başarıyla geliştirdi. Kullanıcı üst bağlantıyı gönderir, bilgisayar alt bağlantıyı ve yatay grubu gönderir, cümle çok temizdir.

Bu temelde, metrik şiir ve karakter bulmacaları için art arda akıllı sistemler geliştirdik. Bir anagram oyununda, kullanıcı, sistemin kelimeyi tahmin etmesini sağlamak için bir bulmaca yüzeyi verir veya sistem, kullanıcının kelimeyi tahmin etmesine izin vermek için bir bulmaca yüzeyi verir. 2017'de Microsoft Research, ücretsiz şiir yazmak için bir bilgisayar sistemi ve şarkı sözü ve müzik bestelemek için bir sistem geliştirdi. CCTV'nin "Better Wit" programı, bir zamanlar Microsoft'un bilgisayarında beste ve insan yarışmacılarla birlikte şarkı sözleri ve müzik bestelemesi yaptı. Bu olay, büyük veri varsa derin öğrenmenin insan yaratıcı zekasını simüle edebileceğini ve ayrıca uzmanların daha iyi fikirler üretmesine yardımcı olabileceğini gösteriyor.

Sözler söz konusu olduğunda, bir şarkı sözü yazmak önce temayı belirlemelidir. Örneğin, kelime vektörü gösterme teknolojisini kullanarak "sonbahar", "yıllar", "hayatın değişimleri" ve "ünlem" ile ilgili bir şarkı yazmak istiyorsanız, "sonbahar esintisi", "yıllar", "yıllar" ve "değişim" gibi kelimelerin karşılaştırmasını bilebilirsiniz. Bununla ilgili olarak, konu genişletilerek, üretilen sonuçlar insanların istediği şarkı sözlerine karşı önyargılı olarak sınırlandırılabilir. Ardından, konu modelinin kısıtlamaları altında, şarkı sözlerinin önceki cümlesinden sonraki cümleyi oluşturmak için sıralı bir sinir ağı kullanılır. İlk cümle ise, kullanın Sözlerin ilk cümlesini oluşturmak için girdi olarak özel bir sıra kullanılır, böylece şarkı sözlerinin her cümlesinin bir döngü içinde üretilmesi sağlanır.

Burada ayrıca besteciliğe kısa bir giriş var. Bir kelime için bir şarkı bestelemek için, sadece melodinin iyi olup olmadığını değil, aynı zamanda şarkının kelimeye karşılık gelip gelmediğini de dikkate almak gerekir. Bu bir çeviri sürecine benzer. Bununla birlikte, bu çevirideki yazışmalar, doğal dil çevirisinden daha katıdır. Her notanın şarkı sözlerindeki her kelimeye karşılık geldiğini kesin olarak şart koşması gerekir. Örneğin, her cümlede N kelime var, o zaman bu cümlenin karşılık gelen şarkısını N parçaya bölmek ve ardından yazışmayı sırayla tamamlamak gerekiyor. Böylelikle "çeviri" sürecinde makul bir puan "çevrilmeli", müzik ve sözler arasındaki yazışmalar da verilmelidir. Şarkı sözlerinin "tercümesinden" skor oluşturmaya kadar olan süreci tamamlamak için gelişmiş bir sekans-sekans sinir ağı modeli kullandık.

Trend olan sıcak nokta: NLP değer teknolojisi

Son NLP araştırmasından, dikkat etmeye değer bazı teknolojik gelişme trendleri olduğuna inanıyoruz. İşte beş husus:

• Önceden eğitilmiş sinir ağı
• Öğrenimi ve çok görevli öğrenmeyi aktarın
• Bilgi ve sağduyuya giriş
• Düşük kaynaklı NLP görevleri
• Multimodal öğrenme

Sıcak konu 1: Eğitim öncesi sinir ağı

Önceden eğitilmiş temsillerin nasıl daha iyi öğrenileceği bir süre için sıcak bir araştırma konusu olmaya devam ediyor.

Kelimelerin temsilini dil modellerine benzer bir şekilde öğrenerek, belirli görevler için paradigması yaygın olarak kullanılmıştır. Bu neredeyse doğal dil işleme standardı haline geldi. Bu paradigmanın eksikliklerinden biri, kelime temsilinin bağlamdan yoksun olması ve bağlamın modellemesinin hala tamamen öğrenme için sınırlı açıklama verilerine dayanmasıdır.

Aslında, derin sinir ağlarına dayanan dil modelleri, metin dizilerini öğrenmiştir. Dil modelinin tarihsel parametrelerinin bir kısmı da kullanılırsa, önceden eğitilmiş bir bağlama duyarlı temsil elde edilebilir. Bu, Matthew Peters ve diğerlerinin 2018 NAACL makalesi "Derin Bağlamsal Kelime Temsilleri" ndeki çalışmasıdır. Büyük miktarda metin üzerinde LSTM tabanlı bir dil modeli eğittiler.

Son zamanlarda, Jacob Delvin ve diğerleri yeni bir ilerleme kaydetti: Çok katmanlı Transformatör mekanizmasına dayalı olarak, cümledeki kelimenin kayıp işlevini tahmin etmek ve bir sonraki cümlenin kayıp işlevini tahmin etmek için "MASKED" olarak adlandırılan modeli kullanıyorlar. BERT ", birden fazla doğal dil işleme görevinde mevcut en iyi seviyeye ulaştı. Yukarıda bahsedilen tüm önceden eğitilmiş modeller, belirli görevlere uygulandığında, ilk olarak bu dil modelinin LSTM'sini kullanarak giriş metninin bağlama duyarlı bir temsilini elde eder ve ardından bu temsile dayalı özel görevle ilgili modelleme öğrenimi gerçekleştirir. Sonuçlar, bu yöntemin dilbilgisi analizi, okuduğunu anlama ve metin sınıflandırması gibi görevlerde önemli gelişmeler sağladığını göstermektedir. Son zamanlarda, bu eğitim öncesi modelin çalışması bir araştırma noktası haline geldi.

Önceden eğitilmiş temsillerin nasıl daha iyi öğrenileceği, bir süre daha sıcak bir araştırma konusu olmaya devam edecek. Ön eğitim için hangi ayrıntı (kelime, alt kelime, karakter) kullanılır, eğitim için hangi dil modeli yapısı (LSTM, Transformer, vb.) Kullanılır, ne tür veriler (farklı türlerin metinleri) ve nasıl ön eğitim yapılır? Eğitilmiş modelin belirli görevlere uygulanması, sürekli olarak incelenmesi gereken bir sorundur.

Mevcut ön eğitim çoğunlukla dil modellerine dayanmaktadır. Bu tür ön eğitim modelleri en çok sıralı etiketleme görevleri için uygundur.İki soru ve cevap dizisinin eşleşmesine dayanan soru ve cevap görevleri gibi görevler için, daha iyi bir eğitim öncesi modelin olup olmadığını araştırmak gerekir. Veriler ve yöntemler. Gelecekte, farklı yapılara ve farklı verilere dayalı eğitime sahip birçok önceden eğitilmiş modelin olması muhtemeldir. Belirli bir görev için, uygun bir eğitim öncesi modelin hızlı bir şekilde nasıl bulunacağı ve en iyi uygulama yönteminin nasıl otomatik olarak seçileceği de olası bir araştırma konusudur.

Sıcak konu iki: aktarım öğrenimi ve çoklu görev öğrenimi

Yeterli eğitim verisi bulunmayan doğal dil işleme görevleri için, aktarım öğrenmesi çok önemli ve pratik bir öneme sahiptir. Çok görevli öğrenme, modelin farklı görevler arasında paylaşılan bilgi ve bilgileri öğrenmesini sağlamak için kullanılır.

Farklı NLP görevleri model eğitimi için farklı veri türleri kullansa da, Kodlayıcı tarafında genellikle izomorfiktirler. Örneğin, Microsoft'un kurucusu olan doğal bir dil cümlesi verildiğinde, makine çeviri modeli, açıklama modeli ve soru yanıtlama modelinin tümü, bunu karşılık gelen vektör temsil dizisine dönüştürür ve ardından sonraki çeviriyi, yeniden yazmayı ve yanıt oluşturmayı tamamlamak için ilgili kod çözücülerini kullanır ( Veya geri alma) görevi.

Bu nedenle, farklı görevler için eğitilmiş kodlayıcılar, farklı görevlere karşılık gelen bir vektör temsili olarak kabul edilebilir ve bu tür bilgiler, transfer öğrenme yoluyla mevcut endişenin hedef görevine aktarılabilir. Yeterli eğitim verisi bulunmayan doğal dil işleme görevleri için, aktarım öğrenmesi çok önemli ve pratik bir öneme sahiptir.

Çok görevli Öğrenme, modelin farklı görevler arasında paylaşılan bilgi ve bilgiyi öğrenebilmesini sağlamak için diğer yardımcı görevlerin denetim bilgilerini uçtan uca doğrudan ana göreve dahil edebilir. Collobert ve Weston, 2008 gibi erken bir tarihte, derin öğrenme çerçevesinde NLP görevlerini işlemek için çok görevli öğrenmenin kullanımını ilk kez önerdiler.

Son zamanlarda, Salesforce'dan McCann ve diğerleri, çok görevli öğrenmeyi kullanarak on doğal dil görevini eğitmek için bir soru-cevap çerçevesi kullanmayı önerdi. Her görev için eğitim verileri sınırlı olsa da, birden çok görev, farklı görevlerden eğitim verilerinin kapsamlı kullanımını iyileştirmek için bir ağ yapısını paylaşır. Çok görevli öğrenme, çeşitli görevler için oluşturulabilen ve paylaşılabilen ağın çekirdek seviyesi olarak tasarlanabilir ve belirli ağ yapıları, çıktı katmanındaki farklı görevler için tasarlanmıştır.

Sıcak nokta 3: Bilgi ve sağduyuya giriş

Doğal dil anlama modüllerinde bilgi ve sağduyu nasıl daha iyi kullanılır, doğal dil işleme alanında önemli bir araştırma konusu haline gelmiştir.

İnsan-bilgisayar etkileşimi için insanların gereksinimleri (akıllı soru cevaplama ve çok yönlü diyalog gibi) artmaya devam ettikçe, doğal dil anlama modüllerinde alan bilgisinin nasıl daha iyi kullanılacağı, doğal dil işleme alanında önemli bir araştırma konusu haline geldi. Bunun nedeni, insan-bilgisayar etkileşim sistemlerinin genellikle kullanıcı sorgusunu anlama, diyalog yönetimi ve yanıt oluşturma gibi görevleri daha doğru bir şekilde tamamlamak için ilgili alan bilgisi gerektirmesidir.

En yaygın alan bilgisi Wikipedia ve bilgi grafiğini içerir. Makine okuduğunu anlama Wikipedia'ya dayanan tipik bir doğal dil anlama görevidir. Bir Wikipedia metni ve doğal bir dil sorusu verildiğinde, makine okumayı anlama görevinin amacı, metinden giriş sorusuna karşılık gelen cevap cümlesi parçasını bulmaktır.

Anlamsal Analiz Bilgi grafiğine dayalı bir başka tipik doğal dil anlayışı görevidir. Bir bilgi grafiği (Freebase gibi) ve doğal bir dil problemi verildiğinde, anlamsal analiz görevinin amacı, sorunu makinenin anlayabileceği ve uygulayabileceği anlamsal bir temsile dönüştürmektir.

Şu anda, makine okumasını anlama ve anlamsal analizin en popüler doğal dil anlama görevleri olduğu söylenebilir ve dünyanın her yerindeki araştırmacılardan kapsamlı bir ilgi ve derinlemesine keşifler almışlardır.

Sağduyu, çoğu insanın anladığı ve kabul ettiği nesnel gerçekleri ifade eder, örneğin deniz suyu tuzludur, insanlar susadığında su içmek ister ve şeker tatlıdır. Sağduyu, bir makinenin doğal dili derinlemesine anlaması için çok önemlidir.Birçok durumda, makine yalnızca belirli bir derecede sağduyu ile gerçek anlamı daha derin bir şekilde anlayabilir. Bununla birlikte, sağduyu kazanmak büyük bir zorluktur ve bir atılım yapıldığında, yapay zeka sürecini etkileyen önemli bir olay olacaktır. Ek olarak, NLP sistemlerinde sağduyunun nasıl uygulanacağına dair derinlemesine bir araştırma yoktur, ancak dikkat etmeye değer bazı işler.

Sıcak nokta 4: düşük kaynaklı NLP görevleri

Alan bilgisinin (sözlükler, kurallar) tanıtılması, veri yeteneklerini artırabilir ve veri kaynaklarının eksikliği sorununu çözmek için aktif öğrenme yöntemlerine dayalı daha fazla manuel açıklama verisi ekleyebilir.

Küçük dillerde makine çevirisi, özel alan diyalog sistemleri, müşteri hizmetleri sistemleri, çok yönlü soru ve cevap sistemleri gibi zayıf ek açıklama veri kaynakları sorunuyla karşı karşıya kalan NLP'nin iyi bir çözümü yoktur. Bu tür sorunlar topluca düşük kaynaklı NLP sorunları olarak adlandırılır. Bu tür sorunlar için, veri yeteneklerini geliştirmek için alan bilgisi (sözlükler, kurallar) sunmaya çalışmanın yanı sıra, aktif öğrenme yöntemlerine dayalı daha yapay olarak etiketlenmiş veriler eklemek ve denetimsiz verilerden yararlanmak için denetimsiz ve yarı denetimli yöntemler kullanmak da mümkündür. Verileri etiketleyin veya diğer görevlerden ve hatta diğer dillerden gelen bilgileri kullanmak için çok görevli öğrenme yöntemlerini kullanın veya diğer modelleri kullanmak için aktarım öğrenme yöntemlerini kullanın.

Örnek olarak makine çevirisini ele alalım.Kıt kaynakları olan küçük dilde çeviri görevleri için, geleneksel iki dilli eğitim verilerinin yokluğunda, önce küçük ölçekli iki dilli bir sözlüğü (örneğin, yalnızca yaklaşık 2000 kelime çifti içeren), diller arası kelime vektörlerini kullanarak geçirin Yöntem, kaynak dili ve hedef dil sözcüklerini aynı örtük alana eşler. Bu örtük alanda, kaynak dil ve benzer anlamlara sahip hedef dil sözcükleri benzer sözcük vektörlerine sahiptir. Anlamsal uzaydaki kelime vektörlerinin benzerliğine dayanarak, bir kelimeden kelimeye çeviri olasılık tablosu oluşturulmuş ve bir dil modeli ile birleştirilerek kelimeye dayalı bir makine çevirisi modeli oluşturulabilir.

Sözde-iki dilli veriler oluşturmak için kaynak dili ve hedef dil tek dilli külliyatını çevirmek için kelimeye dayalı çeviri modelini kullanın. Bu nedenle, veri kıtlığı sorunu, denetimsiz öğrenme yöntemleriyle sözde etiketli veriler üreterek denetimli bir öğrenme sorununa dönüştürülür. Daha sonra, kaynak dili hedef dili ve hedef dili de kaynak dil çeviri modeline eğitmek için sözde iki dilli verileri kullanın ve ardından kaynak dili ve hedef dil tek dilli verilerini birleştirmek için ortak eğitim yöntemini kullanın; bu, iki çeviri sisteminin kalitesini daha da artırabilir .

Küçük dilli dillerin çeviri kalitesini iyileştirmek için, dört çeviri modelini birlikte eğitmek için ortak diller arasında büyük ölçekli iki dilli verileri kullanan bir beklenti maksimizasyonu eğitim yöntemi öneriyoruz (Ren ve diğerleri, 2018). Bu yöntem küçük dil Z'yi (örneğin, İbranice) zengin külliyatlı X (örneğin Çince) ve Y (örneğin İngilizce) arasında örtük bir durum olarak alır ve yinelemeli olarak genel beklenti maksimizasyonu eğitim yöntemini kullanır. X'den Z'ye, Z'den X'e, Y'den Z'ye ve Z'den Y'ye dört çeviri modelini birleşene kadar güncelleyin.

Sıcak nokta 5: Çok modlu öğrenme

Tipik bir çok-modlu öğrenme görevi olan görsel soru cevaplama, son yıllarda bilgisayarla görme ve doğal dil işleme olmak üzere iki alanda araştırmacıların dikkatini çekmiştir.

Bebekler dil işlevlerine hakim olmadan önce, dış dünyayı görme, duyma ve dokunma gibi duyularla tanır ve anlarlar. Dilin, insanların bebekliklerinde dış dünya ile iletişim kurmalarının birincil yolu olmadığı görülebilir. Bu nedenle, genel yapay zekanın inşası, doğal dil ile diğer yöntemler arasındaki etkileşimi de tam olarak dikkate almalı ve çok modlu öğrenme olan ondan öğrenmelidir.

Tipik bir çok-modlu öğrenme görevi olan görsel soru cevaplama, son yıllarda bilgisayarla görme ve doğal dil işleme olmak üzere iki alanda araştırmacıların dikkatini çekmiştir. Kullanıcı tarafından ortaya atılan bir resim ve doğal bir dil sorusu verildiğinde, görsel soru cevaplama sistemi, resmi ve doğal dil sorusunu anlama temelinde soruya karşılık gelen cevabı daha fazla girmelidir.Bu, görüntüyü ve doğal dili karşılaştırabilmek için görsel soru cevaplama yöntemini gerektirir. Diller arasındaki bilgiler tamamen anlaşılır ve etkileşim halindedir.

Bu yılki CVPR ve KDD konferanslarında, sırasıyla soru oluşturmaya dayalı görsel bir soru-cevap yöntemi (Li ve diğerleri, 2018) ve sahne grafiği oluşturmaya (Lu ve diğerleri, 2018) dayalı görsel bir soru-cevap yöntemi önerdik. Görsel soru cevap görevinde çok iyi sonuçlar elde edilmiş ve son teknolojinin etkisi elde edilmiştir. Görsel Soru-Cevap'a ek olarak, videolu Soru-Cevap, son zamanlarda yaygın olarak ilgi gören bir başka çok modlu görevdir. Bu görev yalnızca zamanlamalı video bilgilerini değil, aynı zamanda ses bilgilerini de içerir. Şu anda, yeni bir soru-cevap fonksiyonu türü olarak, video Soru-Cevap arama motorları sahnesine çıktı. Gelecekte bu görevin daha fazla ilgi görmesi öngörülebilir.

Gelecek beklentileri: ideal NLP çerçevesi ve geliştirme beklentileri

Gelecekte ideal NLP sistem mimarisinin aşağıdaki genel doğal dil işleme çerçevesi olabileceğine inanıyoruz:

Her şeyden önce, Belirli bir doğal dil girdisinin temel işlenmesi Kelime segmentasyonu, konuşma etiketlemenin bir parçası, bağımlılık analizi, adlandırılmış varlık tanıma, niyet / ilişki sınıflandırması vb.

İkincisi, Girişi kodlamak ve karşılık gelen semantik gösterime dönüştürmek için bir kodlayıcı kullanın . Bu süreçte, bir yandan, girdideki sözcüklerin ve varlık adlarının bilgilerini genişletmek için önceden eğitilmiş sözcük gömme ve varlık gömme kullanılırken, diğer yandan, önceden eğitilmiş birden çok görev kodlayıcı, girdi cümlesini kodlamak ve Transfer öğrenimi yoluyla farklı kodların birleştirilmesi.

Sonraki, Kodlayıcı çıktısının anlamsal temsiline bağlı olarak, ilgili çıktıyı oluşturmak için görevle ilgili kod çözücüyü kullanın . Çok görevli öğrenme, ana görevin model eğitimine yardımcı görevler olarak diğer ilgili görevleri tanıtmak için de tanıtılabilir. Birden fazla modelleme turuna ihtiyacınız varsa, mevcut turun çıktı sonuçlarının önemli bilgilerini veri tabanına kaydetmeniz ve sonraki anlayış ve muhakemeye uygulamanız gerekir.

Açıkçası, bu ideal NLP çerçevesini gerçekleştirmek için çok fazla çalışma yapılması gerekiyor:

• Büyük ölçekli bir sağduyu veritabanı oluşturmak ve anlamlı bir değerlendirme yoluyla ilgili araştırmayı açıkça desteklemek gereklidir;
• Kelimeleri, cümleleri ve cümleleri kodlamanın daha etkili yollarını araştırın ve önceden eğitilmiş daha güçlü sinir ağı modelleri oluşturun;
• Denetimsiz öğrenmeyi ve yarı denetimli öğrenmeyi teşvik etmek için, öğrenme yeteneğini güçlendirmek için az miktarda insan bilgisi ve diller arası yerleştirme için yeni yöntemler kullanmayı düşünmek gerekir;
• NLP görevlerinde çoklu görev öğreniminin ve aktarım öğreniminin etkinliğini daha etkili bir şekilde yansıtmak ve otomatik müşteri hizmetinde çoklu diyalog turlarının uygulanması gibi NLP görevlerinde pekiştirmeli öğrenmenin rolünü geliştirmek gereklidir;
• Etkili metin düzeyinde modelleme veya çok yönlü konuşma modelleme ve çok yönlü anlamsal analiz;
• Kullanıcı modellemesini ve kişiselleştirilmiş çıktıyı gerçekleştirmek için sistem tasarımında kullanıcının faktörleri dikkate alınmalıdır;
• Alan bilgisi ve sağduyu bilgisine dayalı muhakeme sistemlerini, görev çözme ve diyalog sistemlerini kapsamlı bir şekilde kullanan yeni nesil uzman sistemler oluşturun;
• NLP sistemlerinin yorumlanabilirliğini geliştirmek için anlamsal analiz ve bilgi sistemlerini kullanın.

Önümüzdeki on yıl içinde, NLP patlayıcı bir geliştirme aşamasına girecek. NLP temel teknolojisinden çekirdek teknolojiye, NLP + uygulamasına kadar büyük ilerleme kaydedilecek. Bill Gates bir keresinde insanların bir veya iki yıl içinde yapılabilecekleri her zaman abarttığını ve on yıl içinde yapılabilecekleri küçümsediklerini söylemişti.

On yıl sonra NLP'deki hangi değişikliklerin insan yaşamına getireceğini daha da hayal edelim?

• On yıl sonra, makine çevirisi sistemleri bağlamı modelleyebilir ve yeni kelime işlem yeteneklerine sahip olabilir. O zaman dersler ve toplantılar otomatik olarak sesle tercüme edilebilirdi. Makine çevirisinin popülaritesinin yanı sıra, diğer teknolojik gelişmeler de canlandırıcı. Evdeki yaşlılar ve çocuklar can sıkıntısını gidermek için robotla sohbet edebilir.
• Makinenin kişisel asistanı, doğal dil talimatlarınızı anlayabilir ve yemek siparişi verme, çiçek gönderme ve alışveriş gibi sipariş görevlerini tamamlayabilir. Ürün bakımı ile ilgili sorularınızı yanıtlamak için müşteri hizmetleri robotlarına alışkınsınız.
• Taishan Dağı'na antik çağların veya her tatil sezonunun duygularını ifade etmek için geldiğinizde, düşüncelerinizi ifade etmek için cep telefonunuzu çıkarabilir veya bir fotoğraf yükleyebilirsiniz. Cep telefonu ekranında sahnelerin, resimlerin ve metinlerin karışımından oluşan bir şiir belirecek ve metrik şiir veya özgür Vücudun temsiline müzik notaları da eşlik edebilir ve bir başyapıt övgü alacaktır.
• Belki her gün gördüğünüz spor haberleri ve finans haberleri robotlar tarafından yazılmıştır.
• Robot öğretmenle İngilizce öğrenmek için cep telefonunuzu kullanırsınız Öğretmen size İngilizce konuşmayı öğretir, telaffuzunuzu düzeltir, sizinle samimi bir şekilde konuşur ve kağıdı gözden geçirmenize yardımcı olur.
• Robotlar, geniş literatürü düzenli ve otomatik olarak analiz eder, analiz raporları sağlar, karar vermeye yardımcı olur ve işletmeler için tahminlerde bulunur. Arama motorlarının zekası büyük ölçüde geliştirildi. Çoğu durumda, cevap doğrudan verilebilir ve ayrıntılı bir rapor otomatik olarak oluşturulabilir.
• Öneri sistemini kullanarak ilgilendiğiniz haberler, kitaplar, kurslar, konferanslar, bildiriler, ürünler vb. Doğrudan size iletilebilir.
• Robotlar, avukatların kriterleri bulmasına, benzer vakaları incelemesine, sözleşme ihmallerini bulmasına ve yasal raporlar yazmasına yardımcı olur.
• ...

Gelecekte NLP, diğer yapay zeka teknolojileriyle birlikte insan hayatını derinden değiştirecek. Elbette gelecek parlak ve yol dolambaçlı ... Bu güzel geleceği gerçekleştirmek için cesur, yenilikçi, titiz ve gerçekçi olmamız gerekiyor. Hem araştırma hem de uygulama, popülerleştirme ve iyileştirmeyi aynı anda vurgulayın NLP'nin bir sonraki muhteşem on yılına girmek için sektördeki meslektaşlarımızla çalışmayı dört gözle bekliyoruz.

Editör: Huang Jiyan redaksiyonu: Lin Yilin - Bitiş -

Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.

Python gezgini Xiaobai gelişmiş veri analizi tanrısından sizi alacak 10 iyi kitap

Uranüs'ün osuruk gibi koktuğunu biliyor muydunuz?

Şampiyonlar Ligi'nde tartışma çıktı! Manchester City bir penaltı kaçırmadan önce rakibin 1 hamlesi VAR'ın dikkatini çekmelidir

Wuhan Şehri Demiryolu Transit Hattı Ağı Ücret Ayarlama Duruşması Aralık sonunda yapılacakGünaydın Wuhan

Liu Qiangdong tavuk ve sığır, Ding Lei domuz yetiştiriyor İnternet devleri tarımı neden bu kadar çok seviyor?

harika! Cristiano Ronaldo gol attıktan sonra bir su bardağı + orta parmağı fırlatıldı, 1 hareket kullanarak 50.000 taraftarın yüzüne mükemmel bir şekilde vurdu

AI'ya katılmak için, yurtiçi ve yurtdışındaki bu en iyi yapay zeka laboratuvarlarını anlamalısınız (Önerilerle birlikte Ek)

Google, AlphaGO'nun Mayıs ayında Çin'in en iyi Go oyuncularına karşı oynayacağını resmen duyurdu!

En eksiksiz müfredat kaynakları (cevaplar dahil)

Bu aşkın gücü, o Taliska'nın son durumunun sırrı!

Chiping: Hao Zhang Köyü, Zhenxing Caddesi, Yeni Yıl için şarkı söylüyor ve dans ediyor

Şampiyonlar Ligi-Cristiano Ronaldo, Real Madrid için iki gol attı 3-0 Kane 2 gol Sun Xingyun Jiangong Tottenham 3-1 daha fazla