Zhou Ming ve Li Mu tarafından yazılan Shen Xiangyang tarafından önerilen: Akıllı Soru-Cevap ve makine çevirisi için mutlaka okunması gereken bir kitap
Xin Zhiyuan Rehberi Doğal dil anlayışı, AI'nın tacındaki mücevherdir. Büyük veri, derin öğrenme ve bulut bilişim tarafından yönlendirilen çeşitli doğal dil anlama alanları sonsuz fırsatlar doğuruyor. Bu kitap listesi, Microsoft Asya Araştırma Doğal Dil Hesaplama Grubu'ndan iki yeni şaheseri tanıtıyor: Sırasıyla "Akıllı Sorular ve Cevaplar" ve "Makine Çevirisi" Akıllı soru ve cevap ve makine çevirisi olmak üzere iki araştırma alanı, çok çeşitli uygulama senaryolarına sahiptir. Sistematik giriş.
Dünyaca ünlü bir araştırma ve geliştirme kuruluşu olarak Microsoft Research Asia, doğal dil işlemede her zaman benzersiz bir avantaja sahip olmuştur. Yakın zamanda yayınlanan iki teknik çalışma "Akıllı Sorular ve Cevaplar" ve "Makine Çevirisi" Microsoft Research Asia'nın doğal dil işlemedeki en son başarılarını yoğunlaştırmakta ve sektördeki birçok uzmanın övgü ve tavsiyelerini almıştır.
Kitapların bu sayısı, okuyucular için bu iki kitaba odaklanacaktır.
Önerilen uzmanlar ve tavsiye nedenleri
Doğal dil işleme, Çince bilgi işleme için önemli bir teknolojidir.Çin'in doğal dil işlemesinin son yirmi yılda büyük ilerleme kaydettiğini görmekten çok mutluyum. En son derin öğrenme, bu alanın gelişimini daha da teşvik etti. "Akıllı Sorular ve Cevaplar" ve "Makine Çevirisi" adlı iki kitap, en son teorileri, yöntemleri ve teknolojileri ayrıntılı olarak tanıtır ve nadir bulunan teknik referans kitaplarıdır.
Li Sheng Harbin Teknoloji Enstitüsü Profesörü, Çin Çin Bilgi Toplumu eski başkanıDaha 1991'de, Bill Gates Microsoft Research'ü kurduğunda, bir vizyon önerdi: bilgisayarların insan düşüncelerini görmesine, duymasına ve anlamasına izin vermek. O zamandan beri, doğal dil işleme ve bilgisayarla görme, konuşma ve görüntü tanıma önemli araştırma yönleri olmuştur. Bu iki kitap, Microsoft Research Asia'nın doğal dil işlemedeki olağanüstü ilerlemesini yansıtıyor.
Hong Xiaowen Microsoft Kıdemli Başkan Yardımcısı, Microsoft Asia Pacific R&D Group Başkanı, Microsoft Research Asia'nın Dekanıİki kitap, iki alanın temel teknolojilerini sistematik olarak tanıtıyor, basit dilde derin teorileri açıklıyor ve alana girmekle ilgilenenlere çok yardımcı olan teori ve pratiği mükemmel bir şekilde birleştiriyor. Dili anlayanlar dünyaya sahip!
Shen Xiangyang Microsoft Global Başkan Yardımcısı, Microsoft Yapay Zeka ve Araştırma Bölümü BaşkanıMicrosoft, IBM Derin Soru Cevaplama Sisteminin ortaya çıkışından bu yana açık akıllı soru cevaplama sistemi araştırmasına katılan ilk ünlü ekiplerden biridir ve Microsoft Research Asia'nın makine çevirisi ekibi de dünyanın en ünlü ekiplerinden biridir. "Akıllı Sorular ve Cevaplar" ve "Makine Çevirisi" adlı iki kitabın yazarları sırasıyla bu iki takımdan geliyor, akademik başarılarına inanıyorum ve araştırmadaki katkılarından gurur duyuyorum.
"Akıllı Sorular ve Cevaplar" kitabı, farklı akıllı soru cevaplama sistemlerine derinlemesine bir giriş sağlar ve temelde yatan derin öğrenme teorisini, bilgi grafiğini ve anlamsal gösterimi açıklar. "Makine Çevirisi" kitabı, son 30 yılda adım adım geliştirilen istatistiksel makine çevirisi ve nöral makine çevirisi teorilerine, yöntemlerine ve araçlarına derinlemesine bir giriş sağlar. İki kitabın teorik yüksekliği ve pratik derinliği göz önüne alındığında, sadece lisans ve lisansüstü öğrenciler için bir ders kitabı olarak kullanılamaz, aynı zamanda ilgili bilimsel araştırmacılar ve kurumsal geliştiriciler için profesyonel bir referans kitabı olacaktır.
Huang Changning Uluslararası üne sahip NLP uzmanı, Tsinghua Üniversitesi NLP ekibinin ve MSRA doğal dil işleme ekibinin kurucusuİlk kitap: "Akıllı Sorular ve Cevaplar"
kısa giriş
Arama motorlarının ve akıllı ses asistanlarının temel işlevi olan Soru Cevaplama, son yıllarda akademi ve endüstriden oybirliğiyle ilgi ve derinlemesine araştırma aldı ve çeşitli soru ve cevap veri setleri ve yöntemleri birbiri ardına ortaya çıkıyor. "Akıllı Sorular ve Cevaplar" kitabı, araştırma alanının geliştirme geçmişini ve arka plan bilgilerini kısaca gözden geçiriyor ve bu temelde, bilgi grafiği soru ve cevap, tablo soru ve cevap, metin soru ve cevap, topluluk soru ve cevap ve soru oluşturma dahil olmak üzere beş tipik soruyu sistematik olarak tanıtıyor. Soru ve cevap görevi.
Kitap on bölüme ayrılmıştır: Birinci Bölüm, akıllı soru cevaplama, görev sınıflandırması ve soru-cevap değerlendirmesinin tarihinin temel sorularını ana hatlarıyla belirtir; İkinci Bölüm, akıllı soru cevaplama araştırmalarında yaygın olarak kullanılan birkaç istatistiksel öğrenme ve derin öğrenme modelini tanıtır; Üçüncü Bölüm Doğal dil işleme görevleri-varlık bağlantısının temelini tanıttı ve uzun metin varlığı bağlantısının tipik yöntemini ve bunun akıllı soru yanıtlama sistemindeki uygulamasını detaylandırdı; Bölüm 4, akıllı soru yanıtlamanın en önemli parçası, doğal dilde varlık İkisi arasındaki ilişki açıklanmakta ve dört farklı ilişki sınıflandırma yöntemi tanıtılmaktadır; Bölüm 5 ila 8, dört farklı akıllı soru cevaplama görevi için farklı cevaplama yöntemlerini tanıtmaktadır; ayrıca bu kitap Bölüm 9, veri ve model eğitimi perspektifinden akıllı soru yanıtlama sisteminin performansının nasıl daha da iyileştirilebileceğini açıklayan soru oluşturma görevini de tanıtır; son olarak, Bölüm 10 kitabın içeriğini özetlemektedir.
Öne Çıkanlar'dan Alıntılar
3.2.2 Denetimsiz öğrenmeye dayalı yöntem
Varlık bağlama sisteminin açıklamalı verilerine olan ihtiyacı azaltmak için, aday varlık sıralama görevleri için denetimsiz öğrenme yöntemleri kullanılabilir. Yaygın olarak kullanılan yöntemler, vektör uzayı modellerine dayalı yöntemler ve bilgi edinmeye dayalı yöntemler içerir.
Vektör uzayı modeline dayalı yöntem, ilk olarak m'den bahseden m'yi ve m'ye karşılık gelen belirli bir aday varlık e_i'yi vektör temsillerine dönüştürür. Daha sonra, bu iki vektör gösterimi arasındaki mesafe hesaplanarak farklı aday öğeler sıralanır. Varlık belirtme ve aday varlıkların farklı vektör temsili oluşturma yöntemleri farklı görevlere karşılık gelir.
Bilgi almaya dayalı yöntem, varlığın temsili olarak her bilgi grafiği varlığına karşılık gelen Wikipedia belgesini alır ve bu tür belgeye dayalı olarak tüm bilgi grafiği varlıkları için bir dizin oluşturur. Giriş metnindeki bir varlığın m'den bahsettiği göz önüne alındığında, bu yöntem ilk olarak giriş metninden m içeren tüm cümlelerin bir setini bulur ve durdurma kelimelerini kaldırma gibi filtreleme işlemleriyle bir sorgu cümlesi oluşturur. Daha sonra sorgu cümlesi, m'nin varlık bağlantı sonucu olarak bilgi grafiği varlığına karşılık gelen dizinden en alakalı bilgi grafiği varlığını bulmak için kullanılır.
Denetimsiz öğrenme yöntemleri genellikle uzun metin varlığı bağlama görevleri için uygundur. Bunun nedeni, kısa metnin vektör temsillerini veya varlıktan bahsetmeye karşılık gelen sorgu cümlelerini oluşturamamasıdır.
5.3 Cevaplara göre sıralama yöntemi
Anlamsal analize dayalı bilgi grafiği sorusunun büyük çoğunluğu, eğitim verileri olarak anlamsal olarak etiketlenmiş bir dizi soru gerektirir. Bu tür veriler yüksek zaman ve maliyet gerektirir ve açıklayıcıların belirli bir anlamsal temsil anlayışına sahip olmasını gerektirir. Yanıtı zayıf denetimli bir eğitim anlamsal analiz modeli olarak kullanmak, yüksek veri etiketleme zorluğu, yüksek maliyet ve sınırlı etiketleme sorunlarını bir dereceye kadar hafifletebilir, ancak cevaba göre seçilen olumlu anlambilimsel analiz adaylarının belli bir dereceye kadar gürültü seviyesi vardır. Ayrıca anlamsal analiz modelinin kalitesini de etkileyecektir.
Cevap Sıralaması (Cevap Sıralaması) bilgi grafiği sorusu ve cevabına göre, görev bir bilgi alma görevi olarak kabul edilir: giriş sorusu Q ve bilgi grafiği KB verildiğinde, varlıkları KB cinsinden puanlayarak ve sıralayarak, en yüksek puana sahip varlık veya varlık kümesini seçin Cevap olarak çıktı.
Spesifik olarak, bu tür bilgi grafiği soru cevaplama yöntemi temel olarak aşağıdaki dört modülü içerir:
1. Sorunlu varlık tanımlama. Soru varlığı, soru Q'da bahsedilen bilgi tabanı varlığına karşılık gelir. Örneğin, Microsoft'u kim kurdu sorusunda, Microsoft'un bilgi grafiğine karşılık gelen varlık, sorunun soru öğesidir. Her soru birden fazla soru varlığına karşılık gelebilir ve bu tür bir varlığın tanımlanması genellikle varlık bağlama teknolojisi ile yapılır.
2. Aday geri çağırmayı yanıtlayın. Tanımlanan bir soru varlığına göre, belirli kısıtlamaları karşılayan bir dizi bilgi tabanı varlıkları, soruya cevap adayı olarak bilgi grafiğinden aranır. En yaygın kullanılan kısıtlama şudur: bilgi grafiğinde, en fazla iki yüklem yoluyla problem varlığına bağlanan bilgi tabanı varlığı. Bu yaklaşım, soruya karşılık gelen yanıt varlığının ve soru varlığının genellikle bilgi grafiğinde çok uzakta olmadığını varsayar.
3. Aday temsiline cevap verin. Her bir cevap adayı, girdi sorusu ile doğrudan karşılaştırılamayacağı için, modül, cevap adayının bulunduğu bilgi grafiği bağlamına dayalı olarak cevap adayına karşılık gelen bir vektör gösterimi oluşturur. Bu şekilde, giriş sorusu ile cevap adayı arasındaki korelasyon hesaplaması, giriş sorusu ile cevap adayının karşılık gelen vektör temsili arasındaki korelasyon hesaplamasına dönüştürülür. Spesifik yöntemlerdeki fark, esas olarak cevabın vektör temsilinin nasıl üretileceğine yansır.
4. Cevap adaylarının sıralaması. Farklı cevap adaylarını puanlamak ve sıralamak için sıralama modelini kullanın ve en yüksek puana sahip cevap adayları kümesini çıktı sonucu olarak geri getirin.
Şekil 5-5, cevap sıralamasına dayalı bilgi grafiği soru ve cevap yönteminin iş akışı diyagramını göstermektedir.Cevap adaylarının farklı temsil yöntemlerine göre, bu bölüm özellik mühendisliği yöntemleri, soru oluşturma yöntemleri ve alt grafik eşleştirme yöntemleri dahil olmak üzere beş özel yöntemi tanıtacaktır. , Vektör gösterimi yöntemi ve bellek ağı yöntemi.
yazar hakkında
Dr. Duan Nan , Microsoft Research Asia Natural Language Computing Group'tan sorumlu bir araştırmacı, ACL, EMNLP, COLING, AAAI, IJCAI, CVPR, KDD'de akıllı soru yanıtlama, anlamsal anlama, diyalog sistemleri ve web araması vb. Dahil olmak üzere temel olarak doğal dil işleme üzerine temel araştırmalarla uğraştı. Uluslararası konferanslarda 40'tan fazla makale yayınlandı ve 6 özel proje icat edildi.Araştırma sonuçlarının çoğu, Bing Search, Cortana ses asistanı ve Microsoft Xiaoice dahil Microsoft'un temel yapay zeka ürünlerine başarıyla uygulandı.
Dr Zhou Ming , Microsoft Asya Araştırma Enstitüsü Başkan Yardımcısı, Uluslararası Hesaplamalı Dilbilim Derneği (ACL) Başkanı, Çin Bilgisayar Topluluğu Direktörü, Çin Bilgi Teknolojisi Komitesi Direktörü, Çin Çin Bilgi Toplumu Daimi Direktörü ve Çin'deki en iyi beş üniversitenin doktora süpervizörü. Dr. Zhou Ming, doktorasını 1991 yılında Harbin Teknoloji Enstitüsü'nden aldı. 1991'den 1993'e kadar Tsinghua Üniversitesi'nde doktora sonrası, ardından doçent olarak kaldı. 1996-1999 Çince-Japonca makine çevirisi araştırmasına liderlik etmek için Japonya Kodensha Şirketini ziyaret etti. 1999 yılında Dr. Zhou Ming, Microsoft Research Asia'ya katıldı. Uzun süredir Microsoft Research Asia'da doğal dil işleme başkanı olarak görev yaptı. 2018 Sermaye Emek Madalyası sahibidir.
İkinci kitap: "Makine Çevirisi"
kısa giriş:
"Makine Çevirisi" kitabı, klasik istatistiksel makine çevirisi ve hızla gelişen nöral makine çevirisi teknolojisini dikkate alarak, özlü ve anlaşılması kolay bir dilde makine çevirisi teknolojisine kapsamlı bir giriş sağlar. Bu kitap aynı zamanda teori ve pratiğin birleşimine odaklanıyor. Okuyucular teorik sistemi basit ve derin bir şekilde anladıktan sonra, bu kitapta tanıtılan örnekleri ve araçları kullanarak hızlı bir şekilde başlamak ve makine çevirisi eğitimi ve kod çözmenin ana tekniklerinde ustalaşabilirler.
Kitap yedi bölüme ayrılmıştır:
Öne Çıkanlar'dan Alıntılar
6.6 Tamamen dikkat ağına dayalı sinirsel çeviri modeli
Daha önce bahsettiğimiz gibi, dikkat ağı, kaynak dil cümlesinin örtük durumunu doğrudan hedef dil cümlesinin örtük durumu ile ilişkilendirir, böylece kaynak dil kelime bilgisinden iletim yolunu kısaltarak karşılık gelen hedef dil kelimesinin üretilmesine önemli ölçüde iyileştirilir. Çeviri kalitesi iyileştirildi. Tekrarlayan sinir ağının kodlayıcısına ve kod çözücüsüne bağlı olarak, her kelimenin gizli durumu önceki kelimenin bilgisine bağlıdır, bu nedenle kodlanmış durum sıralı olarak üretilir. Bu kod dizisi üretimi, modelin paralelliğini ciddi şekilde etkiler.
Öte yandan, geçit tabanlı tekrarlayan sinir birimi gradyan kaybolması veya patlaması sorununu çözebilse de, birbirinden çok uzak olan kelimelerin bilgilerinin dikkate alınması garanti edilmez. Evrişimli sinir ağları paralelleştirme yeteneğini geliştirebilse de, yalnızca belirli bir pencere içindeki tarihsel bilgileri dikkate alabilirler. Bu problemleri aynı anda çözmek için, kaynak dil cümlesindeki kelimeler ile hedef dil cümlesindeki sözcükler arasındaki bağımlılığı çözmek için kodlayıcı ve kod çözücüye iki ek dikkat ağı eklenebilir. Bu tür değerlendirmelere dayanarak, Vaswani ve diğerleri, tamamen dikkat ağlarına dayanan bir sinirsel çeviri modeli (Transformer) önerdiler ve bu, bu bölümde ayrıntılı olarak tanıtılacak.
6.6.1 Dikkat ağına dayalı kodlayıcı ve kod çözücü
Şekil 6-22'de gösterildiği gibi, kodlayıcı, yığılmış N homojen ağ katmanından oluşur ve her ağ katmanı iki alt ağ katmanı içerir:
Birinci alt ağ katmanına, aynı katmanın kaynak dil cümlesindeki diğer kelimelerin bilgilerini kendi kendine dikkat ağı aracılığıyla dikkate alarak mevcut kelimenin bağlam vektörünü oluşturmak için kullanılan gruplanmış öz-ilgi ağı denir;
İkinci alt ağ katmanı, tamamen bağlı bir ileri beslemeli sinir ağıdır Bu ağın işlevi, öz-ilgi ağı tarafından oluşturulan kaynak dil cümlesindeki bağlam vektörünü mevcut sözcüğün bilgisi ile entegre etmek, böylece bütün bir cümle bağlamı oluşturmaktır. Geçerli anda zımni durum.
Modelin eğitim hızını artırmak için, bu iki alt ağ katmanında Artık Bağlantı ve Katman Normalleştirme kullanılır, Şekilde Katman Biçimi (x + Alt Katman (x)) olarak tanımlanan AddNorm katmanı, burada x, alt ağın girdisidir, SubLayer, alt ağın işleme işlevidir ve LayerNorm, katman normalleştirme işlevidir. Bilgi, bu tür N ağ katmanının istiflenmesiyle daha da soyutlanabilir ve birleştirilebilir. Kalan ağı tanıtmak için homojen ağdaki her 242 alt ağın çıktısının yanı sıra kelime vektörü ve konumsal kodlamanın (Konumsal Kodlama) aynı uzunlukta tutulması gerekir.
Kod çözücü ayrıca, her biri üç alt ağ katmanı içeren yığınlanmış N homojen ağ katmanı içerir:
Birinci alt ağ katmanı, kodlayıcının ilk alt ağ katmanına benzer.Aynı katmanın hedef dil cümlesindeki diğer kelimelerin bilgilerini hesaba katarak hedef dil cümlesinde bir bağlam oluşturmak için gruplandırılmış bir öz-ilgi ağıdır. vektör. Kodlayıcının öz-ilgi ağından farklı olarak, kod çözücü yalnızca kod çözme sırasında üretilen sözcüklerin bilgilerini görebilir ve yaratılmamış içerik, maske mekanizması tarafından maskelenebilir.
İkinci alt ağ katmanı, gruplanmış dikkat ağıdır Ağ işlevi, Bölüm 6.4'teki orijinal dikkat ağı katmanına benzerdir. Kaynak dil cümlesini oluşturmak için kaynak dil cümlesinin örtük durumunu hedef dilin örtük durumuyla karşılaştırmaktan sorumludur. Bağlam vektörü.
Üçüncü alt ağ katmanı, kodlayıcının ikinci alt ağ katmanına benzer, tam bağlantılı bir ileri beslemeli sinir ağıdır Bu ağın işlevi, öz-ilgi ağı tarafından oluşturulan hedef dil cümlesinde bağlam vektörünü üretmektir. Kaynak dil cümlesinin bağlam vektörü ve mevcut kelime bilgisi, bir sonraki hedef dil testini daha iyi tahmin etmek için entegre edilmiştir. Kodlayıcıya benzer şekilde, artık ağ (Artık Bağlantı) ve katman normalizasyonu (Katman Normalizasyonu), kod çözücünün üç alt ağ katmanında da kullanılır.
yazar hakkında
Dr. Li Mu , Microsoft Research Asia'nın Natural Language Computing Group'ta kıdemli bir araştırmacıydı. Araştırma alanları ve ilgi alanları arasında doğal dil işleme, büyük ölçekli veri madenciliği, derin öğrenme, makine çevirisi vb. Yer alır. Tanınmış uluslararası dergi ve konferanslarda 70'den fazla makale yayınladı ve Windows, Office ve Bing gibi birçok Microsoft ürününe önemli katkılarda bulundu.
Dr. Liu Shujie , Microsoft Research Doğal Dil Hesaplama Grubu'ndan sorumlu bir araştırmacı, ana araştırma alanları doğal dil işleme, makine öğrenimi, makine çevirisi ve doğal dil işlemede derin sinir ağlarının uygulanmasıdır.
Dr. Zhang Dongdong , Microsoft Asya Araştırma Enstitüsü Doğal Dil Hesaplama Grubu'ndan sorumlu bir araştırmacı, ağırlıklı olarak makine çevirisinin teorik araştırması ve sistem geliştirmesiyle ilgileniyor ve yaklaşık 50 akademik makale yayınladı.Microsoft Translator, Bing Dictionary, Skype Translator ve diğer ürünlere önemli bir katkıda bulunuyor.
Dr Zhou Ming , Microsoft Asya Araştırma Enstitüsü Başkan Yardımcısı, Uluslararası Hesaplamalı Dilbilim Derneği (ACL) Başkanı, Çin Bilgisayar Topluluğu Direktörü, Çin Bilgi Teknolojisi Komitesi Direktörü, Çin Çin Bilgi Toplumu Daimi Direktörü ve Çin'deki en iyi beş üniversitenin doktora süpervizörü. Dr. Zhou Ming, doktorasını 1991 yılında Harbin Teknoloji Enstitüsü'nden aldı. 1991'den 1993'e kadar Tsinghua Üniversitesi'nde doktora sonrası, ardından doçent olarak kaldı. 1996-1999 Çince-Japonca makine çevirisi araştırmasına liderlik etmek için Japonya Kodensha Şirketini ziyaret etti. 1999 yılında Dr. Zhou Ming, Microsoft Research Asia'ya katıldı. Uzun süredir Microsoft Research Asia'da doğal dil işleme başkanı olarak görev yaptı. 2018 Sermaye Emek Madalyası sahibidir.
Son olarak, bu iki kitabın Jingdong satın alma bağlantısını ekleyin:
https://item.jd.com/38584256163.html, ilgilenen öğrenciler sipariş vermek için gidebilirler.
Bu makale, WeChat genel hesabı "Microsoft Research AI Headline" (Kimlik: MSRAsia) yetkisiyle çoğaltılmıştır
