g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Soru yanıtlamada büyük ölçekli ince taneli denetimli verilere dayalı aktarım öğrenimi üzerine araştırma

Siz ve "AI'yı Anlamak" arasında yalnızca bir kağıt var

Pek çok okuyucu, nispeten basit AI bilimi ve AI metodolojisi hakkında daha fazla şey okuduklarını ve derinlik, kalınlık, vizyon ve ağır zevk içeren profesyonel makaleler okumak istediklerini söyleyerek Xinjun'un sahne arkasına mesajlar bıraktı.

Bu amaçla, AI alanındaki birçok uzman ve akademisyenin yardımıyla, bir dizi en iyi konferans belgesini yorumladık ve tercüme ettik. Her makalenin tercümesi ve redaksiyonu tamamlandıktan sonra Xinjun ve yazı işleri bölümündeki öğretmenler birlikte gülüp çökecekler, tabii bazı kağıtlar için ağlamalıyız.

Öğrencilerin şimdi okuyup anlayamaması önemli değil, ancak Xinjun bir gün yeni bir AI dünyasına aşık olacağınızı garanti edebilir.

Çekirdek okuyucuların tez değişim grubu için lütfen WeChat hesabımızı ekleyin: zhizhizhuji . Senin için bekleniyor.

Bu, temel okumanın ilk yorumu 17 Bildiriler

ACL 2017 Kısa Bildiriler

Soru yanıtlamada büyük ölçekli ince taneli denetimli verilere dayalı aktarım öğrenimi üzerine araştırma

Büyük İnce Taneli Denetim Verilerinden Transfer Öğrenimi ile Soru Cevaplama

Seul Ulusal Üniversitesi

Özet Transfer öğrenme modellerini farklı büyük ve ayrıntılı QA veri kümeleri üzerinde eğiterek, soru cevaplama (QA) görevlerinin etkisi önemli ölçüde iyileştirilebilir. Bu makale, WikiQA ve SemEval-2016'da (görev 3A) iki derinlemesine QA veri setinde mevcut en iyi sonuçları elde etmek için SQuAD'ın temel aktarım öğrenme teknolojisini kullanır. WikiQA için modelimiz, önceki en iyi modelden% 8 daha iyidir. Ayrıca, nicel sonuçlar ve görsel analiz yoluyla, daha rafine denetim yöntemlerinin, kelime dağarcığına ve sözdizimsel bilgi öğrenmeye kaba denetim yöntemlerinden daha iyi rehberlik edebileceğini bulduk. Bu makale aynı zamanda benzer bir transfer öğrenme programının metinsel uygulama görevleriyle ilgili en son sonuçlarını da göstermektedir.

1. Giriş

Soru cevaplama (QA) soruları, doğal dil işleme (NLP) alanında uzun vadeli bir zorluktur ve araştırmacılar, son birkaç yılda bu görev için birkaç örnek ve veri seti tanıttı. Bu örnekler, soru ve cevap türlerine ve eğitim verilerinin boyutuna göre yüzler ile milyonlar arasında değişir.

Bağlama duyarlı QA paradigması, beraberindeki içeriğe (paragraf veya cümle listesi) başvurarak her sorunun cevabını alabilir. Bu durumda, en önemli iki denetim türü kaba cümle düzeyi ve ince taneli yayılma düzeyidir. Cümle düzeyinde KG'de görev, aday listesindeki en alakalı cümleyi seçmektir (Yang ve diğerleri, 2015). Kelime segmentasyon QA'da görev, soruyu cevaplamak için belirli bir paragrafta minimum kelime segmentasyon aralığını bulmaktır (Rajpurkar vd., 2016).

Bu makalede, daha kaba cümle düzeyinde QA problemleriyle başa çıkmak için büyük, segment düzeyinde bir QA veri kümesi üzerinde eğitilmiş standart bir transfer öğrenme modeli kullanıyoruz. Hedef görevin yalnızca kaynak veri kümesinin boyutundan fayda sağlamakla kalmayıp, aynı zamanda sözdizimi ve kelime bilgisini daha iyi öğrenmek için ayrıntılı kelime bölümleme denetim yöntemlerinden de yararlandığını kanıtlıyoruz.

Kaynak veri seti için, yakın zamanda piyasaya sürülen bir kelime segmentasyonu denetim QA veri seti olan SQuAD'ı (Rajpurkar ve diğerleri, 2016) önceden eğittik. Kaynak ve hedef modeller için, veri seti sıralamasında en iyi performans gösteren modellerden biri olan BiDAF (Seo vd., 2017) kullanıyoruz. Hedef veri kümesi için, SQuAD'den tamamen farklı özelliklere sahip iki yeni QA veri kümesini, WikiQA (Yang ve diğerleri, 2015) ve SemEval 2016 (Görev 3A) (Nakov ve diğerleri, 2016) değerlendirdik. Sonuçlarımız, WikiQA'nın% 8, SemEval'in ise% 1 iyileşme gösterdiğini gösteriyor. Buna ek olarak, benzer bir transfer öğrenme süreci SICK (Marelli ve diğerleri, 2014) kullanarak metinsel sonuç tanımada (RTE) yeni bir teknoloji başarısı rapor ediyoruz.

2 Arka plan ve veriler

Modern makine öğrenimi modelleri, özellikle derin sinir ağları, genellikle aktarım öğrenmeden önemli ölçüde yararlanır. Bilgisayarla görmede, ImageNet (Deng ve diğerleri, 2009) gibi büyük görüntü sınıflandırma veri kümeleri üzerinde eğitilen derin evrişimli sinir ağlarının, nesne algılama gibi diğer görüş görevleri için modelleri başlatmak için yararlı olduğu gösterilmiştir (Zeiler ve Fergus, 2014). Doğal dil işlemede, alan uyarlanabilirliği genellikle sözdizimi analizi (McClosky ve diğerleri, 2010) ve adlandırılmış varlık tanıma (Chiticariuet diğerleri, 2010) alanlarında önemli bir konudur. Dağıtık temsillerin popülaritesi ile word2vec (Mikolov ve diğerleri, 2013b, a) ve eldiven (Pennington ve diğerleri, 2014) gibi önceden eğitilmiş kelime vektör modelleri de doğal dil görevlerinde (Karpathy ve Fei-Fei, 2015; Kumar ve diğerleri, 2016). Ek olarak, modeli başlatmak ve standart transfer öğrenmenin hedef QA veri setinde en iyi sonuçları nasıl elde edebileceğini göstermek için QA veri setini kullanıyoruz.

NLP'de, soruları yanıtlamak için kullanılan arka plan ve denetim yöntemlerine göre kategorize edilebilen birkaç QA örneği vardır. Bu arka plan, yapılandırılmış ve sınırlı bilgi tabanlarından (Berant ve diğerleri, 2013), yapılandırılmamış ve sınırsız doğal dil biçimlerine (örneğin, İnternetteki belgeler (Voorhees ve Tice, 2000)) ve yapılandırılmamış, ancak Sınırlı (örneğin, bir veya daha fazla cümle (Hermannet diğerleri, 2015)). Sinir ağı yanıtlarındaki en son gelişmeler, bu örneklerde birçok veri kümesinin ve başarılı modelin üretimini ilerletmiştir (Rajpurkar ve diğerleri, 2016; Yang ve diğerleri, 2015; Nguyen ve diğerleri, 2016; Trischler ve diğerleri, 2016). Bu veri kümelerindeki yanıt türleri temel olarak üç kategoriye ayrılmıştır: cümle düzeyinde, bağlamsal olarak bölümlere ayrılmış ve yeniden oluşturulmuş. Bu makalede, ilk ikisine özel önem veriyoruz ve kelime bölümleme denetim modelinin sözdizimi ve kelime özelliklerini daha iyi öğrenebileceğini gösteriyoruz. Bu veri setlerinde, bu makaledeki deneylerde kullanılan üç QA veri setini kısaca açıklıyoruz. RTE veri setinin bir açıklaması da QA dışı görevler için örnek olarak verilmiştir. Veri kümesinin bir örneği için Tablo 1'e bakın.

SQuAD (Rajpurkar ve diğerleri, 2016), 100k / 10k eğitim / geliştirme örnekleri içeren, segmentasyon aralığına dayalı yeni bir QA veri kümesidir. Her örnek, Wikipedia'dan bağlamsal bir paragraf ve insanlar tarafından oluşturulmuş bir sorudur.Cevap, bağlamdaki bir bölümleme aralığıdır.

SQUAD-T, cümle seçimi için QA'ya izin vermek için SQuAD veri setinde yaptığımız modifikasyondur. ('T' yaşlılıktır). Bağlamsal paragrafları cümlelere ayırır ve her cümlenin bir cevap içerip içermediğini sınıflandırmak için görevi formüle ederiz. Bu, kelime bölümleme denetimi ve cümle denetimi QA veri kümeleri arasında eğitim öncesi adil bir karşılaştırma yapmamızı sağlar.

WikiQA (Yang et al., 2015), 1.9k / 0.3k eğitim / geliştirme cevap örneklerini içeren cümle düzeyinde bir QA veri setidir. Her örnek, ortalama 18,6 cümle ile gerçek kullanıcılardan gelen Bing sorgularının kod parçacıkları ve Bing tarafından alınan Wikipedia makalelerini içerir. Görev, her cümlenin sorguya bir cevap verip vermediğini sınıflandırmaktır.

SemEval 2016 (Görev 3A) (Nakov ve diğerleri, 2016), 1.8k / 0.2k / 0.3k eğitim / geliştirme / test örneklerini içeren cümle düzeyinde bir QA veri kümesidir. Her örnek kullanıcı soruları ve 10 yorumdan oluşur. Görev, her yorumun soruyla ilgili olup olmadığını sınıflandırmaktır.

SICK (Marelliet diğerleri, 2014), 4.5K / 0.5K / 5.0K eğitim / geliştirme / test örneklerini içeren, metinsel çıkarımları (RTE) tanımak için kullanılan bir veri kümesidir. Her örnek bir hipotez ve bir öncül içerir ve amaç, önermenin çelişkiler içerip içermediğini veya hipotez için nötr olup olmadığını (dolayısıyla bir sınıflandırma problemi) belirlemektir. Kelime segmentasyonu ile denetlenen QA veri setinin QA dışı veri setleri için de kullanılabileceğini göstermek için SICK'in sonuçlarını da gösteriyoruz.

3 model

Segmentasyon QA görevi tarafından önerilen birçok model arasında, açık kaynaklı bir model olan BiDAF'ı benimsedik (Seo vd., 2017).

BiDAF . Modelin girdisi, soru q ve bağlamsal paragraf x'tir. Ardından, model en iyi yanıt aralığını seçer, yani

, Neredeyim < = j. Buraya,

ile

Sırasıyla i'nci öğenin başlangıç ve bitiş konumlarının olasılıklarıdır.

Burada, öğrenmeyi cümle düzeyinde QA'ya aktarmak için çok önemli yanıt modülünü kısaca tanıtıyoruz. Yanıt modülünün girdisi bir dizi vektördür

Her vektör, i'inci bağlam kelimesi ve sorudaki çevreleyen kelimeler ve kelimelerle olan ilişkisi hakkında yeterli bilgiyi kodlar. Daha sonra yanıt modülünün işlevi, her hi vektörünü başlangıç ve bitiş konum olasılığına eşlemektir.

ile

BiDAF-T Cümle düzeyinde QA ile uyumlu hale getirmek için BiDAF'ın revize edilmiş versiyonunu ifade eder. ('T' yaşlılıktır). Bu görevde girdi, soruların ve cümlelerin bir listesidir,

, T cümle sayısıdır. Her örneğin tek bir cevap çıkardığı BiDAF'ın aksine, her kinci cümle için bir C kategorisi çıkarmamız gerektiğini lütfen unutmayın.

BiDAF bir kelime bölütleme seçim modeli olduğundan, cümle düzeyinde sınıflandırma için doğrudan kullanılamaz. Bu nedenle, BiDAF'ın orijinal yanıt modülünü farklı bir yanıt modülüyle değiştirdik ve diğer modülleri BiDAF modülü ile aynı tuttuk. Yeni bir yanıt modülü verildiğinde

Üst simge cümle indeksi (1kT) olduğunda girdisi, k'inci cümlenin C sınıflandırma puanını elde etmek için max-pooling yöntemini kullanırız,

onların arasında

Bunlar, sırasıyla eğitilebilir ağırlık matrisi ve sapmasıdır ve her bir öğeye max () işlevini uygular.

WikiQA ve SemEval 2016 için, kategori sayısı (C) 2'dir, bu da her cümlenin (veya yorumun) alakalı veya alakasız olduğu anlamına gelir. Bu veri setlerinde kullanılan metriklerin bazıları tam bir sıralama gerektirdiğinden, cümleleri sıralamak için "ilgili" etiketin tahmin edilen olasılığını kullanırız.

BiDAF-T'nin RTE veri setinde de kullanılabileceğine dikkat edin Hipotezi bir problem olarak ele alabilir, önermeyi bir bağlam cümlesi olarak sınıflandırabiliriz (T = 1) ve her örneği "ima" ve "nötr" olarak bölebiliriz. Veya "çelişki" (C = 3).

Transfer öğrenimi . Aynı model mimarisi arasında aktarım öğrenimi basittir: önce kaynak veri kümesinde önceden eğitilmiş kaynak modelin ağırlıklarıyla hedef modelin ağırlıklarını başlatırız ve ardından hedef modeli daha fazla eğitmek (ince ayar) için hedef veri kümesini kullanırız. BiDAF'tan (SQuAD'da) BiDAF-T'ye transfer için, aynı modülün tüm ağırlıklarını taşıyoruz ve BiDAF-T'deki yeni yanıt modülünü rastgele değerlerle başlatıyoruz. Daha fazla eğitim detayı için lütfen Ek A'ya bakın.

Tablo 1 QA veri setinden problem bağlam çiftlerine ve RTE veri setinden hipotez çiftlerine örnekler. Q soru anlamına gelir, C bağlam anlamına gelir, A cevap anlamına gelir, P öncül anlamına gelir ve H hipotez anlamına gelir.

4 deney

Tablo 2 WikiQA ve SemEval-2016 Sonuçları (Görev 3A). İlk satır, önceden eğitilmemiş modelin sonucudur ve *, toplama yöntemini temsil eder. Kullanılan ölçümler Ortalama Hassasiyet (MAP), Ortalama Göreli Sıra (MRR), Sıra 1 (P @ 1) ve Ortalama Geri Çağırma Oranı (OrtR) 'dir. Sıra 1,2,3, MAP'ye göre sıralanmış önceki çalışmanın sonuçlarını temsil eder. WikiQA için Wang ve Jiang (2017a); Timoshenko ve diğerleri (2016); Miller ve diğerleri (2016),. SemEval2016 için, bunlar Filice ve diğerleri (2016); Joty ve diğerleri (2016); Mihaylov ve Nakov (2016) 'dan alınmıştır. SQuAD * & iki veri seti üzerinde en son teknolojiyle yapılan deneylerin sonucudur.

Soru cevap sonucu . Tablo 2, WikiQA ve SemEval-2016'da transfer öğrenmenin son teknoloji ürünü sonuçlarını, önceki modellerin performansını ve ön eğitim veya hassas ayarlamalar kullanmayan birkaç basitleştirme yöntemini göstermektedir. Tablo 2'de aşağıdaki gibi birkaç ilginç gözlem var:

(A) BiDAF-T modelini ön eğitim olmadan yalnızca hedef veri setinde eğitirsek (Tablo 2'nin ilk satırı), sonuç kötüdür. Bu, ön eğitimin ve hassas eğitimin önemini gösterir.

(B) Ön eğitim SQuAD ve SQuAD-T (ikinci ve üçüncü satırlar), WikiQA veri setindeki en son teknolojiye yakın sonuçlar elde edebilir, ancak SemEval-2016'da uygulanamaz. İlginç bir şekilde, SemEval-2016'daki deneysel sonuçlarımız, transfer öğrenimi olmadan eğitimden daha iyi değil. Bunun, sırasıyla topluluktan SemEval-2016 ve SQuAD alanları ve Wikipedia arasındaki önemli farktan kaynaklandığını düşünüyoruz.

(C) Yoğunlaştırılmış yöntemi (dördüncü ve beşinci satırlar) kullanarak WikiQA üzerinde SQuAD ve SQuAD-T ön eğitimi, en yüksek sıralamalı sistemden (% 5'in üzerinde) önemli ölçüde daha iyidir. Aynı zamanda SemEval'in 2016'daki ikinci sıralama sisteminden daha iyidir ve birincilik sisteminin sadece% 1 gerisindedir.

(D) Transfer öğrenme modu, kaba cümle düzeyinde denetimden (SQuAD-T) daha iyi sonuçlar elde edebilen sözcük bölümleme düzeyi denetiminde (SQuAD) önceden eğitilmiştir.

Son olarak, aynı BiDAF mimarisi üzerinde, her iki veri setinde de mevcut en iyi sonuçları elde eden 12 farklı topluluk eğitim yöntemi kullandık. Bu sistem, WikiQA'daki en yüksek dereceli sistemden% 8'den fazla daha iyidir ve SemEval-2016'daki en iyi sistemden her metrikte% 1 oranında daha iyidir. SQuAD-T ve SQuAD dikkate alındığında, büyük ölçekli SQUAD'den daha küçük WikiQA'ya geçişten çok fayda sağladığımızı belirtmek önemlidir ( > % 3), kelime bölümleme denetiminin çok önemli bir rol oynadığını bulduk.

Egzersiz öncesi veri kümesinin boyutunu değiştirin . Ön eğitim sırasında kullanılan SQuAD veri kümesinin boyutunu değiştirdik ve ince ayar yoluyla WikiQA'yı test ettik. Sonuçlar Tablo 3'te gösterilmektedir. Beklendiği gibi, WikiQA üzerindeki MAP, SQuAD boyutuyla birlikte azalır. SQuAD-T üzerindeki ön eğitimin (Tablo 2), SQuAD'nin% 50'sindeki ön eğitimden 0,5 puan daha düşük ürettiğini belirtmek gerekir. Başka bir deyişle, eğitim öncesi kelime bölümleme düzeyinde denetim verilerinin değeri, cümle düzeyinde denetim verilerinin iki katı veya daha fazladır. Buna ek olarak, küçük ölçekli ince taneli denetimli veriler bile yararlıdır; ön eğitim için% 12,5 SQuAD kullanmak, eğitim öncesi olmamaya göre 7 puanın üzerinde bir avantaja sahiptir.

analiz . Şekil 1, Tablo 1'deki WikiQA örneğindeki soru ve bağlam cümlelerinden birinin potansiyel öğrenme grafiğini göstermektedir. Üst eşleme SQuAD-T'de önceden eğitilmiştir (Tablo 2'deki SQuAD-TYes'e karşılık gelir) ve alt eşleme, SQuAD (SQuADYes) üzerinde önceden eğitilmiştir. Renk ne kadar kırmızı olursa, karakterler arasındaki korelasyon o kadar yüksek olur. Burada iki ilginç fenomen görülmektedir.

Her şeyden önce, SQuAD ön eğitim modelinde (altta), sorunlu airbus ile bağlam uçağı ve havacılık arasındaki yazışmanın çok yüksek olduğunu görüyoruz, ancak SQuAD-T ön eğitim modeli bu yazışmayı öğrenmiyor.

Tablo 3 Ön eğitimde kullanılan farklı boyutlara sahip SQuAD veri setlerinin sonuçları. Bunların tümü WikiQA'da ince ayarlandı ve test edildi.

Şekil 1, (üst) SQuAD-T ön eğitim modelinin WikiQA'sında ve (altta) SQuAD ön eğitim modelinde soru (dikey) ile bağlamının alt kümesi (yatay) arasındaki uygunluğu göstermektedir. Ne kadar kırmızı olursa korelasyon o kadar yüksek olur.

İkinci olarak, SQuAD eğitim öncesi modelinin grafiğinin daha seyrek olduğunu görüyoruz, bu da problem ile bağlam kelimesi arasındaki yazışmanın daha doğru bir şekilde yerleştirilebileceğini gösteriyor. Aslında, SQuADY ve SQuAD-TY'deki WikiQA test örneklerinin seyrekliğini karşılaştırdık. Hurley ve Rickard'a (2009) göre bir grafiğin seyrekliği şu şekilde tanımlanmaktadır:

Bunlar arasında, 0,01 olarak tanımladığımız daha küçük bir değer olan şekilde 0 ile 1 arasında bir değerler kümesi bulunmaktadır. Seyreklik histogramı Şekil 2'de gösterilmektedir. SQuADYes ve SQuAD-TYes arasındaki WikiQA test örneklerinin ortalama seyrekliği sırasıyla 0.84 ve 0.56'dır.

Hata analizi ve görsel analiz dahil olmak üzere daha fazla analiz için Ek B'ye bakın.

İma edilen sonuç . Kalite Güvencesi deneylerine ek olarak, kelime segmentasyonu denetimli KG konusunda eğitilen modelin metinsel düzenleme görevleri (RTE) için kullanılabileceğini de gösterdik. Tablo 4, BiDAF-T'nin SICK veri setinde (Marelli ve diğerleri, 2014) çeşitli eğitim öncesi prosedürlerle birlikte transfer öğrenme sonuçlarını göstermektedir. SNLI'nin (Bowman ve diğerleri, 2015) SICK'e benzer bir görev olduğunu ve önemli ölçüde daha büyük olduğunu unutmayın (150K / 10K / 10K eğitim / geliştirme / test örneği). Burada aşağıdaki üç fenomeni gözlemliyoruz:

(A) SQuAD üzerinde önceden eğitilmiş BiDAF-T, herhangi bir ön eğitim olmaksızın% 6'dan daha iyidir ve SQuAD-T üzerinde önceden eğitilmiş% 2'den daha iyidir; bu, aktarım öğreniminin büyük ölçekli kelime segmentasyonu denetimli QA için önemli iyileştirmeler sağladığını gösterir .

(B) SQUAD + SNLI'de ön eğitim, yalnızca SNLI'de ön eğitimden daha iyidir. SNLI'nin SQuAD'den daha büyük olduğu göz önüne alındığında, performans farkı güçlü bir göstergedir, yani sadece SQuAD ölçeğinden değil, aynı zamanda sağladığı hassas denetim yöntemlerinden de yararlanıyoruz.

Mou ve diğerlerinin (2016) SNLI ön eğitimi ile SICK'in etkinliğini de gösterdiğini belirtmek gerekir.

Şekil 2 SQuAD-T ön eğitim modeli (SQuAD-TYes, mavi) ve SQuAD ön eğitim modeli (SQuADYes, kırmızı) grafik seyrekliği (denklem 2) histogramı. SQuAD eğitim öncesi modelinin ortalama seyrekliği (0.84), SQuAD-T ön eğitim modelinden (0.56) önemli ölçüde daha yüksektir.

Tablo 4: Doğru hesaplamadan sonra SICK sonuçları. İlk satır, yalnızca SICK kullanan eğitimi ifade eder. * Entegrasyon yöntemini gösterir.

5. Sonuç

Bu makalede, WikiQA ve SemEval-2016'nın (görev 3A) son teknoloji sonuçlarını ve önceki yöntemlere göre% 8,% 1 ve% 2 iyileştirme sağlayan gizli bir görev SICK'i gösteriyoruz. Büyük ölçekli kelime bölümlemesinin gözetimi altında eğitilen soru-cevap modelinden cümle düzeyinde denetlenen soru ve cevaba kadar standart aktarım öğrenmenin cümle düzeyinde denetlenen soru ve cevabın etkisini büyük ölçüde artırabildiğini bulduk. Aynı zamanda, bu transfer öğrenimi, metinsel ima gibi diğer NLP görevlerine de uygulanabilir.

Kağıt indirme bağlantısı: