ACL 2018 University of Washington: Basit ve etkili çok paragraflı okuduğunu anlama
Bu makale, Washington Üniversitesi ve Allen Yapay Zeka Enstitüsü tarafından ACL 2018'de yayınlanan bir çalışmadır. Makale, tüm belgenin girdi olarak alınması koşuluyla derin öğrenmeye dayalı paragraf temelli bir soru cevaplama modeli önermektedir. Yeni yöntemin getirdiği teknolojik gelişmeyi doğrulamak için TriviaQA ve SQuAD üzerinde deneyler yapıldı. Tam metnin üç katkı noktası vardır: Birincisi, belgeden birden çok paragraf çıkaran ve genel doğruluk ve hata çıktısı verebilen ve modelin genel doğru çıktı üretmesini gerektiren nesnel bir işlev kullanan iyileştirilmiş bir boru hattı yöntemi önerilmiştir. İkincisi, her paragraf için doğru güven puanları oluşturmak için yeni bir eğitim modelleri yöntemi sunmaktır. Üçüncüsü, belge düzeyindeki verileri işlerken ortaya çıkan diğer birçok tasarım kararını belirlemek ve iyileştirmektir.
Giriş
Doğal dil işlemede, makinelere kullanıcılar tarafından sorulan soruları yanıtlamayı öğretmek, NLP'nin uzun vadeli hedefidir. Günümüzde, genel sorular için, mevcut bilgi erişim teknolojisi, cevaplar içerebilecek belgeleri bulabilmiştir. Ancak, yanıtları bu belgelerden otomatik olarak çıkarmak hala büyük bir zorluktur.
Şu anda, mevcut soru ve cevap modeli tüm belgeye veya çoklu belge girdisine genişletilemez, ancak modeli basitçe makalenin her paragrafına uygular ve sonunda istatistiksel yanıtlar verir. Bu şekilde, soruyla pek alakalı olmayan, ancak aslında gerçek cevap aralığı olan paragrafları göz ardı etmek kolaydır. Nöral modeller, ilgili paragraf sorularını yanıtlamada zaten başarıya ulaşabilir, ancak çoğu nöral model kısa paragrafların ötesine genişletilemez, bu nedenle paragraf düzeyindeki modellerin genellikle belge düzeyinde girdiyi işlemek için ayarlanması gerekir. Burada makale, bir ardışık düzen yöntemini benimser ve paragraflar ayrı ayrı işlendiğinde bile çıktının global olarak hala optimal olduğunu anlamak için güven modelinde paylaşılan bir normalleştirme hedefi belirler.
Bu makalede kullanılan ana teknik teori yöntemi, boru hattı yöntemidir. Boru hattı QA sisteminde, bir paragrafın seçilmesi ve paragraf düzeyinde soru-cevap modeline aktarılması gerekir.
Paragraf seçimi
Yalnızca bir kaynak belge varsa, sorudan en küçük "TF-IDF kosinüs mesafesine" sahip paragrafı seçin.
Birden fazla girdi belgesi varsa, aynı TF-IDF puanına sahip doğrusal bir sınıflandırıcı kullanılır ve sınıflandırıcı, en az bir yanıt aralığı içeren paragrafları seçen, uzaktan denetlenen bir hedefe göre eğitilir.
Gürültülü etiket işleme
Uzaktan denetim ayarlarında, yanıt metniyle eşleşen tüm metin aralıklarını doğru olarak işaretleyin. Ayrıca, herhangi bir doğru yanıt aralığını seçmenin olumsuz günlük olasılığını optimize etmek ve tek seferde gerekli olmayan yanıt aralığını seçme olasılığını azaltmak için toplanan hedef işlevini kullanın. Ek olarak, model aracılığıyla, olası her yanıt aralığı için, aralık aralığının başlangıç ve bitiş etiketlerini yapın.
Modelin temel kısmı 5 seviyeye ayrılmıştır: Gömme, Ön İşlem, Dikkat, Öz-Dikkat ve Tahmin.
A. Gömme: Önceden eğitilmiş kelime vektörlerini kullanarak kelimeleri gömme ve öğrenilmiş gömme matrisini kullanarak karakterleri gömme, ardından bunları karakterden türetilmiş kelime yerleştirmeleriyle birleştirmek için evrişimli sinir ağları ve maksimum havuzlama uygulama.
B. Ön İşlem: Burada sorunlar ve makale yerleştirme ile başa çıkmak için paylaşılan iki yönlü bir GRU (Bi-GRU) kullanılır.
C. Dikkat: Dilin bağlamsal temsilini oluşturmak için İki Yönlü Dikkat Akışı'nın (BiDAF) Dikkat mekanizmasını kullanarak.
i, j: cevap aralığındaki kelimeler ve sorudaki kelimeler
merhaba, qj: i paragraf kelimesinin kelime vektörü ve j soru kelimesinin kelime vektörü
nq, nc: sorunun uzunluğu ve yanıt aralığının bağlam uzunluğu
w1, w2 ve w3: eleman bazında çarpma olan öğrenme vektörü
ci: her bağlam etiketi için hesaplanan katılım vektörü (başlangıç / bitiş)
qc: bağlam sorgu vektörü
Her bir etiketin son vektörü,
Elde edilir ve sonucu ReLU aktivasyonu ile doğrusal bir katmandan geçirin.
D. Öz Dikkat: Giriş, aynı Dikkat mekanizması kullanılarak başka bir iki yönlü GRU'dan (Bi-GRU) geçirilir, ancak burada qc yoktur, ancak ayarlar
.
E. Tahmin: Modelin son katmanında, iki yönlü bir GRU uygulanır ve ardından her bir başlangıç işaretinin yanıt puanı doğrusal katman aracılığıyla hesaplanır. Gizli durumu girdiyle birleştirin ve ardından her bir son işaretçi için yanıt puanını başka bir iki yönlü GRU ve doğrusal katman üzerinden hesaplayın. Softmax işlevi, başlangıç veya bitiş olasılığını hesaplamak için burada uygulanır.
Güven modeli
Model güvenirliğinin karşılaştırmalı ölçüsü, olası her yanıt aralığının standartlaştırılmamış puanı ve endekslenmemiş puanıdır (softmax işlevini uygulamadan önce). Sınır tabanlı model burada, her yanıt için bir başlangıç etiketi ve bir bitiş etiketi ile kullanılır. Aralığın puanı, başlangıç puanı ile bitiş puanının toplamıdır.
Sezgisel modda modelin aşırı güvenini önlemek için (örneğin, model sorunun gerektirdiği anlamsal türle eşleşen cevabı seçmeye çok fazla güvenebilir), işte 4 model eğitim yöntemi ve cevabı içermeyen tüm paragraflar Ek bir eğitim noktası olarak örnekleme.
(1) Paylaşılan Normalleştirme
Modeli paragraflar arasında karşılaştırılabilir puanlar oluşturmaya zorlamak için aynı bağlamdan örneklenen tüm paragrafların başlangıç ve bitiş puanlarının standartlaştırıldığı değiştirilmiş bir amaç işlevi kullanılır.
(2) Birleşme
Eğitim sırasında, aynı bağlamdan örneklenen tüm paragraflar birbirine bağlanır ve her paragrafın önüne öğrenme gömme içeren bir paragraf ayırıcı etiketi eklenir.
(3) Yanıt Yok seçeneği
Modelin her paragraf için özel bir yanıt yok seçeneği belirlemesine izin verin.
Amaç işlevi burada yeniden yazılmıştır.
sj, gj: j etiketi için model tarafından oluşturulan başlangıç ve bitiş sınır puanları
a, b: başlangıç ve bitiş etiketlerini düzeltin
Son olarak, modelin sonuna fazladan bir katman eklenerek başka bir z puanı hesaplanır. İlk olarak, girdi vektörü, başlangıç / bitiş olasılığı ile ağırlıklandırılan başlangıç / bitiş işareti puanını tahmin etmek için kullanılan RNN'nin toplam gizli durumunu elde ederek ve öğrenilen dikkat vektörünü öz-dikkat katmanının çıktısında kullanarak oluşturulur. Son olarak, bu vektörler 80 boyutlu bir gizli katman ve ReLU aktivasyonu ile iki katmanlı bir ağa gönderilir ve sonuç z onun tek çıktısıdır.
(4) Sigmoid
Sigmoid kayıp hedef fonksiyonu olan bir eğitim modeli düşünün. Her markörün başlangıç / bitiş olasılığı, her markörün başlangıç / bitiş skoruna sigmoid fonksiyonu uygulanarak hesaplanır. Çapraz entropi kaybı, her bir olasılık için kullanılır.
Bu makale 4 veri seti seçmektedir:
· Filtrelenmemiş TriviaQA, trivia veritabanından soru veri seti, soru web aramasını tamamlayarak bulunan belge eşleştirmesi;
· TriviaQA wiki, aynı veri kümesi, ancak yalnızca Wikipedia makalelerini içerir;
· TriviaQA'dan türetilen filtrelenmemiş bir veri kümesi olan TriviaQA web, sorunun cevabını içeren her soru belgesi çiftinin ayrı bir eğitim noktası olarak ele alınmasıyla işlenir.
· SQuAD, Wikipedia makaleleri ve kitle kaynaklı sorulardan oluşan bir koleksiyon.
Ön işlem
TriviaQA web için, belgeleri genellikle birçok küçük paragraf içerir, bu nedenle yazar, ardışık paragrafları hedef boyuta birleştirerek belgeyi yeniden oluşturdu ve birleştirilmiş paragraflar arasına gömme öğrenme içeren paragraf ayırıcılar ekleyerek korudu. Bilgileri biçimlendirin. En büyük paragrafın boyutu 400 olarak ayarlanmıştır.
Örnek seçili paragraflar
· SQUAD ve TriviaQA web veri setleri için, eğitim için her dönemin dört döneminden iki farklı paragraf örneklenir ve yanıtı içeren en yüksek sıradaki paragraf diğer paragrafların iki katı sıklıkta örneklenir.
· TriviaQA wiki veri kümesi için bu işlemi tekrarlayın, ancak ilk 8 paragrafı kullanın.
· Filtrelenmemiş TriviaQA veri kümesi için ilk 16 paragrafı kullanın.
Bunlar arasında, güven modeli eğitimi için yöntem 1 (Paylaşılan-Normalleştirme) ve yöntem 2 (birleştirilmiş) kullanılırken, en az bir paragrafın yanıt aralığını içermesi ve her iki paragrafın da aynı partiye dahil edilmesi gerekir.
Model eğitimi ve testi
Model eğitimi için Adadelta optimize ediciyi kullanın.
· SQUAD için, eğitim sırasında parti boyutunu 45, yanıt aralığının aralığını 17, GRU boyutunu 100 boyuta ve her Dikkat mekanizmasının doğrusal katman boyutunu 200 boyuta ayarlayın.
· TriviaQA için, eğitim sırasında grup boyutunu 60 olarak ayarlayın, yanıt aralığı aralığı 8'den küçük veya eşittir, GRU boyutu 140 boyuttur ve her Dikkat mekanizmasının doğrusal katman boyutu 280 boyuttur. (Bunun nedeni, TriviaQA veri kümesinin veri hacminin daha büyük olmasıdır)
Ek olarak, antrenman sırasında, ağırlıkların üstel hareketli ortalaması, zayıflama oranı 0.999'da kalır. Test ederken ağırlıklı ortalama değeri kullanın. Ve kelime vektörü eğitim sırasında güncellenmeyecektir. Son olarak, uçtan uca bir QA sistemi gösterimi oluşturmak için modelimizi web arama arka ucu ile birleştirdik ve sistem TREC Soru-Cevap görevindeki sorularda iyi performans gösterdiğini gösterdi.
Paragraf seviyesinde QA modellerini birden çok paragrafta kullanırken, Paylaşılan Normalleştirme her zaman diğer yöntemlerden daha iyidir. Cevapsız paragrafları örneklemeye yönelik eğitim yöntemi ise daha belirgin bir performans sergiliyor. Paragraf seçimi önerilerini birleştirerek (cevapları içermeyen örnekleme paragrafları ek eğitim noktaları olarak da kullanılmalıdır), özetlenmiş eğitim hedeflerinin ve model tasarımının kullanımı TriviaQA'nın en son teknolojik gelişimini teşvik edebilir. Demo sisteminde (URL: https://documentqa.allenai.org) gösterildiği gibi, bu çalışma, derin öğrenme için açık bir soru cevaplama sistemi oluşturmak için doğrudan uygulanabilir. Kaynak kodu https://github.com/allenai/document adresinde bulunabilir. -qa.
Kağıt indirme bağlantısı:
