AAAI 2020 | Shanghai Jiaotong University Cloud, "okuduğunu anlama" sorununu çözmek ve dünya lideri puanı kazanmak için bilim ve teknolojiden DCMN + modelini öneriyor
Yazar | Yuncong Technology Editör | Camel
Bu makale, Shanghai Jiaotong Üniversitesi ve Yuncong Technology tarafından ortaklaşa tamamlanan ve AAAI2020 tarafından kabul edilen "DCMN +: Çoktan Seçmeli Okuma Anlama için Çift Eşleştirme Ağı" makalesinin bir yorumudur.
Makaleye bağlantı: https://arxiv.org/abs/1908.11511
Çok çalışılan öğrencilerin olduğu o günlerde, kapsamlı öznel ifadeler ve cevaplar gerektiren, sayısız aday için baş ağrısı olan okuduğunu anlama ile karşılaşmış olmalısınız. Akıllı sistemler Go, satranç, oyunlar vb. Alanlarda insanları geride bıraktıktan sonra, "okuduğunu anlama" da makinelerin "sıkıntısı" haline geldi.
Bu bağlamda, Yuncong Technology ve Shanghai Jiaotong Üniversitesi, RACE çoktan seçmeli sorular için gelişmiş bir DCMN + modeli önerdi.
DCMN +, yılın başında önerdiğimiz DCMN geliştirilmiş modelidir. Çoktan seçmeli makine okumayı anlama için, çoktan seçmeli makine okuma anlama görevlerini (Carnegie gibi) gerçekleştirmek için ön uç kodlayıcılar olarak büyük ölçekli ön eğitim modelleri (BERT vb Londra Üniversitesi RACE, en ileri seviyeye ulaşmıştır ve DCMN, diğer basit sınıflandırma görevleri için de uygundur.
Diğer teknolojilerle karşılaştırıldığında, ayırt edici özelliği iki yönlü eşleştirme stratejisidir.Diğer mevcut modellerin eşleştirme stratejilerinin tümü tek yönlüdür.Örneğin, makale-soru (PQ) modellemesinde, mevcut teknolojinin yalnızca makalede (Q) sorusu vardır ( P'deki eşleme eşleşiyor, soruda (Q) makale (P) eşleşmesi yok ve DCMN, eşleşen bilgileri her iki yönde de entegre ediyor. Ek olarak, cümle filtrelemeyi makaleye entegre eder - akıl yürütme için makaleden (P) soruyla ilgili cümleleri filtreleyerek ve cevap seçeneği etkileşimi - seçenekler arasındaki bilgileri karşılaştırmak için iki okuma stratejisi sunar, bu da modelin performansını daha da artırır.
görev ayrıntıları
Bu makale çoktan seçmeli makine okumayı anlama üzerine odaklanmaktadır.Formatı İngilizce testindeki okuduğunu anlama (çoktan seçmeli) ile benzerdir.Bir makale verildiğinde, makaleyi okuyup anlayarak (Pasaj) soru sorudan (Soru) çıkarılır. Seçeneklerden doğru cevabı (Cevaplar) seçin. Tipik veri seti, Carnegie Mellon Üniversitesi tarafından başlatılan RACE (İngilizce Sınavlarından toplanan ReAding Comprehension veri seti) olup, ortaokul sınav sorularının geniş ölçekli okuduğunu anlama veri setinden türetilmiştir ve yaklaşık 28.000 içerir. Makaleler ve yaklaşık 100.000 soru. RACE'e ek olarak, modelimizi SemEval-2018 Task11, ROCStories, MCTest ve COIN Task1 gibi benzer çoktan seçmeli veri setleri üzerinde de test ettik.
Çoktan seçmeli makine okuduğunu anlama için tipik bir örnek
Model çerçevesi Bu makalede önerilen DCMN + temel olarak üç modül içerir:
1) Makalede cümle taraması, mantık için makaleden (Pasaj) soruyla ilgili cümleleri seçin;
2) Cevap seçeneklerinin etkileşimi, seçenekler arasında karşılaştırma bilgilerinin tanıtılması;
3) İki yönlü eşleştirme stratejisi, simetrik iki yönlü eşleştirme için Geçit, Soru ve Cevaplar arasındaki etkileşimli bilgilerden tam olarak yararlanır.
Genel model çerçevesi, üç modül: Cümle Seçimi, Seçenek Etkileşim ve İki Yönlü Eşleştirme
2.1 Kodlayıcı
Bu makale, sırasıyla Geçiş, Soru ve Cevapları kodlamak için BERT ve XLNet gibi ön uç kodlayıcılar olarak önceden eğitilmiş dil modellerini doğrudan kullanır.
2.2 Pasaj Cümle Seçimi
Makaleden en alakalı cümleleri seçmek için, makaledeki her cümle ile soru-seçenek çifti arasındaki benzerliği hesapladık, en alakalı K (hiperparametre) cümlelerini seçtik ve bunları modelin sonraki bölümüne girdik. Akıl yürütmenin temeli olarak. Cümleler arasındaki benzerliği hesaplamanın iki özel yolu vardır: kosinüs mesafesi ve çift doğrusal mesafe.
Kosinüs mesafesi: Makaledeki cümle ile soru-seçenek çiftindeki kelimeler arasındaki mesafeyi tek tek hesaplayın ve benzerlik puanı olarak ortalama değeri alın:
Çift doğrusal mesafe: makale cümlesinin ve soru seçeneği çiftinin çift doğrusal eşleştirme puanını hesaplayın ve ardından doğrusal boyutluluk azaltma ile nihai puanı elde edin:
2.3 Yanıt Seçeneği Etkileşimi (Yanıt Seçeneği Etkileşimi)
Yanıt seçenekleri arasında karşılaştırma bilgileri sunarak, her yanıt diğer yanıtlarla ilgili karşılaştırma bilgilerini birleştirir, böylece her yanıt seçeneği artık izole olmaz ve özel hesaplama yöntemi, her seçenek çifti arasında iki doğrusal karşılaştırma bilgisini tanıtmaktır. , Ve son olarak, orijinal seçenek bilgileriyle birleştirmek için geçit mekanizmasını kullanın.
2.4 Çift Yönlü Eşleştirme
Geçiş-Soru-Cevaplar üçlüsü olan P-Q, P-A, Q-A gibi tüm ikili çiftlerin çift yönlü eşleştirme bilgilerini hesaplayın. Daha sonra, örnek olarak Q-A arasındaki eşleştirme yöntemini alın: soru ve cevap seçenekleri sırasıyla kodlanır, ardından Q-A arasındaki iki yönlü eşleşme aşağıdaki şekilde hesaplanabilir:
2.5 Amaç işlevi
Makale, soru ve cevap seçenekleri arasındaki iki yönlü eşleştirme temsilini elde ettikten sonra, son cevabı tahmin etmek için bunları tamamen bağlı doğrusal bir katman üzerinden seri olarak bağlarız.Doğru cevap seçeneği ise, Kayıp şu şekilde hesaplanabilir:
Deneysel sonuçlar
RACE, SemEval-2018 Task11, ROCStories, MCTest ve COIN Task1 dahil olmak üzere çeşitli çoktan seçmeli veri setlerinde en gelişmiş sonuçları elde ettik.
(RACE'deki sonuçlarla karşılaştırıldığında en yüksek sonuçları elde ettik)
(SemEval-2018 Task11, ROCStories, MCTest ve COIN Task1'de hepimiz en yüksek sonuçları elde ettik)
DCMN + modeli, RACE, SemEval-2018 Task11, ROCStories, MCTest ve COIN Task1'in farklı veri kümelerinde en yüksek sonuçları elde etti.
(RACE'deki sonuçları karşılaştırın, en yüksek sonucu alın)
(SemEval-2018 Task11, ROCStories, MCTest ve COIN Task1'de de en yüksek puanları aldılar)
