Google açık bir soru ve cevap veri seti, 300.000 doğal soru + yapay olarak açıklamalı cevaplar yayınladı
Xin Zhiyuan Rehberi Bugün Google, doğal olarak oluşan 300.000 soruyu ve yapay olarak açıklamalı cevapları, 16.000 örneği içeren Doğal Sorular veri setini (Doğal Sorular) yayınladı ve bu veri setine dayalı bir soru-cevap sistemi sorgulaması başlattı. Doğal dil anlayışı alanında SQuAD olması bekleniyor!
Açık Alan Soru Cevaplama (QA), doğal dil anlayışında (NLU) bir kıyaslama görevidir. Amacı, insanların bilgiyi nasıl bulduğunu ve tüm belgeyi okuyup anlayarak sorulara nasıl cevap bulduğunu simüle etmektir.
Örneğin, verilen bir Doğal dilde ifade edilen sorunlar "Gökyüzü neden mavi?" ("Gökyüzü neden mavi?"), QA sistemi, Web sayfasını okuyun (Ör. "Gökyüzü Yayılımı" Wikipedia sayfası) Ve doğru cevabı ver Cevap biraz karmaşık ve uzun olsa bile.
Ancak, şu anda QA modellerini eğitmek ve değerlendirmek için kullanılabilecek büyük, kamuya açık bir model bulunmamaktadır. Doğal olarak ortaya çıkan sorunlar (yani, bilgi arayan kişilerin ortaya çıkardığı sorunlar) Ve cevap veri seti.
Bunun nedeni, QA görevleri için yüksek kaliteli bir veri kümesi oluşturmanın büyük miktarda Sorunun gerçek kaynağı Ve çok fazla insan gücüne ihtiyacım var Bu sorulara doğru cevapları bulun .
QA alanındaki araştırma ilerlemesini desteklemek için Google bugün yayınladı Doğal Sorular (NQ) , Bu, açık alanlı soru cevaplama sistemlerini eğitmek ve değerlendirmek için yeni, büyük ölçekli bir külliyattır ve sorulara insan cevaplarını uçtan-uca bulma sürecini tekrarlayan ilk külliyattır.
Natural Questions veri seti
NQ ölçeği çok büyüktür. 300.000 doğal olarak ortaya çıkan soru ve Wikipedia sayfalarından manuel olarak açıklamalı cevaplar , QA sistemini eğitmek için kullanılır.
Ek olarak, NQ külliyatında ayrıca 16.000 örnek Her örnek 5 farklı yorumcu cevap veriyor (Aynı problem için), bu öğrenilen QA sisteminin performansını değerlendirmek için çok kullanışlıdır.
Natural Questions veri kümesindeki örnekler
NQ'daki soruları yanıtlamak, önemsiz sorulardan daha derin bir anlayış gerektirdiğinden (bu, bilgisayarların çözmesi zaten kolay olan), Google ayrıca bilgisayarın doğal dili anlamasını iyileştirmeye yardımcı olmak için bu veri kümesine dayalı bir meydan okuma başlattı Anlamak.
NQ Mücadelesi Sıralaması
NQ veri seti 307K eğitim örnekleri, 8K geliştirme örnekleri ve 8K test örnekleri içerir.
Şu anda NQ Challenge liderlik tablosunda yalnızca Google'ınki var BERT Model ve DecAtt-DocReader Modelin derecesi. Makalede Google, uzun yanıt seçme görevinde en iyi insan performansının% 87 F1 olduğunu ve kısa yanıt seçme görevinde en iyi insan performansının% 76 olduğunu kanıtladı.
