Kuru Mallar 2018 Makine Okuma Anlama Teknolojisi Yarışması Şampiyonu Naturali, Soru-Cevap sistemi için yeni fikirleri paylaşıyor
AI Technology Review Press: 28 Temmuz'da Çin Çin Bilgi Toplumu ve Çin Bilgisayar Derneği'nin ortaklaşa düzenlediği 3. Dil ve Zeka Zirvesi Forumu Pekin Dil ve Kültür Üniversitesi'nde gerçekleştirildi. 2018 Makine Okuma Anlama Teknolojisi Yarışması'nın şampiyon takımı Naturali Singularity Wit Takımı, buna katılmaya davet edildi. Naturali'nin Kurucu Ortağı ve CTO'su ve Uluslararası Hesaplamalı Dilbilim Derneği (ACL Üyesi) Lin Dekang, "Makine Okuduğunu Anlama Değerlendirme Forumu ve Ödül Töreni" etkinliğinde temsilci olarak 2018 Okuduğunu Anlama Teknolojisi Rekabet Sistemi Raporunu sundu.
Makine okuduğunu anlama görevi, doğal dil işleme alanında her zaman önemli bir konu olmuştur. 2018 Makine Okumasını Anlama Teknolojisi Yarışması, gerçek senaryolara dayanan büyük ölçekli bir Çince okuduğunu anlama Baidu veri kümesi sağlar. Çin okuduğunu anlama sistemi için büyük bir zorluk teşkil eden Baidu aramasından gerçek kullanıcılardan gelen 300.000 soruyu içerir. Naturali'nin sistemi, ROUGE-L ve BLEU-4 için resmi test setinde sırasıyla 63.38 ve 59.23'e ulaştı ve final sonuçlarını sunan 800'den fazla kayıtlı takım ve 105 takım arasında birinciliği kazandı.
Aşağıda Naturali Singularity Wit'in kurucu ortağı ve CTO'su Lin Dekang tarafından olay yerinde paylaşılan yarışma raporu:
1. DuReader Okuma Anlama Veri Kümesinin Özellikleri
Pek çok okuduğunu anlama sorusu ve cevabı veri kümesi vardır ve Baidu veri kümesi, Çin okuduğunu anlama veri kümeleri arasında en iyisi olarak kabul edilir. Baidu veri kümesi, klasik Stanford veri kümesi SQuAD'den daha gerçek ve daha zordur. SQuAD, Wikipedia'nın bilgi kaynaklarından entegre bir sorudur.Cevap metinde görünmelidir ve sözdizimi nispeten standarttır. Bu yarışmanın Baidu veri seti, yalnızca gerçeklere dayalı sorular değil, aynı zamanda fikir soruları da dahil olmak üzere, kullanıcılardan gelen tüm gerçek sorulardır.Bazı soruların Baidu aramasında standart cevapları yoktur ve soruların ifade edilmesi de her zaman kolay değildir.
Örneğin, "iPhone X iyi mi değil mi?" Görüş sorusu veya fenomen açıklaması "Çalır çalmaz aramada olduğu söylenir." Bu tür soruların cevaplanması daha zordur.
2. Yarışma konularına örnekler
Soru: Gwent markası ne zaman test edilecek?
Cevabı manuel olarak işaretleyin:
Naturali cevabı:
Referans dökümanlar
>
Açıklama: Referans belge, arama motorundan elde edilen en üst sıradaki web sayfasının tam metnidir. Bir soru birden çok uzun belgeye karşılık gelir; açıklamalı yanıt, belge özetine göre manuel olarak yazılır. Bir soru, özellikle birden çok yanıta karşılık gelebilir Fikir soruları için birden fazla cevaba sahip olmak yaygındır. Yukarıdaki durumlardan Naturali okuduğunu anlama sisteminin verdiği cevapların manuel cevaplardan daha kapsamlı olduğu görülmektedir.
3. Veri ön işleme
Baidu, referans belgeleri olarak beş makale sağlar. Makalede uzunluk sınırı olmadığı için 500 kelimeden fazla olan makaleleri anahtar kelime yoğunluğu, cümle konumu ve diğer bilgilere göre 500 kelimeden az olacak şekilde sıkıştırıyoruz.
Aşağıdakiler, veri ön işlememizin özel yöntemleridir:
Birbirine bağlanmak için her paragrafın başlığı ve içeriği arasına özel bir bölümleme sembolü eklenirse ve önceden belirlenmiş maksimum uzunluğu aşmazsa, sonuç ön işlemenin sonucu olur;
Aksi takdirde, paragrafın ve sorunun alaka düzeyini ölçmek için her paragrafın ve sorunun BLEU-4 puanını hesaplıyoruz;
En yüksek k puana sahip paragraflar arasında, en erken görünen paragrafı seçin;
Başlığı, bu paragrafı ve sonraki paragrafı seçin;
3. ila 10. paragraflar için, her paragrafın ilk cümlesini seçin;
Seçilen tüm içeriği özel bir ayırıcıyla bağlayın, önceden ayarlanmış maksimum uzunluğu aşmayan içeriği durdurun ve sonucu ön işleme sonucu olarak kullanın.
Dördüncü olarak, modelin genel yapısı
Kullandığımız modelin genel yapısı, dört katmana ayrılmış klasik bir uçtan uca okuduğunu anlama modeli yapısıdır:
İlk katman: özellik temsil katmanı (Temsil)
İkinci katman: kodlama katmanı (Kodlama)
Üçüncü katman: eşleşen katman (Eşleştirme)
Dördüncü katman: Answer Span Extraction (Answer Span Extraction)
Aşağıda her katmanı kısaca tanıtıyoruz.
İlk katman: özellik sunum katmanı
Öncelikle, bir sorunun kelime dizisi ve metnin kelime dizisi göz önüne alındığında, onun üzerinde özellik çıkarımı yapmalı ve onu bir özellik vektör dizisine dönüştürmeliyiz.
Sogou Internet Corpus üzerinde ön eğitim alıyoruz. Bu veri kümesi, Baidu veri kümesinden birkaç büyüklük sırasıdır. Tüm Çince web sayfaları içindedir. Her kelimenin vektör ifadesi içinde eğitilmiştir.
İkinci katman: kodlama katmanı
Soru ve metnin vektör özellik temsil dizisini elde ettikten sonra ayrı ayrı kodluyoruz.
Üçüncü katman: eşleşen katman
Eşleştirme katmanı modelin temel parçasıdır.Sorunu ve metin bilgisini birleştirmek için dikkat mekanizmasını kullanırız.
Birkaç modeli test ettikten sonra, nihayet sistemimizde üç entegre Match-LSTM, BiDAF ve DCA modeli kullandık.Diğer modellerle karşılaştırıldığında, bu modeller benzer etkilere ve daha hızlı eğitim hızına sahiptir. Tek bir modelde, BiDAF kullanıyoruz ve entegre bir modelde, entegre etmek için farklı eşleşen katmanların sonuçlarını kullanıyoruz.
Dördüncü katman: cevap parçası çıkarma katmanı
Son olarak, cevapları çıkarmak için işaretçi ağını kullanıyoruz.
Baidu veri setinin özelliklerine göre, cevap birden fazla cevap içerebilir, bu yüzden hesaplamak için çoklu referans cevabı kullanan ikinci formülü, yani kayıp fonksiyonu olarak çoklu cevaplardaki ortalama kaybı kullanırız.
Yaygın kayıp işlevleri
Birden çok referans yanıtı kullanın
Beş, minimum risk eğitimi
Olağan RC sistemi, eğitim hedefi olarak standart cevap olasılığını iyileştirmektir, ancak gerçek değerlendirme standardı ROUGE'dir. Minimum risk eğitimi, değerlendirme standardını eğitim hedefi olarak almaktır ve her bölüm için kayıp fonksiyonunun hesaplanması gerekir, bu nedenle optimizasyon süresi nispeten uzundur. Sistemimiz, ilk modeli elde etmek için önce maksimum olasılık tahminiyle eğitim verir ve ardından ROUGE değerimizi en üst düzeye çıkarmak için ROUGE işlevini doğrudan optimize eder. Burada delta (y_i, y_i *), ROUGE fonksiyonundaki aday cevap y_i ile standart cevap y_i * arasındaki farktır.
Minimum risk eğitimi
Eğitime devam etmek için maksimum olabilirlik tahmin eğitimiyle elde edilen modeli başlatın
6. Tek model deneyinin sonuçları
ROUGE puanımız, sonunda bölüm ön işleme, ön eğitim kelime vektörleri, diğer özellikler, çoklu yanıtlar, ortak eğitim, minimum risk eğitimi ve diğer yöntemlerle kapsamlı bir şekilde biriken temel sistem puanını çok aşabilir.
Yedi, entegre model
Gönderdiğimiz veriler entegre bir model aracılığıyla hesaplanır ve son olarak farklı modellere (BiDAF, MatchLSTM, DCA) ve farklı parametrelere (Bırakma: 0.1, 0.15, 0.2, ortak öğrenme oranı: 4.0, 5.0) göre entegre bir model oluşturulur. , Tek bir modelin ROUGE puanından 1,5 puan daha yüksektir.
8. Özet ve Görünüm
Bu yarışma için uçtan uca bir sinir ağı sistemi kullandık ve Google'da Soru-Cevap aramak için modüler bir sistem kullandım. Modüler sistem soruyu birkaç bölüme ayıracak, önce yanıt türünü belirleyecek ve ardından türe, soruya ve metin eşleştirme derecesine göre puanı hesaplayacaktır. Sinir ağı sistemi, tüm adımları bir ağa yerleştirir.Özel olarak farklı cevap türlerini modellemese de, eğitim tamamlandıktan sonra "Ne zaman ..." gibi farklı soru türlerini yine de kapsayabilir, Bulduğum cevapta bir tarih var.
Modüler sistemle karşılaştırıldığında, sinir ağının uçtan-uca sistem kodu çok daha basittir ve her değişiklik ve optimizasyon küresel bir optimizasyondur. Bununla birlikte, bir modüler sistemin optimizasyonu, belirli bir modülü optimize etmektir ve modüller, ilgili kusurlarına uyarlanmıştır Modüllerden biri daha iyi hale gelir ve diğer modüller buna göre iyileştirilemeyebilir, bu da tüm sistemin optimizasyonunu daha zor hale getirir.
Çoğu soru yanıtlama sistemi zaten çevrimiçidir, ancak bunların arkasındaki uygulama hala modüler bir mekanizmadır. Sinir ağı sisteminin performansının şu an için modüler sistem kadar iyi olmaması muhtemeldir, ancak doğruluğu bu aşamada zaten bazı uygulamalara sahip olabilir. Örneğin, bir sesli asistan olarak çalışırken, genellikle aramayı "aşağıya doğru" işlevinin bir işlevi olarak kullanırız. Örneğin akıllı bir müşteri hizmetleri uygulamasında anahtar kelime eşleştirme için müşteri hizmetleri belgeleri kullanılır, ancak otomatik okuduğunu anlama ile okuduğunu anlama sistemi bir "cep" olarak kabul edilebilir Belgeyi bulduktan sonra daha kısa ve doğru cevaplar bulabilirsiniz.
Son olarak, ekibimizle ilgilenen öğrenciler varsa, lütfen özgeçmişinizi jobs@naturali.io adresine gönderin. AI sesli etkileşim yolunda bize katılmanızı dört gözle bekliyoruz.
hepinize teşekkür ederim.
Naturali Singularity Wit'e Ekli Giriş:
Naturali Kasım 2014'te kuruldu ve işini iki yöne odakladı: Biri NI açık platformudur - "Sıfır kodlama, beş dakika, kendi ses becerilerinizi yaratın", her tür donanım ve APP için AI ses etkileşimi sağlar kabiliyet. Diğeri, büyük Android mağazalarında piyasaya sürülen öğrenme işlevi "Nokta Sesi" olan üçüncü taraf bir ses asistanı uygulamasıdır. 300'den fazla uygulamayı kapsayabilir ve 12000'den fazla ses becerisini destekleyebilir.
Doğal dil işlemede sorunların% 90'ı nasıl çözülür?
"Orijinali oku" yu tıklamaya hoş geldiniz
Veya AI Araştırma Topluluğu topluluğuna geçin ~
