2018 Makine Okuduğunu Anlama Teknoloji Yarışması Ödül Töreni: Yarışma Şampiyonu Naturali, Soru-Cevap sisteminin yeni fikirlerini paylaşıyor
28 Temmuz'da Çin Çin Bilgi Toplumu ve Çin Bilgisayar Derneği tarafından ortaklaşa düzenlenen 3. Dil ve İstihbarat Zirvesi Forumu Pekin Dil ve Kültür Üniversitesi'nde gerçekleştirildi. 2018 Makine Okuma Anlama Teknolojisi Yarışması'nın şampiyon takımı Naturali Singularity Wit Takımı, buna katılmaya davet edildi. "Makine Okumasını Anlama Değerlendirme Forumu ve Ödül Töreni" etkinliğinde Naturali kurucu ortağı ve CTO'su ve Uluslararası Hesaplamalı Dilbilim Derneği (ACL Fellow) Lin Dekang temsilcisi olarak 2018 Okuduğunu Anlama Teknolojisi Yarışması Sistemi Raporu'nu gerçekleştirdi.
Makine okuduğunu anlama görevi, doğal dil işleme alanında her zaman önemli bir konu olmuştur. 2018 Makine Okuma Anlama Teknolojisi Yarışması, Çin okuduğunu anlama sistemi için büyük bir zorluk teşkil eden, Baidu aramasından gerçek kullanıcılardan gelen 300.000 soruyu içeren, gerçek senaryolara dayanan büyük ölçekli bir Çince okuduğunu anlama Baidu veri seti sağlar. Naturali'nin sistemi, ROUGE-L ve BLEU-4 için resmi test setinde sırasıyla 63.38 ve 59.23'e ulaştı ve final sonuçlarını sunan 800'den fazla kayıtlı takım ve 105 takım arasında birinciliği kazandı.
Aşağıda Naturali Singularity Wit'ın kurucu ortağı ve CTO'su Lin Dekang tarafından olay yerinde paylaşılan yarışma raporu:
1. DuReader Okuma Anlama Veri Kümesinin Özellikleri
Pek çok okuduğunu anlama soru ve cevap veri seti vardır ve Baidu veri seti, Çin okuduğunu anlama veri setleri arasında en iyisi olarak kabul edilir. Baidu veri kümesi, klasik Stanford veri kümesi SQuAD'den daha gerçek ve daha zordur. SQuAD, Wikipedia'nın bilgi kaynaklarından entegre bir sorudur.Cevap metinde görünmelidir ve sözdizimi nispeten standarttır. Bu yarışmanın Baidu veri seti, yalnızca gerçeklere dayalı sorular değil, aynı zamanda fikir soruları da dahil olmak üzere, kullanıcılardan gelen tüm gerçek sorulardır.Bazı soruların Baidu aramasında standart cevapları yoktur ve soruların ifade edilmesi de zorunlu olarak basit değildir.
Örneğin, "iPhone X yararlı mı değil mi" görüş sorusu veya fenomen açıklaması "Çalır çalmaz aramada olduğunuz söyleniyor." Bu tür soruları yanıtlamak daha zordur.
2. Yarışma konularına örnekler
Soru: Gwent markası ne zaman herkese açık olarak test edilecek
Cevabı manuel olarak işaretleyin:
Naturali cevabı:
Referans dökümanlar
>
Açıklama: Referans belge, arama motorundan elde edilen en iyi sonuçları içeren web sayfasının tam metnidir. Bir soru birden çok uzun belgeye karşılık gelir; açıklamalı yanıt, belge özetine göre manuel olarak yazılır. Bir soru, özellikle birden çok yanıta karşılık gelebilir Fikir soruları için birden fazla cevaba sahip olmak yaygındır. Yukarıdaki durumlardan Naturali okuduğunu anlama sisteminin verdiği cevapların manuel cevaplardan daha kapsamlı olduğu görülmektedir.
3. Veri ön işleme
Baidu, referans belgeleri olarak beş makale sağlar. Makalede uzunluk sınırı olmadığından, anahtar kelime yoğunluğu, cümle konumu ve diğer bilgilere göre 500 kelimeden fazla olan makaleleri 500 kelimeden az olacak şekilde sıkıştırıyoruz.
Aşağıdakiler, veri ön işlememizin özel yöntemleridir:
Birbirine bağlanmak için her paragrafın başlığı ve içeriği arasına özel bir bölümleme sembolü eklenirse ve önceden belirlenmiş maksimum uzunluğu aşmazsa, sonuç ön işlemenin sonucu olur;
Aksi takdirde, paragrafın ve sorunun alaka düzeyini ölçmek için her paragrafın ve sorunun BLEU-4 puanını hesaplarız;
En yüksek k puana sahip paragraflar arasında, en erken görünen paragrafı seçin;
Başlığı, bu paragrafı ve sonraki paragrafı seçin;
3. ila 10. paragraflar için, her paragrafın ilk cümlesini seçin;
Seçilen tüm içeriği özel bir ayırıcıyla bağlayın, önceden ayarlanmış maksimum uzunluğu aşmayan içeriği durdurun ve sonucu ön işleme sonucu olarak kullanın.
Dördüncü olarak, modelin genel yapısı
Kullandığımız modelin genel yapısı, dört katmana ayrılmış klasik bir uçtan uca okuduğunu anlama modeli yapısıdır:
İlk katman: özellik temsil katmanı (Temsil)
İkinci katman: kodlama katmanı (Kodlama)
Üçüncü katman: eşleşen katman (Eşleştirme)
Dördüncü katman: Answer Span Extraction (Answer Span Extraction)
Aşağıda her katmanı kısaca tanıtıyoruz.
İlk katman: özellik sunum katmanı
Öncelikle, bir sorunun kelime dizisi ve metnin kelime dizisi göz önüne alındığında, onun üzerinde öznitelik çıkarımı yapmalı ve onu bir öznitelik vektör dizisine dönüştürmeliyiz.
Sogou Internet Corpus üzerinde ön eğitim alıyoruz. Bu veri kümesi, Baidu veri kümesinden birkaç büyüklük sırasıdır. Tüm Çince web sayfaları içindedir. Her kelimenin vektör ifadesi içinde eğitilmiştir.
İkinci katman: kodlama katmanı
Soru ve metnin vektör özellik temsil dizisini elde ettikten sonra ayrı ayrı kodluyoruz.
Üçüncü katman: eşleşen katman
Eşleştirme katmanı modelin temel parçasıdır.Sorunu ve metin bilgisini birleştirmek için dikkat mekanizmasını kullanırız.
Birkaç modeli test ettikten sonra, nihayet sistemimizde Match-LSTM, BiDAF ve DCA olmak üzere üç entegre model kullandık.Diğer modellerle karşılaştırıldığında, bu modeller benzer etkilere ve daha hızlı eğitim hızına sahiptir. Tek bir modelde BiDAF kullanıyoruz ve entegre bir modelde, farklı eşleşen katmanlardan elde edilen sonuçları entegre etmek için kullanıyoruz.
Dördüncü katman: cevap parçası ayıklama katmanı
Son olarak, cevapları çıkarmak için işaretçi ağını kullanıyoruz.
Baidu veri setinin özelliklerine göre, cevap birden fazla cevap içerebilir, bu yüzden hesaplamak için çoklu referans cevabı kullanan ikinci formülü, yani kayıp fonksiyonu olarak çoklu cevaplardaki ortalama kaybı kullanırız.
Yaygın kayıp işlevleri
Birden çok referans yanıtı kullanın
Beş, minimum risk eğitimi
Olağan RC sistemi, eğitim hedefi olarak standart cevap olasılığını iyileştirmektir, ancak gerçek değerlendirme standardı ROUGE'dir. Minimum risk eğitimi, değerlendirme standardını eğitim hedefi olarak almaktır ve her bölüm için kayıp fonksiyonunun hesaplanması gerekir, bu nedenle optimizasyon süresi nispeten uzundur. Sistemimiz, ilk modeli elde etmek için önce maksimum olasılık tahminiyle eğitir ve ardından ROUGE değerimizi en üst düzeye çıkarmak için ROUGE işlevini doğrudan optimize eder. Burada delta (y_i, y_i *), ROUGE fonksiyonundaki aday cevap y_i ile standart cevap y_i * arasındaki farktır.
Minimum risk eğitimi
Eğitime devam etmek için maksimum olasılık tahmin eğitimiyle elde edilen modeli başlatın
6. Tek model deneyinin sonuçları
ROUGE puanımız, sonunda bölüm ön işleme, ön eğitim kelime vektörleri, diğer özellikler, çoklu yanıtlar, ortak eğitim, minimum risk eğitimi ve diğer yöntemlerle kapsamlı bir şekilde biriken temel sistem puanını aşabilir.
Yedi, entegre model
Gönderdiğimiz veriler entegre bir model aracılığıyla hesaplandı ve son olarak farklı modellere (BiDAF, MatchLSTM, DCA) ve farklı parametrelere (Bırakma: 0.1, 0.15, 0.2, ortak öğrenme oranı: 4.0, 5.0) dayalı olarak entegre bir model oluşturuldu. Tek bir modelin ROUGE puanından 1,5 puan daha yüksektir.
8. Özet ve Görünüm
Bu yarışma için uçtan uca bir sinir ağı sistemi kullandık ve Google'da Soru-Cevap aramak için modüler bir sistem kullandım. Modüler sistem soruyu birkaç bölüme ayıracak, önce yanıt türünü belirleyecek ve ardından türe, soruya ve metin eşleştirme derecesine göre puanı hesaplayacaktır. Sinir ağı sistemi, tüm adımları bir ağa yerleştirir.Özel olarak farklı cevap türlerini modellemese de, eğitim tamamlandıktan sonra "ne zaman ..." gibi soruların sorulması gibi farklı soru türlerini kapsayabilir. Bulduğum cevapta bir tarih var.
Modüler sistemle karşılaştırıldığında, sinir ağının uçtan-uca sistem kodu çok daha basittir ve her değişiklik ve optimizasyon küresel bir optimizasyondur. Bununla birlikte, bir modüler sistemin optimizasyonu, belirli bir modülü optimize etmektir ve modüller, ilgili kusurlarına uyarlanmıştır Modüllerden biri daha iyi hale gelir ve diğer modüller buna göre iyileştirilemeyebilir, bu da tüm sistemin optimizasyonunu daha zor hale getirir.
Pek çok soru cevap sistemi zaten çevrimiçidir, ancak bunların arkasındaki uygulama hala modüler bir mekanizmadır. Sinir ağı sisteminin performansının şu an için modüler sistem kadar iyi olmaması mümkündür, ancak doğruluğu bu aşamada zaten bazı uygulamalara sahip olabilir. Örneğin, bir sesli asistan olarak çalışırken, genellikle aramayı "aşağıya doğru" işlevinin bir işlevi olarak kullanırız. Örneğin akıllı müşteri hizmetleri uygulamasında anahtar kelime eşleştirme için müşteri hizmetleri belgeleri kullanılır, ancak otomatik okuduğunu anlama ile okuduğunu anlama sistemi bir "cep" olarak kabul edilebilir Belgeyi bulduktan sonra daha kısa ve doğru cevaplar bulabilirsiniz.
Son olarak, ekibimizle ilgilenen öğrenciler varsa, özgeçmişinizi jobs@naturali.io adresine göndermekten memnuniyet duyarız ve AI sesli etkileşim yolunda bizimle çalışmanızı dört gözle bekliyoruz.
hepinize teşekkür ederim.
Naturali Singularity Wit'e kısa bir giriş ile:
Naturali Kasım 2014'te kuruldu ve işini iki yöne odakladı: Biri NI açık platformudur - "Sıfır kodlama, beş dakika, kendi ses becerilerinizi yaratın", her tür donanım ve APP için AI ses etkileşimi sağlar kabiliyet. Diğeri, büyük Android mağazalarında piyasaya sürülen öğrenme işlevi "Nokta Sesi" olan üçüncü taraf bir ses asistanı uygulamasıdır. 300'den fazla uygulamayı kapsayabilir ve 12000'den fazla ses becerisini destekleyebilir.
Lei Feng Ağı Lei Feng Ağı Lei Feng Ağı
