QA System Champion Road: QA Görevleri için CNN ile QANet
Lei Feng.com'un AI teknolojisi yorumu: Şu anda, tüm yapay zeka alanı, doğal dil işleme teknolojisi için eşi görülmemiş bir coşkuya sahip. Bir yandan, derin öğrenme yardımıyla bilgisayarların çeşitli doğal dil işleme görevlerindeki performansının sıçramalar ve sınırlarla iyileştirilmesi, diğer yandan bilgi alma, konuşma tanıma ve insanların yaşamlarında metin analizi gibi çok sayıda uygulamanın gelişmesinden kaynaklanmaktadır. Daha ince ayrıntı düzeyine ve daha yüksek doğruluğa sahip özel doğal dil modelleri, gitgide daha yüksek gereksinimleri ortaya koymaktadır. Bilgi çağında veri hacminin sürekli artması ve insan toplumunda külliyat kaynaklarının sürekli zenginleşmesi ile doğal dil işleme araştırmalarının yeni zorluklarla karşılaşmaya devam edeceği öngörülebilir.
ICLR 2018'de son zamanlarda sona eren akıllı soru cevaplama sistemi konulu bir makale olan "QANet: Okuduğunu Anlamak İçin Global Öz Dikkatle Yerel Evrişimi Birleştirme" mükemmel performansı ile dikkatimizi çekti. Makaleyi ayrıntılı olarak tanıtmadan önce, akıllı soru cevaplama sistemi araştırma konusunu da kısaca gözden geçiriyoruz.
Soru cevaplama sistemi nedir?
Soru cevaplama sistemi esasen bir bilgi alma (IR) sistemidir, ancak kırtasiye malzemesinden daha fazla bilgi alır ve daha doğru cevaplar verir. Geleneksel soru cevaplama sistemi şu sürece göre çalışacaktır: (1) soru analizi (2) bilgi erişim (3) cevap çıkarma. Problem analizi çalışması, kelime bölümleme, konuşma parçası etiketleme, sözdizimsel analiz, adlandırılmış varlık tanıma, problem sınıflandırması, problem genişletme vb. İçerir; bilgi erişimi, problem analizi modülünün sonuçlarını girdi olarak alır ve temel bilgi tabanından bir dizi ilgili sıralama döndürür. Belge; adından da anlaşılacağı gibi cevap çıkarma, belgeden son cevabı çıkarmaktır.
Şekil 1. Geleneksel bir soru cevaplama sisteminin temel çerçevesi. En alt katman, üst model için hesaplama birimleri sağlayan varlık katmanıdır (anlamsal topluluk araması, anlamsal belirsizliği giderme, kelime birlikte oluşumu, vb.); İkinci katman, belirli anlamsal bilgilere sahip metni içeren ve bazı anlamsal özellikleri çıkaran anlamsal katmandır; Üçüncü katman, son çekirdek uygulama kısmıdır.
Geleneksel soru-cevap sistemi modeli sürecinin karmaşık olduğunu ve yüksek el emeği gerektirdiğini, bu da uygulamayı zorlaştırdığını görmek zor değildir. Her bir sürecin kalitesi, son modelin performansını sınırlayan bir faktör haline gelebilir ve kademeli hataların birikmesi nedeniyle, genellikle modelin başarısızlığına yol açar. Ve günümüzün sıcak derin öğrenme, sıralı problemler için doğal avantajlara sahiptir (genelleştirilmiş bilgi temsilini öğrenmek için büyük miktarda eğitim verisi kullanmak ve metnin ve problemin anlamsal seviyesinden yüksek derecede soyutlama kullanmak), bu nedenle insanlar doğal olarak düşünüyor Örneğin, soru yanıtlama sistemindeki çok sayıda bileşeni değiştirmek için derin öğrenmeyi kullanmak için, IBM araştırmacıları manuel eşdizimli aktarım öğrenimi yoluyla bir dizi özelliği çıkardı ve ardından Watson soru yanıtlama robotu için Deep LA algoritmasını uygulamak için özellikleri bir regresyon modeline girdi. (Ayrıntılar için lütfen Leifeng.com makalesine bakın: https://www.leiphone.com/news/201607/FOeUS5Wo5gIFMvwJ.html)
Ayrıca, modelin kullanımı için eşiği düşürmek ve model içindeki çeşitli işlevlerden sorumlu bileşenlerin daha iyi koordine etmesini ve işbirliği yapmasını sağlamak, böylece modelin genel performansını iyileştirmek için, giderek daha fazla sayıda araştırmacı tüm soru-cevap sistemi işlevlerini bir uçta özetledi. Uçtan uca otomatik soru cevap sisteminde. Elbette, geleneksel soru cevaplama sistemi araştırmasının araştırma değerini kaybettiğini söylemiyoruz.Aslında, daha güçlü yorumlanabilirliğe sahip geleneksel soru cevaplama sistemi araştırması, uçtan uca derin öğrenme soru cevaplama sistemini geri besleyebilir, böylece derin öğrenme sistemi için bir tasarım sağlayabilir. Daha fazla ilham ve teorik temel.
Tüm hızıyla soru cevap sistemi rekabeti: SQuAD ile başlayalım
Aslında, soru-cevap sistemi geliştirme geçmişi, yapay zeka tarihidir. Yapay zekanın yükseliş ve düşüşünün yanı sıra, soru cevaplama sistemleri de yarım yüzyıldan uzun süredir iniş çıkışlar yaşadı. Ek olarak, sembolizm (temsili algoritmalar: ilişkilendirme kuralları, karar ağaçları vb.), Bayesçilik (temsili algoritmalar: olasılık grafik modelleri), evrimcilik (temsili algoritmalar: genetik algoritmalar) ve Analogizer (temsili algoritmalar: Destek vektör makinesi), bağlantısallık (temsili algoritma: derin sinir ağı) tarihin en yüksek zirvesine ulaşmak için sırayla aldı.Soru cevaplama sistemini desteklemek için kullanılan çekirdek algoritma da, insanların soru cevaplama sistemleri oluşturmak için farklı fikirlere sahip olmalarını sağlayan çeşitli değişikliklerden geçti. . İyi bir soru-cevap sistemi endüstri-üniversite-araştırma ekosistemi oluşturmak için, endüstri ve akademi bu alanın gelişen gelişimini desteklemek için daha kaliteli veri setleri önermeye ve daha etkili yarışmalar düzenlemeye kararlıdır. Bunlar arasında 2016 yılında Stanford Üniversitesi tarafından başlatılan SQuAD veri seti, bu yıl akademi ve endüstriden en çok ilgi gören ağır okuduğunu anlama veri seti haline geldi.SQuAD, ImageNet gibi soru cevaplama sistemleri için olduğu söylenebilir. Bu okuduğunu anlama veri seti, araştırmacıya ilgili soruyu hazırlaması için bir makale sağlayacaktır ve araştırmacının soruya cevap vermesi için kendi soru-cevap sistemi modelini tasarlaması gerekmektedir. SQuAD, 536 makale ve 107.785 ilgili soru içeren devasa ölçeği nedeniyle oldukça kabul görüyor. (Ayrıntılar için lütfen Leifeng.com makalesine bakın: https://www.leiphone.com/news/201608/ftBdq445PzC1kxbF.html) Ek olarak, veri seti model performansını değerlendirmek için F1 değeri ve EM (tam eşleşme) iki sınıflandırma kriteri kullanır Modelin nispeten objektif değerlendirmesini sağlamak.
Şekil 2: SQuAD Sıralaması
Yukarıdaki şekilde gösterildiği gibi, SQuAD etkinliği Microsoft, Google, Alibaba ve iFlytek gibi endüstri devlerinin yanı sıra CMU'nun da ilgisini çekti. Harbin Teknoloji Enstitüsü gibi üniversiteler katıldı. Sıralamalardaki sıralamalar sık sık değişiyor. HKBTÜ'nün iFLYTEK'i geçen yıl Temmuz ayında ilk kez listenin zirvesine çıkarak 77.845 EM ve 85.297 F1 değeri elde ettiğini hatırlıyorum ki bu bir süredir ilgi odağıydı, ancak bu sonuç kısa süre sonra diğer kurumlar tarafından da aşıldı. Bu yılın başında, Microsoft'un r-net'i EM göstergesinde 82.625 puan alarak bu göstergede ilk kez insanları geride bıraktığını iddia etti (Stanford tarafından toplanan verilere göre, insanların EM değeri 82.304'tür).
Yakın zamana kadar, Google Brain ekibi ve CMU tarafından ortaklaşa başlatılan QANet bir kez daha listenin başında yer aldı. EM değeri önemli ölçüde 83.877'ye çıkarıldı (ikincisi HKUST ve Harbin Institute of Technology'nin AOA okuyucu modeliyle elde edilen 82.482 idi) ve F1 değeri de şimdiye kadarki en yüksek puanı aldı - 89.737. Öte yandan, DAWNBench'teki diğer ekipler tarafından sunulan modellerin 7-10 saatlik eğitim süresine kıyasla, QANet'in yalnızca 45 dakikaya ihtiyacı var.
Öyleyse QANet'in ne tür bir model olduğuna bir göz atalım. Yazarlar doğruluğu ve eğitim süresini aynı anda nasıl büyük ölçüde iyileştirdi?
QANet modeli
(1) Biçimsel tanım
N kelime içeren bir bağlam parçası C = (c1, c2, ..., cn) verildiğinde, m kelimeyi içeren Q = (q1, q2, ..., qm) sorgu cümlesini dikkate alırız ve model çıktısı J kelime içeren bir C segmentindeki yanıt aralığı S = {ci, ci + 1, ..., ci + j}.
(2) Modele genel bakış
Genel olarak konuşursak, mevcut okuduğunu anlama modeline benzer şekilde, QANet beş ana bileşen içerir: gömme katmanı, gömme kodlayıcı katmanı ve bağlam-sorgu dikkat katmanı (bağlam-sorgu). dikkat katmanı), model kodlayıcı ve çıktı katmanı.
Dikkat modeli ve tekrarlayan sinir ağını (RNN) içeren en güncel okuduğunu anlama modellerinden farklı olarak, QANet'in gömülü kodlayıcısı ve model kodlayıcısı, RNN'nin karmaşık yinelemeli yapısını terk eder, Yalnızca evrişim ve öz-dikkat kullanarak bir sinir ağı oluşturun , Modelin eğitim oranını ve çıkarım oranını büyük ölçüde hızlandıran ve giriş kelimelerini paralel olarak işleyebilen.
Evrişim işlemleri yerel etkileşimleri modelleyebilir (metnin yerel yapısını yakalayabilir), öz-dikkat mekanizmalarını kullanarak ise küresel etkileşimleri modelleyebilir (her bir kelime çifti arasındaki etkileşimi öğrenin). Yazarlara göre, konvolüsyon ve öz-ilgi mekanizmalarının birleştirildiği alanda ilk kez bu. Evrişimli katman ve öz-dikkat mekanizmasının zaman alıcı yinelemeli operasyonları olmadığından, yazarlar, modelin derinliğini sadece benzeri görülmemiş soru ve cevap görevinde 130'dan fazla katmana cesurca artırmakla kalmamış, aynı zamanda eğitim ve çıkarımda birkaç kat daha hızlıdır. Desteklemek. (RNN tabanlı model ile karşılaştırıldığında, eğitim hızı 3-13 kat, çıkarım hızı 4-9 kat artmaktadır)
Şekil 3: Soldaki resim, QANet'in çoklu kodlayıcı modülleri ile genel mimarisini göstermektedir. Sağdaki resim temel kodlayıcı modül birimidir QANet tarafından kullanılan tüm kodlayıcılar bu moda göre inşa edilmiştir, sadece modüldeki evrişimli katmanların sayısını değiştirir. QANet, her katman arasında katman düzenleme ve artık bağlantı teknolojisini kullanır ve artık modüldeki kodlayıcı yapısında konum kodlamadan (evrişim, öz-dikkat, ileri besleme ağı, vb.) Sonra her bir alt katmanı kapsüller. . QANet ayrıca bilgi paylaşımını sağlamak için bağlam, sorun ve çıktı kodlayıcı arasında bazı ağırlıkları paylaşır.
Geçmişte, RNN tabanlı modeller eğitim hızıyla sınırlandırılmıştı.Aslında, araştırmacılar görüntü tanıma görevlerinde "daha büyük veri kümeleriyle daha iyi performans getirme" şeklindeki benzer fikri nadiren değerlendirdiler. Dolayısıyla, bu QANet için, model tatmin edici bir eğitim hızına sahip olduğundan, yazarlar orijinal veri setini genişletmek için veri artırma teknolojisini kullanabildiler ve modeli eğitmek için cömertçe daha fazla veri kullandılar.
Spesifik olarak, orijinal İngilizceyi başka bir dile çevirmek için (QANet Fransızca kullanır) mevcut sinir makinesi çeviricisini kullandılar ve ardından tekrar İngilizceye çevrildi. Bu süreç, örnekleri yeniden yazmaya eşdeğerdir, bu da eğitim örneklerinin sayısını büyük ölçüde artırır ve cümle kalıplarını zenginleştirir.
Şekil 4: Veri geliştirme örneği. k, NMT sistemi tarafından üretilen öteleme ölçeği olan kiriş genişliğidir.
Ayrıntılı tanıtım öz-ilgi
Yukarıdakileri okuduktan sonra, "evrişim + öz-dikkat mekanizmasının" büyülü etkisine hayran kalabilirsiniz Daha fazla eğitim verisinin yardımıyla bile, uzun süredir kullanılan RNN modeline doğrudan meydan okuyabilirsiniz. "Evrişim", çoğu derin öğrenme araştırmacısının aşina olduğu bir kavramdır ve yerel özellikleri çıkarmak için kullanılır. Öyleyse, kişisel ilginin kutsal mekanizması nedir? QANet'te hangi kilit rolü oynuyor?
Öz dikkat mekanizmasını anlamak için, dikkat mekanizması ilkesiyle başlamalısınız, çünkü öz-dikkat, adından da anlaşılacağı gibi, dikkat mekanizmasının içsel bir formunun özel bir durumu olarak kabul edilebilir.
Şekil 5: Dikkat mekanizması ilkesinin şematik diyagramı
Orijinal cümledeki her kelimeyi bir
Ve genel kodlayıcı-kod çözücü yapısında kullanılan Dikkat modelinden farklı olarak (girdi ve çıktının içeriği farklıdır), öz dikkat mekanizması, girdi ve çıktı arasındaki dikkat mekanizması değil, girdi iç sözcüğü veya çıktı iç sözcüğüdür. Arasında dikkat mekanizması. Öz-ilgi K = V = Q'dur. QANet'te yazar, tüm makalenin iç yapısını yakalayarak orijinal metindeki her bir kelime çiftinin etkileşiminin tasvir edilmesini sağlar.
Öz dikkatini kullanmanın şu faydaları vardır:
(1) Paralellik açısından, kendine dikkat, CNN gibi, önceki andaki hesaplamaya bağlı değildir ve çok iyi paralelleştirilebilir, ki bu RNN'den daha iyidir.
(2) Uzun mesafeli bağımlılık açısından, öz dikkat, her kelime ve tüm kelimeler için dikkatin hesaplanması olduğundan, aralarındaki mesafe ne kadar uzun olursa olsun, maksimum yol uzunluğu sadece 1'dir. Uzun mesafeli bağımlılıkları verimli bir şekilde yakalayabilir.
Şekil 6: Öz dikkat mekanizmasının şematik diyagramı
Bu nedenle, öz-dikkat mekanizmasını kullandıktan sonra, model kelimelerin işlenmesini paralelleştirebilir, bu da işletim verimliliğini büyük ölçüde artırır; modelin eğitim için daha fazla veri kullanmasını sağlar, uzun mesafeli bağımlılıkları yakalar ve başka bir açıdan gelişir. Modelin doğruluğu.
Sonuç
Soru cevap sisteminin gelişimi yükselişte ... Bu yazıyı okuduğunuzda SQuAD listesindeki sıralamanın yeniden değişip değişmediğini merak ediyorum. Yazar, bu makalede soru cevaplama sistemi kavramını herkesle birlikte gözden geçirmiş, gelişim geçmişini gözden geçirmiş, SQuAD veri setinin soru cevaplama sistemi disiplinlerinin gelişimi için önemini açıklamış ve şu anda en yüksek puana sahip QANet sisteminin tasarım çerçevesini tanıtmış ve analiz etmiştir. Kendi kendine dikkat mekanizmasını kullanmasının önemli rolü. Aslında, SQuAD listesinde yer alabilen modellerin hepimizin öğrenebileceği noktaları vardır. Yazarın burada QANet analizine odaklanmasının nedeni, bunun yerine "evrişim + öz-dikkat" mekanizmasını kullanan ilk kişi olmasıdır. Diğer modeller tarafından yaygın olarak kullanılan RNN ağının soru yanıtlama sistemi modeli. Modelin performansını iyileştirmek için RNN'lerin yinelemeli eğitimine dayanmaz. Bunun yerine, farklı bir yaklaşım benimser. Daha basit ağ yapısı aracılığıyla hesaplama yükünden tasarruf sağlar ve eğitim için daha fazla veri kullanmamızı mümkün kılar, böylece modelin performansı nitelikseldir. sıçrama. Ayrıca tasarladıkları veri geliştirme yöntemi de çok akıllıca ve çok iyi sonuçlar elde etti. Yapay zeka araştırmasının yolunun aslında "her biri sihirli güçlerini gösteren, denizi geçen sekiz ölümsüz" olduğu görülebilir. Araştırmacıların çoğunluğunun, eğriyi aşmak için hâlâ düşüncelerini genişletmesi ve öncekilerin düşünceleriyle sınırlanmaması gerekiyor!
Kağıt adresi: https://openreview.net/forum?id=B14TlG-RW
Leifeng.com AI Teknolojisi İnceleme Raporu
