AAAI Makalesinin Yorumlanması: Transfere Dayalı Anlamsal Bağımlılık Grafiğinin Analizi (24 Kasım Cuma, saat 20: 00'de canlı yayın)
Leifeng.com AI teknolojisi inceleme notu: Bu makale, WeChat Harbin Institute of Technology SCIR genel hesabından yeniden üretilmiştir ve Leifeng.com yeniden yazdırma yetkisine sahiptir.
24 Kasım Cuma günü saat 20: 00'de, ilk yazar Wang Yuxuan'ın Leifeng.com'un bir kanalı olan AI MOOC Akademisinin ( 34. sayısını yöneteceğini belirtmekte fayda var. GAIR konferans salonunun "AAAI Kağıtlarının Yorumlanması: Transfere Dayalı Anlamsal Bağımlılık Grafik Analizi" temalı canlı yayını, bu makalenin altındaki AI Technology Review posterinin QR kodunu tarayın, başkanın WeChat'ini ekleyin ve "Wang Yuxuan" notunu not edin
Yazarlar: Wang Yuxuan, Wanxiang Che, Guo Jiang, Liu Ting
Giriş
Bu makalede açıklanan çalışma, AAAI 2018 için laboratuvarımız tarafından kaydedilen "Anlamsal Bağımlılık Grafiğini Ayrıştırmak İçin Sinirsel Geçişe Dayalı Bir Yaklaşım" adlı makaleden alınmıştır.
Anlamsal bağımlılık grafiği, son yıllarda önerilen ağaç yapısı sözdizimi veya anlamsal temsilin bir uzantısıdır. Ağaç yapısı ile arasındaki temel fark, bazı kelimelerin birden fazla ana düğüme sahip olmasına izin vererek onu doğrudan bir edasiklik grafik (DAG) haline getirmesidir. ). (Laboratuvarımız dünyanın en eski semantik bağımlılık (ağaç) analiz teknolojisi değerlendirmesini SemEval-2012'de düzenledikten sonra semantik bağımlılık grafiğine genişleterek SemEval-2016'da ilgili değerlendirmeleri organize etti. Şekil 1 ve Şekil 2 sırasıyla Aynı cümlenin sözdizimsel bağımlılık ağacına ve anlamsal bağımlılık grafiğine örnekler verin. Çince anlamsal bağımlılık grafiği hakkında daha fazla bilgi için lütfen adresine bakın)
Bu nedenle, cümlenin anlamsal bağımlılık grafiğini elde etmek için bu DAG'yi analiz etmek gerekir. Bununla birlikte, mevcut çalışmanın çoğu bağımlılık ağacı yapısının incelenmesine odaklanmaktadır ve çok az kişi DAG'yi nasıl analiz edeceğini araştırmaktadır.
Bu makale, bağımlılık grafiğini analiz etmek için liste tabanlı ark istekli algoritmanın bir varyantını kullanan transfer tabanlı bir analizci önermekte ve transfer sisteminde daha iyi önbellek ve alt grafikler elde etmek için kullanılan iki etkili sinir ağı modülü önermektedir. Sunum. Sistem hem Çince hem de İngilizce veri setlerinde iyi sonuçlar elde etti ve basit bir model füzyon yöntemi ile performansını daha da artırabilir.
Şekil 1 Sözdizimi bağımlılık ağacı
Şekil 2 Anlamsal bağımlılık grafiği
1. Geçişe dayalı bağımlılık grafiği analizi çerçevesi
Şu anda, bağımlılık ağacı analizi alanındaki iki ana yöntem Geçiş tabanlı ve Grafik tabanlı bağımlılık analizidir. Grafik tabanlı algoritmalar, yönlendirilmiş tam bir grafikte maksimum yayılma ağacının problemini çözen bağımlılık analizini modellemektedir. Geçiş tabanlı bağımlılık analizi algoritması, sonlu bir otomata problemi olarak cümlelerin kod çözme sürecini modeller (analog derleyicide sözdizimi analizi bileşeni).
Bu yazıda, aktarım tabanlı bir bağımlılık analizi yöntemi seçtik. Bu yöntem, Geçiş durumu Başlat, yürütmeye devam et Transfer işlemi Bir durumdan diğerine ve sonunda son duruma ulaşın ve analiz sonucu olarak son duruma karşılık gelen ağacı (veya grafiği) kullanın. Geçiş durumu İşlenmekte olan sözcükleri depolamak için bir yığın (Yığın), işlenecek sözcükleri depolamak için bir tampon (Buffer) ve oluşturulan bağımlılık yaylarını kaydetmek için bir bellek içerir. Transfer işlemi Genellikle içeri taşıma, azaltma ve bağımlılık yayları oluşturma gibi özellikleri içerir. Aktarım bağımlılığına dayalı veriye dayalı sözdizimsel analizin amacı, bir sınıflandırıcı yetiştirmektir. Bu sınıflandırıcı, belirli bir geçiş durumu için gerçekleştirilecek bir sonraki geçiş eylemini tahmin eder.
Şekil 2'de gösterildiği gibi, bir bağımlılık grafiği ile bir bağımlılık ağacı arasında iki ana fark vardır.
İlk olarak, bağımlılık grafiğinde kesişen yaylar var. Geleneksel aktarım algoritmalarının çapraz yay sorununu çözmek için bir önbellek mekanizması eklemesi gerekir. Choi ve arkadaşları tarafından 2013 yılında önerilen Liste tabanlı Arc-hevesli algoritma böyle bir fikrin temsilcisidir. Liste tabanlı Yay-istekli algoritması, çapraz yay oluşturmak için yukarıda sunulan transfer sistemine dayalı olarak geçici olarak atlanan kelimeleri kaydetmek için iki yönlü bir kuyruk (Deque) ekler.
İkinci olarak, bağımlılık grafiğindeki sözcükler birden çok ana düğüme sahip olabilir. Geleneksel aktarım algoritmalarının bağımlılık grafikleri üretememesinin ana nedeni, bu algoritmaların, nihayetinde bir bağımlılık ağacının oluşturulmasını sağlamak için, genellikle bir kelimenin ana düğümü bulunduğunda, kelimenin hemen düzenlenmesini şart koşmasıdır. Aktarım algoritmamızın bir bağımlılık grafiği yapısı oluşturmasını sağlamak için, aktarım işleminin yürütme koşullarını Choi ve diğerleri temelinde değiştirdik, böylece ana düğümü bulan sözcükler düzenlenmeden iki yönlü bir kuyrukta önbelleğe alınır, bu bir sonraki aktarımdır. Eylem, sözcüğün diğer üst düğümlerini bulma olasılığını sağlar ve böylece bir anlamsal bağımlılık grafiği oluşturur. Şekil 3, anlamsal bağımlılık grafiğini oluşturmak için değiştirilmiş algoritmayı kullanma sürecini göstermektedir.
Şekil 3 Değiştirilmiş Liste tabanlı Arc-eager algoritması, anlamsal bir bağımlılık grafiği oluşturur
2. Stack LSTM'ye dayalı sınıflandırıcı
Transfer sistemi problemini çözmek için bir sonraki adım, her transfer durumunda gerçekleştirilecek bir sonraki transfer eylemini tahmin etmek için uygun bir sınıflandırıcı seçmektir. Dyer ve diğerleri tarafından 2015 yılında önerilen Stack-LSTM'yi, transfer sistemindeki yığın, iki yönlü kuyruk, önbellek ve geçmiş transfer eylem sırasındaki bilgileri öğrenmek için temel ağ yapısı olarak seçtik. (Stack LSTM'nin özel tanıtımı için lütfen adresine bakın)
Yukarıdaki yapıya dayalı olarak geçiş durumunun temsilini daha iyi elde etmek için, geçiş sürecinde önbelleği ve alt grafikleri modellemek için iki etkili sinir ağı modülü - Bi-LSTM Çıkarma ve Artımlı Ağaç-LSTM öneriyoruz. . Şekil 4, modelin genel yapısını göstermektedir.
Şekil 4 Bağımlılık grafiği çözümleyici modelinin genel yapısı
2.1 Bi-LSTM ÇıkarmaDyer ve diğerlerinin modeli, önbellekteki tüm bilgileri temsil etmek için sağdan sola tek yönlü LSTM'nin son gizli durum vektörünü kullanır. Bu yöntem, yalnızca önbellekten çıkan (yığına veya belirtimlere taşınan) sözcükler hakkında bilgi edinmede başarısız olmakla kalmaz, aynı zamanda bağlamsal bilgileri soldan sağa da kaybeder. Dahası, yalnızca bir gizli durum vektörünün tüm önbellekteki bilgileri iyi temsil edemeyeceğine inanıyoruz. Bu nedenle, önbelleği bir segment olarak ele alıyoruz ve tüm segmenti temsil etmek için segmentin başı ile sonu arasındaki farkı kullanıyoruz. Ek olarak, önbellek dışındaki kelimelerin bilgilerini elde etmek için, önce tüm cümleyi iki yönlü LSTM'ye giriyoruz ve temsili olarak her kelimeye karşılık gelen gizli durum vektörünü kullanıyoruz.
Şekil 5 Bi-LSTM Çıkarma yapısı diyagramı
Örneğin, Şekil 5'teki önbellek gösterimini hesaplarken, önce "çok" ileri LSTM gösterimini belirtmek için "yemek" ileri LSTM'yi kullanın, segmentin ileri gösterimini elde edin ve ardından çıkarmayı belirtmek için "çok" ters LSTM'yi kullanın "Ye" nin ters LSTM gösterimine gidin ve segmentin ters temsilini alın. İkisi, şu anda önbelleğin bir temsili olarak birbirine eklenir.
2.2 Artımlı Ağaç-LSTMDyer ve arkadaşlarının modelinde aktarım sürecindeki alt yapıları hesaplamak için bağımlılık temelli tekrarlayan sinir ağı (RecNN) kullanılır.Daha derin alt yapılarla uğraşırken bu yöntem gradyanların kaybolması sorunuyla karşılaşabilir. Bu sorunu çözmek için, bu altyapıları modellemek için Tree-LSTM kullanıyoruz. Şekil 6, önerdiğimiz Artımlı Ağaç-LSTM ile bağımlılık tabanlı RecNN arasındaki farkı göstermektedir. RecNN, ana düğüm-alt düğüm çiftlerini özyinelemeli olarak birleştirerek bir alt grafik oluştururken, Tree-LSTM bir düğümü ve tüm alt öğelerini aynı anda birleştirebilir.
Şekil 6 Artımlı Ağaç-LSTM ve bağımlılık tabanlı tekrarlayan sinir ağının karşılaştırması
Geçiş tabanlı bağımlılık grafiği analizinin özelliklerinden dolayı kullandığımız Tree-LSTM, genel Tree-LSTM'den iki noktada farklıdır. Birincisi, bu görevde modellenmesi gereken altyapının ille de bir ağaç olmadığı açıktır. Ancak neyse ki, ele aldığımız bağımlılık grafiği döngüleri içermiyor, bu nedenle LSTM hala kullanılabilir. Daha da önemlisi, bir düğümün tüm alt düğümlerini aynı anda elde edebilen genel Ağaç-LSTM'den farklı olarak, geçiş tabanlı bağımlılık analizinde bir düğümün alt düğümleri tek tek bulunur, bu nedenle güncelleme için sürekli olarak Tree-LSTM'yi kullanmamız gerekir. Üst düğüm bilgisi. Spesifik olarak, bir kelime için, yeni bir çocuk düğüm bulunduğunda, bulunan tüm alt düğümler ve kendi temsili, yeni temsilini hesaplamak için Tree-LSTM'ye girilir. Örneğin, Şekil 7'deki alt grafik yapım süreci aşağıdaki gibidir:
-
(1) A ve B'nin temsillerini birleştirmek için Tree-LSTM'yi kullanın ve sonucu A'nın yeni temsili olarak kullanın;
-
(2) B ve C'nin temsillerini birleştirin ve sonucu B'nin yeni temsili olarak kullanın;
-
(3) A ve D temsillerini B (b + c) 'nin mevcut gösterimi ile birleştirin ve sonucu A'nın yeni temsili olarak kullanın.
Şekil 7 Artımlı Ağaç-LSTM'de alt grafiklerin artımlı yapısı
2.3 Model füzyonuSistemimiz, basit bir model füzyon yöntemiyle performansını daha da artırabilir. Spesifik olarak, eğitim sırasında birden çok modeli eğitmek için farklı rastgele başlatma tohumları kullanır. Tahmin yapılırken, bu modeller tarafından hesaplanan puanların toplamı, bir sonraki transfer eylemini seçmek için kullanılır.
3. Deneysel sonuçlar
Sistemimiz hem Çince hem de İngilizce veri setlerinde iyi deneysel sonuçlar elde etmiştir.Tablo 1 SemEval-2016 Görev 9 Çince veri setinin deneysel sonuçlarıdır. Veri seti, haber koleksiyonu (HABERLER) ve ilkokul ders kitabı koleksiyonu (DERS KİTAPLARI) olmak üzere iki kısma ayrılmıştır.Birincisinde daha uzun ve daha karmaşık cümleler, ikincisi ise daha kısa ve daha basit cümlelere sahiptir. Bu değerlendirmenin en önemli iki değerlendirme göstergesi, yay etiketinin F değeri (LF) ve birden fazla ana düğüme sahip kelimelerin yay etiketinin F değeridir (NLF).
Tablodaki ilk 5 diğer katılımcı sistemlerdir. 2 aşamalı (Ding vd. 2014), Ding vd. Tarafından 2014 yılında önerilen yeniden uygulanan iki adımlı yöntemimizdir. Ağaç yapısı önce geleneksel bağımlılık ağacı analizörü tarafından oluşturulur ve ardından SVM sınıflandırıcısı, bağımlılık grafiği yapısını elde etmek için eklemek üzere kural tarafından oluşturulan aday yaylar kümesinden bazı yayları seçmek için kullanılır. BS-IT bizim sistemimizdir. Deneysel sonuçlar, sistemimizin iki veri setinin değerlendirme göstergelerinde diğer sistemleri önemli ölçüde geçtiğini göstermektedir.
Tablo 2, BS ve IT modüllerinin etkilerini test etmek için deneyleri listeler ve sonuçlar, her ikisinin de temel sisteme performans iyileştirmeleri getirebileceğini gösterir. İkisi aynı anda kullanıldığında, sistem performansı daha açık bir şekilde geliştirilir.
4. Sonuç
Bu makale, yönlendirilmiş döngüsel olmayan bir grafik oluşturmak için Liste tabanlı Arc-istekli algoritmanın bir varyantını kullanan aktarım tabanlı bir anlamsal bağımlılık grafik analizi yöntemi önermektedir. Ek olarak, bu makale, transfer sisteminin önemli parçalarının temsilini öğrenmek için iki etkili sinir ağı modülü önermektedir. Çince ve İngilizce veri setlerinin deneysel sonuçları yöntemin etkinliğini kanıtlamaktadır.
5. Referanslar
Choi J D, McCallum A. Seçici Dallanma ile Geçiş Tabanlı Bağımlılık Ayrıştırma. Hesaplamalı Dilbilim Derneği 51. Yıllık Toplantısı Bildirileri. 2013: 1052-1062.
Dyer C, Ballesteros M, Ling W, ve diğerleri.Yığın Uzun Kısa Süreli Bellek ile Geçiş Tabanlı Bağımlılık Ayrıştırma. Hesaplamalı Dilbilim Derneği Yıllık Toplantısı Bildirileri 2015: 334-343.
Kiperwasser E, Goldberg Y. İki Yönlü LSTM Özellik Temsillerini Kullanarak Basit ve Doğru Bağımlılık Ayrıştırma. Hesaplamalı Dilbilim Derneği İşlemleri. 2016: 313-327.
Tai K S, Socher R, Manning C D. Ağaç Yapılı Uzun Kısa Süreli Hafıza Ağlarından Geliştirilmiş Anlamsal Temsiller Hesaplamalı Dilbilim Derneği 53. Yıllık Toplantısı ve Doğal Dil İşleme üzerine 7. Uluslararası Ortak Konferans. 2015: 1556-1566.
Ding Y, Shao Y, Che W, vd., Bağımlılık grafiğine dayalı Çince semantik ayrıştırması.NaturallyAnnotated Big Data'ya Dayalı Çince Hesaplamalı Dilbilim ve Doğal Dil İşleme.
İlk yazar Wang Yuxuan, 24 Kasım Cuma günü saat 20.00'de, 34. GAIR konferans salonunu Leifeng.comun AI MOOC Academy ( kanalında yayınlayacak. "AAAI Tezinin Yorumlanması: Transfere Dayalı Anlamsal Bağımlılık Grafiğinin Analizi" için, afişin QR kodunu tarayarak başkanın WeChat'ini ekleyin ve "Wang Yuxuan" ifadesini belirtin.
