"NLP 2005'te Büyük Atılım" Anlamsal Rol İşaretleme Derinliği Modeli, doğruluk oranı% 10 arttı
Xinzhiyuan Derlemesi
Birkaç gün önce, "Stanford NLP Group", Washington Üniversitesi, FAIR ve Allen Enstitüsü arasındaki ortak araştırma Derin Anlamsal Rol Etiketleme: What Works and Whats Next'in NLPnin "2005 yılından bu yana ilk büyük atılımı" olduğunu tweetledi. Bu makale ACL-17 tarafından kabul edilmiştir. Makalenin ilk yazarı, Washington Üniversitesi'nde Çinli bir doktora öğrencisi olan He Luheng'dir.
Xinzhiyuan bu makaleyi sizin için tercüme etti ve tanıttı.
SRL için mevcut teknik seviyeyi önemli ölçüde iyileştiren yeni bir derin öğrenme modeli tanıtın
Mevcut teknoloji düzeyini önemli ölçüde iyileştiren anlamsal rol etiketleme (SRL) için yeni bir derin öğrenme modeli getirdik ve aynı zamanda avantaj ve dezavantajlarının ayrıntılı bir analizini yaptık. Sınırlı kod çözmenin derin otoyol BiLSTM mimarisini kullandık ve ayrıca başlatma ve düzenleme için en iyi uygulamaları inceledik. 8 katmanlı modelimiz CoNLL 2005 test setinde 83.2 F1'e ve CoNLL 2012 test setinde 83.4 F1'e ulaştı. Önceki teknik seviye ile karşılaştırıldığında, bağıl hata oranı yaklaşık% 10 azalmıştır. Araştırma sonuçlarının ampirik analizi şunu göstermektedir: (1) Derinlik modeli, uzun mesafeli anlamsal bağımlılıkları geri yüklemede iyi performans gösterir, ancak yine de bariz hatalar yapar; (2) Anlamsal analizde iyileştirme için hala yer vardır.
Anlamsal rol etiketleme (SRL) sisteminin amacı, temel yargılarda bulunmak için bir cümlenin yüklem-argüman yapısını eski haline getirmektir: "kim kime ne yaptı", "ne zaman" ve "nerede". Sözdizimsel girdi olmaksızın uçtan uca derin SRL modelindeki son gelişmeler (Zhou ve Xu, 2015; Marcheggiani vd., 2017), anlambilimsel analizin bu görev için bir ön koşul olduğu şeklindeki uzun süredir devam eden görüşü altüst ediyor gibi görünüyor (Punyakanok ve diğerleri, 2008). Bu makalede, bu sonucun, kısıtlı kod çözme ile derin karayolu çift yönlü LSTM tarafından daha da geliştirilebileceğini ve bir kez daha mevcut teknolojiyi önemli ölçüde geliştirebileceğini gösteriyoruz (CoNLL 2005'te iki iyileştirme var). Ayrıca, hangi teknolojilerin iyi performans gösterdiğine ve performansı daha da iyileştirmek için ne yapılması gerektiğine dair dikkatli bir ampirik analiz gerçekleştirdik.
Modelimiz, son derin öğrenme literatüründeki en iyi uygulamalardan bazılarını içermektedir. Zhou ve Xu'dan (2015) sonra, SRL'yi bir BIO etiketleme sorunu olarak ele alıyoruz ve derin çift yönlü LSTM kullanıyoruz. Bununla birlikte, aşağıdaki ayarlamaları yaptık: (1) giriş ve çıkış katmanlarını basitleştirin; (2) otoyol bağlantılarını tanıtın (Srivastava ve diğerleri, 2015; Zhang ve diğerleri, 2016); (3) döngüsel bırakmayı kullanın (Gal ve Ghahramani, 2016); (4) Kod çözme için BIO kısıtlamalarını kullanın; (5) Uzman ürünlerle birleştirin. Modelimiz, 2005 ve 2012'deki CoNLL test setinin teknik seviyesinin göreceli hatasında% 10'luk bir azalmaya sahiptir. Ayrıca, uçtan uca SRL sistemleri üzerine gelecekteki araştırmaları teşvik etmek için tahmin edilen tahminlerin performansını da rapor ediyoruz.
Performans iyileştirmesini daha iyi anlamak için ayrıntılı hata analizi sağlıyoruz, bunlara (1) model performansı üzerinde çok büyük bir etkisi olan mimari, ilklendirme ve düzenleme için tasarım seçenekleri; (2) farklı tahmin hataları, Derin model, uzun mesafeli bağımlılığı tahmin etmede mükemmeldir, ancak yine de bilinen zorluklardan muzdariptir (PP-ek hataları ve yardımcı argüman ayrımları gibi); (3) Dilbilgisel rol, oracle sözdiziminde iyileştirme için bariz bir alan olduğunu, ancak mevcut otomatik Ayrıştırıcıdaki hatalar, SRL'de etkin kullanımı engeller.
Özetle, ana katkılarımız şunları içerir:
Açık kaynak kodu ve modellerle desteklenen uçtan uca yeni bir son teknoloji ürünü derin SRL ağı.
Yapısal tutarlılık ve uzun mesafeli bağımlılık tartışmaları da dahil olmak üzere modelin çalışma prensibine ve zorluklarına işaret eden derinlemesine hata analizi.
Bu sonuçları iyileştirmek için sözdizimsel ayrıştırıcının nasıl ve ne zaman kullanılacağına ilişkin ayrıntılı tartışmalar dahil, gelecekteki iyileştirmeler için yararlı olan deneyler.
Deep SRL modelimizin başarısının iki nedeni var
Derin SRL modelimizin başarısının iki nedeni vardır: (1) Karayolu bağlantıları (Srivastava ve diğerleri, 2015) ve RNN bırakma (Gal ve Ghahramani, 2016) (2) gibi derin tekrarlayan sinir ağlarının eğitiminde A * kullanarak en son gelişmelerin uygulanması Eğitim sürecinin karmaşıklığını artırmadan tahmin süresinin yapısal tutarlılığını güçlendirmek için kod çözme algoritması (Lewis ve Steedman, 2014; Lee vd., 2016).
Şekil 1: Dört katmanlı Otoyol LSTM. Eğimli bağlantılar, otoyol bağlantılarını temsil eder ve + işareti, katmanlar arasındaki bilgi akışını kontrol eden bir dönüşüm geçidini temsil eder.
Tablo 1: Kesinlik (P), geri çağırma (R), F1 ve tamamen doğru tahminlerin yüzdesini (Comp.) İçeren CoNLL 2005 deneysel sonuçları. En iyi tekli ve toplu modellerimizin (PoE) sonuçlarını bildiriyoruz. Karşılaştırma modelleri Zhou ve Xu (2015), FitzGerald ve diğerleri (2015), Täckström ve diğerleri (2015), Toutanova ve diğerleri (2008) ve Punyakanok ve diğerleri (2008) 'dir.
Tablo 2: CoNLL 2012'deki deneysel sonuçlar, Tablo 1 ile aynı ölçüm yöntemini kullanır. En iyi single ve ensemble (PoE) modellerimizi Zhou ve Xu (2015), FitzGerald vd. (2015), Ta ckstro m vd. (2015) ve Pradhan vd. (2013) ile karşılaştırıyoruz.
Tablo 3: Tahmin edilen tahminleri kullanarak algılama performansını ve uçtan-uca SRL sonuçlarını tahmin edin. En iyi altın tahmin topluluk modelimizle karşılaştırıldığında, F1 mutlak bir performans düşüşü gösteriyor.
Şekil 2: Çeşitli ablasyonların düzgün öğrenme eğrisi. Karayolu katmanı kombinasyonu, ortogonal parametre başlatma ve döngü bırakma, güçlü performans elde etmek için çok önemlidir. Burada gösterilen numaralar kod çözmeyi kısıtlamaz.
Şekil 3: İki güçlü nöral olmayan taban çizgisiyle karşılaştırıldığında, dizideki çeşitli oracle dönüşüm türlerinin performansı. Argüman Ekle dönüşümünden sonra, yöntemimizin geleneksel sisteme kıyasla daha fazla argüman tahmin etmekten nasıl yararlanabileceğini gösteren boşluk kapatıldı.
Tablo 4: Her işlemden sonra göreceli hata azaltma ile eşleştirilmiş Oracle dönüşümü. Tüm işlemlere yalnızca herhangi bir örtüşen parametrelere neden olmadıkları takdirde izin verilir.
Tablo 5: "Her bir altın etiket için tahmin edilen etiketlerin yüzdesini" gösteren etiketleme hatalarının karışıklık matrisi. Yalnızca altın aralık sınırlarıyla eşleşen tahmin argümanlarını dahil ettik.
Şekil 4: Modelimizin altın açıklığını ikiye böldüğü (Z XY) veya iki altın bileşeni birleştirdiği (XY Z) durum için, Yspan sözdizimsel etiketlerinin dağılımını gösteriyoruz. Sonuçlar, bu hataların ana nedeninin yanlış edat öbeği eki olduğunu göstermektedir.
Şekil 5: Yüklem ve bağımsız değişken arasındaki yüzey mesafesi F1. Daha derin nöral model için, performans zayıflaması, argüman mesafesinin artmasıyla en küçüktür.
Şekil 6: Çekirdek rolün uygulanması yalnızca bir kez (+ SRL) kısıtlama olabilir, performans tehlikeye atılır.
Tablo 6: 2005'teki CoNLL'deki F1 ve türe göre ayrılmış CoNLL 2012'deki geliştirme seti. Sözdizimi Kısıtlaması Kod Çözme (+ AutoSyn) alan içi verilerde daha büyük bir gelişme gösterir (CoNLL 05 ve CoNLL 2012 NW)
Orijinal adres: https://homes.cs.washington.edu/~luheng/files/acl2017_hllz.pdf
Xinzhiyuan'ın işe alım bilgilerini görüntülemek için "Orijinali Oku" yu tıklayın
