Stanford NLP ACL 2018 NLP Modellerinde Hata Ayıklamak İçin Kağıt-Anlamsal Eşitlik Kurallarının Yorumlanması
Leifeng.com'un Yapay Zeka Teknolojisi İncelemesine göre, Stanford Doğal Dil İşleme Ekibi geçtiğimiz günlerde Ribeiro, Marco Tulio, Sameer Singh ve Carlos Guestrin tarafından yazılan "nlp modellerinde hata ayıklama için anlamsal olarak eşdeğer rakip kurallar" ( NLP modelinin anlamsal eşdeğerlik kurallarında hata ayıklayın). Bu makale, "Hesaplamalı Dilbilim Derneği 56. Yıllık Konferansı Bildirileri" 2018 Cilt 1: Uzun Makale'de yayınlanan bir 2018 ACL makalesidir. Leifeng.com AI Technology Review bu blog yazısını aşağıdaki gibi derledi.
Sağlamlık, mühendislikte temel bir konudur. Tıpkı asma köprü gibi, Tacoma Dar Köprüsü gibi yıkılmaması için kuvvetli rüzgarlara dayanması gerekiyor. Fukushima Daiichi nükleer santral olayının meydana gelmemesi için aynı zamanda bir nükleer reaktör gibi hataya dayanıklı olması gerekir.
Bir teknoloji-asma köprüsüne, nükleer enerjiye veya NLP modeline giderek daha fazla güvendiğimizde, bu teknolojiye olan güven düzeyini artırmalıyız. Bu sistemlerde tam da ihtiyacımız olan şey sağlamlıktır.
JiaLiang tarafından 2017'de yapılan ilk araştırmalar, NLP modellerinin metin basit eklemelerdeki veya silmelerdeki küçük insan müdahalesinden kolayca etkilendiğini, modeli kırıp anlamsız yanıtlar üretmeye zorlayabileceğini gösterdi. Belinkovbisk'in çalışması ve ebrahimi ve arkadaşlarının çalışması gibi diğer çalışmalar, sistemin kararsız olduğunu, yani bir karakterin silinmesi veya değiştirilmesinin modeli yok etmek için yeterli olduğunu göstermiştir. Sıralı verilere parazit eklemek her zaman kötü bir şey değildir: Xie ve diğerleri tarafından yapılan ilk çalışmalar, makine çevirisi veya dil modellerini eğitmek için kelime veya karakter düzeyinde bozulmaların (gürültü) kullanılmasının gerçekten performansı artırdığını gösterdi.
Bununla birlikte, Ian Goodfellow'un orijinal konseptinde, bu rahatsız edici örnekleri "muhalif örnekler" olarak adlandırmak zordur. Bu makale, metindeki çelişkili bir örneği iki özellikle açıklamak için bir yöntem önermektedir:
İki cümlenin anlam bilgisi Eşdeğerlik : SemEq (x, x )
Rahatsızlık etiketi tahmini : F (x) f (x )
Tartışmamızda insanlar, "anlam" ın kesin ve nesnel bir tanımına sahip olmadığımız için "anlamsal denkliği" dilbilimsel bir bakış açısıyla tanımlamanın zor olduğuna işaret ettiler. Başka bir deyişle, iki cümle belirli bir görev üzerinde aynı etkiye sahip olsa bile, bunların eşanlamlı olmaları gerekmez. İngilizce yorumuyla ilgili daha incelikli bir tartışma "What Is a Paraphrase" bölümünde bulunabilir? Bu, Bhagat ve Hovy tarafından 2012 yılında yayınlanan bir makaledir. Makalede, anlamsal eşdeğerlik, insan yargısının "eşdeğeri" olarak görülüyor.
Anlamsal Eşdeğerlik Zorlukları (SEA)
Ribeiro ve diğerleri, yalnızca bu iki koşulu karşılayan dizilerin metindeki gerçek çelişkili örnekler olduğuna inanırlar. Bu koşulu birleştirilmiş forma dönüştürmek için gösterge işlevlerini kullanırlar:
"Döndürme", 2005 yılında Bannard ve Callison-Burch tarafından önerilen bir istatistiksel makine çevirisi tekniğidir. Bu makale, anlamsal denkliği ölçmek için Lapata ve diğerleri tarafından 2017 yılında yayınlanan çok dilli yorumlama makalesinde tanımlanan yorumlama olanaklarını kullanır. İki İngilizce dizge e1 ve e2 aynı Fransızca dizgesine f çevrilebiliyorsa, iki dizgenin aynı anlama sahip olduğu varsayılabilir.
Şekil 1
şekil 2
Pivot şeması, f: p (e2 | e1, f) = p (e2 | f) verildiğinde, e1 ve e2 arasındaki koşullu bağımsızlık varsayılarak Şekil 1'deki üretici model tarafından açıklanmıştır. Şekil 2'deki model, Multipivot'u açıklar: bir İngilizce cümleyi birden çok Fransızca cümleye çevirir ve ardından başka sözcükler oluşturmak için bunları tekrar İngilizceye çevirir. Çoğullayıcının ters çevrimi basit bir kod çözücü ortalaması olabilir - her kod çözücü bir Fransız dizgisi kullanır ve bir sonraki İngilizce simgesinin toplam çıktı olasılığı, her kod çözücünün olasılıklarının ağırlıklı toplamıdır. Lei Feng
Yorumlama olasılığı yeniden ağırlıklandırma
Açıklama modelindeki normalden arındırma mantığının (x | x) olduğu ve x'in modelin üretebileceği belirli bir x için bir dizi ifadeler olduğu varsayıldığında, belirli bir açıklamanın olasılığı aşağıdaki gibi ifade edilir:
Paydada, oluşturulan tüm cümlelerin (oluşturulan orijinal cümleler dahil) bu olasılığı paylaştığına dikkat edin. Bir cümlenin üretmesi kolay birçok farklı ifade varsa (yüksek değerleriyle temsil edilir), p (x | x) ve diğer tüm p (x | x) çok küçük olacaktır, p (x | x) 'i p ( x | x) daha büyük bir değer alacaktır (1'e yakın). Açıklanması zor bir cümle için p (x | x), p (x | x) 'den çok daha büyük olmalıdır. Bu durumda, p (x | x) ile p (x | x)' i bölerek daha küçük olur Değer (0'a yakın).
Bu sezgiye dayanarak, Ribeiro ve diğerleri, anlamsal skorun S (x, x ) yorumlama kalitesinin bir ölçüsü olarak hesaplanmasını önerdiler:
Denklem 1'i karşılayan zıt cümleyi oluşturmanın basit yolu, açıklama modelinden x cümlesinin açıklamasını üretmesini istemektir. Modelin tahmin sonucunu değiştirip değiştirmeyeceğini görmek için bu formülü deneyebilirsiniz: f (x ) f (x).
Anlamsal Eşdeğerlik Tartışmalı Kurallar (SEAR'lar)
SEA'lar, her bir örnek için bağımsız olarak oluşturulan rakip örneklerdir. Bu adımda yazar, bu yerel SEA'ları global kurallara (SEAR'lar) dönüştürmek için gerekli adımları formüle etti. Bu yazıda tanımlanan kural basit bir ayrık dönüşümdür r = (a c). Örneğin, r = (film film), r ("Harika film!") = "Harika film!" Olabilir.
SEA (x, x ) = 1 olan bir çift metin (x, x ) verildiğinde, Ribeiro ve diğerleri, bitişik bağlam (metinden önce ve sonra bir kelime) dahil olmak üzere x'i x'e dönüştürmek için metnin en küçük sürekli aralığını seçer. , Ve diziyi POS (sesin parçası) etiketiyle açıklayın. Son adım, yeni kelimelerin ve bunların POS etiketlerinin kombinasyonunun ürününü oluşturmaktır.Aşağıdaki örnek, bunu adım adım nasıl yapabileceğini göstermektedir:
"Tepsi ne renk?" - > "Tepsi hangi renk?"
Adım 1: (Ne- > Hangi)
Adım 2: (Ne renk- > Hangi renk)
3. Adım: (Ne renk- > Hangi renk), (Ne isim- > Hangi İSİM), (WP rengi- > Hangi renk), (Ne renk- > WP rengi)
Bu süreç her çifte uygulanabilir olduğu için (x, x Because) ve insanların sadece B kuralını geçmeye istekli olduklarını varsayıyoruz, Ribeiro ve diğerleri, | R | B olacak şekilde filtrelemeyi önerdi, o zaman standart şöyle olacaktır:
Anlamsal eşdeğer cümleler üretme olasılığı yüksek : Bu, geçiş formülüdür
Ölçmek. Basitçe ifade etmek gerekirse, bu kuralı uygulayarak, külliyattaki x'in çoğu anlamsal olarak eşdeğer yorumlara çevrilebilir. Makalede, = 0.1.
Birçok yorum : Kural r, modelin tahmin sonuçlarını değiştirebilecek bir yorum da üretmelidir. Ek olarak, yorumlamalar arasındaki anlamsal benzerlik de çok yüksek olmalıdır ve bu kullanılabilir.
Değerlendirmek.
Artıklık yok : Kurallar çeşitli olmalı ve olabildiğince çok x'i kapsamalıdır.
Yukarıdaki kriter 2 ve 3'ü karşılamak için Ribeiro ve diğerleri, teorik olarak sabit faktörün optimal çözümünü garanti eden açgözlü bir algoritma ile elde edilebilen bir tohum modeli optimizasyon hedefi önerdi.
Algoritmanın genel açıklaması aşağıdaki gibidir:
Deney ve doğrulama
Ribeiro ve arkadaşlarının odaklandığı temel gösterge, doğrulama setindeki kaç örneğin doğru şekilde tahmin edildiği olarak tanımlanan, ancak kuralları kullandıktan sonra tahmin yanlış olan devreden çıkarma yüzdesidir.
Tartışma sırasında, bu metrik hakkındaki görüş, bu kuraldan kaç örneğin etkilendiğini göstermediğiydi. Örneğin, VQA veri kümesinde, "rengi" "renkli" olarak değiştirme kuralı yalnızca% 2,2'lik bir rollover oranına sahip olabilir, ancak bunun nedeni VQA doğrulama kümesinde, örneklerin yalnızca% 2,2'sinin "renk" kelimesini içermesi olabilir. Bu nedenle, aslında bu kuralın çekişmeli örnekler oluşturmada% 100 başarı oranı vardır.
Bu makale, aşağıdaki gibi karşıt metin örnekleri oluşturabilecek çok iyi bazı ayrık kuralları göstermektedir:
Deneye katılan kişiler
Ribeiro ve arkadaşları, insanlar üzerinde deneyler yaptı. İnsanları deneye getirmenin iki amacı vardır: insanlar kuralların gerçekten tercüme edilip edilemeyeceğine karar verebilir (Lapata ve diğerleri tarafından sağlanan anlamsal puanlama modelinin ötesinde); insanlar kuralların neden olduğu müdahalenin gerçekten anlamlı olup olmadığına karar verebilir.
İlk olarak SEA'nın kalitesini değerlendirdiler: Doğrulama setindeki 100 doğru tahmin örneği için üç grup karşılaştırma oluşturdular: 1) tamamen insanlar tarafından oluşturuldu; 2) tamamen SEA modeli tarafından oluşturuldu; 3) algoritmalar yoluyla ancak insanlar kullanılarak SEA oluşturuldu Standart benzerlik yargısı, S (x, x ) 'nin yerini alır.
Sonuçlar, SEA'nın performansının insanlarınkini zar zor geçtiğini (% 18 VS% 16), ancak insan yargısıyla birleştiğinde, HSEA'nın performansının insanlarınkinden çok daha fazla olduğunu (% 24 VS% 13) göstermektedir.
Sonra küresel kuralları değerlendirdiler SEAR'lar . Bu sefer, etkileşimli bir web arayüzü kullanarak küresel kurallar oluşturmak için "uzmanları" davet ettiler. Uzmanları, lisansüstü düzeyde bir NLP veya ML kursuna katılmış öğrenciler ve öğretmenler olarak tanımlarlar. Kesin konuşursak, uzmanlar dilbilim alanında uzmanlaşan öğrenciler olmalıdır.
Uzmanlar, kural oluşturmayla ilgili anında geri bildirim görebilir: 100 örnekten kaçının kuraldan rahatsız olduğunu ve tahmin edilen etiketten kaç örneğin rahatsız edildiğini bilirler. Adil bir karşılaştırma yapmak için, mümkün olduğunca çok kural oluşturmaları ve bunlardan en iyi 10'u seçmeleri istendi. Ek olarak, her uzmanın kural oluşturmak için yaklaşık 15 dakikası vardır. Ayrıca, SEAR'leri değerlendirmeleri ve anlamsal denkliği sürdürmek için en anlamlı 10 kuralı seçmeleri istendi.
Sonuçlar şaşırtıcı değil, SEARS yüksek bir ciro yüzdesine ulaşmada çok daha başarılı oldu. İnsan ve makinenin birleşiminin sonucu, yalnızca insan veya makineden daha iyidir. Ayrıca, bir uzmanın bir değerlendirme makinesiyle bir kural oluşturması için gereken ortalama süreyi (saniye cinsinden) karşılaştırdılar.
Son olarak, makale bu hataları çözmenin basit bir yolunu veriyor: eğitim setine müdahale etmek için yapay olarak kabul edilen bu kuralları kullanabilirler ve duyarlılık analizinde VQA'daki hata oranını% 12.6'dan% 1.4'e düşürebilirler. % 12.6'dan% 3.4'e düşürüldü.
sonuç olarak
Bu makale, anlamsal benzerliği değerlendirmek ve anlamsal olarak eşdeğer cümleler oluşturmak için açıklama modelini kullanır. Makalede de belirtildiği gibi, makine tercümesine dayalı yorum cümleye sadece kısmi müdahaleye neden olurken, insanlar tarafından oluşturulan semantik eşdeğer cümleler daha önemli müdahalelere neden olacaktır.
Diğer bir sınırlama, gradyanlara dayalı rakip örneklerin üretilmesinin daha öğretici olması ve bu makalede önerilen yöntemin basit bir deneme yanılma yöntemi gibi görünmesidir (bir açıklama model tahminini engelleyene kadar sürekli olarak başka sözcükler üretme). Öte yandan, bu yöntem gradyan erişimi olmayan kara kutu modelleri için uygundur, bu nedenle gradyan tabanlı yöntemlerden daha çok yönlüdür.
Bu makale net bir çerçeve sunmakta ve rakip metin örneklerinin izlemesi gereken özellikleri açıkça önermektedir. Bu tanım, bilgisayarla görmedeki karşıt örneklerle çok uyumludur. Bununla birlikte, bu çerçeve yalnızca belirli bir rakip örneği kapsar. Bu yöntemin içermediği bariz bir rakip örneği, QA modellerine saldırmak için önemli olan cümle ekleme veya silme gibi işlemlerdir.
Referanslar:
Jia, Robin ve Percy Liang. "Okuduğunu anlama sistemlerini değerlendirmek için tartışmalı örnekler." ArXiv preprint arXiv: 1707.07328 (2017).
Belinkov, Yonatan ve Yonatan Bisk. "Sentetik ve doğal gürültü, sinirsel makine çevirisini bozar." ArXiv ön baskı arXiv: 1711.02173 (2017).
Ebrahimi, Javid, ve diğerleri. "HotFlip: Metin Sınıflandırması için Beyaz Kutu Karşıt Örnekleri." ArXiv preprint arXiv: 1712.06751 (2017).
Xie, Ziang ve diğerleri. "Sinir ağı dil modellerinde yumuşatma olarak veri gürültüsü." ArXiv ön baskı arXiv: 1703.02573 (2017).
Goodfellow, Ian J., Jonathon Shlens ve Christian Szegedy. "Düşman örnekleri açıklamak ve kullanmak (2014)." ArXiv preprint arXiv: 1412.6572.
Mallinson, Jonathan, Rico Sennrich ve Mirella Lapata. "Nöral makine çevirisi ile yeniden yorumlandı." Hesaplamalı Dilbilim Derneği Avrupa Bölümünün 15. Konferansı Bildirileri: Cilt 1, Uzun Kağıtlar. Cilt 1. 2017.
Colin Bannard ve Chris Callison-Burch. 2005. İki dilli paralel şirket ile açıklama. Hesaplamalı Dilbilim Derneği 43. Yıllık Toplantısı Bildirilerinde, sayfalar 597-604, Ann Arbor, Michigan.
aracılığıyla: https://nlp.stanford.edu/blog/reading-group-blog-semantically-equivalent-adversarial-rules-for-debugging-nlp-models-acl-2018-/
