ACL 2018 Stanford Üniversitesi: Eğitim sınıflandırıcılarını açıklamak için doğal dili kullanma
Bu makale, Stanford Üniversitesi tarafından ACL 2018'de yayınlanan bir çalışmadır. Makale, geleneksel hassas sınıflandırıcı eğitimini çözen BabbleLabble adlı sınıflandırıcı eğitimi için bir çerçeve önermektedir, ancak her etiket yalnızca sınırlı bilgi sağlar (bir bit ikili sınıflandırma) sorun. Açıklayıcı, her etiketleme kararı için doğal dil açıklamaları sağlar ve anlamsal ayrıştırıcı, bu açıklamaları sınıflandırıcıyı eğitmek için herhangi bir sayıda etiketlenmemiş veri için gürültü etiketleri üreten programlanmış bir etiketleme işlevine dönüştürür. Üç ilişki çıkarma görevinde, sadece etiketler yerine açıklamalar sağlayarak, kullanıcıların karşılaştırılabilir F1 puanlarına sahip sınıflandırıcıları daha hızlı eğitebildiklerini gördük.
Giriş
Etiketli bir veri seti elde etmek için standart protokol, bir insan açıklayıcının her örneği görüntülemesi, alaka düzeyini değerlendirmesi ve bir etiket (örneğin, ikili sınıflandırma için pozitif veya negatif) sağlamasıdır. Bununla birlikte, her örnek yalnızca bir bit bilgi sağlar. Bu şu soruyu akla getiriyor: Açıklayıcı, bir örneği okuyup anlamak için çok fazla enerji harcadıysa, nasıl daha fazla bilgi alabiliriz?
Önceki çalışmalar, özellikleri işaretleme, metindeki temel cümleleri vurgulama veya görüntülerdeki ilgili alanları işaretleme gibi girdinin ilgili kısımlarını belirlemeye dayanıyordu. Bununla birlikte, eksik kelime veya en az iki kelimenin varlığı gibi belirli bilgi türleri kolayca yorum girişinin bir kısmına indirgenemez. Bu çalışmada, doğal dilin gücünü keşfediyor ve açıklayanın, doğal dil yorumlaması yoluyla sınıflandırıcıya denetim sağlamasına izin veriyoruz.
Özellikle, açıklayıcıların örneklere atadıkları her etiket için doğal dil açıklamaları sağladığı bir çerçeve öneriyoruz (aşağıdaki şekle bakın). Bu yorumlar, örnekleri sezgisel olarak etiketlere eşleyen etiketleme işlevlerini (LF) temsil eden mantıksal biçimlere ayrıştırılır. Daha sonra etiketleme işlevi birçok etiketlenmemiş örnekte gerçekleştirilir ve sonuçta büyük, zayıf denetimli bir eğitim seti elde edilir ve bu daha sonra sınıflandırıcıyı eğitmek için kullanılır.
Doğal dil mantık formlarının anlambilimsel analizi zorlu bir problemdir ve kapsamlı bir şekilde çalışılmıştır. Temel bulgularımızdan biri, kurulumumuzda, basit bir kurala dayalı anlambilimsel analizörün bile üç nedenden dolayı yeterli olmasıdır: İlk olarak, çoğu yanlış LF'nin anlamsal olarak otomatik olarak filtrelenebileceğini bulduk (örneğin , İlgili örneklerle tutarlı mı?) Veya pratik olarak (örneğin, tüm eğitim setine aynı etiketi atamaktan kaçınıyor mu?) İkincisi, mantıksal form uzayında altın LF'ye yakın LF genellikle eşit derecede doğrudur (bazen daha da doğru) . Üçüncüsü, birleşik bir zayıf denetim kaynağı oluşturma tekniği bir miktar gürültüyü tolere edebilir. Önemli olan, göreve özel eğitime ihtiyaç duymadan görevler arasında aynı anlamsal ayrıştırıcıyı dağıtabilmemizdir.
Çalışmamız Srivastava'nın çalışmasına en çok benziyor Srivastava sınıflandırıcıyı eğitmek için doğal dil yorumunu kullanıyor, ancak iki önemli fark var. Birincisi, biz basit kurala dayalı ayrıştırıcıları kullanırken, göreve özgü anlamsal ayrıştırıcıları ve sınıflandırıcıları birlikte eğitirler. Bölüm 4'te, zayıf düzenleyici çerçevemizde, kural tabanlı anlamsal ayrıştırıcıların ve mükemmel ayrıştırıcıların hemen hemen aynı aşağı akış performansını ürettiğini gördük. İkinci olarak, sınıflandırıcıya sağlanan özellikleri doğrudan üretmek için mantıksal yorumlama biçimini kullansalar da, onları daha büyük bir eğitim setini etiketlemenin bir işlevi olarak kullanıyoruz. Özellikler yerine işlevleri kullanmanın 9.5 F1 iyileştirme (% 26 göreceli gelişme) sağladığını ve F1 puanının mevcut etiketlenmemiş veri miktarıyla ölçeklendiğini bulduk.
Yöntemimizi literatürdeki mevcut iki veri seti ve gerçek dünya kullanım durumu üzerinde doğruladık ve biyomedikal iş arkadaşlarımız metinden Parkinson hastalığıyla ilişkili protein kinaz etkileşimlerini çıkardılar. Deneyimlerimize dayanarak, kullanıcıların tek tek etiketler yerine doğal dil yorumları sağladıklarında, karşılaştırılabilir F1 puanlarına sahip sınıflandırıcıları iki büyüklüğe kadar daha hızlı eğitebileceklerini bulduk. Kodumuz ve verilerimiz http: // Github COM / HasyReals / Bable adresinde bulunabilir.
BabbleLabble çerçevesi, doğal dil yorumunu ve etiketlenmemiş verileri bir etiketli gürültü eğitim setine dönüştürür (aşağıdaki şekle bakın). Üç temel bileşen vardır: anlamsal ayrıştırıcı, filtre grubu ve etiket toplayıcı. Anlamsal ayrıştırıcı, doğal dil yorumunu, işaretleme işlevini (LF) temsil eden bir dizi mantıksal forma dönüştürür. Filtre grubu, gerçek etiketlere ihtiyaç duymadan yanlış LF'yi olabildiğince kaldırır. Kalan LF, bir etiket matrisi oluşturmak için etiketlenmemiş örnekler için kullanılır. Bu etiket matrisi, bu potansiyel olarak çakışan ve çakışan etiketleri her örnek için tek bir etiket halinde birleştiren etiket toplayıcıya aktarılır. Daha sonra rastgele ayırt edici modelleri eğitmek için ortaya çıkan etiketli örnekleri kullanın.
Bir girdi yorumu oluşturmak için, kullanıcı etiketlenmemiş veri kümesi D'nin bir alt kümesine (S) bakar (burada | S | "| D |) ve her xi S girdisi için bir etiket yi ve doğal bir dil yorumu ei sağlar; Numunenin etiketin cümlesini neden alması gerektiğini açıklayın. Ei açıklaması genellikle örneğin belirli bir yönüne atıfta bulunur (örneğin, Şekil 2'de "karısı" özel dizesinin konumu).
Anlamsal Ayrıştırıcı: İkili Sınıflandırmada Anlamsal Ayrıştırıcı
, Ei'yi doğal dilde yorumlayın ve bir dizi LF (mantıksal biçim veya işaretli işlev) {f1, ..., fk}, burada 0 çekimserlik anlamına gelir. Bu anlamsal ayrıştırıcının amacının tek bir doğru çözümleme üretmek değil, potansiyel olarak yararlı birçok LF'yi kapsamak olduğunu vurguluyoruz.
Herhangi bir eğitim olmadan kullanılabilecek basit bir kural tabanlı anlamsal analizci seçiyoruz. Ayrıştırıcı, biçiminde bir dizi kuralı kullanır, burada , in'daki simge ile değiştirilebilir (aşağıdaki şekle bakın). Aday LF'yi belirlemek için, dilbilgisi kuralı tarafından tanımlanan ikameye dayalı olarak her yorumlama aralığı için yinelemeli olarak bir dizi etkili dilbilgisi analizi oluştururuz. Son olarak, ayrıştırıcı, yorumun tamamına karşılık gelen tüm geçerli ayrıştırmayı (bu durumda, LF'ler) döndürür.
Ayrıca, belirli bir aralıktaki herhangi bir sayıda simgenin eşleşen kurallar ararken göz ardı edilmesine izin veriyoruz. Bu, ayrıştırılabilir girdi bölümü etkili ayrıştırmaya yol açabileceğinden, ayrıştırıcının beklenmeyen girdileri (bilinmeyen sözcükler veya yazım hataları gibi) işleme yeteneğini geliştirir. Örneğin yukarıdaki resimde "kişi" kelimesi göz ardı edilmiştir.
Dilbilgisine dahil edilen tüm yüklemler (aşağıdaki tablo) açıklayıcıya sağlanır ve her yüklemin kullanımına ilişkin birkaç örnek vardır. Önemli olarak, tüm kurallar etki alanından bağımsızdır (örneğin, test ettiğimiz üç ilişki çıkarma görevinin tümü aynı sözdizimini kullanır), anlamsal ayrıştırıcının yeni bir etki alanına aktarımını kolaylaştırır. Ek olarak, bu makale ilişki çıkarma görevine odaklansa da, prensipte BabbleLabble çerçevesi, sözdizimini gerekli ilkellerle genişleterek (örneğin, hizalayıcıyı yorumlayabilmek için satırlara ve sütunlara ilkeller ekleyerek) diğer görevlere veya ayarlara uygulanabilir. Kelime listesinde TS). Dilbilgisinin oluşturulmasına rehberlik etmek için, Amazon Machinery Turk çalışanlarından Spouse alanıyla ilgili 500 açıklama topladık ve en sık kullanılan yüklemler için destek ekledik. Dilbilgisi 200 kural şablonu içerir.
Filtre bankası: Filtre bankasının girdisi, anlamsal ayrıştırıcı tarafından üretilen bir aday LF setidir. Filtre grubunun amacı, mümkün olduğunca çok sayıda hatalı LF'yi ek etiketler olmadan atmaktır. İki tür filtre içerir: anlamsal ve pragmatik.
Her bir ei açıklamasının belirli bir etiketli örnek (xi, yi) bağlamında toplandığını hatırlayın. Anlamsal filtreler, karşılık gelen örnekleriyle tutarsız olan LF'leri kontrol eder; f (xi) yi için herhangi bir LF f'yi atın. Örneğin, ikinci şeklin ilk yorumunda "doğru" kelimesi "hemen" ("sağdan önce" gibi) veya basitçe "sağa" olarak yorumlanabilir. İkinci yorum, ilgili örnekle tutarsız bir işleve yol açar (çünkü "karısı" aslında 2. kişinin solundadır), böylece güvenle silinebilir.
Pratik filtreler, sabit, fazlalık veya ilgili LF'leri kaldırır. Örneğin, ikinci şekilde, LF 2a bir sabittir çünkü her bir örneği aktif olarak etiketler (çünkü tüm örnekler aynı cümleden iki kişiyi içerir). LF 3b gereksizdir çünkü LF 3a'dan farklı bir sözdizimi ağacına sahip olsa bile, eğitim kümesini aynı şekilde etiketler, bu nedenle yeni bir sinyal sağlamaz.
Son olarak, diğer tüm filtrelerin aynı yorumunu geçen tüm LF'ler arasında, yalnızca en spesifik (en düşük kapsam) LF'leri saklarız. Bu, birden fazla ilişkili LF'nin tek bir örneğe hakim olmasını engeller.
Etiket toplayıcı: Etiket toplayıcı, LF'lerden önerilen birden çok (muhtemelen çakışan) etiketi birleştirir ve bunları tek bir olasılık etiketinde birleştirir. Spesifik olarak, m LF'ler filtre bankasından geçerse ve n örneğe uygulanırsa, etiket toplayıcı f: {-1, 0, 1} m × n n fonksiyonunu uygular.
Bu makale, gerçek etiket ile etiket çıktısı arasındaki ilişkiyi faktör grafiği olarak modellemek için veri programlamayı kullanır. Gerçek Y {1, 1} n (potansiyel) etiketi ve etiket matrisi (gözlemlenen) göz önüne alındığında, etiket eğilimini ve doğruluğunu temsil eden iki tür faktör tanımlarız:
Verilen xj veri noktasına sahip bir vektörü şu şekilde tanımlayın:
, Tanım modeli:
onların arasında
Ağırlık vektörü ve Zw normalizasyon sabitidir. Gerçek Y etiketini bilmeden modeli öğrenmek için, verilen gözlem etiketini en aza indiriyoruz.
Negatif günlük kenarı olasılığı:
Çıkarım için SGD ve Gibbs örneklemesini kullanın, ardından kenarları kullanın
Olasılıklı eğitim etiketi olarak.
Diskriminant modeli: Herhangi bir diskriminant modeli eğitmek için etiket toplayıcı tarafından çıkan gürültülü etiketler içeren eğitim setini kullanın. Sınıflandırıcı olarak etiket toplayıcıyı doğrudan kullanmak yerine, ayrımcı modeli görev üzerine eğitmenin bir avantajı, etiket toplayıcının yalnızca LF'de bulunan bilgileri dikkate almasıdır. Öte yandan, ayırt edici model, kullanıcı tarafından tanınmayan ancak büyük miktarda bilgiye sahip olan özellikler içerebilir. Bu nedenle, kullanımdan kaldırılan tüm LF örnekleri bile doğru şekilde sınıflandırılabilir. Değerlendirme sonuçlarımız, üç görev için ayırıcı modeli kullanmanın, etiket toplayıcıyı doğrudan kullanmaktan 4,3 F1 puan daha yüksek olduğunu göstermektedir.
Bu makalenin sonuçları için, diskriminant modelimiz, bağımlılık yolunda tanımlanan genel özelliklere sahip basit bir lojistik regresyon sınıflandırıcısıdır. Bu özellikler, lemmanın tekli, ikili ve üçlü gramerlerini, bağımlılık etiketlerini ve kardeşlerde ve ana düğümlerde bulunan konuşma parçası etiketlerini içerir. Ortalama olarak, bunun, özellikle daha küçük bir eğitim seti boyutuna sahip geleneksel olarak denetlenen temeller için biLSTM'den daha iyi performans gösterdiğini bulduk; ayrıca analiz için yorumlanması kolay özellikler sağlar.
BabbleLabble'ın doğruluğunu Eş, Hastalık ve Protein dediğimiz üç ilişki çıkarma görevinde değerlendirdik. Her görevin amacı, örnekteki iki varlığın bir çıkar ilişkisine sahip olup olmadığını tahmin etmek için bir sınıflandırıcı eğitmektir.Her veri kümesinin istatistikleri aşağıdaki tabloda rapor edilmektedir.
Her veri setinin bir örneği ve açıklaması aşağıdaki şekilde verilmiştir.
BabbleLabble'ın performansını, kullanıcı girdisinin miktarına, doğru çözümlenmiş mantıksal forma güvenmeye ve mantıksal formu kullanma mekanizmasına göre değerlendiriyoruz.
Aşağıdaki tabloda, BabbleLabble ile eğitilmiş bir sınıflandırıcının ortalama F1 skorunu, belirtilen etiketlerin sayısı ile 30 yorum veya geleneksel denetim kullanarak rapor ediyoruz. Ortalama olarak, 30 açıklama toplamak için geçen süre, 60 etiket toplamak için geçen süre ile aynıdır. Üç görevin hepsinde BabbleLabble'ın, Spouse görevi durumunda 100 kata kadar belirli bir F1 puanı elde etmek için geleneksel denetime göre çok daha az kullanıcı girdisi kullandığını fark ettik. Yorum birçok etiketlenmemiş örneğe uygulandığından, kullanıcıdan gelen her bir girdi, örtük olarak birçok (gürültülü) etiketi öğrenme algoritmasına katkıda bulunabilir.
Aşağıdaki tabloda, filtreleme öncesi ve sonrası LF'nin özet istatistiklerini rapor ediyoruz. LF doğruluğu, çıkarılan sonuçlar ile manuel olarak oluşturulan her analiz arasındaki tam eşleşmeyi ifade eder. Şaşırtıcı bir şekilde, basit sezgisel tabanlı filtre grubu, üç görevin tümünde yanlış LF'lerin% 95'inden fazlasını başarıyla kaldırdı ve son LF setinin ortalama doğru oranı% 86'ydı. Ek olarak, filtre setini geçen LF'ler arasında, doğru ve yanlış çözünürlük arasındaki son görev doğruluğundaki ortalama farkın% 2,5'ten az olduğunu gördük. Sezgisel olarak, bu filtreler etkilidir çünkü LF yorumdan ayrıştırılır, kendi örnekleriniz doğru şekilde etiketlenir (anlamsal filtreler aracılığıyla) ve eğitim setindeki tüm örnekler aynı etiketle veya aynı etiketle (pragmatik dosyalar aracılığıyla) etiketlenmez. çok zor.
Bir adım daha ileri gidelim: Mükemmel anlamsal ayrıştırıcı tarafından oluşturulan LF'yi başlangıç noktası olarak kullanarak, test setinde daha yüksek son görev doğruluğuna sahip "yakındaki" LF'yi aradık (LF yalnızca bir yüklemden farklıdır) ve başarı oranı% 57 idi (bkz. Aşağıdaki şekil).
Diğer bir deyişle, kullanıcılar açıklama yaptığında, açıkladıkları bilgiler iyi bir yardım sağlar, ancak gerçekte optimal olma olasılıkları düşüktür. Aşağıdaki tablo bu gözlemi daha da doğrulamaktadır: Açıkça alakasız LF'leri kaldırmak için bir filtre setinin gerekli olduğunu göstermektedir Basit bir kurala dayalı anlamsal ayrıştırıcı ve mükemmel bir çözümleyici neredeyse aynı ortalama F1 puanına sahiptir.
Aşağıdaki tabloda, iki yöntemi doğrudan karşılaştırıyoruz ve veri programlama yönteminin, kural tabanlı ayrıştırıcıya kıyasla özellik tabanlı yöntemden daha iyi performans gösterdiğini görüyoruz.
Bu farkı esas olarak veri programlamanın etiketlenmemiş verileri kullanma yeteneğine bağlıyoruz. Aşağıdaki şekilde, LF'lerin sayısı aynı kalsa bile, veri programlama yönteminin etiketlenmemiş örneklerin sayısı ile nasıl geliştiğini gösteriyoruz. Ayrıca, veri programlamanın sınıflandırıcıyı yorumumuzla ilgili olan ancak doğrudan bahsedilmeyen ek kalıplara maruz bıraktığını da niteliksel olarak gözlemledik.
Makine öğrenimi perspektifinden bakıldığında, etiketler ana varlıktır, ancak açıklayıcı ile öğrenme algoritması arasında daha az bilgi sağlarlar. Doğal dil tercümesi, bilgi aktarımı için daha fazla kanal açtı. İlişki çıkarma açısından, bu makale zaten iyi sonuçlar göstermiştir (açıklamalardan biri 100 etiketle "karşılaştırılabilir" olabilir). Gelecekte çerçevemizi diğer görevlere ve daha etkileşimli ayarlara genişletmek çok ilginç olacaktır. Araştırma yönü. Bu makaledeki kod, veriler ve deneyler, https://worksheets.codalab.org/worksheets/0x900e7e41deaa4ec5b2fe41dc50594548/ adresindeki CodaLab platformunda elde edilebilir.
