Singapur Teknoloji ve Tasarım Üniversitesi: Nükleer Öğrenmeyi Yaygınlaştırma Yapısına Dayalı Weibo Söylentilerinin Keşfi
ACL 2017 Kısa Bildiriler
Nükleer öğrenmeyi yaygınlaştırma yapısına dayalı mikroblog söylenti keşfi
Saymayın, Tahmin Edin! Kısa Metinler İçin Öğrenme Duygusu Sözlüklerine Otomatik Bir Yaklaşım
Singapur Teknoloji ve Tasarım Üniversitesi
Singapur Teknoloji ve Tasarım Üniversitesi
[Özet] Herhangi bir manuel kaynağa güvenmeden duygusal sözlükleri otomatik olarak öğrenmek için etkili bir sinir ağı yöntemini tanımlıyoruz. Bu yöntem NRC yönteminden esinlenmiştir.SemEval13'te en iyi sonuçları vermek için büyük tweet'lerde ifadeler kullanır ve kelimelerin duygusal özelliklerini tanımlamak için kelimeler ve Twitter duyguları arasındaki PMI değerini kullanır. Tweet duyarlılık etiketlerini tahmin etmek için bunları kullanarak daha iyi sözlükler öğrenebileceğimizi gösteriyoruz. Çok basit bir sinir ağı kullanarak, NRC yöntemiyle aynı miktarda veri ile daha verimli performans elde edilebilir. Deneyler, mevcut en iyi yöntemle karşılaştırıldığında, sözlüğümüzün birden çok dilde doğruluk açısından önemli bir gelişme gösterdiğini göstermektedir.
1. Giriş
Duygusal sözlük, kelimelerin veya ifadelerin duygusal kutupluluğunu ve / veya duygusal gücünü içerir (Baccianella vd., 2010; Taboada vd., 2011; Tang vd., 2014a; Ren vd., 2016a). Kural tabanlı (Taboada vd., 2011) ve denetimsiz (Turney, 2002; Hu ve Liu, 2004; Kiritchenko vd., 2014) veya denetim (Mohammad vd., 2013; Tang vd. 2014b; Vo ve Zhang, 2015) için kullanılmışlardır. Makine öğrenimine dayalı duyarlılık analizi. Bu nedenle, bir duyarlılık sözlüğü oluşturmak, duygu analizinin önemli bir araştırma konusudur.
Duygusal sözlükler oluşturmak için birçok yöntem önerilmiştir. Geleneksel yöntemler, kelimelerin duygusal özelliklerini manuel olarak etiketler (Hu ve Liu, 2004; Wilson ve diğerleri, 2005; Taboada ve diğerleri, 2011). Böyle bir sözlüğün bir avantajı yüksek kalitedir. Öte yandan, bu yöntemler zaman alıcıdır ve dil ve alan uzmanlığı gerektirir. Son zamanlarda, duygusal sözlükleri otomatik olarak öğrenmek için istatistiksel yöntemler kullanılmıştır (Esuli ve Sebastiani, 2006; Baccianella ve diğerleri, 2010; Mohammad ve diğerleri, 2013). Bu yöntemler, bilgi kaynaklarını (Bravo-Marquez ve diğerleri, 2015) veya etiketli duyarlılık verilerini (Tang ve diğerleri, 2014a) kullanır ve kapsama oranı, yapay sözlüklere kıyasla önemli ölçüde iyileştirilir.
Otomatik yöntemde Mohammad ve diğerleri (2013) eğitim verisi olarak emoji veya hashtag içeren tweet'lerin kullanılmasını önermektedir. Ana avantaj, bu eğitim verilerinin bol olması ve manuel açıklamalardan kaçınılabilmesidir. Emojiler veya hashtag'ler Twitter'ın duygularını açıklamada gürültülü olsalar da mevcut çalışmalar vardır (Go vd., 2009; Pak ve Paroubek, 2010; Agarwal vd., 2011; Kalchbrenner vd., 2014; Ren vd. People, 2016b), bu verilerin denetimli duygu sınıflandırıcıları için etkinliğini göstermiştir.
Mohammad ve diğerleri (2013), kelimeler ve ifadeler arasındaki noktadan noktaya karşılıklı bilgileri (PMI) hesaplayarak duygusal sözlükler toplar. Ortaya çıkan kelime dağarcığı SemEval13 kıyaslama testinde en iyi sonuçları verdi (Nakov ve diğerleri, 2013). Bu yazıda, doğrudan tahmin doğruluğunu optimize ederek, sözlükleri girdi olarak ve emojiyi çıktı olarak kullanarak daha iyi sözlükler öğrenebileceğimizi gösteriyoruz. Metodumuz ile Mohammad ve diğerleri (2013) arasındaki korelasyon, dağıtılmış ve dağıtılmış kelime temsilleri arasındaki "tahmin" ve "sayma" arasındaki korelasyona benzerdir (Baroni ve diğerleri, 2014).
Her bir duygu kelimesini temsil etmek için iki basit özelliği kullanmak için Esuli ve Sebastiani'yi (2006) takip ediyoruz ve Mikolov ve diğerlerinden (2013) esinlenerek duygu tahmini için çok basit bir sinir ağı kullanıyoruz. Bu yöntem Mohammad ve diğerleri (2013) ile aynı verileri kullanabilir ve bu nedenle ölçek ve etiketlemenin bağımsızlığından faydalanır. Deneyler, nöral modelin birçok dilde standart karşılaştırma testlerinde en iyi sonuçları verdiğini gösteriyor. Kodumuz ve sözlüğümüz https://github.com/duytinvo/acl2016 adresinde herkese açık.
2 Alakalı iş
Duygu sözlüğünü otomatik olarak öğrenmenin mevcut yöntemleri üç kategoriye ayrılabilir. İlk kategori, mevcut sözlüğü genişletmek için mevcut duygusal bilgileri kullanır. Örneğin, Esuli ve Sebastiani (2006) ve Baccianella ve diğerleri (2010) her bir kelimeyi temsil etmek için bir demet (pos, neg, neu) kullanır ve sırasıyla poz, neg ve neu pozitifliği, negatifliği ve tarafsızlığı temsil eder. WordNet kullanımıyla Bu özellikleri eğitmek için özellikleri çıkarın. Bu yöntemler, mevcut sözlüklerin sınıflandırma yapısına dayanır ve belirli dillerle sınırlıdır.
İkinci yöntem, mevcut sözlükleri genişletir ve genellikle manuel olarak işaretlenir. Örneğin, Tang ve diğerleri (2014a), az sayıda etiketli tweet'ten duygu yönelimli kelime temsillerini öğrenmek için bir sinir ağı uyguladılar ve ardından kelimeler arasındaki vektör alanı mesafesini ölçerek bir dizi temel duygu kelimesini genişletti. Bravo-Marquez ve diğerleri (2015), kelimeleri sınıflandırmak için manuel özellikleri kullanarak mevcut sözlüğü genişletir. Bu yöntemler, manuel açıklama kaynaklarına sahip alan adları ve dillerle de sınırlıdır.
Üçüncü satır yöntemi, büyük veriler üzerinde istatistiksel bilgileri toplayarak sıfırdan bir sözlük oluşturur. Turney (2002), temel kelime ve arama vuruşu arasındaki PMI hesaplayarak bir kelimenin duygusal kutupluluğunu tahmin etmeyi önermiştir. Mohammad ve diğerleri (2013), duygu puanlarını hesaplamak için tohum kelimeleri yerine emoji özelliklerinden uzaktan denetlenen verileri kullanarak yöntemi geliştirdiler. Bu yöntem, manuel açıklama verileri kullanılmadan çok dilli duygu sözlüklerini (Salameh ve diğerleri, 2015; Mohammad ve diğerleri, 2015) otomatik olarak çıkarmak için kullanılabilir, bu da onu önceki iki yöntemden daha esnek hale getirir. Bunun bizim kriterimiz olduğunu düşünüyoruz.
Sözlüğü eğitmek için Mohammad ve diğerleri (2013) ile aynı veri kaynağını kullanıyoruz. Bununla birlikte, PMI'ye güvenmek yerine, emojinin tahmin doğruluğunu optimize etmek için makine öğrenimi yöntemlerini kullanıyoruz. Büyük miktarda veri kullanmak için, sözlüğü eğitmek için çok basit bir sinir ağı kullanıyoruz.
Şekil 1 Modelimizin Şeması
3 Temel
Mohammad ve diğerleri (2013), Twitter için duygusal etiketler olarak Twitter'da bulunan ifadeleri ve ilgili etiketleri kullandı. Bir dizi tweet ve etiketleri verildiğinde, kelime segmentinin duyarlılık puanı (SS) aşağıdaki gibi hesaplanır:
Bunlar arasında, pos pozitif bir etiketi ve neg negatif bir etiketi temsil eder. PMI, noktalar arasındaki karşılıklı bilgi anlamına gelir, yani
Burada freq (w, pos), w kelimesinin ileri tweet'te geçme sayısıdır, freq (w), w kelimesinin külliyatta toplam frekansıdır, freq (pos), ileri tweet'teki toplam kelime parçası sayısıdır ve N, korpustaki toplam kelime parçası sayısıdır. PMI (w, neg) benzer şekilde hesaplanır. Bu nedenle Denklem 1 şuna eşittir:
4 model
Sözlüğü tanımlamak için olumlu ve olumsuz özellikleri kullanarak Esuli ve Sebastiani'yi (2006) takip ediyoruz. Özellikle, her kelimenin formu w = (n, p) 'dir, burada n negatif yönü ve p pozitif yönü (n, p R) temsil eder. Şekil 1'de gösterildiği gibi, bir tweet tw = w1, w2, ..., wn verildiğinde, negatif ve pozitif tweetler olan iki boyutlu duygusal etiketini y tahmin etmek için basit bir sinir ağı kullanılır. . Twitter'ın tahmin edilen duyarlılık olasılığı y şu şekilde hesaplanır:
W köşegen matris (WR2X2) üzerine sabitlendiğinde.
Tweetlerin duygusal etiketlerini emoji aracılığıyla tanımlamak için Go ve diğerlerini (2009) takip ediyoruz. Her etiket ilk olarak rastgele bir negatif ve pozitif özellik puanıyla başlatılır ve ardından denetimli öğrenme yoluyla eğitilir. Çapraz entropi hatası, amaç işlevi olarak kullanılır:
Geri yayılım, her bir katılımcıyı öğrenmek (n, p) için kullanılır. AdaDelta güncelleme kurallarını kullanın (Zeiler, 2012), optimizasyon için toplu stokastik gradyan inişini kullanın. Tüm modeller 5'ten fazla tur için eğitilmiştir ve parti boyutu 50'dir. Basitliği nedeniyle bu yöntem çok hızlıdır.Intelr core i7-3770 CPU @ 3.40 GHz'de, tur başına 35 dakikada 9 milyondan fazla Twitter duygusal sözlüğü eğitin.
5 Duygu sınıflandırması
Elde edilen sözlük, denetimsiz duygu sınıflandırıcılarda ve denetimli duygu sınıflandırıcılarda kullanılabilir. İlki, belirli bir belgede yer alan tüm kelime bölümlerinin duygu puanlarının özetlenmesiyle elde edilir (Taboada ve diğerleri, 2011; Kiritchenko ve diğerleri, 2014). Toplam duyarlılık puanı 0'dan büyükse, belge pozitif olarak sınıflandırılır. Burada bir sözlüğü temsil etmek için yalnızca bir pozitif özniteliğe ihtiyaç vardır ve puan olarak olumlu ve olumsuz öznitelikler (p n) arasındaki farkı kullanırız.
Denetlenen yöntemler, makine öğrenimi sınıflandırması için özellikler olarak duyarlılık sözlüklerini kullanır. D belgesinde, Zhu ve diğerlerinin (2014) yöntemini izliyoruz ve aşağıdaki özellikleri çıkarıyoruz:
· Duygu etiketinin sözlükte sıfır olmayan bir duygu puanı olan bir sözcük etiketi olduğu D'deki duyarlılık etiketlerinin sayısı;
· Belgenin genel duyarlılık puanı:
·En yüksek skor:
· D'deki olumlu ve olumsuz kelimelerin toplam puanı;
· D'deki son katılımcının duygusal puanı;
Tekrar kullanıyoruz
Her kelimenin duyarlılık puanı olarak wi, çünkü bu yöntemler her kelimenin bireysel duyarlılık puanı değerine dayanmaktadır.
6 Deney
6.1 Deneysel kurulum
Eğitim verileri : Eğitim verilerini otomatik olarak almak için Şubat 2014'ten Eylül 2014'e kadar İngilizce ve Arapça ifadeleri almak için Twitter Developers API'yi kullandık. Go ve diğerlerine (2009) göre, eğitim verilerini tweet'lerden toplamak için kullanılan tüm emojileri siliyoruz ve Tang ve diğerleri (2014b) 7'den az token içeren tweetleri yok sayıyor. Twitter etiketleyici (Gimpel ve diğerleri, 2011), tüm tweet'leri önceden işlemek için kullanılır. Kelime listesinde 5 kereden daha az yaygın olmayan kelimeler silinecektir. HTTP bağlantısı ve kullanıcı adı < http > ile < kullanıcı > değiştirin. Eğitim veri istatistikleri Tablo 1'de gösterilmektedir.
Tablo 1 Emojiye dayalı eğitim seti
Tablo 2 Semeval13'ün istatistiksel sonuçları
Duygu sınıflandırıcı : Karşılaştırmalı veri setinde denetimli sınıflandırıcı olarak LibLinear'ı (Fan ve diğerleri, 2008) kullanıyoruz. C parametresi, geliştirme setinin doğruluğunu ayarlamak için İngilizce veri setinde (Hsu ve diğerleri, 2003) grid aramasıyla ayarlanır ve Arapça veri setinde beş kat çapraz doğrulama gerçekleştirilir.
Değerlendirme : Kiritchenko ve diğerlerine (2014) göre denetimsiz sınıflandırmayı değerlendirmek için doğruluk (P), geri çağırma (R) ve F1 değeri (F) kullanıyoruz. Hsu ve diğerlerini (2003) takip ediyor ve doğruluğu (acc) kullanıyoruz, standartları ayarlıyoruz ve denetimli sınıflandırmayı değerlendiriyoruz.
Kod ve sözlük : Modelimizin Python uygulamasını ve sonuçta ortaya çıkan duygusal sözlüğü uygulamak için https://github.com/duytinvo/acl2016 kullanıyoruz.
Tablo 3 SemEval13 veri setine ilişkin sonuçlar (İngilizce)
Tablo 4 ASTD'nin standart bölünmesi
Tablo 5 ASTD (Arapça) sonuçları
Tablo 6 Duygu puanı örnekleri, * yanlış kutupluluğu gösterir
6.2 İngilizce Sözlük
SemEval13'ün Twitter karşılaştırması (Nakov ve diğerleri, 2013) İngilizce test seti olarak kullanıldı. Denetimsiz ve denetimli yöntemleri değerlendirmek için Tang vd. (2014b) ve Kiritchenko vd. (2014) yöntemini takip ederek nötr tweetleri siliyoruz. İstatistikler Tablo 2'de gösterilmektedir. Sözlüğümüzü NRC (Mohammad vd., 2013), HIT (Tang vd., 2014a) ve WEKA (Bravo-Marquez vd., 2015) sözlükleriyle karşılaştırıyoruz. Tablo 3'te gösterildiği gibi, Bölüm 5'deki denetimsiz duyarlılık sınıflandırma yöntemini (desteklenmeyen) kullanarak, sözlüğümüz NRC'nin sayım sözlüğünden daha iyi sonuçlar göstermektedir. Her iki durumda da sözlüğümüz diğer yöntemlerle karşılaştırıldığında en iyi sonuçları verir.
6.3 Arapça sözlük
4 etiketli yaklaşık 10.000 tweet içeren standart Arap Twitter veri seti ASTD'yi (Nabil ve diğerleri, 2015) kullanıyoruz: objektif (obj), negatif (negatif), pozitif (pos) ve karışık öznel (karışık). Tablo 4, ASTD'nin standart bölünmesini göstermektedir. Eğitim için verileri birleştirerek ve öğrenme modelini doğrulayarak Nabil ve diğerlerini (2015) takip ediyoruz. Kelime dağarcığımızı yalnızca NRC kelime dağarcığı ile karşılaştırıyoruz (Salameh ve diğerleri, 2015), çünkü Tang ve diğerleri (2014a) ve Bravo-Marquez ve diğerleri (2015) mevcut olmayan insan kaynaklarına bağlı. Tablo 5'te gösterildiği gibi, sözlüğümüz dengeli ve dengesiz veri setlerinde sürekli olarak en iyi performansı göstererek "tahmin" ve "sayma" avantajlarını göstermektedir.
6.4 Analiz
Tablo 6, tahmin tabanlı sözlüğümüz ve Mohammad ve diğerleri (2013) sayı temelli sözlüğümüzün örneklerini göstermektedir. Her şeyden önce, bu iki sözlük, duygusal sözlüklerin gücünü (kötü, kötü, en kötü gibi) doğru bir şekilde yansıtabilir ve bu da yöntemimizin istatistiksel korelasyonu PMI kadar etkili bir şekilde öğrenebileceğini gösterir. İkinci olarak, pek çok durumda sözlüğümüzün doğru polariteyi (örneğin uygun, tembel) verdiğini, ancak Mohammad ve diğerlerinin sözlüğünün (2013) vermediğini bulduk. Kelime dağarcığını niceliksel olarak karşılaştırmak için, kutupsallıklarının (yani etiketleme) doğruluğunu hesaplamak için altın standart olarak Hu ve Liu (2004) elle işaretlenmiş kelimeleri kullanıyoruz. Otomatik sözlük ile Hu ve Liu sözlüklerinin (2004) kesişimini 3270 kelime içeren test seti olarak alıyoruz. Sözlüğümüzün polarite doğruluğu% 78,2 iken, Mohammad ve diğerleri (2013) sözlüğünün tersi% 76,9'dur ve yöntemimizin göreceli avantajını göstermektedir. Üçüncüsü, bir yerine iki özniteliğe (n, p) sahip olduğumuzda, sözlüğümüz birleştirilebilirlik açısından daha iyidir (örneğin,
).
7. Karar
Kısa metinlerden oluşan duygusal bir sözlüğü otomatik olarak oluşturmak için verimli bir sinir ağı kullanıyoruz ve bu da tahmin temelli eğitimin emojilerle büyük tweet'lerden öğrenmek için saymaya dayalı eğitimden daha iyi olduğunu gösteriyor. Standart değerlendirmede, bu yöntem birden çok dilde durum sayımına dayalı yönteme göre daha iyi doğruluk sağlar.
Kağıt indirme bağlantısı:
