ACL 2018 Yazılım Enstitüsü, Çin Bilimler Akademisi: Çin Olay Algılama için Blok Teklif Ağı
Ekstra! En iyi toplantı kağıt kuru ürünlerinden başka bir grup geliyor!
9-10 Haziran 2018'de, akademik ve endüstriyel çevreleri temsil eden en önemli değişim etkinliği - ["Çin Bilgi Toplumu Gençlik Çalışma Komitesi ve Baidu Şirketi tarafından ortaklaşa düzenlenen AIS2018 (ACL, IJCAI, SIGIR) Papers üzerine Preliminary Lecture on Papers" ] Pekin'de görkemli bir şekilde düzenlendi. İki gün içinde, "duyarlılık analizi", "öneri sistemi", "makine sorusu yanıtlama" ve "diyalog sistemi" gibi farklı konulardaki en önemli konferans kağıdı raporları bir araya geldi.
Xinjun'un anlayışına göre, akademik çevrede bu ön dersin popülaritesi organizatörün hayal gücünü tamamen aştı.Açık kayıt sadece birkaç gün içinde tamamen dolduruldu, böylece organizatörün katılımcıları taramak için koşulları belirlemesi gerekiyordu.
Bu ders öncesi toplantının etkinlik ortamı olarak Duxinjun, tüm süreç boyunca konferansı takip edecek ve etkinlikteki en son görüşleri ve en değerli sonuçları kaydedecek.Özel olarak davet edilen ders öncesi bildiri konuşmacıları, okuyucular ve arkadaşlar için ortaklaşa başlayacak. Ders öncesi denemeler dizisi size zirvenin en son kağıt sonuçlarını gösterecektir.
Çekirdek okuyucuların tez değişim grubu için lütfen WeChat hesabımızı ekleyin: zhizhizhuji . Senin için bekleniyor.
ACL 2018
Çin olay tespiti için teklif ağını engelle
Çin Olay Tespiti için Nugget Teklif Ağları
Çin Bilimler Akademisi Yazılım Enstitüsü
Yazılım Enstitüsü, Çin Bilimler Akademisi
[Özet] Sinir ağı tabanlı modeller genellikle olay algılamayı kelime düzeyinde bir sınıflandırma görevi olarak görür, bu nedenle genellikle sözcükler ve tetikleyici sözcükler arasındaki uyumsuzluktan etkilenir. Bu sorun, doğal sözcük ayırıcıları olmayan dillerde ( Çince gibi) daha belirgindir. Bu yazıda, bir blok teklif ağı (NPN'ler) yöntemi öneriyoruz Model, kelime sınırlarının sınırlamasını dikkate almadan her bir kelime üzerinde tam bir tetikleme bloğu öngörür, böylece kelime tetikleme bloğundan kaçınır. Uyumsuzluk sorunu. Özellikle, NPN'ler olay algılama görevini kelime düzeyinde bir sınıflandırma sorunu olarak ele alır. Model önce, tetikleyici kelimenin yapı bilgisini ve anlam bilgisini yakalayabilen kelimelerin ve kelimelerin karma bir temsilini elde etmeyi öğrenir. Daha sonra bu temsile dayalı olarak, blok teklif ağı, tam tetikleyici kelime bloğunu ve kategorisini doğrudan tahmin etmek için Çince olay tetikleme kelimelerinin birleşik anlamsal yapısını kullanır. ACE2005 ve TAC KBP 2017 veri kümeleri üzerinde yapılan deneyler, NPN'lerin mevcut en iyi yöntemlerden önemli ölçüde daha iyi olduğunu göstermektedir.
1. Giriş
Olay çıkarma, bilgi çıkarmada önemli bir görevdir. Belirli olay tetikleyici türlerini tanımlamayı amaçlayan olay algılama, olay ayıklamada önemli bir adımdır. Örneğin, "Henry yaralandı ve kısa süre sonra vefat etti" cümlesinden, bir olay tespit sisteminin "yaralı" nın bir "yaralanma" olayını tetiklediğini, "vefat" ın bir "ölüm olayını" tetiklediğini fark etmesi gerekir.
Şekil 1 Kelimeler ve tetikleyici kelimeler arasındaki uyumsuzluk sorunu
Mevcut sinir ağı modellerinin çoğu, olay tespitini kelime düzeyinde bir sınıflandırma problemine dönüştürür. Bununla birlikte, bu tür bir model genellikle tetikleyici kelime ile kelime arasındaki uyumsuzluktan etkilenir. Spesifik olarak, bir olay tetikleyici kelime, bir kelimenin bir parçası veya çoklu kelimeler olabilir. Şekil 1, tetikleyici sözcüğün bir sözcüğün ve birden çok sözcüğün parçası olduğu durumu gösterir. Tablo 1, ACE2005 ve KBP veri kümelerindeki tetikleyici sözcükler ve sözcükler arasındaki farklı eşleşen ilişkilerin yüzdesini göstermektedir. KBP verilerinde, kelimeler arasında eşleşmeyen tetikleyici kelimelerin yaklaşık% 25'inin olduğunu görebiliriz. ACE2005'te bu oran yaklaşık% 15'e ulaştı. Buradan, tetikleyici kelime ile kelime arasındaki uyumsuzluğun, mevcut kelimeye dayalı tetikleyici kelime algılama modelinin performansını önemli ölçüde etkilediğini görebiliriz.
Tablo 1 Tetikleyici kelimeler ve kelimeler arasındaki eşleşmelerin oranı
Buna dayanarak, bu makale bir blok teklif ağları (NPN'ler) yöntemi önermektedir. Tetikleyici kelimelerin kelime düzeyinde kombinasyon yapısını modelleyerek tetikleyici kelimeleri tanır ve bu tanıma işlemi kelime sınırlarına bağlı değildir. Şekil 2, NPN'lerin genel mimarisini göstermektedir. Bir cümle verildiğinde, NPN'ler kelimeleri temel algılama birimi olarak kullanır ve tetik kelimelerinin dahili kombinasyon yapısını modelleyerek her kelime üzerindeki tüm tetikleyici kelime bloğunu doğrudan tahmin eder. Aynı zamanda, kelimelerin ve kelimelerin karışık temsilini öğrenerek, NPN'ler tetikleyici kelime bloklarının sınıflandırmasını daha etkili bir şekilde tamamlamak için daha doğru yapı ve anlamsal bilgiler öğrenebilirler.
Şekil 2 Blok önerisi ağ mimarisi
Önceki yöntemle karşılaştırıldığında, NPN'ler esas olarak aşağıdaki iki avantaja sahiptir:
1) Her kelimede tam bir tetikleme bloğunu doğrudan tahmin ederek, NPN'ler kelime ile tetikleme bloğu arasındaki uyumsuzluk sorununu çok etkili bir şekilde çözebilir. NPN'ler kelimeleri temel algılama birimi olarak kullandığından, kelimeler ve tetikleyici kelimeler arasındaki uyumsuzluk NPN'lerin performansını etkilemeyecektir. Ek olarak, tetikleyici kelimelerin dahili kombinasyon yapısını modelleyerek, NPN'ler, geleneksel kelime seviyesi modellerine göre kelime seviyesi sınıflandırma hatalarına karşı daha iyi bir toleransa sahiptir.
2) Kelime düzeyinde ve kelime düzeyinde anlamsal bilgiyi aynı anda modelleyerek, hibrit temsilimiz, kelimenin iç kompozisyon yapısını ve daha kesin anlamsal bilgileri etkili bir şekilde yakalayabilir, böylece daha iyi tetikleyici kelime algılama ve sınıflandırma sonuçları elde edebilir.
ACE2005 ve TAC KBP2017 Çin olay algılama veri kümeleri üzerinde deneyler yaptık. Deneysel sonuçlar, mevcut en iyi modellerle karşılaştırıldığında, NPN'lerin tetikleyici sözcükler ve sözcükler arasındaki uyumsuzluk sorununu etkili bir şekilde çözebildiğini ve böylece olay algılama modellerinin etkisini önemli ölçüde iyileştirdiğini göstermektedir.
2 Karma temsil öğrenme
Bir cümle verildiğinde, NPN'ler her kelime için bir vektör gösterimini öğrenir. Bu gösterim daha sonra olay tespiti için aşağı akış modüllerine gönderilir. Çince olay tespiti için hem kelime düzeyinde hem de kelime düzeyinde bilginin çok önemli olduğunu gözlemledik: kelime düzeyinde bilgi, tetikleyici kelimenin iç yapısını açıklarken, kelime düzeyinde bilgi daha kesin anlamlar içerir. Bu nedenle, kelime düzeyinde ve kelime düzeyinde bilgileri karıştıran vektörleştirilmiş bir temsil öğrenmeyi öneriyoruz.
Önce kelime düzeyinde ve kelime düzeyinde gösterimleri öğrenmek için iki temel model kullandık ve ardından son hibrit gösterimi elde etmek için üç farklı yöntem kullandık. Temel modelimiz, Şekil 3'te gösterildiği gibi Chen ve diğerleri tarafından önerilen DMCNN modeline benzer.
Şekil 3 Temel model
Şekil 4 Üç karıştırma yöntemi
Modeli sırasıyla kelime düzeyi dizisinde ve sözcük düzeyi dizisinde kullandıktan sonra, karakter düzeyinde özellik gösterimi ve sözcük düzeyinde özellik gösterimi elde edebiliriz ve ardından bunları karıştırmak için Şekil 4'te gösterildiği gibi üç farklı strateji kullanırız:
1) Bağlantı karıştırma: Kelime düzeyinde gösterimi doğrudan kelime düzeyinde gösterime bağlayın.
2) Evrensel karıştırma: yani, kelime seviyesi ve kelime seviyesi özelliklerinin göreceli önemini modellemek için bir Geçit kullanmak, böylece iki aşağı akış modülü için evrensel bir vektörleştirilmiş temsil elde etmek.
3) Görevle ilgili karıştırma: Sözcük düzeyi ve sözcük düzeyi özelliklerinin sırasıyla iki aşağı akış modülü için önemini modellemek için iki geçit kullanın, böylece iki farklı aşağı akış modülü için görevle ilgili iki vektör gösterimi kullanılır.
3 Teklif ağını engelle
Karma gösterimi elde ettikten sonra, blok teklif ağı, olay tespitini tamamlamak için esas olarak iki adımı böler. İlk olarak, tetikleme bloğu üreteci, her kelime üzerinde tam bir potansiyel tetikleme bloğu oluşturur ve ardından tetikleme bloğunun belirli kategorisini belirlemek için bir olay kategori sınıflandırıcısı kullanılır.
3.1 Tetik yığın üreteci
Çince tetikleyici kelime blokları genellikle karakter düzeyinde dahili bir kombinasyon yapısına sahiptir. Örneğin, "yaralı", "fiil + zarf + isim" yapısına sahipken, "öldürmek için silah" ve "öldürmek için kesmek" "araç + fiil" modeline uygundur. . Bu nedenle, model bu birleşik anlamsal yapıyı yakalayabilirse, her bir sözcük üzerindeki tam tetikleme bloğunu doğrudan tahmin edebilir (örneğin, "öldürmek için vur" bloğunun tamamını "öldür" kelimesiyle tahmin edebilir). Yakın zamanda yapılan ilgili çalışmalar, evrişimli sinir ağlarının bu yerel bölgenin anlamsal bilgilerini çok iyi yakalayabildiğini göstermiştir. Bu nedenle, tetikleyici blok üreteci olarak bir sinir ağı kullanıyoruz. Her kelime düzeyinde, yalnızca kelimenin belirli bir tetikleyici kelime bloğuna ait olup olmadığını yargılamakla kalmaz, aynı zamanda kelimenin tetikleyici kelime bloğundaki konumunu da işaret eder, böylece tüm tetikleyici kelime bloğunu tahmin eder.
Şekil 5 Tetik yığın üreteci
Şekil 5, tetik blok oluşturucumuzu göstermektedir. Önceden öğrenilen hibrit temsil, mevcut kelimeyi içeren farklı tetikleme bloklarının puanlarını hesaplamak için tamamen bağlı bir katmana gönderilir. Her tetikleyici kelime bloğunun tanımı, tetikleyici kelime bloğunun uzunluğu ve tetikleyici kelime bloğundaki mevcut kelimenin pozisyonudur. Verilerdeki tetikleyici kelime bloklarının% 98.5'inin uzunluğu 3 karakterden az veya ona eşit olduğundan, her kelime için toplam 6 tetik kelime bloğu bu kelimeyi içerebilir. NIL işaretini ekleyin (yani, kelime herhangi bir tetikleme bloğuna ait değildir) ve 7 olası tetikleme bloğu kategorisi vardır. Bu puanı hesapladıktan sonra, her tetikleme bloğu türünün sınıflandırma olasılığını elde etmek için puanı normalleştirmek için bir Softmax katmanı kullanırız.
3.2 Olay kategorisi sınıflandırıcı
Bir tetikleme bloğu tespit edildiğinde, mevcut kelimenin karışık temsili tetikleme bloğunun belirli kategorisini belirlemek için başka bir sınıflandırıcıya gönderilir. Önceki çalışmada olduğu gibi, biz de olayı doğrudan küçük alt kategorilerine ayırıyoruz, böylece olaylar arasındaki topolojik yapıyı görmezden geliyoruz.
Tetikleyici kelime bloğu oluşturucu gibi, olay kategorisi sınıflandırıcımız da her kategorinin puanını hesaplamak için tam bağlantılı bir katman kullanır ve ardından, sonunda her bir olay kategorisinin olasılığını elde etmek için puanı normalleştirmek için Softmax katmanını kullanır. .
4 deney
4.1 Deneysel kurulum
Hem ACE2005 hem de TAC KBP 2017 Çin olay algılama veri kümeleri üzerinde deneyler yaptık. Yöntemimizi aşağıdaki temel sistem setleriyle karşılaştırdık:
1) C-BiLSTM, FBRNN ve kelime düzeyinde DMCNN modelleri dahil olmak üzere kelime düzeyinde sinir ağı modelleri.
2) DMCNN, HNN, FBRNN vb. Dahil olmak üzere kelime düzeyinde sinir ağı modelleri. Kelime ve tetikleme bloğu arasındaki uyumsuzluğu hafifletmek için, yukarıdaki temel sistemi geliştirmek için yazım hatası değiştirmeyi kullandık.
3) CLUZH (KBP2017 Champion System) ve Rich-C dahil, özellik geliştirme için mevcut optimal model.
4.2 Deneysel sonuçlar
Tablo 2 Deneysel sonuçlar
Tablo 2 deneyimizin sonuçlarını göstermektedir. Bunu görebiliriz:
1) İki veride ve üzerinde, NPN'ler tüm temel modellerden önemli ölçüde daha iyidir.
2) Tetikleyici kelimelerin dahili kombinasyon yapısını modelleyerek, tetikleyici kelime bloğu oluşturucumuz, kelimeler ve tetikleyici kelime blokları arasındaki uyumsuzluk sorununu etkili bir şekilde çözebilir.
3) Karışık kelime temsilini öğrenmek, olay tespiti için çok etkilidir.
4.3 Geleneksel kelime seviyesi modeliyle karşılaştırma
Modelimizi geleneksel IOB tabanlı kelime seviyesi modeliyle de karşılaştırdık.Deneysel sonuçlar Tablo 3'te gösterilmiştir.
Tablo 3 Aynı kelime seviyesi modelinin karşılaştırması
NPN'lerin geleneksel IOB tabanlı kelime düzeyinde açıklama modelinden önemli ölçüde daha iyi olduğunu görebiliriz. Bunun nedeni, geleneksel IOB modelinde, bir tetikleme bloğunun doğru şekilde işaretlenmesinin, içindeki tüm kelimelerin doğru şekilde işaretlenmesini gerektirmesidir ve bu, çoğu durumda çok zordur (örneğin, "yaralı" "dışarı"). NPN'lerde, her tetikleme bloğundaki sadece bir kelime doğru tahmin sonucunu verebilir, kalan tüm kelimeler NIL'e bölünse bile nihai sonucu etkilemeyecektir. Bu, NPN modelinin daha iyi hata toleransına sahip olmasını sağlar.
5 Özet
Bu yazıda, bir blok teklif ağı (NPN'ler) yöntemi öneriyoruz Model, kelime sınırlarının sınırlamasını dikkate almadan her bir kelime üzerinde tam bir tetikleme bloğu öngörür, böylece kelime tetikleme bloğundan kaçınır. Uyumsuzluk sorunu. Özellikle, NPN'ler olay algılama görevini kelime düzeyinde bir sınıflandırma sorunu olarak ele alır. Model ilk olarak, tetikleyici kelimenin yapı bilgisini ve anlam bilgisini yakalayabilen kelimelerin ve kelimelerin karma bir temsilini elde etmeyi öğrenir. Daha sonra bu temsile dayalı olarak, blok teklif ağı, tam tetikleyici kelime bloğunu ve kategorisini doğrudan tahmin etmek için Çince olay tetikleme kelimelerinin birleşik anlamsal yapısını kullanır. ACE2005 ve TAC KBP 2017 veri kümeleri üzerinde yapılan deneyler, NPN'lerin mevcut en iyi yöntemlerden önemli ölçüde daha iyi olduğunu göstermektedir.
Algılama birimleri ve sözcükler arasındaki uyumsuzluk sorunu bilgi çıkarmada yaygın olduğundan, gelecekte NPN'leri adlandırılmış varlık tanıma gibi daha fazla bilgi çıkarma sorununa uygulamayı umuyoruz.
