Adlandırılmış varlık tanımaya yardımcı olması için sinirsel akıl yürütmeyi kullanın
Lei Feng Net Not: Bu makalenin orijinal yazarı, ilk olarak "son derece meraklı yapay zeka" kamu hesabında yayınlanan Derin Meraklı Araştırma Grubu'dur. Leifeng yeniden basma yetkisine sahiptir.
Tez Başlığı: NER'de Küresel Tutarlılık için Sinirsel Varlık Mantığı
Kağıt adresi: (lütfen buraya tıklayın)
İsimli Varlık Tanıma, metni anlamanın temeli ve altında yatan görev olarak kabul edilir, çünkü işlevi metindeki insanların ve yerlerin adlarını keşfetmek ve tanımlamaktır. Geleneksel NER yöntemleri yerel ve altta yatan dil özelliklerine dayanır Son yıllarda, sinir ağı yapısı yerel dil özelliklerinin ustalığıyla kayda değer sonuçlar elde etti, bu nedenle NER genellikle "çözülmüş" bir görev olarak görülüyor. Bununla birlikte, mevcut yöntemler ve araştırmalar, genellikle, varlığın kendisinin metni anlama süreci üzerindeki etkisini göz ardı ederek, temeldeki analiz ve hesaplama ile sınırlıdır ve kod çözme için CRF'yi tanıtmanın başarısı tam da bu yüzdendir.
Belirsiz ifadeler veya nadir isimler olduğunda, mevcut yöntemler genellikle zorluklarla karşılaşır. Bu koşullar altında, insanlar genellikle tam metni tarayarak, yerel bilgileri açıp birleştirerek bu ikilemden kurtulabilirler. Bu nedenle, NER görevinin özü, modelin çıkarılan varlıkları anlama görevidir. Bu makale, insan düşünme modelinden esinlenmiştir ve NER'nin görünüşte düşük seviyeli görevi için yüksek seviyeli bir "akıl yürütme" mekanizması sunar ve adlandırılmış varlık bilgisini sembolize eder. "Ağdan alın, ağ için kullanın" Böylelikle aynı metindeki isimlendirilmiş varlıkların karar verme süreçleri derin öğrenme çerçevesinde entegre edilebilir.
NE-Reasoner, varlık tanıma hesaplama sürecini varlık nesnesinin üst düzey perspektifinden analiz eder, yapay olarak tasarlanabilen bir akıl yürütme çerçevesi sunar ve aşağıdaki üç nokta aracılığıyla varlık anlayışını ve muhakemesini tamamlar: 1) Mevcut yöntemler temelinde, varlığın tam bir temsili elde edilir; 2) Varlık bilgilerini depolamak için sembolik önbellek tanıtımı; 3) Karmaşık işlemlerden kaçınmak ve uçtan uca ulaşmak için sembolik işlemlerin ve çıkarım modellerinin kullanılması Formun eğitimi tamamlaması kolaydır.
Genel Bakış
NE-Reasoner, bir bütün olarak çok katmanlı bir mimaridir.Her katman üç bölümden oluşur.Kodlayıcı, anlambilim ve diğer bilgileri yakalamak için giriş metnini kodlar. Çıkarım ünitesi, kodlama bilgisi ve önbellek yoluyla varlıklar arasındaki çıkarım bilgisini alır. Kod çözücü, nihai sonucu elde etmek için bu iki bilgiyi birleştirir. Kodlayıcı ve kod çözücü değişmeden kaldığında, önbellek, tanımlanan varlığa göre katmanlar arasında dinamik olarak değişir ve çıkarım birimi, tedrici çıkarım etkisini elde eder.
Şekil 1 NE-Reasoner genel çok katmanlı mimari
Spesifik olarak, her katman bir NER'yi bağımsız olarak tamamlar; her katmanın NER sonuçları, bir sonraki NER katmanı için referans olarak sembolize edilmiş bir "önbellek" aracılığıyla depolanır; bu referans, etkileşimli bir havuzlama yoluyla yapılır. Sinir ağı tarafından gerçekleştirilen bu aslında birden çok gerçeğe dayalı bir çıkarım modelidir. Bu tasarım sayesinde, her bir kısmi karar verilirken, model, daha bilinçli kararlar almak için, halihazırda tanımlanmış tüm kuruluş bilgilerini "görebilir" ve başka yerlerdeki ilgili kararlara atıfta bulunabilir.
Varlıkların temsili
Varlıkların tahmin sürecini keşfetmek için, önce varlıkların dil kalıplarını anlamalıyız. Her bir varlığın belirlenmesi için kesin bir tanımlayıcı vardır Bu tanımlayıcı iki yönden gelir.Birincisi, "Zhang XX" kelimesi gibi kelimenin kendisinin bilgisidir. Herhangi bir bağlam yoksa, bir kişinin adı olarak öncelik verilecektir. İşleme; Öte yandan, "Ben ve XX iyi arkadaşız" gibi bir bağlam kalıbı var, XX'in bir kişinin adı olduğu sonucuna varabiliriz. Bu iki yönden, varlık modelini aşağıdaki gibi çözebiliriz:
Ön metin-varlık-sonrası-metin
Böyle bir yapı, bir varlığı tamamen tanımlayabilir. Sinir ağında, mevcut yöntemler de bu yerel dil özelliklerini tanır, böylece varlık temsili kodlanmış bilgilerden kolayca bulunabilir.
Bu makalede kullanılan Bi-LSTM kodlayıcı için, bir kelimenin bağlamı ön ve arka yönlerden kodlanır ve kod çözücü, bu bilgiler aracılığıyla varlık hakkında belirleyici bilgileri alır. Bu nedenle, varlığın ilk kelimesinde, ileri LSTM'nin kodlama bilgisi, varlığın önceki bilgisini içermelidir, son kelimenin geri doğru LSTM kodlama bilgisi, varlığın geriye dönük bilgisini içermelidir ve diğer iki parça, tüm varlığı içermelidir. Karakter bilgileri. Her varlık için, varlığın temsilini dört farklı boyutta elde etmek için kodlanmış bilgilerini bu şekilde ayrıştırabiliriz:
Önceki bilgi-ileri varlık bilgisi-geriye dönük varlık bilgisi-sonraki bilgiler
Bu aynı zamanda varlık modelinin önceki analizi ile de çakışmaktadır. Her katmanın nihai tahmin sonuçları aracılığıyla, bu tür sembolize edilmiş bilgiler, varlık konumunu bulmak için kullanılabilir ve her varlık, bu dört yönden tamamen temsil edilebilir ve ardından önbellekte depolanabilir.
Şekil 2 Bağlam ve ileri ve geri bilgileri kullanarak varlıkları temsil etme
Muhakeme birimi
Yukarıdaki işlemler sayesinde, her katman, önceki katman tarafından tanımlanan varlığın temsilini alabilir.Ayrıca, katmanlar arasında gerekli başka bir bağlantı yoktur. Her katmana ayrı ayrı baktığımızda, metinde hangi varlıkların olduğu ve neden varlık oldukları konusunda çok önemli ön bilgiler edinmeye eşdeğeriz.
Önceki yöntemlerde bellek modüllerinin kullanımından farklı olarak, buradaki önbellek aslında sembolik bilginin rehberliğinde oluşturulan yığınlanmış varlık bilgilerinin bir listesidir Dış bilgi olarak, gradyan aktarımına gerek yoktur. Her varlık da bağımsız olduğu için, buradaki önbellek birden fazla olgudan oluşmuş olarak kabul edilebilir ve muhakeme biriminin işlevi, bu gerçeklerden küresel muhakeme bilgilerini elde etmektir.
Kod çözme sırasında, karakter kodlama bilgisi, her bir varlık ile ilişkiyi elde etmek için her bir varlığın temsiliyle hesaplanır ve daha sonra, son referans olarak havuzlama işleminden en temsili ilişki seçilir. Bu makalenin görevine özel olarak, anlambilim arasındaki benzerliği anlamak için kullanıyoruz. Varlık modeli şu anda okunan alana benziyorsa, metindeki benzer alanın rolü de benzer olmalıdır, bu nedenle Vektör mesafesi (kosinüs mesafesi gibi) gibi işlemler, karakter kodlama bilgisi ile varlıklar arasındaki ilişkiyi temsil etmek için kullanılabilir.Bu makale vektör iç çarpımlarını kullanır.
Şekil 3 Varlık muhakemesi için bellek modüllerini kullanma
Bundan sonra, her bir varlığın dört boyutu, bu dört yöndeki benzerliği gösteren bir işlem sonucu alabilir. Varlık muhakemesinde en önemli şey, mevcut alan bilgisine çok benzeyen ve bu tür bilgilerden hangisinin veya birkaçının önemli olmadığı bir varlık bilgisinin olup olmadığıdır; bu nedenle, maksimum havuzlama dört boyutta gerçekleştirilebilir. Nihai referans bilgisi olarak dört değer elde edilir. Bilginin bu kısmı, bu katmanın çıktısını almak için kodlanmış bilgi ile birlikte kod çözücüye girilir.
Eğitim
Her katman nispeten bağımsız olduğundan ve ayrı bir çıktı sonucuna sahip olduğundan, katmanlar arasında gradyanların aktarılmasına gerek yoktur, ancak tahmin sonuçlarından etkilenir, bu nedenle ilk katmanı, her katmanı önceden eğitmek gibi birden fazla eğitim yöntemi olabilir. Ortak eğitim veya sadece eğitim için son katmanın çıktısını kullanın. Bu yazıda kullanılan modelin her katmanı parametreleri paylaşır, aslında katmanlar arasındaki fark sadece önbelleğin varlık bilgisidir, bu nedenle son katmanı doğrudan eğitmek bir bütün olarak iyi sonuçlar alabilir.
Deney
Bu makale, İngilizce ve Çince olmak üzere iki veri seti üzerinde deneyler yaptı ve her ikisi de önemli gelişmeler sağladı. Bu yöntem genel bir çerçeve olduğu için, teorik olarak ağ modelinin herhangi bir kodlama-kod çözme formunun üzerine yerleştirilebilir; ve katman katman bir çıktı olduğu için, gerçek akıl yürütme etkisi, farklı katmanlar arasındaki çıktı sonuçlarındaki değişikliklerden görülebilir. Etki geliştirilir ve muhakeme beklentisiyle uyumludur ve güçlü bir yorumlanabilirliğe sahiptir.
Şekil 4 NE-Reasoner düzeltmesinden önce ve sonra tipik sonuçların karşılaştırılması
sonuç olarak
Sinir ağlarının muhakeme sürecine sembolik önbellek ve önbelleğe dayalı çoklu gerçeklere dayalı küresel akıl yürütmenin getirilmesiyle, adlandırılmış varlık tanımanın doğruluğu, özellikle geleneksel yöntemlerde hata yapması kolay olan belirsizlik ve nadir adlarda önemli ölçüde iyileştirilebilir. Daha iyi performans. Adı geçen varlık nöral çıkarım makinesi, nöral sembol çıkarım makinesinin NER görevine uygulanmasının bir örneğidir.Sadece önceki sinir ağı muhakeme kararının kara kutusunu açmakla kalmaz, muhakeme sürecindeki önemli adımları insanlar için görünür ve anlaşılır hale getirmekle kalmaz, aynı zamanda daha fazla manuel müdahale de sağlar. Muhakeme sürecinin olasılıkları ve mevcut arayüzler.
