Makine öğrenmiyor: Varlık tanıma ve ilişki çıkarmada derin öğrenme uygulamasının analizi
Makine www.jqbxx.com'u öğrenmiyor: Derin toplu makine öğrenimi, derin öğrenme algoritmaları ve teknik mücadele
Adlandırılmış Varlık Tanıma (NER), bir doğal dil metninden ilgili varlıkları bulmak ve aşağıdaki şekilde gösterildiği gibi konumlarını ve türlerini işaretlemek içindir. Adlandırılmış varlık tanıma, NLP alanındaki otomatik soru cevaplama, ilişki çıkarma, bilgi alma, vb. Gibi bazı karmaşık görevlerin temel problemidir. Etkisi, sonraki işlemenin etkisini doğrudan etkiler, bu nedenle NLP araştırmasının temel bir problemidir.
NER her zaman NLP alanında bir araştırma noktası olmuştur ve şimdi tıbbi tedavi ve biyoloji gibi profesyonel alanlarda giderek daha fazla kullanılmaktadır. Bu tür endüstriler genellikle çok sayıda profesyonel isme sahiptir ve isimler ile isimler arasında farklı türde ilişkiler vardır. NER'in araştırması sözlük ve kural tabanlı bir yöntem, istatistiksel makine öğrenmesine dayalı bir yöntem ve son yıllarda derin öğrenmeye dayalı bir yöntemle başlamıştır.NER araştırmasının ilerleme trendi aşağıdaki şekilde gösterilmiştir.
İstatistiksel makine öğrenimine dayalı yöntemler temel olarak şunları içerir: Gizli Markov Modeli (Gizli Markov Modeli HMM), Maksimum Entropi (Maxmium Entropy, ME), Destek Vektör Makinesi (SVM), Koşullu Rastgele Alanlar (CRF), vb.
Gizli Markov Modeli (HMM), eğitim ve tanımada daha verimli ve daha hızlı olan adlandırılmış varlık kategorisi sırasını çözmek için temel olarak Viterbi algoritmasını kullanır. Gizli Markov modeli, gerçek zamanlı performans gerektiren ve kısa metin adlı varlık tanıma gibi bilgi alma gibi büyük miktarda metni işlemesi gereken bazı uygulamalar için uygundur.
Maksimum entropi modeli (ME) kompakt bir yapıya ve iyi bir çok yönlülüğe sahiptir. Dezavantajı, eğitim süresinin karmaşık olması ve bazen eğitim maliyetinin bile dayanılmaz olmasıdır. Net normalleştirme hesaplamalarına ihtiyaç duyulduğundan, hesaplama ek yükü nispeten büyüktür.
Geleneksel olarak tanınan daha iyi işleme algoritması, bir dizi girdi rasgele değişken ve bir dizi çıktı rasgele değişken koşullu olasılık dağılım modeli verilen Koşullu Rastgele Alan'dır (Koşullu Rastgele Alan, CRF). Markov rasgele alanı, ayırt edici bir olasılık modelidir, bir tür rasgele alan. CRF, genellikle doğal dil metni veya biyolojik diziler gibi dizi verilerini etiketlemek veya analiz etmek için kullanılır NER'deki temel uygulama, bir dizi özellik verilen her bir kelimenin etiketini tahmin etmektir.
Yukarıdaki şekilde, X, bir cümledeki her kelimeye karşılık gelen özellik olarak görülebilir ve Y, kelimeye karşılık gelen etiket olarak görülebilir. Buradaki etiket, ilgili sahnedeki kişinin, yerin vb. Adıdır.
CRF'nin avantajları: Yerel optimal çözüme dayalı olarak, olası y sekansının olasılık dağılımı verilen z koşulu altında hesaplanır.
Son yıllarda, derin öğrenmenin hızla gelişmesiyle birlikte, RNN ve LSTM gibi modeller, NLP görevlerinde yaygın olarak kullanılmaktadır.Güçlü sıra modelleme yetenekleri ile karakterize edilirler, bağlamsal bilgileri iyi yakalayabilirler ve sinir ağlarına sahip olabilirler. Doğrusal olmayışı sığdırma yeteneği, bunlar CRF'ye göre avantajlarıdır. LSTM'nin avantajı, uzun süreli bir dizide örnekler arasındaki ilişkiyi elde etmektir ve BiLSTM, giriş cümlesinden önce ve sonra özellikleri daha etkili bir şekilde elde edebilir. BiLSTM + CRF, NLP'nin çoğu senaryosunda çok iyi sonuçlar göstermiştir. Örneğin, kelime segmentasyonu görevinde, geleneksel kelime segmentasyonu ile karşılaştırıldığında, BiLSTM, cümle özelliklerinin çift yönlü ediniminden faydalanabilir ve kelime segmentasyon etkisi, insan bilişinin algılanmasına daha yakındır.
İlişki çıkarma 2
Mevcut NLP araştırmasında, ilişki çıkarma görevleri, veri basitleştirme ve bilgi grafikleri oluşturmada yaygın olarak kullanılmaktadır. Kullanıcı tarafından varlıkların doğru tanımlanmasına dayanan bir doğal dil girdisi verildiğinde, aralarındaki ilişkinin çıkarılması acilen çözülmesi gereken önemli bir konudur. Bu sorunu çözmek için mevcut yöntemler iki türe ayrılır: seri çıkarma ve eklem çıkarma. Genel olarak, geleneksel seri çıkarım yöntemi, varlık çıkarma temelinde varlıklar arasındaki ilişkiyi belirlemektir. Bu yöntemde, erken varlık tanımanın sonucu, ilişki çıkarmanın sonucunu etkileyecektir ve öncesinde ve sonrasında hataları biriktirmek kolaydır. Bu soruna yanıt olarak, geleneksel makine öğrenimine dayalı ortak bir model önerildi ve bu tür NLP görevinin ortak öğrenimi için kademeli olarak kullanıldı.
Ortak modelin yöntemi, esas olarak varlık çıkarma ve ilişki çıkarımını aynı anda gerçekleştirmek için sinir ağının uçtan uca modeline dayanır, bu da varlık ve içindeki ilişki bilgilerini daha iyi birleştirebilir.
Yazar, "Karma Sinir Ağına Dayalı Ortak Varlık ve İlişki Çıkarma" adlı makalede, adlandırılmış varlık tanıma (NER) ve ilişki sınıflandırması (RC) için hibrit bir sinir ağı modeli önerdi. NER ve RC, girişi kodlamak için aynı BiLstm ağını kullanır, varlıkları NER tahmininin sonuçlarına göre eşleştirir ve ardından varlıklar arasındaki metni sınıflandırmak için bir CNN ağı kullanır.
İlişki sınıflandırması için CNN (RC)
Temel model parametresi paylaşımı aracılığıyla, her iki görev de, iki alt görev arasındaki bağımlılığı sağlamak üzere eğitim sırasında paylaşılan parametreleri güncellemek için geriye doğru yayılma algoritmasını kullanacaktır.
"Biyomedikal metinden varlık ve ilişki çıkarımı için bir sinirsel ortak model" başlıklı makalede yazar, biyomedikal varlık tanıma ve ilişki çıkarımında ortak öğrenme yöntemini kullanır. İlişki sınıflandırmasında, girdi cümlesi ilk olarak bağımlılığı oluşturmak için bağımlılık analizine tabi tutulur. Sözdizimi ağacını seçin ve ardından bu ağaç yapısını, aşağıda gösterildiği gibi ilişki sınıflandırması için Bilstm + RNN ağına girin:
Yukarıdaki yöntem sayesinde, iki görevin ağlarının parametreler paylaşarak ortaklaşa öğrendiği ve eğitimin önce NER için yapıldığı, ardından NER sonuçlarına göre ilişki sınıflandırmasının yapıldığı görülebilmektedir.
Bu yılki ACL Olağanüstü Makalesi "Yeni Bir Etiketleme Şemasına Dayalı Varlıkların ve İlişkilerin Ortak Çıkarımı", adlandırılmış varlık tanıma ve ilişki çıkarımı için ortak bir yöntem kullanarak ilişki çıkarma için yeni bir etiketleme stratejisi önerdi (İlişki çıkarma) İki adım birleştirilir: çıkarma görevini bir etiketleme görevine dönüştürmek için yeni bir etiketleme şeması kullanılır ve ardından uçtan uca bir etiketleme modelini geçirmek için derin öğrenme kullanılır. Nihai sonucu çıkarmak için. Yeni etiketleme şemasının bir örneği aşağıda gösterilmiştir:
Yukarıdaki şekilde, "CP" "Ülke Başkanı" anlamına gelir ve "CF", "Şirket-Kurucu" anlamına gelir, böylece orijinal iki alt görev tamamen bir sıralama etiketleme sorununa dönüştürülür. Yazar "BIES" (Begin, Inside, End , Tek), mevcut sözcüğün tüm varlıktaki konumunu belirtmek için açıklama eklenmiştir ve ilişki türü, önceden belirlenmiş bir dizi ilişki türünden gelir. İlişkideki varlığın rol bilgilerini belirtmek için "1" ve "2" yi kullanın; burada "1", mevcut kelimenin üçlü (Varlık1, İlişki Türü, Varlık2) Varlık1'e ait olduğu anlamına gelir ve benzer şekilde "2", mevcut kelimenin ait olduğu anlamına gelir Varlık2, ek açıklama sonucuna göre iki bitişik sıralı varlığı üçlü olarak birleştirir. Örneğin, etiketleri etiketleyerek, "Birleşik Devletler" ve "Devletler" kombinasyonunun "Birleşik Devletler" varlığını ve "Birleşik Devletler" varlığının ve "Trump" varlığının üçlü {Amerika Birleşik Devletleri, Ülke Başkanı, Trump} 'ı oluşturduğunu görebiliriz.
Makalenin yazarı esas olarak bir kelimenin yalnızca bir üçlüye ait olduğu durumunu ele alır.Üçlü üst üste binme sorunu için, yani birden fazla üçlünün aynı kelimeyi içerdiği durumda yazar bunu henüz değerlendirmemiştir. Uçtan uca model aşağıda gösterilmiştir:
Model, kodlamak için hala BiLSTM kullanır ve ardından kodu çözmek için parametre paylaşımında LSTM kullanır.
Bu model, mevcut bilgi grafiği kaynaklarını zenginleştirmek için kullanılabilir.Örneğin, otomatik soru ve cevap, akıllı arama, kişiselleştirilmiş öneri vb. Gibi çeşitli akıllı uygulamaların tümü bilgi grafiğinin desteğine ihtiyaç duyar.
Özet 3
Parametre paylaşım yöntemleri, varlık tanıma ve sinir ağlarına dayalı ilişki çıkarmanın ortak öğrenilmesinde giderek daha fazla kullanılmaktadır.Bu yöntem, çoklu görevde çok çeşitli uygulamalara sahiptir ve basit ve uygulanması kolaydır. Uçtan uca ilişki çıkarma görevleri için bu iki tür görevin nasıl daha iyi birleştirileceği, araştırmanın bir sonraki adımında önemli bir eğilimdir ve daha iyi yöntemler için sabırsızlanıyoruz.
