Özet Han Xu, Tsinghua Üniversitesi: Sinirsel İlişki Ekstraksiyon Modeli
AI Technology Review Press: İlişki çıkarma, doğal dil işlemede önemli bir görevdir ve ayrıca metinden bilgi çıkarmanın temel yollarından biridir. İlişki çıkarımında derin öğrenme araştırması son yıllarda yaygın bir ilgi görmüştür ve uzaktan denetim ve dikkat mekanizmasına dayalı sinir ağı modeli sorunu çözmek için ana yöntem haline gelmiştir. Bu açık sınıfta, konuşmacı ilişki çıkarımındaki sinir modellerinin gelişim bağlamını sıralayacak ve ilgili alanlardaki en son çalışma ilerlemesini paylaşacaktır.
Konuk paylaşma:
Han Xu, Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nde doktora adayı, danışmanı Doçent Liu Zhiyuan. Ana araştırma yönü doğal dil işleme ve bilgi edinmedir. Araştırma çalışmaları AAAI, COLING, EMNLP vb. Yayınlarda yayınlandı.
Herkese açık sınıfın tekrar adresi:
Paylaşım konusu: sinirsel ilişki çıkarma modeli
Ana hatları paylaşın:
-
İlişki çıkarımında derin öğrenmenin gelişim bağlamı.
-
Dikkat mekanizmasına dayalı sinirsel ilişki çıkarma modelinin analizi.
-
İlgili alanlardaki en son iş ilerlemesine giriş.
Leifeng.com AI Araştırma Enstitüsü paylaşım içeriğini şu şekilde düzenler:
Bugün esas olarak ilişki çıkarımı alanındaki nöral modellerin son gelişmelerinden bahsedeceğim Her şeyden önce size biraz arka plan bilgisi vereceğim.
İlişki çıkarma, bilgi çıkarma alanındaki bir alt görevdir. Ana işlev, makinenin belirli bir varlığı bir cümleden çıkarmasına ve karşılık gelen ilişkiyi netleştirmesine izin vermektir. Esas olarak bilgi grafiğini genişletmek ve yapılandırılmamış serbest metni yapılandırılmış verilere dönüştürmek için kullanılır.
Geleneksel görevlerde, ilişki ayıklamayı bir sınıflandırma filtresi olarak kullanacağız.Önce ilişkiyi yapay olarak tanımlıyoruz, ardından etiketli varlıkla metni giriyoruz ve sonra metnin hangi tür ilişkiye ait olduğunu belirliyoruz. Bir dereceye kadar bunu denetimli bir sınıflandırma problemi olarak düşünebiliriz.
2013 yılında sinir ağı modeli ilişki çıkarım alanına uygulanmış yani cümle sinir ağına bir özellik olarak konulmuş ve sinir ağı sınıflandırma özelliklerini kazanmıştır.
Bu modellerle ilgili bir sorun, yüksek miktarda yüksek kaliteli veri ve insan yatırımı gerektirmeleridir, bu da maliyetli ve bu nedenle tanıtımda zorluklarla karşılaşmaktadır.
Bu sorunu çözmek için, uzaktan denetim kavramı ortaya çıktı ve iki varlık dış bilgi grafiğinde bir ilişkiye sahipse, varlığı içeren cümlenin grafikteki karşılık gelen ilişki olduğu varsayımını getirdi. Bu sezgisel yöntem sayesinde, makine bir çok veriye otomatik olarak açıklama ekleyebilir ve ardından sınıflandırıcıyı ilişki çıkarımı için eğitmek için kullanabilir.
Uzaktan denetimin avantajı, manuel işlem gerektirmemesi ve evrensel olarak büyük ölçekli verilere uygulanabilmesidir, ancak gürültü sorunları ile karşı karşıyadır.
Bu gürültü sorunu nasıl çözülür?
İlk yöntem, çok örnekli öğrenmeyi tanıtmak, aynı varlığı içeren tüm cümleleri bir çantaya koymak ve varlıklar arasındaki ilişkiyi tahmin etmek için gerektiğinde çantadaki cümlelerde özellik çıkarımı yapmaktır.
2015 yılında yapılan bir çalışma, uzaktan denetimi çok eşgörünümlü öğrenmeyle birleştirdi. O zamandan beri, ilişki çıkarma alanındaki temel modeller temelde uzaktan denetim + çok eşgörünümlü öğrenme + sinir ağlarından oluşuyor.
Dikkat mekanizması modeli
Bu, laboratuvarımızda 2016 yılında bir kıdemli tarafından yürütülen bir çalışmadır. Çoğunlukla çok örnekli öğrenmede gürültü sorununu ele alır.Çantanın altındaki cümlelere ağırlık vermek için bir dikkat mekanizması getirerek, tahmin etkisini etkin bir şekilde arttırır.
[Dikkat mekanizması modelinin çalışma prensibi hakkında daha fazla bilgi için lütfen 00:16:53, adresindeki videoyu tekrar izleyin]
Deneysel sonuçlardan, dikkat mekanizmasının eklenmesi gerçekten de modelin etkisini etkili bir şekilde artırabilir. (Siyah çizgi, artan dikkat mekanizmasına sahip modeldir)
2016'dan başlayarak, ilişki çıkarma alanındaki anahtar model, orijinal uzaktan denetim + çoklu örnek öğrenme + sinir ağı modeline bir dikkat mekanizması ekledi.
Genişletilmiş model
1. Dikkat mekanizması oluşturmak için varlıkların açıklama bilgilerini tanıtın
Bu çalışma, iki özellik elde etmek için cümledeki varlıkları ve açıklama metninin karşılık gelen kelime vektörünü işler, ardından potansiyel ilişkiyi elde etmek için iki özelliği çıkarır ve son olarak dikkat mekanizmasının vektörü olarak potansiyel ilişkiyi kullanır.
2. Yumuşak etiketleme mekanizmasını tanıtın
Yanlış etiketleme sorununu çözmek için, bu çalışma her ilişki için bir güven düzeyi belirler.Eğitim sürecinde öngörülen ilişkinin orijinal etiketle tutarsız olduğu ve güven orijinal etiketten daha yüksek olduğu zaman, varsayılan olarak orijinal etiketin varlığına dönecektir. Sorunlar ve bunları yeni öngörücü ilişkilerle değiştirin.
Üç, yüzleşme eğitimini başlatın
Cümle içinde kasıtlı olarak ses çıkararak, modelin gürültü önleme yeteneği neredeyse geliştirildi.
Dördüncüsü, birden çok varlık arasındaki ilişkiyi çıkarın
İlişki çıkarma, metnin büyük bir bölümünde birden çok varlık çifti üzerinde gerçekleştirilir. Bu, gelecekte endüstride olası bir araştırma noktasıdır, çünkü insanın günlük bilişsel mekanizmasına daha yakındır.
5. Bilgi temsil modelini dahil edin
Ortak eğitim için bilgi grafiği modelini ve ilişki çıkarma modelini bir araya getirin ve ardından gürültüyü azaltmak için bir dikkat mekanizması olarak hizmet edin. Bu süreçte metin, haritanın iyileştirilmesine ve düzeltilmesine de yardımcı olabilir.
6. Bilgi grafiğine entegre yapısal bilgiler
Bilgi grafiğinin (birincil ve ikincil ilişkiler vb.) İlişki hiyerarşisini tanıtarak, kaba taneden ince taneye kadar bir dikkat mekanizması özelliği inşa edilir.
Seven, diller arası ilişkilerin çıkarılması
Bu çalışmanın ana fikri, farklı diller arasındaki dikkat mekanizmasını, birbirlerinin metni için diller arası değiş tokuş hesaplamaları yapmak için kullanmaktır. Çapraz dil ilişkisinin çıkarılmasının avantajı, diller arasındaki tamamlayıcılığı etkin bir şekilde kullanabilmesidir.Örneğin, Çince'de daha az ilişkisel özellik verisi vardır ve bunlar İngilizce verilerle desteklenebilir.
8. Çapraz dil ilişkilerinin çıkarılması (yükseltilmiş sürüm)
Ayrı bir anlamsal alan ve diller arası birleşik bir alan oluşturarak ve yüzleşme eğitimi sunarak, nihai çapraz dil ilişkisinin çıkarma etkisi optimize edilir.
Az sayıdaki öğrenmeye dayalı dokuz araştırma senaryosu
Uzun mesafeli denetimin uzun kuyruk veri problemini çözmek için, bu çalışma, makinenin daha az örnekle öğrenip mantık yürütebilmesi için manuel olarak etiketlenmiş birkaç örnekli veri kümesi oluşturur. Bununla birlikte, bu çalışma şu anda daha çok imgeler alanında uygulanmaktadır ve doğal dil alanında gelişme için daha fazla alan vardır.
Son olarak, bazı ilgili kaynakları tavsiye ederim.
İlk üç öğe, grubumuz makaleyi yayınladıktan sonra bazı model uygulamaları, son iki öğe ise bazı dağınık çalışma açık kaynak kodlarıdır.
Bugün paylaşımım için bu kadar, herkese teşekkür ederim!
Yukarıdakiler, bu sayıda davetliler tarafından paylaşılan tüm içeriklerdir. Daha fazla genel sınıf videosu için lütfen izlemek için Leifeng Net AI Araştırma Topluluğu'na (https://club.leiphone.com/) gidin. WeChat genel hesabını takip edin: AI Araştırma Enstitüsü (okweiwu), en son genel sınıf canlı yayın süresi önizlemesini alabilirsiniz.
