Özet | Zou Yanyan: Anlamsal Analize Giriş ve Anlamsal Analizde Çapraz Dil Bilgisinin Uygulanması
AI Technology Review Press: Anlamsal ayrıştırma, doğal dil işleme teknolojisinin temel görevi olan ve dilbilim, hesaplamalı dilbilim, makine öğrenimi ve bilişsel dili içeren bir yapay zeka dalıdır. Son yıllarda yapay zekanın gelişmesiyle birlikte anlamsal analiz giderek daha önemli hale geldi.
Kelime gömme, anlamsal analiz modellerinin performansını büyük ölçüde artırabilen çok yaygın bir girdi özelliğidir. Ancak çıktının anlamsal analiz modellerinin performansı üzerindeki etkisi için herkesin ilgisi çok yüksek değildir.
Yakın zamanda, Leifeng.com'un Yapay Zeka Araştırma Enstitüsü'nün açık bir sınıfında, Singapur Bilim ve Tasarım Üniversitesi'nde doktora adayı olan Zou Yanyan, anlamsal ayrıştırma kavramını ve arka planını ve bu alandaki kendi makalelerini anlaşılması kolay bir dilde tanıttı ve tanıttı Çıktı yerleştirmenin anlamsal ayrıştırma üzerindeki etkisi.
Herkese açık sınıfın video URL'sini tekrar oynat:
Zou Yanyan: Singapur Bilim ve Tasarım Üniversitesi'nde doktora adayı, ana araştırma yönü doğal dil anlayışıdır.
Paylaşım konusu: Anlamsal analize giriş ve anlamsal analizde diller arası bilginin uygulanması
Ana hatları paylaşın:
1. Anlamsal ayrıştırma arka plan tanıtımı
2. Anlamsal ayrıştırma modeli tanıtımı
3. Çıktı yerleştirme nasıl öğrenilir
4. Deneysel analiz
Leifeng.com AI Araştırma Enstitüsü paylaşım içeriğini şu şekilde düzenler:
Bugün sizinle paylaşılan içerik iki bölümden oluşmaktadır:
Biri semantik analizin tanıtılmasıdır.Paylaşmaya katılmayı düşünen arkadaşların çoğu semantik ayrıştırma ile ilgili işlerle uğraşmazlar, bu yüzden herkes için anlaşılması kolay bakış açısıyla bir popülerleştirme yapacağım;
İkincisi, ACL 2018 konferansında sahip olduğumuz kısa bir makaleden bahsetmek - "Anlamsal Analizde Çapraz Dilli Bilginin Uygulanması" (Anlamsal Ayrıştırma için Çapraz Dilli Dağıtılmış Mantıksal Temsilleri Öğrenmek)
Nlp yapan kişiler için, ayrıştırma genellikle varsayılan olarak Sözdizimsel Ayrıştırma-dilbilgisi analizine ayarlıdır.
Wikipedia'daki anlamsal çözümlemenin yorumu şudur: insan doğal dili kelimelerini makinelerin anlayabileceği dillere dönüştürmek.
Dilbilgisi analizi ile anlambilimsel analiz arasındaki farkları daha iyi ayırt edebilmeniz için önce iki analiz görevi sunacağım:
Bağımlılık ayrıştırma: Örneğin, "Teleskoplu bir kız gördüm" cümlesini girin. Bağımlılık çözümlemesinin amacı, hangi iki kelimenin bağımlılık ilişkisi olduğunu bulmaktır. Ayrıca, bu ilişkiyi etiketlemeniz gerekebilir. Örneğin, "I", "testere" ifadesinin bir değiştiricisidir ve diğer ilişkiler aynıdır.
Seçim ayrımı: Örnek olarak aynı cümleyi ele alalım. Burada iki kelime arasında değişiklik ve bağımlılık olup olmadığı ile değil, hangi kelimelerin bir cümle oluşturduğuyla ilgilenmiyoruz. Bir cümle, "teleskop" gibi bir bileşendir. Bir isim cümlesi.
Anlamsal Ayrıştırma, tam bir cümlenin girilmesi ve son olarak anlamsal temsillerin (MRL) çıkarılması anlamına gelir. Anlamsal temsil nedir? Bildiğim kadarıyla, esas olarak beş popüler temsil var:
Lambda hesabı ifadeleri (genellikle CCG ile birlikte kullanılır).
Lambda bağımlılığına dayalı bileşimsel anlamlar (lambda-DCS)
Orman veya DAG gösterimleri (AMR)
SQL
FunQL (ağaç yapılarına sahip mantıksal formlar)
Bu paylaşımda ağırlıklı olarak FunQL'in anlamsal analiz yöntemini benimsedik.
[Bu beş ana akım semantik analizin açıklamasıyla ilgili daha fazla ayrıntı için lütfen videoyu 00:08:30 'da izleyin]
Genel olarak, Anlamsal Ayrıştırma iki kategoriye ayrılabilir:
Görevden bağımsız: Anlamsal Ayrıştırma yalnızca semantik analize odaklanır. Girdi bir cümledir ve çıktı bir temsildir. Amacı, aşağıdakilere odaklanmak yerine bir cümlenin daha doğru bir temsilini tahmin etmek için daha iyi Anlamsal Ayrıştırmayı kullanmaktır. Görev nedir.
Göreve özgü: İlgi çekici nokta, Soruları Yanıtlama ve Eylem Yapma gibi görevleri tamamlamaya yardımcı olabilecek bir Anlamsal Ayrıştırma eğitmektir.
[İkisi arasındaki farkla ilgili daha fazla açıklama ve durum için lütfen 00:15:45 numaralı videoya tekrar bakın]
Genel olarak, bir metni anlamsal bir temsil biçimine dönüştürmemiz gerekir.Bu makale bir gösterim yöntemi olarak FunQL kullanır.Amaç, metni bir anlamsal ağaca dönüştürmektir. Elbette, bu anlamsal ağaçlar tersine FunQL'e de dönüştürülebilir. Anlamsal ağaçların ortamını kullanmak, cümlelerin gramer anlamını daha iyi öğrenmemize yardımcı olabilir.
Genel olarak, Anlamsal Ayrıştırmada en popüler yöntemlerden biri, ortak gösterimi öğrenmektir - aynı anda giriş sözcüklerini hizalayabilir ve anlamsal birimleri çıkarabilirsiniz.
Bu sefer laboratuvarımızda aşağıdakileri içeren bir dizi çalışmayı tanıtacağım:
Üretken Hibrit Ağaç (Lu ve diğerleri, 2008)
Girdinin bir cümle olduğunu ve çıktının bir anlamsal ağaç olduğunu biliyoruz. Örnekte girdi, "kaç eyaletin bir nehri yok?" Cümlesidir. Anlamsal ağaçları aşağıda verilmiştir. Hibrit Ağacın formu aşağıdaki gibidir:
[Generative Hybrid Tree hakkında daha fazla açıklama için lütfen videoyu 00:19:17 'de izleyin]
Üretken Hibrit Ağacın bazı avantajları ve dezavantajları vardır.
Avantajlar: Birincisi, Dilden bağımsızdır.Girişin Çince veya İngilizce olmasına bakılmaksızın, bir modeli beslediğiniz sürece, sistem bir Anlamsal Ayrıştırma çıktısı verebilir; ikincisi, kelimeler ve anlamsal birimler arasındaki hizalama ilişkisini simüle edebilir. Anlamsal Ayrıştırma çok önemlidir; üçüncüsü, verimlilik nispeten yüksektir. Belirli bir türetme için, ilgileniyorsanız makaleyi okuyabilirsiniz.
Dezavantajlar: Birincisi, uzun mesafeli bağımlılık elde edilemez; ikincisi, tanıtılabilecek özellikler nispeten sınırlıdır.
Ayrımcı Hibrit Ağaç (Lu, 2014, 2015)
Bu çalışmada, önceki makaledeki iki problemi çözmek için log-lineer modeli kullandık. Yeşil yazı tipleri, Generative Hybrid Tree temelinde yeni tanıtıldı ve semantik birimlerle iletişim halinde kalıyor.Cümlenin düğümü ile tüm alt düğümler arasındaki hizalamayı hesaba katabilir.
[Ayrımcı Hibrit Ağaç hakkında daha fazla açıklama için lütfen 00:25:25 adresindeki videoya tekrar bakın]
Ayrımcı Hibrit Ağaç modeli, genel özelliklere ek olarak, Word n-gram özellikleri, Karakter düzeyinde özellikler ve Span özellikleri gibi ek özellikleri de dikkate alır.
Sinirsel Hibrit Ağaç (Susanto, Lu, 2017)
Sinir Ağı şu anda çok popüler ve Anlamsal Ayrıştırma çalışmasını tamamlamak için Sinir modelini kullanan birçok iş var. Nöral Hibrit Ağaç aslında, Anlamsal Ayrıştırmayı daha iyi öğrenmemize yardımcı olacak bazı Sinirsel özellikler sunan, Ayrımcı Hibrit Ağacın genişletilmiş bir sürümüdür.
[Ayrımcı Hibrit Ağaç hakkında daha fazla açıklama için lütfen 00:28:35 adresindeki videoya tekrar bakın]
ACL 2018 konferansındaki "Anlamsal Analizde Diller Arası Bilginin Uygulanması" başlıklı bir denemeden bahsedelim. Anlamsal Ayrıştırmada, diller arası bilgi nadiren bir özellik olarak kullanılır. Öyleyse neden anlamsal çözümleyicileri öğrenmek için diller arası bilgileri kullanmayı düşünüyoruz?
Örneğin, Makine Çevirisi "Kaç eyalette nehir yoktur?" İfadesini Çince'ye "Kaç eyalette nehir yoktur?" Çevirir. Birçok ifade olabilir, ancak anlambilim aynıdır. Farklı diller aslında bazı paylaşılan bilgilere sahiptir. Paylaşılan bu bilgiler Anlamsal Ayrıştırmayı daha iyi öğrenmemize yardımcı olabilir mi? Bu bizim Motivasyonumuzdur.
[Anlamsal analizcilerin motivasyonu hakkında bilgi edinmek için diller arası bilgileri kullanma hakkında daha fazla bilgi için lütfen 00:32:15 adresindeki videoya tekrar bakın]
Sonraki adım, bu paylaşılan bilgilerin nasıl modelleneceğidir. Amacımız, İngilizce Anlamsal Ayrıştırma eğitiminden önce, hedef dil olarak İngilizceyi ve yardımcı dil olarak Çince, Almanca ve diğer dilleri kullanarak, belirli bir hedef dil ve yardımcı dil ile İngilizce Anlamsal Ayrıştırma öğrenmektir. , Yardımcı dilde bazı diller arası bilgileri ve dile karşılık gelen "anlamsal ağaç" ı öğreneceğiz ve daha sonra verilen verilere dayalı bir diller arası bilgi modeli oluşturmak için yerleştirme veya dağıtılmış ifadeyi kullanacağız.
[Bir diller arası bilgi modeli oluşturmayla ilgili daha fazla açıklama için lütfen videoyu 00:34:50 'de izleyin]
Aşağıdaki tabloda gösterildiği gibi, çıktı yerleştirmenin modelin performansı için yararlı olduğunu kanıtlamak için bazı deneysel veriler kullanıyoruz:
[Bu veri tablosunun daha ayrıntılı açıklaması için lütfen 00:37:00 videoya tekrar bakın]
Öğrenilmiş Çapraz Dil Temsilciliği ne anlama geliyor? Şekilde gösterildiği gibi, burada bir kısmını yakaladım:
Anlamsal birimlerin benzer veya özdeş işlevsel sembolleri varsa, bir grup oluşturma eğilimindedirler ve iki boyutlu bir alana çok yakındırlar. Daha yakın anlambilim daha yakın olacak ve karşıt anlambilim uzaklaşacaktır.
Son olarak, bir özet yapmak için, bu sefer anlamsal analizin temel arka plan bilgisini, laboratuvar çalışmamızda kullanılan bazı anlamsal analiz modellerini, "Anlamsal Analizde Çapraz Dil Bilgisinin Uygulanması" kısa makalesini ve ACL 2018 konferansında anlambilimsel analizi paylaştık. Bazı performanslar.
Daha sonra, hem diller arası gösterimleri hem de diller arası anlamsal ayrıştırıcıyı öğrenmek için ortak bir form kullanmayı düşüneceğiz.
Yukarıda bahsedilen üç Hibrit Ağaç modeli ve ACL 2018'deki makalemizin kodu, resmi ana sayfamızdan ( indirilebilir.
Yukarıdakiler, bu sayıda davetliler tarafından paylaşılan tüm içeriklerdir. Daha fazla genel sınıf videosu için lütfen izlemek için Leifeng.com AI Araştırma Topluluğu'na (https://club.leiphone.com/) gidin veya tıklayın Orijinali okuyun . WeChat genel hesabını takip edin: AI Araştırma Enstitüsü (okweiwu), en son genel sınıf canlı yayın süresi önizlemesini alabilirsiniz.
