Doğal Dil Temsili ve Akıl Yürütme Özel Oturumu AIS Ders Öncesi Oturumu Tam Paylaşım
AIS (ACL, IJCAI, SIGIR) 2018
2. Oturum: Temsil ve Çıkarım
1 Duan Chaoqun Harbin Teknoloji Enstitüsü
Doğal Dil Çıkarımı için Dikkatle Kaynaşmış Derin Eşleştirme Ağı
Duan Chaoqun bu çalışmayı beş açıdan tanıttı.
Doğal dil çıkarımına metinsel çıkarım da denir.Bu görev çok basittir.İki cümle arasındaki anlamsal ilişkiyi belirlemektir.Özellikle P ve Q olmak üzere iki cümle verildiğinde bu görev bu iki cümle arasındaki ilişkiyi belirlemektir.
, Herkesin daha yaygın Y kümesi üç tür ilişki içerir: giriş, zıt ve nötr.Şu anda, insanlar bu görevle başa çıkmak için eşleştirme problemleriyle başa çıkmak için genellikle benzer yöntemler kullanırlar. Ancak doğal dil muhakeme görevinin kendine has özellikleri vardır.İçindeki kelime çiftleri arasında belirlenen kelime çiftleri yüzeydeki anlambilimde sadece aynı ve zıt olmakla kalmaz, aynı zamanda üst ve alt kelimeler de vardır ve sadece belirli koşullar altında bulunur. Görünen kelime çifti. Mevcut yöntemlerin bu tür kelimeleri modellerken bazı sorunları vardır.Ayrıca, doğal dil işlemedeki diğer görevlere benzer şekilde, bu görevde de uzun mesafeli bağımlılık sorunları vardır.Çalışmalarımız esas olarak bu iki soruna odaklanmaktadır.
Doğal dil muhakemesi için bazı genel model çerçevelerini tanıtın. Çoğu model üç parça, kodlama katmanı, eşleşen katman ve tahmin katmanı içerir.
Modelimizin genel çerçevesinin ana çalışması, bir bilgi işlem birimi yapısı önerdiğimiz Eşleştirme Katmanı'dır. Bu bilgi işlem biriminde dört alt katman vardır: Çapraz Dikkat, Çapraz Dikkat için Füzyon, Öz-Dikkat ve Öz-Dikkat için Füzyon.
Dört alt katman aşağıda açıklanmaktadır:
Önceki bir bloğun çıktısı verildiğinde, ilki, kelime çiftleri arasındaki benzerliği hesaplamak için kullanılan Çapraz Dikkattir.
Bundan sonra, Çapraz Dikkat için Füzyon, bu dikkatten önceki anlambilimdir ve dikkatten sonra, bir ekleme yapar ve sonra onu birleştiririz.
Sırada, daha önce bahsedilen uzun mesafeli bağımlılık sorununu hedefleyen Öz Dikkat, uzun mesafeli bağımlılık sorunu için kendine dikkatin belirli avantajları vardır.
Ardından, Çapraz Dikkat için Füzyon'a benzeyen Öz Dikkat için Füzyon.
Üç ana veri kümesi vardır: SNLI, MultiNLI ve Quora.
Belirli bir ağdaki her bir yapısal modülün analizi:
Birincisi, modüllerin üst üste konması, çapraz dikkat için Fusion, öz-ilgi için ve Füzyon, tüm sürecin perspektifinden, her modül belirli bir derecede olumlu geribildirim verecektir.
Blok sayısının nihai sonuç üzerindeki etkisini inceleyelim. Birden üçe kadar, sonuç katman katman artacaktır. Üçüncü bölümde Öz dikkatin etkisi karşılaştırılmaktadır 15'ten fazla cümleden sonra modelimizin performans avantajının daha büyük olacağı görülmektedir.
Dikkat sonucunda üç katmanlı bir blok modeli seçtik.Soldan sağa dikkatin sonucunun giderek netleştiğini görebiliyoruz.Doğru öz ilginin sonucudur.Ben kendimizden beklenmedik bir kazanç elde ediyoruz. -Dikkat, iki cümle arasındaki bariz farkları bulabilir.
Özetlemek gerekirse, modelimiz karmaşık kelime dağarcığı ilişkileri için belirli avantajlara sahiptir ve öz-ilgi mekanizması gerçekten uzun mesafeli bağımlılığı hafifletebilir. Gelecekteki çalışmamızda, cümle temsilini geliştirmek için esas olarak etiketlenmemiş verileri kullanmaya çalışacağız.
2 Han Jialong Tencent AI Laboratuvarı
hyperdoc2vec: Köprü Metni Belgelerinin Dağıtılmış Temsilleri
İnternet hayatın her alanına girdikçe, hipermetin belgeleri özel metin verileri olarak gittikçe daha önemli hale geliyor. En tipik hipermetin belge türü ortak web sayfamızdır.Bu verilerde, her belgenin kendi içeriğine ve sözcüklerine sahip olmasının yanı sıra, sözcükler ve sözcükler arasında başka belgelere işaret edecek bazı köprüler bulunmaktadır. Daha yaygın olarak görülebileceği gibi, aslında akademik makaleler için bir tür hiper metin belgesi olarak da değerlendirilebilir.
Köprü, geleneksel metin ve köprü metni arasındaki en büyük farktır. Köprü metni belgeleri için, dağıtılmış temsil veya gömme mevcutsa, bu gömme, web sayfalarının ve kağıtların sınıflandırılması gibi birçok aşağı akış görevinde kullanılabilir.Kağıtlar için bir alıntı önerisi görevi vardır. Bir paragraf yazarken bir makaleden alıntı yapmam gerekebilir, hangi makaleden alıntı yapmalıyım.
Varlıkların gömülmesi, en tipik varlık bağlantıları gibi varlıkla ilgili görevlerde kullanılabilir. Köprü metni belgelerinin görevi için, iyi gömülmesini sağlamak için uygun model hiper bağlantılarına ihtiyacımız var.Kağıtlarımız iyi bir köprü metni belgesi veya bir yöntemin karşılaması gereken dört standart öneriyor veya Doğayı, bu dört özelliği tek tek açıklayacağız.
İçerik hassas ve anlaşılması kolay.Örneğin, Zhao'nun makalesinin yerleştirilmesi kelimelerden etkilenmelidir.
İkincisi, bağlama duyarlıdır. Papineninin makalesi bazı alıntılarla çevrilidir. Bu makalenin yerleştirilmesi, alıntı yapılırken bağlamdaki sözcüklerden etkilenmelidir.
Üçüncüsü, yeni belge dostça. Akademik makalelerin veri seti için, bazı makaleler henüz yayınlanmış ve alıntı yapılmamıştır. Bu veri kümesi 2010 itibariyle ise, Zhaonun makalesine atıf yapılmamış olabilir. Buna yeni bir belge denir. Ayrıca iyi bir köprü dağıtılmış temsil algoritması, en azından iyi bir köprü dağıtılmış algoritması vardır Yeni belgesinin gömülmesi olamaz Bu tür bir gömme, uygun hesaplama gerektirir.
Son olarak, bağlamsal amaç duyarlılığı arasında bir fark vardır: İlk üçü belge vektörleri içindir ve bağlamsal amaç duyarlılığı kelime vektörleri içindir. Atıfta bulunulan makalenin algoritmasını kullandım.Bu alıntıdaki niyet ve anlambilimin bağlamdaki uygun kelimelere karşılık geleceğini umuyoruz. Bu tür bilgiler, alıntı önerileri için çok önemlidir.
Bu sorunlar için, bazı geleneksel yöntemler vardır, en tipik olanlar word2vec ve doc2vec'dir. Bu iki yöntem aslında bir miktar bilgi kaybı anlamına gelir. Öne sürdüğümüz dört kriterden, word2vec sadece 1'i karşılamıyor, 3, 4, yani içeriğe duyarlı, yeni belge dostu ve içeriğe duyarlı, doc2vec son özelliği karşılamıyor.
Yukarıdaki problemleri çözmek için, hyperdoc2vec yöntemini önerdik.Bu yöntemin anahtarı, her bir hiper belgenin iki vektör öğrenmeye karşılık gelmesidir, biri in vektörü, diğeri dışarı vektörü ve iç vektörde bulunan bilginin belge olmasıdır. İçimde hangi kelimeler var ve hangi belgeler alıntılanıyor. Çıkış vektöründe yer alan bilgiler, hangi belgelerin ona atıfta bulunduğunu ve başkalarının ona atıfta bulunurken ne söylediğidir.
Tartışma yoluyla, bu yöntemin dört özelliği karşıladığı kanıtlanabilir. Metodumuz ayrıca aşağı akış görevlerine bağlı olmaması ve genel olması avantajına da sahiptir. Dört özelliğin görevler ve yöntemler üzerindeki etkisi hakkında daha fazla deney için lütfen posterlerimize ve kağıtlarımıza bakın.
3 He Zhicheng Nankai Üniversitesi
Hashtag2Vec: İlişkisel Hiyerarşik Gömme Modeli ile Hashtag Gösterimini Öğrenme
Sosyal ağ metinlerinde, insanlar metnin içeriğinin hangi bölümlerine ait olduğunu işaretlemek için genellikle bazı konu etiketleri kullanır; bu, metin alma ve diğer takip önerileri için yararlıdır.
Hashtag'ler kontrol edilemeyen bir oluşturma sürecidir, bu nedenle hashtag'leri kullanırken, hangisini kullanmak isterseniz, kurallar sabit değildir. Ek olarak, konu etiketleri çeşitli yapısal ilişkiler içerir: Konu etiketleri, mesajlar ve mesajlar ile kelimeler arasında belirli ilişkiler vardır. Sosyal medyada, yapısal ilişkilere ek olarak, zengin içerik bilgisi vardır. Bilginin bu üç yönü üzerinde etkili bir entegre çalışma yapmalıyız.
Bir Twitter veri seti verilen füzyon öğrenme süreci için, öncelikle bir hashtag ağı kurmalıyız.Bu ağ hashtag'leri, Twitter mesajlarının metin içeriğini ve en kritik kelimeleri içerir.
Ek olarak, konu etiketlerinin temsilini öğrenmek için hiyerarşik bir ağ yapısı oluşturacağız.En önemli şey konu etiketlerinin ilişkisidir.Her konu etiketinde de ilgili tweet'ler olacak ve tweet'lerde ilgili kelimeler olacak. Bu aslında Yukarıdakiler hiyerarşik bir ağ yapısıdır.
Oluşturduğumuz model, içerik temelli düğüm gömme, yapı temelli düğüm gösterimi ve heterojen eklem temsili öğrenme süreci olmak üzere üç bölüme ayrılmıştır. İlk olarak, içeriğe dayalı olarak, Twitter düzeyinde düğüm temsilini öğrenin.Mesajlar arasındaki ilişki için, anlamsal yaklaşım gibi, bir hedef oluşturmak için iki temsil vektörü arasındaki anlamsal ilişkiyi uydurmak için basit bir doğrusal olmayan işleve dayalı bir dönüşüm kullanılacaktır. işlevi. Verdiğimiz uygun hedef, normalleştirilmiş bitişik ağırlıktır. Bir tweet genellikle birden fazla kelime içerir. Bu dahil etme ilişkisini normalleştiririz ve doğrusal olmayan bir işleve dayanarak, aşağıdaki formül türetme ve gradyan inişinde çok uygun olacak olan değer aralığını birleştirebiliriz.
Ayrıca kelime düzeyinde düğünler de vardır. Kelimeler ve kelimeler arasındaki ilişki, benzer bir vektör çarpımı ve doğrusal olmayan dönüşüm ile donatılmıştır ve yukarıdaki gibi aynı doğrusal olmayan matris ayrıştırma çerçevesi de benimsenmiştir.
Bölüm 2: Yapı. Global bir yapı ise, hashtagler arasındaki birlikte oluşum ilişkisidir. Bir tweet'te iki hashtag kullanılıyorsa, böyle bir birlikte oluşum ilişkisine sahiptirler. Uydurma işlevi hala aynıdır, yani vektör çarpımı ve doğrusal olmama Anahtar hedefe uymaktır. Bu kısım, konu etiketi i'den konu etiketi j'ye, ağdaki rastgele gezinme olasılığı olan rastgele yürümeye dayalı olasılığı kullanır, çok seviyeli hiyerarşik ağ yapısı bilgisini entegre edebilir. Birlikte oluşma ilişkisi nispeten seyrek olduğundan, entegrasyondan sonra kesinlikle daha fazla bilgi gelecektir. Ek olarak, yerel yapı ve konu etiketleri de metin tarafından benimsenebilir Konu etiketlerinden metne kadar olan süreç ayrıca basit bir normalleştirilmiş bitişik ağırlık kullanır.
Üçüncü kısım, öğrenme sürecinin ortak temsilidir.İki yol vardır: Birincisi, içerik bilgisinin öğrenme sürecini ve yapı bilgisini birleştirmektir. Diğeri bir polimerizasyon işlemi kullanır. Konu etiketlerinin hiyerarşik yapısından mesajlara, mesajlardan kelimelere, yapı ve içerik entegre edilir ve her konu etiketi için sözde bir belge oluşturulur.Bu sözde belge içeriğe dayanır ve ardından konu etiketinin içeriğe olan eğilimini öğrenir Yeni bir modelimiz olduğunu söyledi.
Denemek için iki Twitter verisi kullandık ve vaka analizi yaptık ve modelimiz en iyi performansı gösterdi.
4 Cai Xiangrui Nankai Üniversitesi
Zaman Farkında Dikkatle Tıbbi Konsept Gömme
Esas olarak tıbbi özelliklerin temsilini öğreniyoruz.
Araştırma geçmişimiz elektronik tıbbi kayıtlardır. Elektronik tıbbi kayıtlar, tıbbi analizin temel verileridir. Elektronik tıbbi kayıtlar (EMR'ler), kronik hastalık yönetimi ve kişiselleştirilmiş tıp gibi tıbbi analizler sağlarken, tıbbi kavramlar, örneğin Uluslararası Hastalık Sınıflandırması (ICD) tarafından standartlaştırılmıştır. Tıbbi kavram temsili, sonraki analizin temeli olduğundan, ancak mevcut araştırma, tıbbi kavramların zaman özniteliğini tam olarak dikkate almadığından ve farklı tıbbi kavramların zaman bağlamı aralığı oldukça farklı olduğundan, hem tıbbi kavram yerleştirmeyi hem de zaman bağlam aralığını öğrenmeyi öneriyoruz.
İlk önce bir birim zaman kavramı tanımladık. Bu birim zaman günler, haftalar veya aylar olabilir. Belirli tıbbi görevler için, dikkate alınan zaman birimleri farklıdır. Örneğin, bir hafta içinde aynı birim zamanın özellikleri aynı kabul edilir. Bu nedenle, her tıbbi özelliğin olası tüm bağlamlardan en iyiyi seçmesi bir üstel karmaşıklık meselesidir Tıbbi özelliklerin bağlamı ve tıbbi özelliklerin vektör temsili iki bağımsız şey değildir.
Bu model, merkezdeki kelimeyi tahmin etmek için çevreleyen kelimeleri kullanan ve ardından kelimenin temsilini öğrenen CBOW'a dayanmaktadır. Modelimiz bu merkezin tıbbi özelliklerini bu temelde ele alır ve farklı zamanlarda dikkatin derecesi farklıdır. Modelin merkezindeki tıbbi özellik olan dikkat mekanizmasını burada tanıtmıştık.Her zaman birimi için ağırlığı ne olmalıdır?
Deneyimiz, biri Singapur Ulusal Üniversitesi Hastanesi (halka açık olmayan) tarafından paylaşılan bir veri kümesi olan NUH2012, diğeri ise bazı gizlilik işlemlerinden geçmiş ve halka açık olan DE-SynPUF olmak üzere iki veri kümesi üzerinedir.
Tıbbi özelliklerin anlamsal ilgisini değerlendirmek için kümeleme ve en yakın komşu aramasını kullanarak, biri Hier ve diğeri CCS olmak üzere iki tıbbi depo tanıtıldı. Deneysel sonuç, modelimizin en iyisidir. Nispeten geniş bir zamansal kapsamda, bu model hala bir şeyler öğrenebilir.
Modelimiz tarafından öğrenilen dikkat, tıbbi sağduyu ile nispeten uyumludur. Kronik hastalıklar için, eğri nispeten pürüzsüzdür. Soğuk algınlığı ve benzerleri için, eğrisi ortada belirgin olacaktır ve bu, sadece bu süre üzerinde daha büyük bir etkiye sahip olduğunu gösterir. Daha az yaygın bir tipi de var, daha önce uyarı yok, kişi aniden hastalanır ve sonunda iyileşmesi zordur. Öndeki dikkat nispeten küçüktür ve arkadaki dikkat nispeten büyüktür.
Aşağıdaki çalışma için bir ön karar olarak kullanılabilir.Öncelikle bir hastalığı teşhis edin, ilacı aldıktan sonra iyileşir mi ve hastanedeki hastaların durumunu daha da takip edin. Öte yandan, diğer modellerin eğitimine rehberlik etmek için böyle bir bilgi tabanı oluşturabiliriz .
