İlk halk! Bilgi Grafiğinin Oluşturulmasında Derin Öğrenmenin Uygulanması
Alimeinin Kılavuzu: Zeka çağında, arama motorları yalnızca kullanıcılar tarafından alınan bilgileri anlayıp arama konusuyla ilgili içeriği özetlemekle kalmaz, aynı zamanda kullanıcıların beklenmedik duruma gelebilmesi için, aşamalı olarak arama sonuçlarıyla ilgili eksiksiz bir bilgi sistemi oluşturur. Keşif. Shenma Arama'nın bilgi haritası ve uygulama ekibi bu yolda sürekli araştırıyor.
Dün, DeepDive tabanlı ilişki çıkarma yöntemini ve bunun bilgi grafiği verilerinin oluşturulmasında uygulanmasını tanıttık (Portal: Ali mühendisleri, bilgi grafiği veri yapısının "temelini" nasıl kazanabilir?). Bu yöntem, yüksek doğruluk ve iyi etkileşime sahiptir ve tek bir ilişkinin çıkarılması görevinde güçlü bir yeteneğe sahiptir. Bugün, derin öğrenmeye dayalı ilişki çıkarma teknolojisini ve onun Shenma bilgi grafiği verilerinin oluşturulmasındaki keşif ve uygulamalarını ve iş iniş sürecinde karşılaşılan bazı zorlukları sizinle paylaşmaya devam edeceğiz.Sizinle görüşmeyi dört gözle bekliyoruz.
Derin öğrenme modellerine giriş
DeepDive sistemi, veri işleme aşamasında büyük ölçüde NLP araçlarına dayanır.NLP sürecinde hatalar varsa, bu hatalar sürekli olarak yayılır ve sonraki etiketleme ve öğrenme adımlarında güçlendirilerek nihai ilişki çıkarma etkisini etkiler. Bu tür bir yayılma ve etkiden kaçınmak için, son yıllarda derin öğrenme teknolojisi, ilgili çıkarma görevlerinde gittikçe daha fazla ilgi ve uygulama kazanmaya başlamıştır. Bu bölüm, esas olarak, uzaktan denetim açıklama ve evrişimli sinir ağı tabanlı modelleri ve bu yöntemin bazı geliştirilmiş tekniklerini birleştiren bir ilişki çıkarma yöntemini tanıtmaktadır.
Parçalı Evrişimli Sinir Ağları (PCNN'ler) modeli
PCNNs modeli, 2015 yılında Zeng ve diğerleri tarafından önerilmiş ve iki soruna çözümler önermiştir:
-
Uzaktan denetimin yanlış etiket problemini hedefleyen model, eğitim setinden yüksek güvenle eğitim örnekleri çıkarmak için çok örnekli öğrenmeyi kullanmayı önerir.
-
Geleneksel istatistiksel modellerin öznitelik çıkarma sürecindeki hataları ve ardından gelen hata yayılma problemlerini hedefleyen model, öznitelikleri otomatik olarak öğrenmek için parçalı evrişimli sinir ağlarını kullanmayı ve böylece karmaşık NLP sürecinden kaçınmayı önerir.
Aşağıdaki şekil, PCNN'lerin modelinin şematik bir diyagramıdır:
PCNNs modeli esas olarak aşağıdaki adımları içerir:
Deneyler, PCNN'ler + çoklu örnek öğrenme yöntemi Top N'nin ortalama değerinin, çok örnekli öğrenmeyi kullanmanınkinden yüzde 5 puan daha yüksek olduğunu gösteriyor.
Dikkat mekanizması ve diğer iyileştirmeler
Yukarıdaki model, her varlık çifti için öğrenme ve tahmin için yalnızca bir cümle seçer ve diğer doğru etiketlenmiş cümlelerden çok fazla bilgi kaybeder. Yanlış etiket durumlarını filtrelemek ve olabildiğince çok doğru etiketlenmiş cümleden daha etkili bir şekilde yararlanmak için Lin ve diğerleri 2016'da PCNNs + Attention (APCNNs) algoritmasını önerdi. Önceki PCNNs modeliyle karşılaştırıldığında, bu algoritma havuzlama katmanından sonra ve softmax katmanından önce cümle düzeyinde bir dikkat mekanizması ekler.Algoritmanın şematik diyagramı aşağıdaki gibidir:
Dikkat mekanizmasına ek olarak, varlık vektörleri hesaplanırken varlık tanım bilgilerinin eklenmesi (Ji ve diğerleri, 2017); dış sinirlerin kullanılması gibi ilişki çıkarımının kalitesini iyileştirmek için çok eşgörünümlü öğrenme modeline başka yardımcı bilgiler de eklenir. Ağ tarafından elde edilen verilerin güvenilirliği ve örneklemenin güvenirliği gibi bilgiler, modelin eğitimine rehberlik etmektedir (Tang vd., 2017).
Aşağıdaki şekil, her modelin doğruluk ve geri çağırma oranı ile geliştirilmiş algoritmanın karşılaştırmasını göstermektedir.Mintz, uzaktan denetim yanlış etiket problemiyle ilgilenmez ve eğitim için doğrudan tüm etiketli örnekleri kullanır; MultiR ve MIML, örnek tarama gibi olasılık grafik modellerini kullanır PCNN + MIL, bu bölümün ilk bölümünde tanıtılan modeldir; APCNN'ler, PCNN + MIL temelinde bir dikkat mekanizması ekler; PCNNs + D, PCNN + MIL temelinde tanımlayıcı bilgilerin kullanımını ekler; APCNN'ler + D, APCNN'ler temelinde açıklama bilgilerinin kullanımını ekler. Deney, saha değerlendirmesinde yaygın olarak kullanılan New York Times (NYT) veri setini (Riedel ve diğerleri, 2010) kullanmaktadır.
Harita yapımında derin öğrenme yöntemlerinin uygulama ilerlemesi
Shenma bilgi grafiği verilerinin oluşturulmasında derin öğrenme modellerinin uygulanması hala keşif aşamasındadır Bu bölüm, mevcut iş ilerlemesini ve iş uygulama sürecinde karşılaşılan bazı sorunları tanıtacaktır.
Derlem hazırlama ve varlık vektörleştirme
Derin öğrenme modeli büyük ölçüde belirteç vektörleştirmenin doğruluğuna bağlıdır. DeepDive yöntemine dayalı derlem hazırlığına benzer şekilde, buradaki belirteç bölümlemesi sözcük tabanlıdan varlık tabanlıya değiştirilir ve NER bağlantısı tarafından tanınan varlık ayrıntı düzeyi geçerli olacaktır. Word2vec tarafından oluşturulan vektör temsil simgesinin yeteneği, derlemin kapsamlılığı ve derlemin boyutu ile çok ilgilidir. Bu nedenle, word2vec'in eğitim külliyatı olarak ansiklopedik külliyatı seçiyoruz. İstatistiksel veriler ve model parametre ayarları aşağıdaki tabloda gösterilmektedir:
Kelime vektör eğitiminin etkisini doğrulamak için word2vec sonuçları üzerinde çeşitli testler yaptık, işte bazı deneysel veriler. Aşağıdaki şekil, bir varlık verilen en alakalı varlığı bulmaya yönelik bir deneyi göstermektedir:
Aşağıda, bir varlık çiftinin bir varlığının ve tahmin edilen bir varlık çiftinin hesaplandığı ve tahmin edilen varlık çiftinin diğer varlığının hesaplandığı bir deney verilmiştir. Beş tahmin ilişkisi rastgele seçildi ve 15 grup verilen varlık çifti ve tahmin edilen varlık çifti oluşturuldu. Tahmin sonuçları aşağıdaki şekilde gösterilmektedir. İki kırmızı örnek dışında, diğer tahminler doğrudur:
Model seçimi ve eğitim verilerinin hazırlanması
Belirli uygulamalarda, APCNNs modelini kullanmayı seçiyoruz. NYT standart veri setiyle ilgili önceki bölümde bahsedilen CNN + MIL, PCNN + MIL, CNN'ler (Dikkat mekanizmasına dayalı CNN modeli) ve APCNN'ler dahil olmak üzere birkaç temel modeli yeniden oluşturduk. Yinelenen sonuçlar temelde makalede verilen taban çizgisiyle tutarlıdır ve APCNNs modelinin performansı diğer modellerden önemli ölçüde daha iyidir. Aşağıdaki şekil, birkaç modelin sözde arama sonuçlarının bir karşılaştırmasıdır:
Zengin eğitim verileri elde etmek için, film oyuncuları, kitap yazarları, şirket yöneticileri ve karakterler gibi nispeten eksiksiz karakterler, coğrafi konumlar, organizasyonlar, filmler, TV, kitaplar vb. Alanlarda 15 temel ilişkiyi ele alıyoruz. Doğum yeri vb. Ansiklopedik külliyatla karşılaştırıldığında, ilişkisel değeri 15 ilişkiden biri olan açıklamalı olumlu örneklerin çıktısı, toplam sayı on milyon mertebesindedir ve hiçbir ilişki değeri açıklanmayan örneklerin çıktısı (ilişki değeri NA) 100 milyonu aşmaktadır.
Uygulama denemesi ve problem analizi
APCNNs modeli, yardımcı bilgi grafik verilerinin oluşturulmasında hala deneme aşamasındadır. Hesaplama gücü açısından APCNNs modeli, DeepDive sisteminden daha fazla avantaja sahiptir.Büyük ölçekli bir külliyatta aynı anda birden fazla ilişkiyi hesaplayabilir ve yinelemeli güncelleme işlemi manuel doğrulama etkileşimi gerektirmez. Ancak iş iniş sürecinde, aşağıda özetlenen bazı sorunlarla da karşılaştık:
-
Büyük ölçekli deneyler çok uzun sürüyor, bu da parametre ayarlamasının zorluğunu ve algoritma stratejisinin her yinelemesini artırıyor
-
Şu anda, akademideki ortak test topluluğu İngiliz NYT veri setidir. Aynı model Çin külliyatına uygulandığında, arama oranını karşılaştırmanın zor olduğu bir sorun vardır.
-
Derin öğrenme süreci, insan müdahalesi için zordur. (Yang Mi, Hawick Lau) 'nun evlilik ilişkisini tahmin etmek istediğimizi, ancak korpusta birlikte meydana gelen baskın ilişki (Yang Mi, Hawick Lau) bir evlilik ilişkisi değil, bir film ve televizyon draması ise, büyük ölçekli bir külliyat temelinde ilk vektör neslinden başlayarak tahmin etmek istediğimizi varsayalım. (Örneğin, "Bu film, Yang Mi'nin canlandırdığı Xia Wanqing'in, Hawick Lau'nun canlandırdığı playboy Qiao Jinfan tarafından kurtarılmış, ancak bir arkadaşının hesaplaması ve erkek arkadaşının evliliği ikilemiyle karşılaştığında daha büyük bir tuzağa düşen hikayesini anlatıyor."), Veya belirli olayların ortak katılım ilişkisine dayalı olarak ("Yang Mi ve Liu Kaiwei birlikte Sina Xiamen Aşk Kütüphanesi'nin hayır kurumu elçisi olarak hareket etti" gibi), dikkat adımında elde edilen ilişki vektörü, hesaplama paketine yol açacak olan kooperatif ilişkisine doğru önyargılı olacaktır. Her cümlenin ağırlığını evlilik ilişkilerini ifade eden cümleler için yüksek puanlar almak zordur, bu da sonraki öğrenmede sapmalara yol açar.
-
Derin öğrenme modellerinin sonuçları, özellikle bilgi grafiğinde görünmeyen varlık çiftleri için manuel değerlendirme yapmak zordur.Geniş ölçekli ara süreç matrisini eşleştirmek ve çıkarmak gerekir.Ağırlık matrisi, paketteki her cümlenin puanı olarak görselleştirilir. Hem bilgi işlem kaynakları hem de iş gücü tüketilir.
Özet ve görünüm
DeepDive'a dayalı yöntemler ve derin öğrenmeye dayalı yöntemlerin kendi avantajları ve dezavantajları vardır.Aşağıda bu iki yöntemi dört açıdan özetler ve karşılaştırır:
1. Derlemenin seçimi ve kapsamı
-
Ayrıntılı inceleme, tarihsel figürlerin ilişki madenciliği gibi daha küçük, daha uzmanlaşmış külliyatlara uygulanabilir; kurallar, kısmi klasik Çince külliyatının dili gibi, bire bir veya bire çok evlilik ilişkileri gibi özümleme ilişkisine ve derlemenin özelliklerine göre ayarlanabilir. Alışkanlıklar vb.
-
APCNNs modeli büyük ölçekli külliyat için uygundur, çünkü dikkat mekanizmasının normal işleyişinin temeli word2vec tarafından öğrenilen varlık vektörlerinin nispeten zengin ve kapsamlı olmasıdır.
2. İlişki çıkarma
-
Ayrıntılı inceleme, yalnızca tek bir ilişkinin yargılanması için uygundur ve sınıflandırma sonucu, varlık çiftleri arasındaki belirli bir ilişkinin beklenen değeridir. Farklı ilişkiler için farklı kurallar çalıştırılabilir.Kural bazlı etiketleme, eğitim setinin etiketleme doğruluğunu daha iyi artırabilir.
-
APCNNs modeli, çoklu sınıflandırma problemleri için uygundur ve sınıflandırma sonuçları, ilişki setindeki ilişki puanlarına göre sıralanır. İlişki kümesindeki belirli bir ilişki için kural işlemlerinin gerçekleştirilmesine gerek yoktur.
3. Uzun kuyruk verileri
-
Deepdive, uzun kuyruk verilerinin ilişki madenciliği için daha uygundur.NER'in tanıyabildiği bir varlık çifti olduğu sürece, oluşum frekansı çok düşük olsa bile, varlık çiftinin bağlam özelliklerine dayalı kararlar verebilir.
-
APCNNs modeli, topluluktaki varlıkların oluşum sayısının min_count gibi belirli bir eşikten daha yüksek olmasını sağlamalıdır. > = 5 varlığın word2vec'in vektör temsiline sahip olmasını sağlamak için. Torbada, eğitim için yüksek benzerliği seçmek için uygun olan belirli sayıda cümle var
4. Sonuç oluşturma ve algılama
-
Deepdive'ın çıktı sonucunun doğruluğu konusundaki yargısı yalnızca tek bir cümle içindir ve farklı cümlelerde görünen aynı varlık çifti tamamen farklı tahmin sonuçları verebilir. Sonucun doğru olup olmadığını belirlemek için testin orijinal cümle ile birleştirilmesi gerekir Avantajı, orijinal cümlenin manuel doğrulamayı kolaylaştırmak için bir temel olarak kullanılmasıdır.
-
APCNNs modeli, belirli varlık çiftleri üzerinde yargılarda bulunur ve belirli bir varlık çifti için, sistem tutarlı çıktı sonuçları verir. Yeni veri sonuçlarının doğruluğunun yargılanması için, paketteki seçilen cümle kümesini çıkarmak ve doğrulamak için ara sonuçların birleştirilmesi gerekir, bu da manuel incelemenin zorluğunu artırır.
DeepDive tabanlı yöntem için gelecekteki çalışmalarda, kavrayıcı ilişkilerin sayısını genişletirken, iş pratiğinde ortaya çıkan iyileştirilmiş algoritmaları düzene koymayı ve platformlaştırmayı ve aynı zamanda DeepDive tarafından üretilen sonuçları azaltmaya yardımcı olacak yardımcı bilgi tamamlayıcı araçlar oluşturmayı düşüneceğiz. Manuel denetim, örneğin evlilik ilişkisinin varlık çiftleri için bilgi haritasına yazma sürecinde çalışır, ilişkinin doğruluğunun değerlendirilmesine yardımcı olmak için haritadan karakterlerin cinsiyetini, doğum tarihini ve diğer bilgilerini elde edebiliriz.
Derin öğrenmeye dayalı yöntemler için, işletmenin uygulanmasını ve modelin aşağıdaki yönlerden iyileştirilmesini teşvik etmeye çalışmak için daha fazla zaman ve enerji harcayacağız:
-
DeepDive tarafından etkili olduğu kanıtlanmış bazı iyileştirilmiş algoritmalar, ilişkisel anahtar kelimelere dayalı filtreleme, veri boyutunu küçültme ve işletim verimliliğini artırma gibi derin öğrenme yöntemlerine uygulanır.
-
Hesaplamanın ara sonuçlarını görselleştirin, dikkat sürecinde ilişki vektörü ile cümle seçimi arasındaki ilişkiyi analiz edin, seçilen sonucun kalitesi için bir yargılama mekanizması oluşturmaya çalışın ve daha doğru bir ilişki vektörü elde etmek için daha fazla bilgi kullanmaya çalışın.
-
Önceden belirlenmiş ilişkiler kümesinin sınırlarını nasıl aşacağınızı, açık alanlardan ilişkileri nasıl çıkaracağınızı ve yeni ilişkileri ve bilgileri otomatik olarak nasıl keşfedeceğinizi düşünün.
-
Metnin yanı sıra tablolar, sesler, görüntüler vb. Gibi diğer biçimlerdeki verilerin ilişkisel çıkarımını keşfedin.
Referanslar
Lin Yankai, Liu Zhiyuan, Derin Öğrenmeye Dayalı İlişki Çıkarımı
Daojian Zeng, Kang Liu, Yubo Chen ve Jun Zhao. 2015. Parçalı Evrişimli Sinir Ağları ile İlişki Çıkarımı için Uzaktan Denetim. EMNLP'de. 1753-1762.
Guoliang Ji, Kang Liu, Shizhu He, Jun Zhao. 2017. Cümle Düzeyinde Dikkat ve Varlık Tanımları ile İlişki Çıkarma için Uzaktan Denetim. Yapay Zeka Üzerine Otuz Birinci AAAI Konferansı Bildirileri
Siliang Tang, Jinjian Zhang, Ning Zhang, Fei Wu, Jun Xiao, Yueting Zhuang.2017. ENCORE: Dış Sinir Kısıtlamaları İlişki Çıkarımı için Düzenli Uzaktan Denetim. SIGIR'17
Zeng, D .; Liu, K .; Chen, Y .; ve Zhao, J. 2015. Parçalı evrişimli sinir ağları aracılığıyla ilişki çıkarımı için uzaktan denetim EMNLP.
Riedel, S .; Yao, L .; ve McCallum, A. 2010. Modelleme ilişkileri ve etiketli metin olmadan sözler, Veritabanlarında Makine Öğrenimi ve Bilgi Keşfi Springer. 148-163.
Ce Zhang.2015. DeepDive: Otomatik Bilgi Tabanı Oluşturma için Veri Yönetim Sistemi Doktora tezi.
Hoffmann, R .; Zhang, C .; Ling, X .; Zettlemoyer, L .; ve Weld, DS 2011. Örtüşen ilişkilerin bilgi çıkarımı için bilgiye dayalı zayıf denetim. Derneğin 49. Yıllık Toplantısı Bildirilerinde Hesaplamalı Dilbilim: İnsan Dili Teknolojileri-Cilt 1, 541550 Hesaplamalı Dilbilim Derneği.
. Surdeanu, M .; Tibshirani, J .; Nallapati, R .; ve Manning, CD 2012. İlişki çıkarımı için çok örnekli çok etiketli öğrenme. 2012'de Doğal Dil İşleme ve Hesaplamalı Doğal Alanlarda Ampirik Yöntemler Ortak Konferansı Bildirilerinde Dil Öğrenimi, 455465. Hesaplamalı Dilbilim Derneği.
Shingo Takamatsu, Issei Sato ve Hiroshi Nakagawa. 2012. İlişki Çıkarımı için Uzaktan Denetimde Yanlış Etiketleri Azaltma. Hesaplamalı Dilbilim Derneği'nin 50. Yıllık Toplantısı Bildirileri, sayfalar 721-729
Zeng, D .; Liu, K .; Lai, S .; Zhou, G .; Zhao, J .; ve diğerleri 2014. Evrişimli derin sinir ağı yoluyla ilişki sınıflandırması. COLING, 23352344.
Ce zhang, Cheistopher Re; ve diğerleri 2017. ACM CACM Ana Sayfa arşivinin İletişimi
Cilt 60 Sayı 5, Sayfalar 93-102
Mintz, M .; Bills, S .; Snow, R .; ve Jurafsky, D. 2009. Etiketli veriler olmadan ilişki çıkarımı için uzaktan denetim ACL ve 4. Enternasyonal 47. Yıllık Toplantısı Ortak Konferansı Bildirilerinde. AFNLP'nin Doğal Dil İşleme Ortak Konferansı: 2. Cilt, 10031011 Hesaplamalı Dilbilim Derneği.
.
