Philip S. Yu ekibi yetkili bir özet yayınladı ve altı açık sorun çözülecek
2019'un sonunda Turing Ödülü sahibi Bengio, algısal zeka ile temsil edilen derin öğrenme birinci sistem den bilişsel zeka tarafından temsil edilen derin öğrenme ikinci sistem e geçiş döneminde olduğumuza dikkat çekti.
Bu süreçte bilgi grafiği teknolojisi önemli bir rol oynadı. Son yıllarda, grafik ağının güçlü gelişimi de bu eğilimi doğruladı.
Bu makale, bir veri bilimi otoritesi olan Philip S. Yu ekibinin bilgi grafikleri alanına ilişkin en son incelemesidir.Gelişim geçmişi, teorik temel, pratik uygulama ve gelecekteki araştırma yönlerinden alanın muhteşem ve kapsamlı bir resmini ana hatlarıyla açıklamaktadır.
Metin | Mr Bear
Düzenle | Kongun Sonu
İnsan bilgisinin tanıtımı, yapay zekanın önemli araştırma yönlerinden biridir. Bilgi temsili ve akıl yürütme, karmaşık problemleri çözme yeteneği elde etmek için akıllı sistemler için bilgiyi temsil etmeyi amaçlayan insan problem çözme yöntemlerinden esinlenmiştir. Son zamanlarda yapılandırılmış bir insan bilgisi olarak bilgi grafiği akademisyenler ve sanayicilerden büyük ilgi gördü.
Bilgi grafiği, varlıklardan, ilişkilerden ve anlamsal açıklamalardan oluşan gerçeklerin yapılandırılmış bir temsilidir. Varlıklar, gerçek dünyada var olan nesneler veya soyut kavramlar olabilir; ilişkiler, varlıklar arasındaki ilişkileri temsil eder; varlıkların anlamsal tanımları ve ilişkileri iyi tanımlanmış türleri ve nitelikleri içerir. Günümüzde, düğümlerin ve ilişkilerin özniteliklere sahip olduğu öznitelik grafikleri yaygın olarak kullanılmaktadır.
"Bilgi grafiği" ve "bilgi tabanı" terimleri neredeyse eş anlamlıdır ve yalnızca küçük farklılıklar vardır. Bilgi grafiğinin grafik yapısını ele aldığımızda grafik olarak değerlendirilebilir. Biçimsel anlamsal konular söz konusu olduğunda, gerçek yorumlama ve akıl yürütme için bir bilgi tabanı olarak kullanılabilir. Bilgi tabanı ve bilgi grafiğinin özel formu Şekil 1'de gösterilmektedir.
Bilgi, Kaynak Tanımlama Çerçevesi (RDF) aracılığıyla (baş varlık, ilişki, kuyruk varlık) veya (özne, yüklem, nesne) gibi bir olgu biçimi olarak üç kez ifade edilebilir, örneğin (Einstein, ... Kazanan, Nobel Ödülü). Bilgi ayrıca, ilişkileri temsil eden varlıkları ve kenarları temsil eden düğümlerle yönlendirilmiş bir grafik olarak temsil edilebilir.
Basitlik sağlamak ve araştırma topluluğunun gelişme eğilimine uymak için, bu makalede bilgi grafiği ve bilgi tabanı terimleri birbirinin yerine kullanılmıştır.
Şekil 1: Bilgi tabanı ve bilgi grafiğinin şematik diyagramı
Son yıllarda, bilgi grafiklerine dayalı araştırmalar temel olarak, anlamsal bilgilerini elde etmek için varlıkları ve ilişkileri düşük boyutlu vektörlere eşleyerek bilgi temsili öğrenmenin (KRL) veya bilgi grafiği yerleştirmenin (KGE) gerçekleştirilmesine odaklanmıştır. Özel bilgi edinme görevleri arasında bilgi grafiği tamamlama (KGC), üçlü sınıflandırma, varlık tanıma ve ilişki çıkarma yer alır.
Bilgiye dayalı modeller heterojen bilgiden, zengin bilgi temsili ontolojisinden ve anlambiliminden ve çoklu dil bilgisinin entegrasyonundan yararlanır. Bu nedenle, sağduyu anlama ve muhakeme yetenekleri gelişirken, öneri sistemleri ve soru cevaplama sistemleri gibi birçok gerçek dünya uygulaması da gelişmiştir. Microsoft Satori ve Google'ın Bilgi Grafiği gibi gerçek dünya ürünleri, daha verimli hizmetler sağlama konusundaki güçlü yeteneklerini göstermiştir.
Kağıt bağlantısı:
1. Bilgi Bankasının Kısa Tarihi
Mantık ve yapay zeka alanında, bilgi temsili uzun bir gelişim tarihi yaşamıştır. Bilginin temsili için grafikleri kullanma fikri, 1956'da Richens tarafından önerilen "Anlamsal Ağ" a (Anlamsal Ağ) kadar izlenebilirken, sembolik mantık bilgisi 1959'daki genel problem çözücüye kadar izlenebilir.
Başlangıçta bilgi tabanı, bilgiye dayalı muhakemeye dayalı bir problem çözme sisteminde kullanılmıştır. MYCIN, tıbbi teşhis için kullanılan en ünlü kural tabanlı uzman sistemlerden biridir ve yaklaşık 600 kuralla ilgili bir bilgi tabanına sahiptir.
O zamandan beri, insan bilgi temsili araştırma topluluğu çerçeve tabanlı dil, kural tabanlı temsil ve hibrit temsilde belirli araştırma ilerlemeleri kaydetti. Bu dönemin sonunda, insan bilgisini entegre etmeyi amaçlayan Cyc projesi başladı.
Kaynak Tanımlama Çerçevesi (RDF) ve Web Ontoloji Dili (OWL) birbiri ardına yayımlandı ve Anlamsal Web'in önemli standartları haline geldi. Daha sonra insanlar ayrıca WordNet, DBpedia, YAGO ve Freebase gibi açık bilgi tabanları veya ontolojileri yayınladılar.
Stokman ve Vries, 1988'de bilgiyi modern anlamda grafikler şeklinde düzenleme fikrini önerdiler. Bununla birlikte, bilgi grafikleri kavramı, Google'ın arama motoruna ilk kez bilgi grafiklerini tanıttığı 2012 yılına kadar popüler hale geldi. Bu sırada, büyük ölçekli bilgi grafikleri oluşturmak için "Bilgi Kasası" adlı bir bilgi füzyon çerçevesi önerdiler. Bilgi tabanının gelişiminin kısa bir geçmişi için lütfen bu makalenin Ek A'sına bakın.
2. İlgili tanımlar ve semboller
Araştırmacılar, genel anlamsal temsilleri veya temel özellikleri tanımlayarak bilgi grafiğini tanımlamak için çok sayıda çalışma yaptılar. Bununla birlikte, bilgi grafiğinin hala yaygın olarak kabul edilen resmi bir tanımı yoktur. Paulheim, bilgi grafikleri için dört standart tanımlar. Ehrlinger ve Wo ß mevcut bazı tanımları analiz ettiler ve bilgi grafiğinin akıl yürütme motorunu vurgulayan aşağıdaki tanımı önerdiler 1. Wang ve diğerleri, Tanım 2'de çoklu ilişkisel grafiğin bir tanımını önerdi.
Bu önceki çalışmalardan esinlenerek, bir bilgi grafiğini G = {E, R, F} olarak tanımlıyoruz; burada E, R ve F sırasıyla varlık kümeleri, ilişkiler ve gerçeklerdir. Gerçek, üçlü (h, r, t) F olarak ifade edilebilir.
Tanım 1 (Ehrlinger ve Wo ß): Bilgi grafiği bilgi toplar ve bir ontolojiye entegre eder ve yeni bilgi üretmek için bir muhakeme kullanır.
Tanım 2 (Wang ve diğerleri): Bilgi grafiği, varlıklar ve ilişkilerden oluşan çoklu ilişki grafiğidir.Varlıklar düğümler olarak kabul edilir ve ilişkiler çeşitli kenar türleri olarak kabul edilir.
Tablo 1: Bilgi grafiğiyle ilgili semboller ve tanımlar
3. Bilgi Grafiği Araştırmasının Sınıflandırılması
1. Bilgi Temsili Öğrenme (KRL)
Bilgi temsili öğrenme, bilgi grafikleri alanında temel bir araştırma problemidir ve birçok bilgi edinme görevinin ve aşağı yönlü uygulamaların temelini oluşturur. KRL'yi 4 seviyeye ayırıyoruz: temsil alanı, puanlama fonksiyonu, kodlama modeli ve yardımcı bilgiler. Bu makale ayrıca KRL modelini geliştirmek için net bir iş akışı sağlar. Detaylar aşağıdaki gibidir:
1) Temsil alanı
Şekil 3: Farklı alanlarda bilgi temsilinin şematik diyagramı
Öğrenme varlıklarının ve ilişkilerinin düşük boyutlu dağıtılmış gömülmesi, temsili öğrenmenin temel sorunudur. Mevcut çalışma, esas olarak vektörler, matrisler ve tensör uzayları (Şekil 3a'da gösterildiği gibi) gibi gerçek değerli nokta uzaylarını kullanır ve ayrıca karmaşık vektör uzayları (Şekil 3b'de gösterildiği gibi) ve Gauss uzayları (Şekil 3c'de gösterildiği gibi) kullanır. Gösterilir) ve manifoldlar (Şekil 3d'de gösterildiği gibi) ve diğer uzay türleri.
2) Puanlama işlevi
Şekil 4: Mesafe ve benzerlik eşleşmesine dayalı puanlama işlevinin şematik diyagramı, sırasıyla TransE ve DistMult'u örnek olarak alır.
Puanlama işlevi, gerçeklerin rasyonalitesini ölçmek için kullanılır ve aynı zamanda enerji temelli öğrenme çerçevesinde enerji işlevi olarak da adlandırılır. Enerji temelli öğrenme, enerji fonksiyonu E_ (x) 'i x girişi ve parametresi ile öğrenmeyi amaçlamaktadır.Pozitif örneklerin negatif örneklerden daha yüksek puanlara sahip olmasını sağlayacaktır. Bu makalede, aynı şekilde "puanlama işlevi" olarak anılmaktadır.
Olguların rasyonelliğini ölçmek için kullanılan tipik puanlama işlevleri iki kategoriye ayrılır: mesafeye dayalı puanlama işlevleri (Şekil 4a'da gösterildiği gibi) ve benzerliğe dayalı puanlama işlevleri (Şekil 4b). Mesafeye dayalı puanlama işlevi, varlıklar arasındaki mesafeyi hesaplayarak gerçeklerin rasyonalitesini ölçer ve h + r t'nin varlıklar arasındaki ilişki yoluyla toplama dönüşümünü gerçekleştirme fikri yaygın olarak kullanılır. Anlamsal benzerliğe dayalı puanlama işlevi, anlamsal eşleştirme yoluyla olguların rasyonalitesini ölçer.
Böyle bir çarpma formülü, baş varlığını temsil uzayındaki kuyruk varlığına benzer olacak şekilde dönüştürür.
3) Kodlama modeli
Kodlama modeli, belirli model mimarileri (doğrusal / çift doğrusal modeller, çarpanlara ayırma modelleri, sinir ağları gibi) aracılığıyla varlıklar ve ilişkiler arasındaki etkileşimi kodlar.
Doğrusal model, baş varlığını kuyruk varlığının temsil uzayına yansıtarak ilişkiyi doğrusal / çift doğrusal bir eşleme olarak ifade eder. Çarpanlara ayırma, ilişkisel verileri karakterizasyon öğrenimi için düşük sıralı matrislere ayırmayı amaçlamaktadır. Sinir ağları, doğrusal olmayan nöral aktivasyon haritalaması ve daha karmaşık ağ yapıları aracılığıyla ilişkisel verileri kodlar. Bazı yaygın sinir ağı modelleri Şekil 5'te gösterilmektedir.
Şekil 5: Nöral kodlama modelinin şematik diyagramı. (A) Çok katmanlı algılayıcı ve (b) Evrişimli sinir ağı, üçlüleri tamamen bağlı katmana ve evrişime girer
4) Tamamlayıcı bilgiler
Daha etkili bilgi temsilini teşvik etmek için, çok modlu gömme metin açıklaması, tür kısıtlamaları, ilişki yolları ve görsel bilgiler gibi harici bilgileri bilgi grafiğinin kendisiyle birleştirir.
Bilgi grafiği araştırma topluluğunda, bilgi temsili öğrenme çok önemlidir. Genel olarak, yeni bir bilgi temsili öğrenme modeli geliştirmek istiyorsanız, aşağıdaki dört soruyu yanıtlamanız gerekir: (1) hangi temsil alanını seçmelisiniz; (2) belirli bir alandaki üçlü kombinatoryal rasyonalite nasıl ölçülür; (3) nasıl kullanılır Kodlama modeli ile kodlama ilişkisi arasındaki etkileşim; (4) Yardımcı bilgilerin kullanılıp kullanılmayacağı.
En yaygın kullanılan temsil uzayı, varlıkları vektör uzayına gömer ve etkileşimi vektörler, matrisler veya tensörler aracılığıyla modelleyen Öklid nokta uzayıdır. İnsanlar ayrıca diğer temsil uzaylarını da (karmaşık vektör uzayları, Gauss dağılımı, çok katlı uzaylar, gruplar dahil) inceledi.
Öklid nokta uzayı ile karşılaştırıldığında, çok katlı uzayın avantajı nokta tabanlı gömmeyi gevşetebilmesidir; Gauss gömme varlıklar ve ilişkiler arasındaki belirsizliği ve çoklu ilişkilerin anlamını ifade edebilir; karmaşık vektör uzayına gömme etkili bir şekilde olabilir Farklı ilişkisel bağlantı modellerini, özellikle simetrik / antisimetrik modelleri modelleyin.
Temsil alanı, varlıkların anlamsal bilgilerinin kodlanmasında ve ilişki niteliklerinin elde edilmesinde çok önemli bir rol oynar. Bir temsil öğrenme modeli geliştirdiğimizde, kodlama yönteminin özelliklerine uyacak şekilde dikkatlice tasarlanmış ve ifade gücü ile hesaplama karmaşıklığı arasında bir denge sağlayabilen uygun bir temsil alanı seçmeliyiz.
Mesafeye dayalı metrikleri kullanan puanlama işlevi, karşılık gelen dönüştürme ilkelerini kullanırken, anlamsal eşleşmeye dayalı puanlama işlevi bileşen düzeyinde işlemleri kullanacaktır. Kodlama modelleri (özellikle sinir ağları), varlıkların ve ilişkilerin etkileşimini modelleme sürecinde önemli bir rol oynar. Çift doğrusal model de birçok araştırmacının ilgisini çekmiştir ve bazı tensör ayrıştırma teknikleri bununla ilişkilidir. Diğer yöntemler, metin açıklaması, ilişki / varlık türü ve varlık görüntüsü gibi yardımcı bilgileri sunar.
Tablo 2: Bilgi temsili öğrenme üzerine son çalışmaların özeti. Ayrıntılar için lütfen Ek C'ye bakın.
2. Bilgi edinimi
Bilgi edinme, yapılandırılmamış metne dayalı bir bilgi grafiği oluşturmayı, mevcut bir bilgi grafiğini tamamlamayı ve varlıkları ve ilişkileri keşfetmeyi ve tanımlamayı amaçlar. Oluşturulan büyük ölçekli bilgi grafiği, birçok aşağı akış uygulaması için çok kullanışlıdır.Bilgi tabanlı modellere sağduyu hakkında akıl yürütme yeteneği kazandırabilir, böylece yapay zekanın gerçekleştirilmesi için temel oluşturabilir.
Bilgi edinmenin ana görevleri arasında ilişki çıkarma, bilgi grafiği tamamlama ve varlık tanıma ve varlık hizalama gibi diğer varlığa yönelik edinme görevleri bulunur. Çoğu yöntem, resmi olarak bilgi grafiği tamamlama ve ilişki çıkarımını ayrı ayrı tanımlar. Bununla birlikte, bu iki görev birleşik bir çerçeveye de entegre edilebilir.
Han ve diğerleri, karşılıklı dikkat mekanizmasına dayalı bir ortak öğrenme çerçevesi önermiştir.Bu karşılıklı dikkat mekanizması, bilgi grafiği ve metin arasında veri füzyonu için kullanılır.Çerçeve ayrıca metne dayalı bilgi grafiği tamamlama ve ilişki çıkarma sorununu çözer. Sorun. Ek olarak, bazı görevler de bilginin tamamlanmasıyla ilgilidir (örneğin, üçlü sınıflandırma ve ilişki sınıflandırması). Bu bölümde, bilgi tamamlama, varlık keşfi ve ilişki çıkarmanın üç aşamalı bilgi edinme tekniklerini kapsamlı bir şekilde inceleyeceğiz.
1) Bilgi Grafiği Tamamlama (KGC)
Çoğu bilgi grafiği eksik olduğundan, insanlar yeni bir bilgi grafiğine yeni üçlüler eklemek için bilgi tamamlama teknikleri geliştirdiler. Tipik alt görevler arasında bağlantı tahmini, varlık tahmini ve ilişki tahmini bulunur. Aşağıda göreve yönelik bir tanım veriyoruz 3.
Tanım 3: Eksik bir bilgi grafiği verildiğinde G = (E, R, F), bilgi grafiğinin tamamlanması, eksik üçlü T = {(h, r, t) | (h, r, t) F}.
Bilgi grafiğini tamamlama konusundaki ilk araştırma, üçlü tahmin için düşük boyutlu düğünleri öğrenmeye odaklandı. Bu makalede, buna "gömme tabanlı yaklaşım" diyoruz.
Ancak, bu yöntemlerin çoğu çok seviyeli ilişkiler elde edemez. Bu nedenle, son çalışmalar, çok seviyeli ilişkisel yolları keşfetmeye ve sırasıyla "ilişkisel yol muhakemesi" ve "kurala dayalı muhakeme" dediğimiz mantıksal ilişkileri uygulamaya döndü. Üçlülerin sınıflandırılması, gerçek üçlülerinin doğruluğunu değerlendirmek için kullanılan bilgi grafiği tamamlamanın yardımcı bir görevidir.
2) Varlık keşfi
Varlık keşfi, metinden varlık odaklı bilgi elde edebilir ve çeşitli bilgi grafikleri arasında bilgi füzyonu gerçekleştirebilir. Belirli koşullara göre, varlık keşif görevleri birkaç farklı kategoriye ayrılabilir.
Varlık tanıma görevini sıradan sıraya (Seq2Seq) bir yaklaşımla keşfediyoruz; varlık sınıflandırma görevi gürültülü tür etiketlerine ve sıfır örneklem sınıflandırmasına odaklanırken; varlık belirsizliğini giderme ve hizalama görevleri birleşik yerleştirmeyi öğrenecek ve öneriyorlar Yinelemeli hizalama modeli, sınırlı sayıda hizalama çekirdeği varlığı sorununu çözer. Ancak yeni hizalanan varlığın performansı düşükse, hata birikimi sorunuyla karşı karşıya kalacaktır.
Son yıllarda, belirli diller hakkında giderek daha fazla bilgi edinmek, diller arası bilgi uyumu araştırmasına kaçınılmaz olarak ilham verdi.
Şekil 8: Bazı varlık keşif görevlerinin şematik diyagramı
3) İlişki çıkarma
İlişki çıkarma, otomatik olarak büyük ölçekli bir bilgi grafiği oluşturmanın temel görevidir.Bu görev, bilinmeyen ilişki gerçeklerini düz metinden çıkaracak ve bunları bilgi grafiğine ekleyecektir.
Etiketli ilişkisel verilerin eksikliğinden dolayı, Uzaktan Denetim (zayıf denetim veya kendi kendini denetleme olarak da bilinir), ilişkisel veritabanlarının denetimi altında aynı varlığı içeren cümlelerin aynı ilişkiyi ifade edebileceğini varsayarak sezgisel eşleştirme kullanır. Eğitim verilerini oluşturmak için.
Mintz ve diğerleri, ilişki sınıflandırma görevleri için uzaktan denetimi kullandılar.Kullandıkları metin özellikleri arasında sözcüksel ve sözdizimsel özellikler, adlandırılmış varlık etiketleri ve bağlantılı özellikler vardı. Geleneksel yöntemler büyük ölçüde özellik mühendisliğine bağlıyken, yeni bir yöntem özellikler arasındaki dahili bağlantıları araştırmıştır. Derin sinir ağları, bilgi grafiklerinin ve metnin temsil öğrenimini de değiştiriyor. Sinirsel ilişki ekstraksiyonu (NRE) yöntemiyle ilgili son araştırma ilerlemesi Şekil 9'da gösterilmektedir.
Şekil 9: Sinirsel ilişki çıkarımına genel bakış
İlişki çıkarma görevleri, özellikle farklı alanlar arasında uzaktan denetim yapıldığında, uzaktan denetim varsayımı altında gürültülü modellerle karşılaşacaktır. Bu nedenle, zayıf bir şekilde denetlenen ilişkilerin çıkarılması için, gürültülü etiketlerin etkisini azaltmak (örneğin, birden çok cümleden oluşan bir paketi girdi olarak almayı çok örnekli öğrenme yoluyla ve örnekler üzerinde "yumuşak" seçim yapmak için dikkat mekanizmasını kullanmak çok önemlidir. Böylelikle gürültülü örüntü azaltılır ve örneklerin seçimi pekiştirmeli öğrenme yöntemine dayalı zor bir karar olarak ifade edilir.Başka bir ilke de olabildiğince zengin temsilleri öğrenmektir.Derin sinir ağları geleneksel öznitelik çıkarma yöntemlerinde hata yayma problemini çözebildiğinden, Bu alana her zaman derin sinir ağlarına dayanan modeller hakim olmuştur.
Tablo 4: Sinirsel ilişki çıkarımında son araştırma ilerlemesinin özeti
3. Zaman serisi bilgi grafiği
Mevcut bilgi grafiği araştırmalarının çoğu, gerçeklerin zamanla değişmediği, ancak bilgi grafiklerinin zaman serisi dinamik değişiklikleri üzerine çok az çalışma bulunan statik bilgi grafiklerine odaklanır. Bununla birlikte, yapılandırılmış bilgi yalnızca belirli bir zaman diliminde geçerli olduğundan, zamanlama bilgisi çok önemlidir ve gerçeklerin evrimi bir zaman dizisini takip edecektir.
Son araştırmalar, zaman serisi bilgilerini bilgi temsili öğrenme ve bilgi grafiği tamamlama görevlerine dahil etmeye başlamıştır. Önceki statik bilgi grafiği ile karşılaştırmak için buna "kronolojik bilgi grafiği" diyoruz. Aynı anda hem zamansal hem de ilişkisel katıştırmayı öğrenmek için insanlar çok fazla araştırma yaptılar.
1) Zamanlama bilgisi yerleştirme
Zamanlamayla ilgili yerleştirmelerde, üçlüleri zamanlama dörtlülerine (h, r, t, ) genişleterek zamanlama bilgilerini dikkate alırız. , gerçeğin ne zaman doğru olduğuna dair ek zamanlama bilgisi sağlar. Leblay ve Chekol, zaman serisi aralığı tahmin problemini incelemek için zaman etiketli üçlüler kullandı ve mevcut gömme yöntemlerini basitçe genişletti. Örneğin, TransE'nin vektör tabanlı TTransE'ye genişletilmesi şu şekilde tanımlanır:
2) Varlık dinamikleri
Gerçek dünyadaki olaylar, varlıkların durumunu değiştirecek ve dolayısıyla karşılık gelen ilişkileri etkileyecektir. Zaman aralığı tahmininin performansını iyileştirmek için, bağlam zamanlama profili modeli, zaman aralığı tahminini bir durum değişikliği algılama problemi olarak resmileştirir ve durum ve durum değişiklik vektörlerini öğrenmek için bağlam kullanır.
"Bilin-evrim", varlıkların bilgi evrimi fenomenini ve bunların evrimleşmiş ilişkilerini inceleyen, derinlemesine gelişen bir bilgi ağıdır. İnsanlar, gerçeklerin oluşumunu modellemek için çok değişkenli bir zaman serisi nokta süreci kullandılar ve doğrusal olmayan zaman serisi evriminin temsilini öğrenmek için yeni bir tekrarlayan ağ türü geliştirdiler.
Düğümler arasındaki etkileşimi elde etmek için RE-NET, tekrarlayan sinir ağına dayalı olarak kodlayıcı ve komşu toplayıcı aracılığıyla olayların sırasını modeller. Spesifik olarak, zaman serisi varlıklarının etkileşimi hakkında bilgi elde etmek ve komşu toplayıcılar aracılığıyla eşzamanlı etkileşimleri toplamak için tekrarlayan sinir ağlarını kullanırlar.
3) Zamanlama bağımlılığı
İlişki zincirinde, zaman çizelgesi boyunca zamanlama bağımlılıkları vardır. Örneğin, "doğdu ... mezun oldu ... çalışıyor ... vefat ...". Jiang ve diğerleri, zamansal düzen ve tutarlılık bilgilerini tanıtmak için zamansal düzenleme ile ortak bir öğrenme çerçevesi olan zamana dayalı yerleştirmeyi önermiştir. Yazar, zamanlama puanlama işlevini şu şekilde tanımlar:
onların arasında,
R_k, r_l dizi ilişkisi için ilişkinin dizi sırasını kodlayan asimetrik bir matristir. O zamandan beri insanlar, tamsayı doğrusal programlama formülü aracılığıyla üç zaman tutarlılık kısıtlamasını, ayrıklığı, düzeni ve kapsamı daha da uyguladılar.
4) Zamansal mantık muhakeme
Araştırmacılar ayrıca zamansal muhakemenin mantıksal kurallarını da inceledi. Chekol ve arkadaşları, Markov mantık ağlarını ve deterministik olmayan zaman serileri bilgi grafikleri üzerinde akıl yürütme için olasılıksal yumuşak mantığı araştırdı. RLvLR-Stream, kapalı zaman yolu kurallarını dikkate alır ve muhakeme için bilgi grafiği akışından kuralların yapısını öğrenir.
4. Bilgi grafiğine dayalı uygulama
Yapay zeka uygulamaları için zengin yapılandırılmış bilgi çok kullanışlıdır. Ancak bu sembolik bilgilerin gerçek dünya uygulamalarının hesaplama çerçevesine nasıl entegre edileceği hala büyük bir zorluktur. Bu bölüm, doğal dil anlama (NLU) görevlerinde derin sinir ağlarına dayanan bazı yeni bilgi odaklı yöntemleri tanıtacaktır.
1) Doğal dil anlayışı
Bilgiye dayalı doğal dil anlayışı, birleşik bir semantik alana enjekte edilen yapılandırılmış bilgi yoluyla dil temsilinin performansını artırır. Son zamanlarda, bu alandaki bilgiye dayalı araştırma ilerlemesi, açık gerçek bilgi ve örtük dil temsilini kullanmakta ve birçok doğal dil anlama görevini araştırmaktadır.
Chen ve diğerleri, sözlü anlamadaki boşluklar arasındaki ilişkiyi göz önünde bulundurmak için iki bilgi grafiği (slot tabanlı bir anlamsal bilgi grafiği ve kelime tabanlı bir sözcük bilgisi grafiği) üzerinde çift grafikli rastgele bir yürüyüş tekniği önermiştir. . Wang ve diğerleri tarafından ağırlıklı "kelime-kavram" yerleştirme yoluyla uygulanan bilgiye dayalı konsept modeli, kısa metin temsili öğrenmeyi geliştirir. Peng ve diğerleri, kısa sosyal metinlerin olay sınıflandırma görevleri için heterojen bir bilgi grafiği oluşturmak için harici bilgi tabanlarını entegre etti.
2) Soru cevaplama sistemi
Bilgiye dayalı soru cevaplama (KG-QA) sistemi, doğal dil sorularını cevaplamak için bilgi grafiğinden elde edilen gerçekleri kullanır. Sinir ağı tabanlı yöntemler, dağıtılmış bir anlamsal alanda soruları ve cevapları temsil eder.Ayrıca sağduyu mantığına ulaşmak için sembolik bilgiyi enjekte eden bazı yöntemler de vardır.
Bilgi grafiğini harici bir istihbarat kaynağı olarak kullanarak, basit bir gerçeklere dayalı soru yanıtlama sistemi veya tek bir olgu sorusu yanıtlama sistemi, tek bir bilgi grafiği gerçeği tasarlama basit sorusuna yanıt verebilir. Bordes ve diğerleri bellek ağını basit soru ve cevap için harici bir bellek olarak kullandı.
Bu sinir ağı tabanlı yöntemler, performansı artırmak için sinirsel "kodlayıcı-kod çözücü" modelini birleştirir. Ancak karmaşık çok seviyeli ilişkileri idare etmek için, çok seviyeli sağduyu mantığını idare edebilen daha özel bir ağ tasarımına ihtiyaç vardır. Yapılandırılmış bilgi, bilgi açısından zengin sağduyu gözlemleri sağlar ve ilişkisel tümevarım önyargısı olarak var olur.Çok seviyeli akıl yürütme sembolleri ile anlamsal alan arasındaki sağduyu bilgisinin kaynaşmasına ilişkin son araştırmaları teşvik eder.
3) Öneri sistemi
Araştırmacılar, kullanıcıların geçmiş bilgilerini kullanan işbirlikçi filtreleme yoluyla öneri sistemleri hakkında kapsamlı araştırmalar yaptılar. Bununla birlikte, bu yöntem genellikle seyreklik problemini ve soğuk başlatma problemini çözemez. Bilgi grafiğinin dış bilgi olarak tanıtılması, tavsiye sistemine sağduyu muhakeme yeteneği kazandırabilir.
Araştırmacılar, bilgi grafiğine dayalı olarak yardımcı bilgileri (örneğin, varlıklar, ilişkiler ve öznitelikler) enjekte ederek, öneri performansını iyileştirmek için düzenlileştirme yerleştirme konusunda birçok çalışma yapmışlardır. İlişki yolunu ve bilgi grafiğinin yapısını hesaba katan bazı çalışmalar da vardır.KPRN, kullanıcı ile ürün arasındaki etkileşimi bilgi grafiğindeki "varlık-ilişki" yolu olarak görür ve yolda ilerlemek için dizinin bağımlılığını elde etmek için LSTM'yi kullanır. Kullanıcı tercihi tahmini.
4. Gelecekteki araştırma yönergeleri
Araştırmacılar, bilgi temsili ve ilgili uygulamaların zorluklarını çözmek için çok fazla çalışma yaptılar, ancak hala çözülmesi gereken bazı zor açık problemler var ve gelecekte bazı umut verici araştırma yönleri var.
1. Karmaşık muhakeme
Bilgi temsili ve muhakeme için sayısal hesaplamalar, varlıkların ve ilişkilerin anlamsal bilgilerini elde etmek için sürekli bir vektör uzayı gerektirir. Bununla birlikte, gömme tabanlı yöntemlerin karmaşık mantıksal akıl yürütme görevlerinde belirli sınırlamaları vardır, ancak ilişkisel yolların ve sembolik mantığın iki araştırma yönü daha fazla araştırmaya değer. Bilgi grafiğinde döngüsel ilişki yolu kodlaması, grafik sinir ağına dayalı bilgi aktarımı ve karmaşık akıl yürütme problemlerini çözmek için pekiştirmeli öğrenmeye dayalı yol keşfi ve muhakeme gibi umut verici araştırma yöntemleri vardır.
Mantık kurallarını ve yerleştirmeleri birleştirme açısından son çalışmalar, mantık kurallarını kullanmak ve belirsizlikleriyle başa çıkmak için Markov mantık ağlarını ve KGE'yi birleştiriyor. Belirsizliği ve alan bilgisini elde edebilen olasılıklı muhakeme elde etmek için verimli gömme kullanımı gelecekte dikkate değer bir araştırma yönüdür.
2. Birleşik bir çerçeve
Birçok bilgi grafiği temsili öğrenme modelinin eşdeğer olduğu kanıtlanmıştır. Örneğin, Hayshi ve Shimbo, HoIE ve ComplEx'in belirli kısıtlamalara sahip bağlantı tahmin görevleri için matematiksel olarak eşdeğer olduğunu kanıtladı. ANALOGY, çeşitli temsili modeller (DistMult, ComplEx ve HoIE dahil) için birleşik bir perspektif sağlar. Wang ve diğerleri, çift doğrusal modeller arasındaki bazı bağlantıları araştırdı. Chandrahas ve diğerleri, toplama ve çarpma bilgisi temsilinin öğrenme modelinin geometrik anlayışını keşfettiler.
Çalışmanın çoğu, bilgi grafiği tamamlama görevini ve bilgi edinmenin ilişki çıkarma görevini resmi olarak tanımlamak için farklı modeller kullanır. Han ve diğerleri, bilgi grafiği ve metni birlikte değerlendirdiler ve bilgi grafiği ile metin arasında bilgi paylaşan karşılıklı bir dikkat mekanizması kullanan ortak bir öğrenme çerçevesi önerdiler. Bununla birlikte, bu çalışmalar, birleşik bilgi temsili ve akıl yürütme anlayışı üzerine daha az araştırmaya sahiptir.
Ancak, bu konuda grafik ağının birleşik çerçevesi gibi birleşik bir araştırma yapmak çok anlamlıdır ve araştırma alanındaki boşlukları dolduracaktır.
3. Yorumlanabilirlik
Bilgi temsili ve enjeksiyonunun yorumlanabilirliği, bilgi edinimi ve gerçek dünya uygulamaları için kilit bir konudur. Yorumlanabilirlik açısından, araştırmacılar bazı ön çalışmalar yaptılar. ITransF, bilgi aktarımı için seyrek vektörler kullanır ve dikkat görselleştirme teknolojisi aracılığıyla yorumlanabilirlik sağlar. CrossE, bağlantı tahmininin yorumunu oluşturmak için gömülü yol aramasını kullanarak bilgi grafiğinin yorumlama yöntemini araştırır.
Bununla birlikte, bazı yeni sinir ağları etkileyici bir performans elde etmelerine rağmen, şeffaflık ve yorumlanabilirlik açısından hala sınırlamaları vardır. Bazı yöntemler kara kutu sinir ağı modelini sembolik akıl yürütmeyle birleştirmeye ve mantıksal kurallar getirerek yorumlanabilirliği artırmaya çalışır.
Sonuçta, ancak yorumlanabilirliğe ulaşılarak insanlar tahmin sonuçlarına ikna edilebilirler, bu nedenle araştırmacıların yorumlanabilirlik ve tahmin bilgisinin güvenilirliğini artırma açısından daha fazlasını yapmaları gerekir.
4. Ölçeklenebilirlik
Ölçeklenebilirlik, büyük ölçekli bilgi grafikleri için önemli bir konudur. Hesaplama verimliliği ile modelin ifade yeteneği arasında bir denge kurmamız gerekiyor ve 1 milyondan fazla varlığa sahip senaryolara yalnızca küçük bir miktar çalışma uygulandı. Bazı gömme yöntemleri, hesaplama ek yükünü azaltmak için basitleştirme tekniklerini kullanır (örneğin, döngü korelasyon işlemleri aracılığıyla tensörlerin ürününü basitleştirme). Ancak, bu yöntemlerin milyonlarca varlığa ve ilişkiye ölçeklenmesi hâlâ zordur.
Markov mantık ağlarının kullanımına benzer olasılıklı mantık muhakemesi, hesaplama açısından yoğun bir görevdir ve bu, görevi büyük ölçekli bilgi grafiklerine genişletmeyi zorlaştırır. Yakın zamanda önerilen sinir ağı modelindeki kurallar, basit kaba kuvvet araması (BF) ile üretilir ve bu da onu büyük ölçekli bilgi grafiklerinde imkansız kılar. Örneğin, ExpressGNN verimli kural çıkarımı için NeuralLP'yi kullanmaya çalışır, ancak karmaşık derin mimari ve büyüyen bilgi grafiği ile başa çıkmak için hala keşfedilecek çok sayıda araştırma çalışması vardır.
5. Bilgi toplama
Küresel bilginin bir araya getirilmesi, bilgiye dayalı uygulamaların özüdür. Örneğin, tavsiye sistemi "kullanıcı-meta" etkileşimini modellemek için bilgi grafiğini kullanırken, metin sınıflandırması metni ve bilgi grafiğini birlikte anlamsal alana kodlar. Bununla birlikte, mevcut bilgi toplama yöntemlerinin çoğu, dikkat mekanizmasına ve grafik sinir ağı (GNN) tasarımına dayanmaktadır.
Transformers ve varyantları (BERT modeli gibi) sayesinde, doğal dil işleme araştırma topluluğu, büyük ölçekli ön eğitim nedeniyle büyük ilerleme kaydetmiştir. Son araştırmalar, yapılandırılmamış metin kullanılarak oluşturulan önceden eğitilmiş dil modellerinin gerçekten de gerçeklere dayalı bilgi edinebileceğini bulmuştur. Büyük ölçekli ön eğitim, bilgi enjeksiyonunun doğrudan bir yoludur. Bununla birlikte, yalnızca kümeleşmeyi verimli ve yorumlanabilir bir şekilde yeniden düşünmek de mantıklıdır.
6. Otomatik inşaat ve dinamik değişiklikler
Mevcut bilgi grafikleri, maliyetli ve yoğun emek gerektiren bir iş olan manuel yapım yöntemlerine büyük ölçüde bağımlıdır. Farklı bilişsel zeka alanlarında bilgi grafiklerinin geniş uygulaması, büyük ölçekli yapılandırılmamış içerikten otomatik olarak bilgi grafikleri oluşturmak için gereksinimleri ortaya koymaktadır.
Son araştırmalar temel olarak, mevcut bilgi haritasının denetim sinyali altında bir bilgi haritasının yarı otomatik inşasına odaklanmaktadır. Çok modlu ve heterojen büyük ölçekli uygulamalar karşısında, otomatikleştirilmiş bilgi grafiği yapımı hala büyük zorluklarla karşı karşıyadır.
Şu anda, ana akım araştırmalar statik bilgi grafiklerine odaklanmaktadır. Çok az çalışma, zaman serilerinin etkililiğini araştırır ve zaman serisi bilgilerini ve varlıkların dinamik değişikliklerini öğrenir. Bununla birlikte, birçok gerçek yalnızca belirli bir süre içinde geçerlidir.
Dinamik bilgi grafiğinin zaman serisi özelliklerini dikkate alarak, geleneksel bilgi temsili ve muhakemesinin sınırlamalarını çözebilecektir.
