ICDE 2020 Dördüncü Cennet Yeni İşler: Farklı bilgi haritalarıyla gömülü puan işlevini farklı bilgi haritalarına çizmek
Bu makale, ICDE 2020'nin seçilen "Autosf: Bilgi Grafiği Gösterme için Puanlama İşlevlerini Arama" adlı makalesini tanıtmaktadır, yazar Hong Kong Bilim ve Teknoloji Üniversitesi ve dördüncü paradigmadan geliyor.
Yazar | Zhang Yongqi, Yao Quanming
| Dai Wenyuan, Chen Lei
- Tez Adresi: https: //arxiv.org/pdf/1904.11682.pdf
- Kod Adresi: https://github.com/yzhangee/autosf
- Slayt Adresi: https://github.com/yzhangee/research/blob/icde2020_slides.pdf
1. Giriş
Puanlama Fonksiyonu (SF), bilgi haritası gömülmesinin anahtarı haline gelen Bilgi Grafiğindeki (KG) üç Yuan grup programlamasının önemli bir göstergesidir. Son yıllarda, bilgi haritasında çeşitli ilişkileri yakalamak için çok sayıda puanlama işlevi tasarlanmıştır. Bununla birlikte, ilişki karmaşık modeller gösterebileceğinden, bu modellerin eğitimden önce çıkarılması zordur, bu nedenle mevcut temel veri kümelerinin hiçbiri diğer modlardan daha iyi performans gösteremez.
Bu yıl AutomL'den esinlenerek, bilgi haritasının (KGE) otomatik tasarımı ve keşfinde daha iyi bir SF Autosf algoritması öneriyor. Belirli bir alana sahip bir filtre ve bir öngörücü tarafından geliştirilen kademeli açgözlü bir arama algoritması kullanarak, insanların en son tasarım modelleriyle SF'den yeni, veri ile ilgili ve performans tasarlayabilirsiniz. Kenar tahmini ve üçlü kompozisyonun sonuçları, AutosF aramasının puan fonksiyonunun KG bağımlılığına sahip olduğunu ve puan fonksiyonunun en son tasarımından daha iyi olduğunu göstermektedir.
2 arka plan tanıtımı
Bilgi Diyagramı (KG), düğümler ve ilişkiler olarak varlıklarla özel bir grafik yapısı olarak, daha verimli arama sonuçları sağlayabilir, düğümlerin potansiyel özelliklerini keşfedebilir ve yapılandırılmış arama gibi birçok alt uygulamaya ilham verebilir. Veri madenciliği ve makine öğrenimi büyüktür. önemi. Amacı, orijinal harita bilgilerini mümkün olduğunca kaydetmek ve Tavsiye, Q & A gibi aşağı akışlı makine öğrenme görevlerini iyileştirmektir. Bilgi haritasında, her iki taraf üçlü bir grup olarak temsil edilir ve formu (baş varlık, ilişki, kuyruk varlığı) temsil edilir (h, r, t). Son yıllarda, son yıllarda çok dikkat çeken bilgi haritası (KGE), üçlü kombinasyonun rasyonelliğinin nasıl ölçüleceğini çözmek için etkili yöntemlerden biridir ve çok umut vericidir. Bir grup üçlü grupta, KGE, üç boyutlu varlık ve ilişkinin vektörünü öğrenebilir, böylece üçlü grubun rasyonalitesi ölçülebilir. Puanlama fonksiyonu, ölçüm rasyonalitesi için gömülü geri dönüşün (H, R, T) puanına dayanmaktadır. Genel olarak konuşursak, SF, öğrenicili sistemlerin kalitesi üzerinde önemli bir etkisi olan insanlar tarafından tasarlanmış ve seçilmiştir.
Bilgi haritası örneği
Bilgi haritası buluşa yerleştirildiğinden, akademik topluluk birçok puan işlevi önermiştir. Örneğin, iyi bilinen Transh, Transh ve Transit, farklı alanlardaki farklı alanlara yansıtılır ve gömülü olanın bir ila bir, bir veya daha fazla ila daha fazla arasındaki ilişkiyi modellemesini sağlar. Bu modeller çeviri mesafesi modelleri (TDMS) olarak sınıflandırılır. Bununla birlikte, TDMS'nin ifadesi güçlü değildir ve ampirik performans diğer modeller kadar iyi değildir. Öden, uzak, karmaşık, analoji ve yakın zamanda önerilen, R'nin ilişkiyle ilgili gömülü bir kare matrisi olduğu üç -yuan grubunun rasyonalitesini modellemek için çift hat işlevi HRT kullanarak basit önerildi. Bu modeller bilinear modellerdir (BLMS). Farklı BLM'ler, farklı veri kümelerine uyum sağlamak için ilişki matrisini düzenlemek için farklı kısıtlamalar kullanır. Derin öğrenimden esinlenerek, MLP, NTM, nöral LP ve ConvE (NNMS) gibi sinir ağı modelleri de SFS olarak kullanılır. Nöral ağı fonksiyonu ve güçlü ifade yeteneği olmasına rağmen, iyi bir düzenleme olmadığı için NNMS'nin KGE'deki performansı ideal değildir.
Mevcut SF'de, BLM tabanlı SF en etkili olanıdır, bu da en son makalelerden ve ifade ile ilgili teorik garantilerden görülebilir. Bununla birlikte, farklı KG'nin ilişkide farklı modları olduğundan, bir kg SF'nin diğer kg üzerinde performansına uyum sağlamak kolay olabilir. Bu nedenle, en gelişmiş SF'yi aşmak için yeni bir SF tasarlamak bir meydan okuma. Biri belli bir şey. KG seçimi ve iyi bir SF tasarlamak daha da zor.
3 Bu sefer iş yöntemi
Son yıllarda, otomasyon makinesi öğrenimi (otomatik), makine öğrenimini büyük ölçüde azaltabilecek eşik ve işçilik maliyetleri nedeniyle akademik ve endüstriden yaygın olarak dikkat çekmiştir. Güçlü işlevlerini üstyapı optimizasyonu, model seçimi, sinir ağı arama ve özellik mühendisliği açısından gösterir. Son yıllarda, Hot Nöral Ağ Arama Algoritması (NAS), tasarlanan model, insanlar tarafından tasarlanan ağdan daha az parametreye ve daha iyi performansa sahip olabilir.
Otomatik Makine Öğrenimi (Otomatik) Şematik Diyagram
AutomL'den esinlenen bu çalışma, verilen KG SF'yi otomatik olarak arayabilen, aynı zamanda eşiği ve maliyeti de azaltabilen otomatik bir puanlama fonksiyonu (AUTOSF) önerdi. Bununla birlikte, yukarıdaki hedeflere ulaşmak kolay değildir. Bunlar arasında, iki önemli husus dikkate alınmalıdır: biri, hedef problem modellemesinin önemli doğasını bulmaya yardımcı olan uzay aramaktır; öz.
Çalışmanın çözümü: BLM'leri farklı KG yapıları kendi kendine uyarlamalı arama için ayarlamak, böylece yeni verilerle ilişkili SF'ler tasarlamak. Ayrıca, Autosf aramasına yardımcı olmak için KG alanının benzersiz doğasının nasıl kullanılacağı çok önemlidir. İlk olarak AutosF için bir arama alanı oluşturmak için yaygın olarak kullanılan SF üzerinde birleşik bir temsil belirliyoruz. Daha sonra, SF'yi etkili bir şekilde aramak için açgözlü bir algoritma önerdik ve algoritmayı filtre ve öngörücü aracılığıyla daha da hızlandırdık, SF'den, zayıf olan model eğitimi adaylarının aynı ifade yeteneğine sahip SF'den kaçınarak kaçınarak kaçındık. Efekt.
Spesifik olarak, farklı SF'ler KG'de farklı ilişkiler için farklı modelleme özelliklerine sahiptir. Aşağıdaki tabloda gösterildiği gibi, uzak sadece simetrik ilişkiler için modelleme olabilirken, diğer bazı SF'ler asimetrik ve zıt ilişkilerden farklıdır. Modelleme yeteneği. Aynı zamanda, ifade formları da farklıdır.
Etkili bir arama alanı oluşturmak için Autosf önce tablodaki birkaç BLM için birleşik bir ifade formu oluşturdu, yani farklı SF'ler elde edilebilir. Aralarında ilgili kare matrisine gömülür ve bu SF arasındaki fark formda yatar. R. Aşağıdaki şekilde gösterildiği gibi, bu SF R bir 4x4 blok matrisine soyutlanabilir. Fark, ilişkinin her birine nasıl yerleştirileceği ve pozitif ve negatif sayılarıdır. Bu gözleme dayanarak, aşağıdaki şekilde (e) 'de gösterilen arama alanı dışında AutoSF soyutlaması, bilinen BLM'yi etkili bir şekilde kaplayabilir ve yeni modelleri keşfetme yeteneğine sahip olabilir.
Bu arama alanında farklı bir yapı olduğu düşünüldüğünde ve her yapının eğitimi ve değerlendirilmesi düzinelerce dakika sürer. Daha iyi yapılar için hızlı ve etkili bir şekilde nasıl aranacağı, arama algoritmasının bakması gereken bir sorundur.
Autosf ilk olarak açgözlü algoritmayı basit modellerden daha karmaşık modeller aramak için kullanır.
Arama verimliliğini daha da artırmak için, bu kötü ve eşdeğer modellerde zaman geçirmekten kaçınmak için tatmin edici olmayan matrisi ve eşdeğer matris yapısını filtreleyebilen özel bir filtre öneriyoruz. Aynı zamanda, KG'de simetri gibi önemli özelliklere dokunmak için, prediktör teknolojisi, matris yapısından (aşağıda gösterildiği gibi) simetrik ile ilgili özellikleri çıkarmak için kullanılır ve daha sonra öğrenmeyi eşlemek için değerlendirme sonuçlarını kullanır. Özellikler ve etkiler. Daha fazla eğitim modeli seçmek için matris yapısını kullanın.
Açgözlü algoritmalar, filtreler ve öngörücülerin arama algoritmasına dayanarak, AutoSF'nin sadece yüzlerce model arama temelinde mevcut modelden daha iyi bulabilmesine izin vermek.
İşin katkısı:
- Her şeyden önce, çalışma mevcut SF hakkında önemli bir gözlem vardır, böylece BLM tabanlı SF'yi birleşik bir biçimde temsil edebiliriz. Tekdüze temsil temelinde, SF tasarımı bir otomatik problem (Autosf) olarak temsil edilir ve insan tasarımının mükemmel SF'sini kapsayan karşılık gelen arama alanı kurulur ve yeterince geniş.
- İkincisi, çalışma, farklı KG'lerin simetri, asimetri ve ters arasındaki ilişkide farklı özelliklere sahip olduğunu buldu. Bu nedenle, KGE modeli alanın spesifik analizinde gerçekleştirildi ve tasarım kısıtlamaları, sonraki uzay aramasını etkili bir şekilde yönlendirmek için tasarlandı.
- Üçüncüsü, çalışma alanı aramak için kademeli açgözlü bir algoritma önerir. Yedekli SF'yi eğitmekten kaçınmak için bir filtre oluşturarak ve etkili SF seçmek için spesifik simetri ile ilişkili özelliklere (SRF) sahip bir öngörücü oluşturur. Bu algoritma, aday SF'nin belirli alan özelliklerini yakalayarak arama alanının boyutunu önemli ölçüde azaltmıştır.
- Son olarak, beş popüler bağlantı tahminleri ve üçlü set sınıflandırma görevleri üzerindeki ölçütler üzerindeki deneyler, AutosF tarafından aranan SF'nin insanlar tarafından tasarlanan en son SF'den daha iyi olduğunu göstermektedir. Ayrıca, aranan SF'nin KG bağımlılığı vardır. Ayrıca SF Arama üzerinde vaka çalışmaları yürüttük, KG'yi analiz etmek için yöntemler sağladık ve gelecekteki araştırmaların daha iyi anlaşılmasını sağladık.
4 deneysel sonuç
Çalışma, beş popüler bağlantı tahminleri ve üçlü set sınıflandırma görevleri üzerinde denenmiştir.
AutoSF'nin etkinliğini doğrulayın
Aşağıdaki şekil, Autosf ve mevcut en gelişmiş SF'nin test performansını göstermektedir. BLMS'de mutlak kazanan olmadığı görülebilir.
Buna ek olarak, tez, en iyi SF'nin öğrenme eğrisini ve karşılaştırmalı model dağılımı, benzetmesi, karmaşık ve Autosf tarafından kullanılan basit olarak çizildi. Aşağıdaki şekilde gösterildiği gibi, arama SF sadece taban çizgisinden daha iyi değil, aynı zamanda yakınsama hızı daha hızlıdır. Bunun nedeni, bu SF'lerin bu veri kümeleri arasındaki ilişkiyi daha iyi yakalayabilmesi olabilir.
Şekil 4. Model eğitiminin saat süresi (saat cinsinden) ile karşılaştırma V.S Arama SF'leri (AUTOSF ile) ve insan tarafından tasarlanmış olanlar arasındaki MRR'yi test etme.
AutoSF'nin özelliğini doğrulayın
Aranan SFS'nin bağımlı ve yeni olduğunu doğrulamak için, onu aşağıdaki şekilde çiziyoruz. Açıkçası, bu SF'ler farklıdır ve eşit değildir.
Aşağıdaki tabloda gösterildiği gibi, WN18 ve FB15K birçok simetrik, zıt ilişkiye ve ters ilişkilere sahiptir. Onlarda aranan en iyi SF çok benzerdir ve aynı simetrik özelliklere sahiptir. Diğer üç veri kümesi daha gerçekçidir ve daha az simetri, zıt ve ters ilişkiler vardır, bu nedenle öngörücünün önemini yansıtan farklı simetrik özelliklere sahiptirler.
Autosf verimliliğini doğrulayın
Çalışma AutoSF'yi rastgele arama ve Bayes algoritması ve genel bir cihazla karşılaştırdı. Aşağıdaki şekilde gösterildiği gibi, yaklaşık cihazın performansı BLM'den çok daha kötüdür, çünkü çok esnektir, alandaki belirli kısıtlamaları dikkate almak imkansızdır ve aşırı uyum sağlamak kolaydır. BLM'nin ayarı için, Bayes algoritması rastgele araştırmanın verimliliğini artırabilir, ancak kısmi optimal hale getirmek kolaydır ve KG alanının benzersiz doğasını dikkate almaz. Birlikte ele alındığında, Autosf en verimlidir ve en iyi zaman performansına sahiptir.
5. Sonuç
Bu makale KGE'de daha iyi bir SF algoritması Autosf önermektedir. Bir filtre ve belirli bir alana sahip bir öngörücü tarafından geliştirilen kademeli açgözlü bir arama algoritması kullanarak, Autosf büyük arama alanında yeni, yeni ve daha iyi SF'yi etkili bir şekilde tasarlayabilir. Arama algoritmasındaki her ağırlık anlamlıdır ve arama süper pişmiş sayıya duyarlı değildir.
Gelecekteki çalışmalarda umut verici bir yön, belirli alanların kısıtlamaları altında sinir ağı modellerine dayalı SF'nin nasıl etkili bir şekilde aranacağını araştırmaktır. AutoSF'de kullanılan açgözlü algoritma, arama alanının bir dereceye kadar keşfini sınırlar, bu da çözülmesi gereken potansiyel bir sorundur. Erken durdurma yöntemi gibi hızlı değerlendirme yöntemleri, arama verimliliğini daha da artırmak için çalışma tarafından önerilen yöntemlerle birleştirilebilir.
