AAAI Online Live | Dikkat HetSANN modeline dayalı olarak heterojen ağ semantik bilgilerini otomatik olarak madenciliği
Yazar | Didi Editör | Jia Wei
Gerçek dünyadaki veriler genellikle, karmaşık bir heterojen bilgi ağı oluşturmak için farklı varlık ilişkileri yoluyla birbirleriyle ilişkili olan birden çok türde varlık içerir. Didi AI Labs ekibi, iş dünyasında yaygın olarak bulunan heterojen bilgi ağını etkili bir şekilde araştırmak için, uzmanlar tarafından tanımlanan geleneksel modeli kullanmaya gerek duymayan, dikkat mekanizmasına dayalı olarak bağımsız bir şekilde heterojen bir grafik sinir ağı modeli (HetSANN) geliştirdi. Meta yol, orijinal heterojen bilgi ağındaki zengin anlamsal bilgileri doğrudan ve otomatik olarak işleyebilir ve çıkarabilir ve ağdaki varlıklar için varlık sınıflandırması gibi aşağı akış görevlerine uygulanacak daha etkili kodlama temsilleri çıkarabilir.
Makalenin tam metni: https://arxiv.org/abs/1912.10832
Önceki yöntemlerin sınırlamaları ile karşılaştırıldığında, bu makalenin ana yenilikleri şunlardır:
1. Önerilen HetSANN modeli, heterojen bilgi ağları üzerinde gömülü temsil öğrenimini doğrudan gerçekleştirmek için dikkat mekanizmasına dayanan grafik evrişimli sinir ağını kullanır ve artık heterojen bilgi ağlarını işlemek için yapay olarak tanımlanmış meta-yolları kullanmaya gerek yoktur;
2. Metin aynı zamanda heterojen bilgi ağlarındaki ilişkilerin yönlülüğünü, varlık tipi dönüşüm sürecindeki döngüsel tutarlılığı ve çok görevli öğrenmede HetSANN uygulamasını araştırmaktadır.
Bu makalenin içeriğiyle ilgili olarak, AI Technology Review bu makalenin ilk makalesini 22 Şubat akşamı saat 8'de canlı yayınlanmaya davet etti, bu yüzden bizi izlemeye devam edin:
[Saat] 20:00 PM, 22 Şubat 2020
[Canlı yayın adresi]
Heterojen bilgi ağının gömülü temsil öğrenimi
Heterojen bilgi ağı (heterojen grafik olarak da adlandırılır), ikiden fazla köşe türü veya ilişki türü içeren bir grafik yapısı verisidir (Şekil 1a). Heterojen grafikte yer alan zengin anlamsal bilgiyi düşük boyutlu vektör uzayına yerleştirebilmek için mevcut ana yöntem, heterojen bilgi ağını bir meta-yol aracılığıyla homojen bir grafiğe dönüştürmek ve ardından öğrenmek için homojen grafiğin gömülü temsil yöntemini kullanmaktır. Ağın vektör gösterimi (Şekil 1b). Örnek olarak HAN'ı ele alırsak, bu yöntem bir meta-yol "yazar- > makale- > toplantı- > makale- > "Yazar", ağdaki "iki yazarın aynı toplantıda makaleler yayınlamış" anlamını ifade eder ve ardından anlambilim (meta yol) üzerindeki homojen grafik elde edilir ve son olarak homojen grafik grafik sinir ağı kullanılarak gömülür. Formül öğrenmek demektir.
Şekil 1: Heterojen bilgi ağının ve meta yolunun şematik diyagramı. (A) Akademik bilgiler hakkında heterojen bilgi ağı (b) Meta-yola dayalı heterojen grafiğin gömülü temsil yönteminin şematik diyagramı.
Meta yol tabanlı heterojen grafik gösterimi öğrenme yöntemi, alan uzmanları tarafından önceden özelleştirilmiş meta yola dayanır, ancak heterojen bilgi ağında bulunan zengin anlambilimsel bilgilerin birden çok meta yolla tüketilmesi genellikle zordur. Ek olarak, hedef tepe noktasının komşu düğümlerini bulmak için meta-yolu kullanma sürecinde, bağlantı kenarlarının türü ve köşe öznitelikleri vb. Gibi meta-yolun zengin bilgileri kaybolur. Bu nedenle, heterojen bilgi ağları için heterojen bilgileri kaybetmeden gömülü temsil öğreniminin nasıl gerçekleştirileceği büyük bir zorluktur.
Daha zengin bir semantik temsil vektörü elde etmek için, bu makale artık meta-yola dayalı olmayan heterojen grafik gömülü temsil öğrenme yöntemi önermektedir, Heterojen Grafik Yapısal Dikkat Sinir Ağı (Heterojen Grafik Yapısal Dikkat Sinir Ağı). Şekil 2'de gösterildiği gibi, HetSANN, orijinal heterojen bilgi ağı üzerinde doğrudan grafik yapısı evrişim işlemlerini gerçekleştirir ve heterojen bilgi ağındaki yapısal bilgileri araştırmak ve köşelerin düşük boyutluluğunu öğrenmek için hedef görevler (hedef köşe sınıflandırması gibi) tarafından yönlendirilir. Gömülü temsil. HetSANN'ın her katmanı, türe duyarlı dikkat içeren heterojen yapı ağları için özel olarak tasarlanmış bir Tür Farkında Dikkat Katmanıdır (TAL).
p Şekil 2: HetSANN modelinin genel çerçevesinin şematik diyagramı
Modelin anlamsal yakalama yeteneğini geliştirmek için, her TAL, tepe noktasının komşu düğümleri hakkındaki bilgileri toplamak için çok başlı bir dikkat mekanizması kullanır. Şekil 3'te gösterildiği gibi, TAL'deki her bir dikkat başlığı iki bölümden oluşur: 1) Köşe tipi uzay dönüştürme işlemi; 2) Komşuluk bilgilerinin toplanması. Grafikteki P1 tepe noktasını örnek olarak alırsak, ilk önce köşe P1'i ve komşu düğümlerini P1 düğüm türünün (makale) örtük boşluğuna eşleriz, yani formül (1) 'de gösterildiği gibi makale türünün komşu köşelerini iletiriz. P1'in doğrusal dönüşümü "makale" alanına eşlenir ve yazar türünün komşu köşeleri orijinal "yazar" alanından "makale" alanına eşlenir ve bu şekilde, P1'in birinci dereceden komşu düğümlerinin tümü "makale" ile eşlenir Örtülü alana gelin.
Şekil 3: TAL'deki dikkat başlıklarından birinin işlem akışının şematik diyagramı
Daha sonra, P1 ile bu komşu düğümler arasındaki ilişki türüne göre her kenarın dikkat puanını hesaplıyoruz:
R ilişki türü için dikkat parametresi nerede. Bu nedenle, P1'in tüm bağlantı kenarları için bağlantı köşe türü ve ilişki türü ile ilgili bir dikkat puanı hesaplanabilir ve karşılık gelen ağırlıkları softmax normalleştirmesinden sonra elde edilir:
Daha sonra hesaplanan ağırlığa göre P1 tepe noktasının komşu bilgilerinin ağırlıklı toplanmasını gerçekleştirebiliriz, böylece baş m'deki P1 tepe noktasının gizli katman temsilini elde edebiliriz:
Son olarak, TAL katmanındaki M dikkat başlıklarını, l + 1 katmanının düğümünün gizli katman temsili olarak birleştiriyoruz:
Yönlendirilmiş yan ilişkinin eşleşmesini düşünün
Yönlendirilmiş kenarlar genellikle Şekil 1'de "yazma" ve "yazılı" gibi bağlantı ve bağlantılı olmak üzere iki anlamsal ilişki içerir. Bu eşleştirilmiş anlamsal ilişki aslında birbiriyle ilgilidir, ancak yukarıdaki dikkat puanında Hesaplama sürecinde, formül 3'teki hesaplama yönteminin bu ikili ilişkinin alaka düzeyini tespit etmesi zordur. Bu amaçla, "ses paylaşımı" dikkat puanı hesaplama yöntemini, yani eşleştirilmiş ilişki türünün dikkat parametrelerini paylaşarak karşılıklı bir ilişkiye sahip olmalarını öneriyoruz: Formül 3'ü şu şekilde yeniden yazın:
Bu nedenle, "ses paylaşımı" dikkat mekanizmasının kullanımı, yönlendirilmiş yan ilişkinin eşleşmesini yakalayabilir, böylece modelin daha iyi gömülü bir temsil elde etmesine yardımcı olabilir.
Varlık türü dönüşümünde döngüsel tutarlılık
Formül 1'deki dönüşümden sonra farklı köşe türlerinin aynı örtük alana eşlenmesini sağlamak için döngüsel bir tutarlılık kaybı uyguluyoruz. Şekil 4'te gösterildiği gibi, dönüştürmeden sonra köşe tipinin bir tepe noktası tarafından ulaşılan alan, diğer köşe türlerinin ulaştığı alanla ve ardından haritalama yoluyla tutarlı olmalıdır.
Şekil 4: Döngü tutarlılık kaybının şematik diyagramı
Bu nedenle, döngü tutarlılık kaybı işlevimiz:
HetSANN'in çok görevli öğrenmede uygulanması
Önceki meta-yol tabanlı heterojen grafik gömülü gösterim öğrenme yönteminden farklı olarak, HetSANN, yalnızca belirli bir hedef tepe türünü öğrenmek yerine, ağdaki tüm düğümlerin gömülü temsillerini aynı anda öğrenebilir. Bu nedenle HetSANN, çoklu görev öğrenmede büyük avantajlara sahiptir, yani farklı köşe türleri için hedef görev öğrenimi gerçekleştirebilir. Aynı zamanda, çoklu görev öğrenme, HetSANN modeline aşırı uyma riskini de büyük ölçüde azaltır ve gömülü temsilin güvenilirliğini ve sağlamlığını geliştirir. Bu yazıda köşe sınıflandırma görevi ile ilgili deneyler yapılmıştır.Tablo 2 ve Şekil 5'in her ikisi de HetSANN'in meta-yola dayalı yönteme göre üstünlüğünü göstermektedir.
Üç veri kümesinde, yukarıdaki üç stratejiyi entegre eden HetSANN.M.R.V, en rekabetçi GAT modeline kıyasla mikro ortalama F1'i% 3 ~% 13 ve makro ortalama F1'i% 3 ~% 19 iyileştirir. HAN'ın, DBLP veri kümesindeki "makale" köşe sınıflandırma görevinde mükemmel performans elde ettiğini, ancak "yazar sınıflandırması" görevindeki performansının tatmin edici olmadığını belirtmek gerekir. Bunun nedeni, DBLP ağında bulunan "buluşma" köşesinin HAN'ın "makaleyi geçmesine yardımcı olabilmesidir. > toplantı- > "Makale" meta-yolu, aynı alanda yayınlanan makaleleri doğrudan ilişkilendirir, böylece HAN, makalenin türünü doğru bir şekilde belirleyebilir.Ancak, "konferans" tepe noktası olmayan AMiner veri setinde, HAN'ın meta yolunu kolayca tanımlaması zordur. Anlamsal bilgi istemleri alın, bu nedenle HAN'ın AMiner'deki performansı zayıf.
HetSANN'in 3 veri setindeki performansına bakıldığında, HetSANN, meta-yollara benzer herhangi bir anlamsal bilgi istemi olmadan daha iyi performans elde edebilir; bu, HetSANN'in heterojen haritaların ve gömülü HetSANN'in gömülü temsillerini etkili bir şekilde öğrenebileceğini gösterir. Temsilin sağlamlığı.
