Zheng Wenchen: Ağ işlevi modülüne dayalı grafik özelliği öğrenimi AI Araştırma Enstitüsü 79 Konferans Salonu
AI Araştırma Enstitüsü Basını: Grafik, birçok farklı tahmin görevi için kullanılabilen ortak bir veri yapısıdır. Grafik verilerinden etkili özelliklerin nasıl öğrenileceği önemli bir konudur. Yeni konseptimiz, nokta ve kenarlardan başlamak ve grafik özelliği öğrenmeye yardımcı olmak için daha yüksek dereceli alt grafik yapılarına (yollar, alt grafikler gibi) genişletmektir. Bu üst düzey alt grafik yapıları genellikle farklı işlevlere sahiptir, hatta tüm ağı birlikte oluştururlar, bu nedenle bu üst düzey alt grafik yapılarına Ağ İşlevsel Blokları diyoruz.
Bu paylaşımda konuklar, etkili grafik özelliği öğrenimi için farklı ayrıntı düzeylerine sahip ağ işlevi modüllerini keşfetmedeki son ilerlemelerini tanıtmak için bir uygulama örneği olarak Anlamsal Yakınlık Aramasını kullanacaklar.
Konuk paylaşma:
Zheng Wenchen, WeBank'ın yapay zeka proje ekibinde uzman bir mühendis ve genel müdür yardımcısıdır. Ana araştırma yönü, özellik öğrenme ve yapılandırılmış verilerin aktarımı öğrenmesidir.İlgili araştırma alanlarında 60'tan fazla en iyi konferans ve dergi makalesi yayınlamıştır ve bir dizi patent ve teknolojiye sahiptir.
Grafik veri özelliği mühendisliğindeki başarı, en iyi uluslararası yapay zeka konferansı olan IJCAI 2018'in Erken Kariyer Spotlight'ını kazandı ve kullanıcı davranışı tanımaya uygulanan geçiş öğreniminin başarısı, ICCSE 2018'in en iyi kağıt ödülünü kazandı. Bilişsel Hesaplama dergisinin yardımcı editörüdür. Aynı zamanda yapay zeka üzerine birçok üst düzey uluslararası konferansın yayın kurulu üyesi ve seminerin organizatörüdür.
Sınıf oynatma adresini açın:
Konuyu paylaş: Ağ işlev modülüne dayalı grafik özelliği öğrenme
Ana hatları paylaşın:
-
Grafik özelliklerinin öğrenilmesine giriş.
-
Ağ fonksiyon modülü kavramı ve semantik alaka aramasında uygulaması.
-
Ağ işlevi modülleri için bir çözüm olarak düğüm yolunu kullanın.
-
Ağ işlev modülü için bir çözüm olarak yolu genişletmek için alt grafiği kullanın.
-
Ağ işlevi modülleri için bir çözüm olarak heterojen yönlendirilmiş döngüsel olmayan grafiği kullanın.
-
sonuç olarak.
-
Weizhong AI İşe Alımına Giriş
AI Araştırma Kulübü Paylaşılan içeriği aşağıdaki gibi düzenleyin:
Öncelikle size kısaca bir giriş yapmama izin verin: Grafik ortak bir veri yapısıdır.Birçok farklı grafik yapısının, özellikle bu tür heterojen grafik ağlarının olduğunu göreceğiz. Daha yaygın olan türler, işyeri ağlarını ve sosyal ağları içerir. İnternet, akademik ağ, e-ticaret ağı vb.
Geçmişte, grafik verileri / karakteristik öğrenme ile uğraşıyorduk ve ana çözüm şuydu: Grafiklerin "nokta" düzeyinde öğrenilmesini sağlayın Örneğin aşağıdaki resimde sol taraf resmin yapısıdır.Genellikle resimdeki her noktayı birinci boyutlu uzaya haritalandırmak olan resmin özelliklerini buna göre öğreniriz.Bu yapılırsa resimdeki benzer noktalar Birinci boyutta da çok yakın olacak, sarı noktalar ve sarı noktalar bir araya gelecek ve siyah noktalar ile siyah noktalar bir araya gelecek.
Bir nokta gösterimi elde etmek için bir grafiğin yapısını düşük boyutlu bir uzayla eşleştirmek nispeten basit bir yöntemdir. Aslında, grafiğin yapısı, özellikle grafikte heterojen bilgi olduğunda oldukça ilginçtir. Grafiğin kendisi topolojik bir yapıya sahip olduğundan, birçok farklı modül olduğunu göreceğiz. Bir e-ticaret diyagramı düşünün, bu nokta bir alıcı olabilir, ancak işlevsel konumlandırma açısından bir roldür. Nokta yapısına ek olarak başka yapılar da vardır, Örneğin, yol (alıcı-araba-satıcı) ve daha karmaşık alt haritalarımız var (satıcı-kitap şehir-alıcı).
Bu nedenle, aynı resim farklı noktalardan ve farklı resimlerden oluşur, aralarında farklılıklar vardır.Nokta-yol-alt grafiğinden her biri, fonksiyon farklılığından dolayı farklı işlevler taşır. , O halde anlambilim farklı. Bu yüzden düşünüyoruz Bir resim birçok farklı modülden oluşur Ve her modülün işlevi temelde iki faktöre bağlıdır: Biri topolojidir Yani şekil nedir; İkincisi, tahmin görevinin ne olduğudur.
Bu aynı zamanda grafiğin sadece noktalar arasındaki bağlantı olmadığı, aslında bu noktalar arasındaki değişimlerin çok zengin olduğu, farklı alt grafiklerin yapısını oluşturdukları anlamına gelir, bu alt grafik yapıları bize Zengin anlambilim.
Geleneksel yönteme göre, herkes grafikteki noktaları doğrudan öznitelik vektörleri haline getirecektir.O zaman soru şu ki, bu zengin semantik topolojik yapılardan ister yol ister alt grafik olsun, iyi bir şekilde yararlanabilir miyiz, yapacağız Ağın işlevsel modülleri olarak bu yapıları daha zengin anlambilimle kullanmak için genişletilirler ve daha sonra bu işlevsel modülleri temel alan ağ özelliklerini öğrenirler ve son olarak bu özellikleri nokta sınıflandırması, regresyon, sıralama vb. Yapmak için kullanırlar. Kısacası, nokta seviyesi ile sınırlı değil, ağ işlevi modülleri kavramını keşfetmek. Bu bizim genel düşüncemizdir.
Anlamsal Yakınlık Araması
Son zamanlarda yaptığımız iş, bazı özel ağ işlevi modüllerinin kullanım senaryolarını araştırmaktır. Burada, bu ağ işlevi modülünün konseptini tanıtmak için örnek olarak bir senaryo kullanacağım. Bu örnek, nispeten yaygın bir heterojen görsel arama uygulaması olan Anlamsal Yakınlık Aramasıdır. Anlamsal alaka düzeyi araması bağlamında, bir sorgu ve bir ilişki verildiği sürece, diğer düğümler sıralanabilir, bu da bize bu uygulama için çok fazla hayal gücü verir. Ayrıca, heterojen haritanın kendisi, anlambilimle ilgili aramalar için en uygun olan farklı işlevsel modüllere sahiptir.
Öyleyse anlamsal ilişkili geri getirmenin zorlukları nelerdir? İki ana konu olduğunu düşünüyoruz:
1) Düğüm gömme daha dolaylı bir çözümdür. Anlamsal alaka alımını yaptığımızda, iki düğüm arasındaki anlamsal ilişkiyi önemsiyoruz.Nokta gömme için, her düğüm arasındaki vektörle daha çok ilgileniyoruz. İki düğümün birbirine doğrudan bitişik olması gerekmediğini göz önünde bulundurarak, iki noktanın vektörü verildikten sonra, iki nokta arasındaki mesafeyi hesaplamamız gerekiyor, bu da birçok şekilde hesaplanması gerektiği anlamına geliyor. Hangi hesaplama yönteminin en iyisi olduğunu bilmiyorum. Ayrıca çoğu durumda nokta gömme daha çok homojen görüntüleri işlemek için kullanılır; heterojen bir görüntü ise bir örnek vereceğim: "Diş fırçası aldım." Diş fırçasının gömülmesine çok benzediğim söylenemez. Bunun anlamı ne? Geleneksel düğüm gömme, bu tür grafiğin heterojenliğiyle başa çıkmak zordur. Sonuç olarak, düğüm gömme daha dolaylı bir çözümdür çünkü tek bir noktanın yapısıyla değil, iki nokta arasındaki yapıyla ilgilidir.
2) Heterojen grafikleri yerleştirmeye adanmış herhangi bir çalışma var mı? Evet, daha yaygın olanı bilgi grafiği yerleştirmedir ve bu alanda özellikle birçok iyi iş vardır. Bilgi grafiğinin yerleştirilmesinin çok ilginç bir çözüm olduğunu düşünüyoruz, ancak şu vurgulanmalıdır: Bilgi grafikleri aslında göreceli olarak özel heterojen grafiklerdir ve genel olarak baş, ilişki ve kuyruk kısımlarına bölünür Ancak, genel heterojen grafik nadiren bu kadar "temiz" bir ilişki zincirine sahiptir. İki nokta arasındaki mesafeyi düşünürsek, asıl ilgilendiğimiz nokta önce hangi noktanın gömülü olduğu değil, yapının bu iki nokta arasına gömülmesidir.
Bu, işte daha zor olduğunu düşündüğümüz şey.
Ağ işlev modülü olarak düğüm yolunu kullanan çözüm
Daha sonra, anlamsal ilgili arama görevlerini çözmek için üç görevimizi - üç ağ fonksiyon bloğumuzu (Ağ Fonksiyon Blokları) tanıtacağım.
İlk iş çok basit.Ağ işlevi modülleri olarak heterojen yolları kullanıyoruz. Ana fikrimiz, iki düğüm arasındaki mesafeyi önemsediğimiz için, Ardından, iki nokta arasındaki ağ yapısını girişe getirin, buradan alıntı vektör özelliklerini hesaplayın ve ardından korelasyonu kapsamlı bir şekilde hesaplayın. Bunun avantajı, düğümler arasındaki yapıyı nispeten basit bir yaklaşım olan bir eşlemeye dönüştürmektir; Ayrıca, bu heterojen bir alt grafik yapısı olduğu için, bu yaklaşım sürekli devam etmemizi engelleyebilir. Her düğümün durumunu düşünün.
Spesifik işlemde, ilk önce iki düğüm arasındaki yapıyı (heterojen bir yoldan elde edilen) özellik öğrenmeye (herhangi bir dizinin bir öğrenme modeli kullanılabilir) giriyoruz ve sonra bazı indirimli havuzlama yapıyoruz, çünkü tüm özellik ifadesi farklı. Başka bir deyişle, bazı yollar uzun olabilir, bazı yollar kısa olabilir ve bazı yollar çok önemli olmayabilir. Sonundan sonra, bu farklı yolları bir vektöre entegre ediyoruz ve sonunda bir gömme elde ediyoruz ve ardından son mesafe değerini elde etmek için gömme işlemini parametre vektörüyle çarpıyoruz. Anlamsal alaka düzeyi araması için, belirli bir nokta ile nokta arasındaki mesafe olduğu sürece bir sıralama yapabiliriz. Bu nedenle, bire bir eğitim yapmayı ve yolları indirimli bir şekilde birleştirmeyi seçiyoruz.İşlem çok basit, ancak sonuçlar oldukça ilginç.
ProxEmbed, yol tabanlı bir işlem yöntemidir.Aslında, iki düğüm arasındaki ağ yapısını bir grup yol üzerinden yaklaştırır. Bu fikir, diğer birçok çalışma alanında da kullanılmaktadır. Bu yola dayalı yöntem çok başarılı olsa da daha sonra yolun nispeten düşük seviyeli bir yapı olduğunu keşfettik.Her bir yol ayrı ayrı ele alınırsa, çıkarılabilecek bilgiler çok kısıtlıdır. Çok iyi bir havuz oluşturma stratejiniz olmadıkça, bilginin farklı yollarla nasıl görüldüğünü yargılayamazsınız, bu nedenle zengin semantiği tanımlamak yeterli olmayabilir.
Ağ işlevi modülüne bir çözüm olarak yolu genişletmek için alt grafiği kullanın
Sonra ikinci işi yaptık, yolu genişlettik. Şimdi, iki düğüm arasındaki ilişkinin sadece bir yol değil, aynı zamanda sık alt grafikler olduğundan bahsetmiştik, bu nedenle yolun yapısını sık alt grafiklerle genişletmenin mümkün olup olmadığını düşünüyoruz. Neden yolu genişletmek istiyorsunuz? Noktalar arasındaki yol, noktalar arasındaki mesafeyi iyi tanımlayabildiğinden, noktalar arasındaki ilişkiye bazı zengin alt grafik anlamsal bilgileri eklerseniz, yolun ifade yeteneği büyük ölçüde artacaktır. Sık kullanılan alt grafiklerin anlamsal bilgilerini artırarak, nihayet alt gragh-augmented yolu elde edebiliriz ve daha sonra onu model özelliği öğrenmesi olarak kullanırız ve özellik ifadesini öğrenmek için eşleme olarak subgragh-augmented yolu kullanırız ve son olarak semantik mesafesini hesaplar (Proximity Puan).
Bazı insanlar sorabilir, neden kullanıcılar ve kullanıcılar arasındaki ilişki herhangi iki nokta arasında değil de belirli işlemlerde değerlendiriliyor? Bunun nedeni, anlamsal ilişkili aramadan bahsettiğimizde, aslında Kullanıcılarla ilgili anlamsal ilişkili aramaya atıfta bulunur.Bu tür uygulamalar daha çok kullanıcılar ve kullanıcılar arasındaki ilişkiyi dikkate alır. , Bu yüzden kullanıcıları sadece çiftler halinde geçiyoruz. Ek olarak, bu geçişin başka bir avantajı vardır, yani hesaplama karmaşıklığını azaltabilir.
Alt grafiklerin, S düğümlerinin ve S yollarının tüm katkılarının aynı olmadığını göz önünde bulundurarak, özel bir Hiyerarşik dikkat (hiyerarşik dikkat) modeli Gelin ve taramayı yapmamıza yardım edin. Ayrıca, alt grafiğin yolunun aslında yapılandırıldığını da göz önünde bulunduruyoruz, bu nedenle özellikle alt grafiğin gömme yapısının benzerliği için, iki düğüm arasındaki gömme ilişkisini tanımlıyoruz ve böylece her düğüm ile düğüm arasındaki ilişkiyi elde ediyoruz. Yepyeni bir alt toprakla artırılmış yol katıştırması.
Çalışmamız, alt grafiğin desenlerinin ve örneklerinin önceden hesaplandığı varsayımına dayanmaktadır. Gerçek operasyonda, bu varsayımın kabul edilebilir olduğunu gördük, Çünkü sık alt grafikler genellikle çevrimdışı sayılır ve daha sonra bir grafik indeksi olarak kullanılır. Alibaba'nın dolandırıcılıkla mücadele ve Twitter'ın kullanıcı içeriği tavsiyesi gibi birkaç tipik örnek vereyim. Ek olarak, bazı geçmiş çalışmalarda bu kadar verimli alt grafik madenciliği ve eşleştirme algoritmaları olduğunu gördük.
Öyleyse soru şu, alt grafik madenciliği yapıp sonra bu zengin alt grafik yapılarını kullanamaz mıyız?
Ağ işlevi modülleri için bir çözüm olarak heterojen yönlendirilmiş çevrimsiz grafiğin kullanılması
Bu sorunu göz önünde bulundurarak, heterojen yönlendirilmiş çevrimsiz grafikleri ağ işlevi modülleri olarak kullanmak olan başka bir iş yaptık. Biz Düğüm yapısının özelliklerini hesaplamak için yollar yerine DAG'leri (Yönlendirilmiş Asiklik Grafikler) kullanın , Esas olarak böyle bir düşünceye dayanır: ilişki genellikle yönlendirilir, ancak yolun ifade gücü sınırlıdır. Ek olarak, DG genellikle bir halka yapısıdır ve bir halka daha uzun bir mesafe anlamına gelir, bu da iki nokta arasındaki ilişkiyi tanımlamak için çok iyi değildir. Ayrıca, hesaplama açısından, halka yapısı, grafik çıkarımına uygun değildir. Böylece döngünün bir kısmını kaldırıyoruz ve sonunda DAG yapısını elde ediyoruz.
Sonra çözmemiz gereken şey DAG'lerin üretim verimliliği Bunun için bir Mesafeye duyarlı DAG oluşturma mekanizması . Önceden örnekleyeceğiz. Yolları örnekledikten sonra, bu yolları bir grafikte birleştireceğiz ve ardından DG'yi oluşturmak için yol geçişini kullanacağız. Süreçte, döngüyü kaldırmak için bir dizi hesaplama kullanacağız. Tüm yolları sürekli olarak geçtikten sonra, Son olarak, DAG yapısı elde edilebilir. Bu muamelenin avantajı, yapı için bir noktadan diğerine sadece bir DAG bulunmasını engelleyebilmesidir. Daha sonra, anlambilimini zenginleştirmek için iki nokta arasındaki yapıyı yaklaşık olarak tahmin etmek için bir grup DAG kullanabiliriz.
DAG üretiminin verimlilik sorununu çözün, çözmek istediğimiz sonraki şey Özellik öğrenimi nasıl tanımlanır ve yapılır? Bunun için bir Yinelemeli mesafe indirim mekanizması Çünkü yapısal yolun noktalar ve noktalar arasındaki katkı oranının mutlaka aynı olmadığını bulduk, bu da mesafenin önemini vurguluyor. Her bir DAG'nin yapısını dikkatlice gözlemlediğimizde, her düğümün farklı bir öncülü vardır. Farklı düğümlerin yinelemeli katkı oranını ayırt etmek için, son hedef düğümün gömülmesini elde etmek için farklı öncüllerin sorguya olan mesafesine göre hesaplamak için bunu öncülle birleştirebiliriz ve her düğüm için son noktaya kadar geri itmeye devam edebiliriz. Şimdiye kadar katıştırma.
Deneysel sonuçlar
Son olarak, LinkedIn, Facebook ve DBLP dahil olmak üzere üç veri kümesinin altı anlamsal ilişkisini test etmek için bazı deneyler yaptık. Bu bir sıralama görevi olduğu için, NDCG (normalleştirilmiş indirimli kümülatif kazanç) ve Harita (ortalama ortalama hassasiyet) gibi bazı değerlendirme göstergeleri ekledik.
Aynı zamanda, bazı tipik Temel algoritmaları da listeledik: Birincisi, düğüm özelliklerini öğrenmek için bir noktadan bir grup yolu toplayan derin yürüyüş sıralama (DWR) algoritmasıdır; ikincisi ise meta-grafik yakınlığıdır (MGP). Düğümler arasındaki mesafeyi hesaplamak için herhangi iki düğüm arasındaki meta grafiklerin sayısını sayın; üçüncüsü, metapathları örnekleyerek düğüm özelliklerini öğrenen Metapath2vec'dir.
Nihai sonuçlar ProxEmbed, SPE ve D2AGE'nin farklı simetrik ve asimetrik modlarda daha iyi performans gösterdiğini ve SPE'nin en iyi performansı gösterdiğini gösterdi. SPE, sık kullanılan alt grafiklerde daha fazla çalışma yaptığından, daha fazla ve daha iyi bilgi alabilir. İkincisi D2AGE, etki SPE'ye daha yakın ve hatta bazı alanlar daha iyi performans gösteriyor. Sıklıkla yapılan alt grafikler çıkarılmasa bile, nispeten kararlı bir etki elde etmenin mümkün olduğunu göstermektedir.
sonuç olarak
Son olarak çalışmamızı şu şekilde özetleyeceğim. Anlamsal alaka düzeyine erişme görevlerini çözmek için temel olarak grafik özelliği öğrenmeyi kullanmak istiyoruz ve düğüm yerleştirmenin dolaylı bir çözüm olduğunu düşünüyoruz, bu nedenle özellik öğrenimi için sorgu ve hedef arasındaki yapıyı kullanmayı öneriyoruz. Yapısal özellikler nasıl elde edilir? Ağ işlevsel blokları yöntemini, yani ağ işlevsel bloklarına dayanan üç grafik özelliği öğrenme yöntemini kullanıyoruz. İlk çalışma, ağ işlevi modülleri olarak heterojen yolları kullanan ProxEmbed; ikinci çalışma, ağ işlevi modülleri olarak yolları genişletmek için alt grafikleri kullanan SPE'dir; üçüncü çalışma, ağ işlevi modülleri olarak yönlendirilmiş döngüsel olmayan grafikleri kullanan D2AGE'dir. .
Son olarak, bu modüller veri setindeki temellerden daha iyi sonuçlar elde etti.
Ağ fonksiyonel blokları üzerine son çalışmaların bir koleksiyonunu derledik.Aynı zamanda, tüm çalışma verilerimizi ve kodlarımızı açık kaynaklı hale getirdik. İlgilenen öğrenciler internette arama yapabilir ve sonra kendi başlarına bazı reprodüksiyonlar yapabilir.
Çalışmamızı paylaştıktan sonra bu arada bir iş ilanı yapmak istiyorum. Şu anda çalıştığım WeBank, Tencent'in başlattığı ilk yerli özel banka ve internet bankasıdır. Şu anda Weizhong'da, müşterileri kazanmak için yapay zekanın nasıl kullanılacağı, müşterilere düşük maliyetli ve yüksek kalitede hizmet vermek için robotların nasıl kullanılacağı ve gizliliği korurken veri duvarlarını aşma ve veri kullanım verimliliğini en üst düzeye çıkarma gibi birçok yapay zeka uygulama uygulaması yapıyoruz.
Bize katılacak herkesi dört gözle bekliyorum AI alanında birçok ilgili pozisyon sağladık. İlgilenen öğrenciler özgeçmişlerini quainajiang@webank.com adresine gönderebilirler. hepinize teşekkür ederim!
Yukarıdakiler, bu sayıda davetliler tarafından paylaşılan tüm içeriklerdir. Daha fazla genel sınıf videosu için lütfen izlemek için Leifeng Net AI Araştırma Topluluğu Topluluğuna (https://club.leiphone.com/) gidin. WeChat genel hesabını takip edin: AI Araştırma Enstitüsü (okweiwu), en son genel sınıf canlı yayın süresi önizlemesini edinebilirsiniz.
