Popüler grafik makine öğrenimi, 2020'de hangi araştırma trendleri olacak?
Yazar | Sergei Ivanov Derleme | Jiang Baoshang, Jia Wei
2019 kesinlikle grafik makine öğrenimi (GML) için harika bir yıl. Akademik konferanslar için grafik sinir ağları her zaman dolu olacak.
Grafik makine öğrenimi araştırmasının 2019'da aniden kızışmasının nedeni, derin öğrenmenin son birkaç yılda Öklid uzayındaki verilerde büyük başarı elde etmesine rağmen, birçok pratik uygulama senaryosundaki verilerin genellikle Avrupa dışı bir alandan üretilmiştir.
Ali Dharma Akademisi'nin 2019'da bir zamanlar bahsettiği gibi: Saf derin öğrenme olgunlaştı ve derin öğrenme ile birleştirilen grafik araştırması, uçtan uca öğrenmeyi derin öğrenme ile ele alınamayan ilişkisel akıl yürütmeyi çözmesi beklenen tümevarımlı akıl yürütmeyle birleştiriyor. Açıklayıcı ve diğer konular. "
Geçtiğimiz yıl, grafik makine öğrenimi, büyük konferanslardaki grafik makine öğreniminin sıcak sahnelerinden de görülebilecek güçlü bir gelişimden geçti.
Yeni yıldan bu yana bir ay geçti, öyleyse 2020'de grafik makine öğreniminin çılgınlığı devam edebilir mi? Hangi yeni araştırma eğilimleri olacak?
Nisan ayında Etiyopya'da düzenlenecek ICLR 2020, bu konuları iyi yansıtabilecek bir konferanstır. Bu konferans, Yoshua Bengio ve derin öğrenmede ikinci büyük Üçlü arasında yer alan Yann LeCun tarafından yönetildi. Dikkat Derin öğrenmenin çeşitli yönleriyle ilgili en son araştırmalar. ICLR 2020'de paylaşıldı 150 Bir katkı grafik makine öğrenimi ile ilgilidir ve makalelerin yaklaşık 1 / 3'ü kabul edilmiştir, bu da grafik makine öğreniminin hala sıcak olduğunu göstermektedir. 2020'de grafik makine öğreniminin araştırma trendine bir göz atmak için bu kağıtları teori, uygulama, bilgi grafiği ve gömme grafiğine göre de bölebiliriz.
Not: Makale, kağıtları içerir, ancak Dikkat "AI Teknolojisi İncelemesi" WeChat kamu , Ve arka planda "GML Trend 2020" nin indirilmesine yanıt verin.
1. GNN teorik bilgisi daha sağlam olacak
Mevcut formdan, grafik makine öğrenimi alanı olgun yolda gittikçe daha da ileri gidiyor, ancak grafik sinir ağlarında iyileştirme için hala çok yer var. Geçtiğimiz yıl, grafik sinir ağları sürekli olarak geliştirildi, pek çok teorik çalışma doğdu. 2020'yi tahmin etmeden önce, grafik sinir ağlarının önemli teorik sonuçlarını kısaca gözden geçirelim!
Neural sinir ağları öğrenemez: derinliğe karşı genişlik
https://openreview.net/forum?id=B1l2bp4YwS
Lozan'daki Federal Teknoloji Enstitüsü'nden Andreas Loukas'ın bu makalesi, kuşkusuz, etkileme, basitlik ve teorik anlayış derinliği açısından makaledeki bir modeldir.
Genel grafik problemini hesaplamak için GNN kullandığımızda, düğüm gömme boyutunun (ağın genişliği, w) katman sayısıyla (ağın derinliği, d) çarpımının grafiğin boyutu n, yani dW = O ile orantılı olması gerektiğini gösterir. (n).
Ancak gerçek şu ki, GNN'nin birçok mevcut uygulaması bu koşulu karşılayamıyor, çünkü katman sayısı ve katmanın boyutu grafiğin boyutuna kıyasla yeterince büyük değil. Öte yandan, daha büyük bir ağ gerçek operasyon için uygun değildir ve bu da etkili bir GNN'nin nasıl tasarlanacağına dair soruları gündeme getirecektir.Elbette, bu konu aynı zamanda araştırmacıların gelecekteki çalışmalarının da odak noktası. Bu yazının aynı zamanda 1980'lerin dağıtılmış hesaplama modelinden de ilham aldığını ve GNN'nin aslında aynı şeyi yaptığını kanıtladığını belirtmek gerekir.
Bu makale aynı zamanda çok sayıda değerli sonuç içeriyor, şiddetle tavsiye edilir Orijinali okuyun . Yapabilmek Dikkat "AI Teknolojisi İncelemesi" WeChat kamu Sahne arkası, kağıtları indirmek için "GML Trends 2020" ye yanıt veriyor.
Benzer şekilde, diğer iki makalede Oono ve arkadaşları GNN'nin yeteneklerini inceledi. İlk makale "Grafik Sinir Ağı Düğüm Sınıflamasında İfade Yeteneğini Kaybetti" ve ikinci makale "Grafik Sinir Ağının Mantıksal İfadesi" dir.
Grafik Yapay Sinir Ağları Düğüm Sınıflandırması için İfade Gücü Katlanarak Kaybediyor
https://openreview.net/forum?id=S1ldO2EFPr
Bu makale şunu göstermektedir: "Belirli koşullar altında ağırlıklar bilindiğinde katman sayısı arttığında, GCN düğüm derecesi ve bağlı bileşenler dışında hiçbir şey öğrenemeyecektir." Bu sonuç "Markov süreci yakınsamasını" genişletir. Eşsiz denge noktasına ve yakınsama hızının geçiş matrisinin özdeğerleri tarafından belirlendiğini gösterir.
Grafik Sinir Ağlarının Mantıksal İfadesi
https://openreview.net/pdf?id=r1lZ7AEKvB
Bu makale, GNN ve düğüm sınıflandırıcı türleri arasındaki bağlantıyı gösterir. Bundan önce, GNN'nin WL izomorfizm testi kadar güçlü olduğunu anlamıştık. Ancak GNN başka sınıflandırma işlevlerini alabilir mi? Sezgisel olarak değil, çünkü GNN bir mesaj geçirme mekanizmasıdır.Grafiğin bir kısmı ile diğer kısmı arasında bağlantı yoksa, ikisi arasında hiçbir mesaj iletilmeyecektir. Bu nedenle, makale basit bir çözüm önermektedir: komşu kümelenmeden sonra bir okuma işlemi ekleyin, böylece tüm öğeler güncellendiğinde her bir düğüm grafikteki diğer tüm düğümlere bağlanır.
GNN grafik bilgisinin kullanımını ölçen Hou ve diğerleri dahil olmak üzere birçok başka teorik çalışma vardır. Ve Srinivasan ve Ribeiro tarafından önerilen role dayalı düğüm yerleştirme ve mesafeye dayalı düğüm yerleştirmenin denkliği üzerine tartışma. Makalenin bağlantısı aşağıdaki gibidir:
Grafik Sinir Ağlarında Grafik Bilgisinin Kullanımının Ölçülmesi ve İyileştirilmesi
https://openreview.net/forum?id=rkeIIkHKvS
Konumsal Düğüm Embe Arasındaki Eşdeğerlik Üzerine gg ings ve Yapısal Grafik Gösterimleri
https://openreview.net/forum?id=SJxzFySKwH
2. Yeni harika uygulamalar ortaya çıkmaya devam ediyor
Geçen yıl, GNN bazı pratik görevlerde uygulandı. Örneğin, bazı programlar oyun oynamak, IQ testlerini yanıtlamak, TensorFlow hesaplama grafiklerini optimize etmek, moleküller oluşturmak ve diyalog sistemlerinde sorular oluşturmak için kullanılmıştır.
HOPPITY: PROGRAMLARDAKİ HATALARI TESPİT ETMEK VE DÜZELTMEK İÇİN GRAFİK DÖNÜŞÜMLERİNİ ÖĞRENME
https://openreview.net/pdf?id=SJeqs6EFvB
Makalede yazar, Javascript kodundaki hataları aynı anda tespit etmek ve düzeltmek için bir yöntem önerdi. Spesifik işlem, kodu soyut bir sözdizimi ağacına dönüştürmek ve ardından GNN'nin kod gömme elde etmek için ön işlem yapmasına izin vermek ve ardından bunu birden çok grafik düzenleme operatörü turu aracılığıyla değiştirmektir (düğümleri ekleyin veya silin, düğüm değerlerini veya türlerini değiştirin). Grafiğin hangi düğümlerinin değiştirilmesi gerektiğini anlamak için makalenin yazarı, LSTM ağını kullanarak onarım için düğümleri seçmek üzere grafik katıştırmayı kullanan bir İşaretçi ağı kullanır. Elbette, LSTM ağı ayrıca grafik yerleştirmeyi ve bağlam düzenlemeyi de kabul eder.
LambdaNet: Grafik Yapay Sinir Ağlarını Kullanan Olasılıksal Tür Çıkarımı
https://openreview.net/pdf?id=Hkx6hANtwH
Benzer uygulamalar, yukarıdaki yazıda da yansıtılmıştır. Austin'deki Texas Üniversitesi'nden yazarlar, Python veya TypeScript gibi dillerdeki değişken türlerinin nasıl çıkarılacağını incelediler. Daha spesifik olarak, yazar, programın değişkenlerini düğümler olarak ve bunlar arasındaki mantıksal ilişkiler, bağlam kısıtlamaları vb. Gibi ilişkileri içeren bir tür bağımlılığı hiper grafiği (tür bağımlılığı hiper grafiği) verir; ve ardından grafik için bir GNN modeli eğitir. Ve gömme oluşturmak için olası tip değişkenleri ve tahmin olasılığı ile birleştirilir.
Çok Yönlü Grafik Ağları ile Soyut Diyagramatik Akıl Yürütme
https://openreview.net/pdf?id=ByxQB1BKwH
IQ testinin uygulanmasında, yukarıdaki makale GNN'nin Raven Testi (RPM) ve Graph Syllogism (DS) gibi IQ testini nasıl gerçekleştirdiğini göstermektedir. Spesifik olarak, RPM görevinde, matrisin her satırı bir grafik oluşturur ve ileri besleme modeli aracılığıyla bunun için kenar gömme elde edilir ve ardından grafik özetlenir. Son satırda 8 olası cevap olduğundan, 8 farklı grafik oluşturulacak ve her bir grafik, ResNet modeli aracılığıyla IQ puanını tahmin etmek için ilk iki satıra bağlanacaktır. Aşağıda gösterildiği gibi:
Kimden: https://openreview.net/pdf?id=ByxQB1BKwH
Hesaplama Grafiklerini Optimize Etmek İçin Güçlendirilmiş Genetik Algoritma Öğrenimi
https://openreview.net/pdf?id=rkxDoJBYPB
DeepMind, TensorFlow hesaplama grafiğinin maliyetini optimize etmek için yukarıdaki makalede bir RL algoritması önermiştir. Grafik önce standart GNN tarafından işlenir ve ardından grafikteki her düğümün programlama önceliğine karşılık gelen ayrıklaştırılmış gömme oluşturulur ve son olarak gömme model eğitimi için genetik algoritma BRKGA'ya beslenir, böylece elde edilen gerçek TensorFlow grafiği optimize edilir. Hesaplama ek yükü. Genetik algoritmanın her düğümün düzenini ve zamanlamasını belirlediğini belirtmek gerekir.
Kimden: https://openreview.net/pdf?id=rkxDoJBYPB
Benzer harika uygulamalar arasında Chence Shinin moleküler yapı oluşturma, Jiechuan Jiangın oyun oynama ve Yu Chen'in oyun oynama yer alır. Makalenin bağlantısı aşağıdaki gibidir:
Grafik Evrişimli Pekiştirmeli Öğrenme
https://openreview.net/forum?id=HkxdQkSYDB
Doğal Soru Üretimi için Pekiştirmeli Öğrenmeye Dayalı Grafikten Sıraya Model
https://openreview.net/forum?id=HygnDhEtvr
3. Bilgi grafikleri daha popüler hale gelecek
Bu yılki ICLR konferansında, bilgi grafiği muhakemesi üzerine birçok makale var.
Bilgi grafiği örneği (kaynak: https: // ar xi v.org/abs/ 150 3.0 0759)
Temelde bilgi grafiği, gerçekleri temsil etmenin yapılandırılmış bir yoludur. Genel grafiklerden farklı olarak, bilgi grafiğinin düğümleri ve kenarları, oyuncuların ve filmlerin isimleri gibi aslında belirli anlamlara sahiptir. Bilgi grafiğindeki yaygın bir soru, "2000'den önce Spielberg'in hangi filmleri kazandı?" Gibi bazı karmaşık soruların nasıl yanıtlanacağıdır. Oscar ödül? ", bu soru mantıksal bir sorgu diline çevrilmiştir:
{Win (Oscar, V) Yönetmen (Spielberg, V) ProducedBefore (2000, V)}
Query2box: Box Embe Kullanarak Vektör Uzayındaki Bilgi Grafikleri Üzerine Muhakeme gg ings
https://openreview.net/forum?id=BJgr4kSFDS
Query2Box çıkarım çerçevesi
Hongyu Ren ve Stanford Üniversitesi'ndeki diğerlerinin çalışmalarında, sorguyu tek bir nokta (dikdörtgen bir kutu olarak) yerine gizli alana yerleştirmeyi önerdiler.
QUERY2BOX'ın iki işlemi ve uzaklık fonksiyonlarının geometrik örnekleri
Bu yöntem, yeni bir dikdörtgen kutu elde etmek için kesişme işlemini (yani bağlantı) doğal olarak gerçekleştirmeyi mümkün kılar. Ancak birleşim işlemi için (yani ayrılma ) o kadar basit değildir, çünkü çakışmayan bölgeler oluşturabilir. Ek olarak, tüm sorguları doğru şekilde modellemek için yerleştirmeyi kullanmak için, yerleştirmeler arasındaki mesafe fonksiyonunun karmaşıklığı (VC boyutuyla ölçülür) haritadaki varlıkların sayısıyla orantılı olacaktır. Bununla birlikte, ayrışma () sorgusunu DNF formuna dönüştürmek için iyi bir teknik vardır Bu anda, birleşim işlemi yalnızca grafik hesaplamasının sonunda gerçekleştirilir ve bu, her alt sorgu için mesafe hesaplamasını etkili bir şekilde azaltabilir.
Bilgi Grafiklerinde Sayısal Kuralların Farklılaştırılabilir Öğrenimi
https://openreview.net/forum?id=rJleKgrKwS
CMU'dan Po-Wei Wang ve diğerlerinin benzer bir konuyla ilgili bir makalesi, dijital varlıklar ve kurallarla başa çıkmak için bir yöntem önerdi.
Citation KG örneği
Örneğin, bilgi grafiğinden (Citation KG) alıntı yapmak için bir kural olabilir:
etkiler (Y, X) meslektaşOf (Z, Y) süpervizörOf (Z, X) hasCitation > (Y, Z)
Bu, öğrencinin X'in akıl hocası Z'nin meslektaşı Y'den etkilendiği tipik bir durumdur (Y'nin atıf oranı daha yüksektir).
Bu kuralın sağ tarafındaki her ilişki bir matris olarak ifade edilebilir ve eksik bağları bulma süreci, ilişkinin sürekli matris ürünü ve varlık vektörü olarak ifade edilebilir.Bu sürece kural öğrenme denir. Matrisin oluşturulma şekli nedeniyle, sinir ağı yöntemi yalnızca colleagueOf (Z, Y) sınıflandırma kuralı altında çalışabilir.
Yazarın katkısı, pratikte bu matrislerin açıkça ifade edilmesine gerek olmadığını, dolayısıyla benzer hasCitation'larla etkili bir şekilde uğraştıklarını yeni bir yöntemle kanıtlamalarıdır. > (Y, Z), olumsuzlama işleminin sayı kuralı, bu Çok Azaltılmış çalışma süresi.
Yaşlı Bir Köpeğe Yeni Numaralar Öğretebilirsiniz! Eğitimde Bilgi Grafiği Embe gg ings
https://openreview.net/forum?id=BkxSmlBFvr
Bu yılın grafik sinir ağında (veya makine öğreniminde) sıklıkla görülen bir araştırma yönü: mevcut modellerin yeniden değerlendirilmesi ve adil bir ortamda değerlendirme.
Yukarıdaki makale bunlardan biridir.Araştırmaları, yeni modelin performansının genellikle deneysel eğitimdeki "küçük" ayrıntılara, örneğin kayıp fonksiyonunun biçimi, düzenleyici ve örnekleme şemasına bağlı olduğunu göstermektedir. Yazarlar, geniş ölçekli ablasyon çalışmalarında, SOTA performansının eski yöntemin (RESCAL modeli gibi) hiperparametrelerini uygun şekilde ayarlayarak elde edilebileceğini gözlemlemişlerdir.
Elbette, bu alanda başka ilginç çalışmalar da var.En son kelime gömme araştırmalarına dayanarak, Allen ve diğerleri ilişkilerin ve varlıkların öğrenme temsilinin gizli alanını daha da araştırdı. Asai ve arkadaşları, modelin belirli bir sorguyu yanıtlayan Wikipedia grafiğindeki muhakeme yolunu nasıl elde ettiğini gösterdi. Tabacof ve Costabello, grafik gömme modellerinin olasılık kalibrasyonunda önemli bir konuyu tartıştılar ve şu anda popüler olan gömme modelleri TransE ve ComplEx'in (logit fonksiyonunu sigmoid fonksiyonuna dönüştürerek olasılıkları elde eden) hepsinin yanlış hizalamaya sahip olduğuna, yani doğru olmadığına işaret ettiler. Yetersiz tahminler veya aşırı tahminler var. Makalenin bağlantısı aşağıdaki gibidir:
Bilgi Grafiği Gösterimini Anlamak Üzerine
https://openreview.net/forum?id=SygcSlHFvS
Soru Cevaplama için Wikipedia Grafiği Üzerinden Akıl Yürütme Yollarını Almayı Öğrenmek
https://openreview.net/forum?id=SJgVHkrYDH
Bilgi Grafiği Embe için Olasılık Kalibrasyonu gg ing Modelleri
https://openreview.net/forum?id=S1g8K1BFwS
4. Görüntü gömme için yeni çerçeve
Grafik gömme, grafik makine öğreniminin uzun vadeli bir araştırma konusudur. Bu yıl grafik temsillerini nasıl öğrenmemiz gerektiğine dair bazı yeni fikirler var.
GraphZoom: Doğru ve Ölçeklenebilir Grafik Embe için Çok Seviyeli Spektral Yaklaşım gg ing
https://openreview.net/forum?id=r1lGO0EKDH
Cornell'in Chenhui Deng ve arkadaşları, herhangi bir denetimsiz gömme yöntemi düğüm sınıflandırma problemine uygulanabilecek, çalışma süresini ve doğruluğunu iyileştirmek için bir yöntem önerdi.
Bu makalenin genel fikri, ilk olarak orijinal grafiği daha küçük bir grafik halinde basitleştirmek, böylece düğüm gömme hızlı bir şekilde hesaplanabilir ve ardından orijinal grafiğin gömülmesini geri yüklenebilir.
Başlangıçta, öznitelik benzerliğine bağlı olarak, düğümün k en yakın komşusu arasındaki bağlantılara karşılık gelen orijinal grafik üzerinde ek kenar genişletmeleri gerçekleştirilir.
Ardından grafik kabalaştırılır: her bir düğüm, yerel spektrum yöntemiyle düşük boyutlu bir alana yansıtılır ve kümeler halinde toplanır. Herhangi bir denetimsiz grafik gömme yöntemi (DeepWalk, Deep Graph Infomax gibi) küçük grafiklerde düğüm yerleştirmeleri elde edebilir.
Son adımda, elde edilen düğüm gömme (esasen kümenin gömülmesini temsil eder), farklı düğümlerin aynı gömülmeye sahip olmasını önlemek için bir yumuşatma operatörü ile yinelemeli olarak yayınlanır.
Deneyde, GraphZoom çerçevesi, node2vec ve DeepWalk'a kıyasla 40 kat şaşırtıcı bir hızlanma elde etti ve doğruluk oranı da% 10 arttı.
Grafik Sınıflandırması için Grafik Sinir Ağlarının Adil Bir Karşılaştırması
https://openreview.net/forum?id=HygDF6NFPB
Birçok makale, grafik sınıflandırmanın araştırma sonuçları üzerinde ayrıntılı analizler yapmıştır. Pisa Üniversitesi'nden Federico Errica ve diğerleri, GNN modelini grafik sınıflandırma sorunu üzerine yeniden değerlendirdiler.
Araştırmaları, grafik topolojisini (yalnızca birleşik düğüm özellikleri) kullanmayan basit bir temelin SOTA GNN'ye benzer performansa ulaşabileceğini göstermektedir. Aslında, bu şaşırtıcı keşif 2015 yılında Orlova ve diğerleri tarafından yayınlandı, ancak yaygınlaşmadı. Dikkat .
Grafik Veri Kümelerinde İzomorfizm Yanlılığını Anlama
https://openreview.net/forum?id=rJlUhhVYvS
Skolkovo Bilim ve Teknoloji Enstitüsü'nden Ivanov Sergey ve diğerleri araştırmalarında MUTAG ve IMDB gibi ortak veri setlerinde düğüm özellikleri dikkate alınsa bile birçok grafiğin izomorfik kopyalarına sahip olacağını keşfettiler. Ayrıca, bu izomorfik grafiklerin çoğu, sınıflandırıcıya doğal olarak etiket gürültüsü getiren farklı hedef etiketlere sahiptir. Bu, model performansını iyileştirmek için ağdaki tüm mevcut meta bilgileri (düğüm veya uç öznitelikleri gibi) kullanmanın çok önemli olduğunu gösterir.
Güçlü Grafik Sinir Ağları Gerekli mi? Grafik Sınıflandırma Üzerine Bir İnceleme
https://openreview.net/forum?id=BJxQxeBYwH
Başka bir iş de UCLA Sun Yizhou ekibinin işi. Bu çalışma, doğrusal olmayan en yakın komşu toplama işlevinin orijinal doğrusal olmayan en yakın komşu toplama işlevinin yerini almak için kullanılması durumunda modelin performansının düşmeyeceğini göstermektedir. Bu, "grafik veri setinin sınıflandırma üzerinde çok az etkiye sahip olduğu" şeklindeki önceki görüşün aksine. Bu çalışma aynı zamanda bu tür görevler için uygun bir doğrulama çerçevesinin nasıl bulunacağı sorusunu da gündeme getiriyor.
Makalenin içeriği veri bilimine yönelik seçilmiştir. .com , 2020'de Grafik Makine Öğreniminin En İyi Eğilimleri
