Popüler grafik makine öğrenimi, 2020'de hangi araştırma trendleri olacak?
2019 kesinlikle grafik makine öğrenimi (GML) için harika bir yıl. Akademik konferanslar için grafik sinir ağları her zaman dolu olacak.
Grafik makine öğrenimi araştırmasının 2019'da aniden kızışmasının nedeni, derin öğrenmenin son birkaç yılda Öklid uzayındaki verilerde büyük başarı elde etmesine rağmen, birçok pratik uygulama senaryosundaki verilerin genellikle Avrupa dışı bir alandan üretilmiştir.
Ali Dharma Akademisi'nin 2019'da bahsettiği gibi: Saf derin öğrenme olgunlaştı ve derin öğrenmeyle birleştirilen grafik araştırması, uçtan uca öğrenmeyi derin öğrenme ile ele alınamayan ilişkisel akıl yürütmeyi çözmesi beklenen tümevarımlı akıl yürütmeyle birleştiriyor. Açıklayıcı ve diğer konular. "
Geçtiğimiz yıl, grafik makine öğrenimi, büyük konferanslardaki grafik makine öğreniminin sıcak sahnelerinden de görülebilecek güçlü bir gelişimden geçti.
Yeni yıldan bu yana bir ay geçti, öyleyse 2020'de grafik makine öğreniminin çılgınlığı devam edebilir mi? Hangi yeni araştırma eğilimleri olacak? Nisan ayında Etiyopya'da düzenlenecek ICLR 2020, bu konuları iyi yansıtabilecek bir konferanstır.
Bu konferans, derin öğrenmenin çeşitli yönleri üzerine en son araştırmalara odaklanmak için, derin öğrenmenin üç devinden ikincisi olan Yoshua Bengio ve Yann LeCun tarafından yönetildi.
ICLR 2020'de grafik makine öğrenimi ile ilgili 150 gönderi var ve makalelerin yaklaşık 1 / 3'ü kabul edildi, bu da grafik makine öğreniminin hala sıcak olduğunu gösteriyor.
2020'de grafik makine öğreniminin araştırma trendine bir göz atmak için bu kağıtları teori, uygulama, bilgi grafiği ve gömme grafiğine göre de bölebiliriz.
Not: Makaleyle ilgili makaleler için lütfen Leifeng.com'daki "AI Technology Review" resmi WeChat hesabını takip edin ve arka planda "GML Trends 2020" indirilmesine yanıt verin.
1. GNN teorik bilgisi daha sağlam olacak
Mevcut formdan, grafik makine öğrenimi alanı olgun yolda gittikçe daha da ileri gidiyor, ancak grafik sinir ağlarında iyileştirme için hala çok yer var. Geçtiğimiz yıl, grafik sinir ağları sürekli olarak geliştirildi, pek çok teorik çalışma doğdu. 2020'yi tahmin etmeden önce, grafik sinir ağlarının önemli teorik sonuçlarını kısaca gözden geçirelim!
Neural sinir ağları öğrenemez: derinliğe karşı genişlik
https://openreview.net/forum?id=B1l2bp4YwS
Lozan'daki Federal Teknoloji Enstitüsü'nden Andreas Loukas'ın bu makalesi, kuşkusuz, etkileme, basitlik ve teorik anlayış derinliği açısından makaledeki bir modeldir.
Genel grafik problemini hesaplamak için GNN kullandığımızda, düğüm gömme boyutunun (ağın genişliği, w) katman sayısıyla (ağın derinliği, d) çarpımının grafiğin boyutu n, yani dW = O ile orantılı olması gerektiğini gösterir. (n).
Ancak gerçek şu ki, GNN'nin birçok mevcut uygulaması bu koşulu karşılayamıyor, çünkü katman sayısı ve katmanın boyutu grafiğin boyutuna kıyasla yeterince büyük değil. Öte yandan, daha büyük bir ağ gerçek operasyon için uygun değildir ve bu da etkili bir GNN'nin nasıl tasarlanacağına dair soruları gündeme getirecektir.Elbette, bu konu aynı zamanda araştırmacıların gelecekteki çalışmalarının da odak noktasıdır. Bu yazının aynı zamanda 1980'lerin dağıtılmış hesaplama modelinden de ilham aldığını ve GNN'nin aslında aynı şeyi yaptığını kanıtladığını belirtmek gerekir.
Bu makale ayrıca çok sayıda değerli sonuç içeriyor, orijinal metni okumanız şiddetle tavsiye edilir. Leifeng.com'un "AI Technology Review" WeChat resmi hesabını takip edebilir ve arka planda kağıtları indirmek için "GML Trends 2020" ye yanıt verebilirsiniz.
Benzer şekilde, diğer iki makalede Oono ve arkadaşları GNN'nin yeteneklerini inceledi. İlk makale "Grafik Sinir Ağı Düğüm Sınıflamasında İfade Yeteneğini Kaybetti" ve ikinci makale "Grafik Sinir Ağının Mantıksal İfadesi" dir.
Grafik Yapay Sinir Ağları Düğüm Sınıflandırması için İfade Gücü Katlanarak Kaybediyor
https://openreview.net/forum?id=S1ldO2EFPr
Bu makale şunu göstermektedir: "Belirli koşullar altında ağırlıklar bilindiğinde katman sayısı arttığında, GCN düğüm derecesi ve bağlı bileşenler dışında hiçbir şey öğrenemeyecektir." Bu sonuç "Markov süreci yakınsamasını" genişletir. Eşsiz denge noktasına ve yakınsama hızının geçiş matrisinin özdeğerleri tarafından belirlendiğini gösterir.
Grafik Sinir Ağlarının Mantıksal İfadesi
https://openreview.net/pdf?id=r1lZ7AEKvB
Bu makale, GNN ve düğüm sınıflandırıcı türleri arasındaki bağlantıyı gösterir. Bundan önce, GNN'nin WL izomorfizm testi kadar güçlü olduğunu anlamıştık. Ancak GNN başka sınıflandırma işlevlerini alabilir mi? Sezgisel olarak değil, çünkü GNN bir mesaj geçirme mekanizmasıdır.Grafiğin bir kısmı ile diğer kısmı arasında bağlantı yoksa, ikisi arasında hiçbir mesaj iletilmeyecektir.
Bu nedenle, makale basit bir çözüm önermektedir: komşu kümelenmeden sonra bir okuma işlemi ekleyin, böylece tüm öğeler güncellendiğinde her bir düğüm grafikteki diğer tüm düğümlere bağlanır.
GNN grafik bilgisinin kullanımını ölçen Hou ve diğerleri dahil olmak üzere birçok başka teorik çalışma vardır. Ve Srinivasan ve Ribeiro tarafından önerilen role dayalı düğüm yerleştirme ve mesafeye dayalı düğüm yerleştirmenin denkliği üzerine tartışma.
Makalenin bağlantısı aşağıdaki gibidir:
Grafik Sinir Ağlarında Grafik Bilgisinin Kullanımının Ölçülmesi ve İyileştirilmesi
https://openreview.net/forum?id=rkeIIkHKvS
Konumsal Düğüm Gömme ve Yapısal Grafik Gösterimleri Arasındaki Eşdeğerlik Üzerinehttps: //openreview.net/forum? İd = SJxzFySKwH
2. Yeni harika uygulamalar ortaya çıkmaya devam ediyor
Geçen yıl, GNN bazı pratik görevlerde uygulandı. Örneğin, bazı programlar oyun oynamak, IQ testlerini yanıtlamak, TensorFlow hesaplama grafiklerini optimize etmek, moleküller oluşturmak ve diyalog sistemlerinde sorular oluşturmak için kullanılmıştır.
HOPPITY: PROGRAMLARDAKİ HATALARI TESPİT ETMEK VE DÜZELTMEK İÇİN GRAFİK DÖNÜŞÜMLERİNİ ÖĞRENME
https://openreview.net/pdf?id=SJeqs6EFvB
Makalede yazar, Javascript kodundaki hataları aynı anda tespit etmek ve düzeltmek için bir yöntem önerdi. Spesifik işlem, kodu soyut bir sözdizimi ağacına dönüştürmek ve ardından GNN'nin kod gömme elde etmek için ön işlem yapmasına izin vermek ve ardından bunu birden çok grafik düzenleme operatörü turu aracılığıyla değiştirmektir (düğümleri ekleyin veya silin, düğüm değerlerini veya türlerini değiştirin). Grafiğin hangi düğümlerinin değiştirilmesi gerektiğini anlamak için makalenin yazarı, LSTM ağını kullanarak onarım için düğümleri seçmek üzere grafik katıştırmayı kullanan bir İşaretçi ağı kullanır. Elbette, LSTM ağı ayrıca grafik yerleştirmeyi ve bağlam düzenlemeyi de kabul eder.
LambdaNet: Grafik Yapay Sinir Ağlarını Kullanan Olasılıksal Tür Çıkarımı
https://openreview.net/pdf?id=Hkx6hANtwH
Benzer uygulamalar, yukarıdaki yazıda da yansıtılmıştır. Austin'deki Texas Üniversitesi'nden yazarlar, Python veya TypeScript gibi dillerdeki değişken türlerinin nasıl çıkarılacağını incelediler. Daha spesifik olarak, yazar, programın değişkenlerini düğümler ve bunlar arasındaki mantıksal ilişkiler, bağlam kısıtlamaları vb. Gibi ilişkileri içeren bir tür bağımlılığı hiper grafiği (tür bağımlılığı hiper grafiği) verir; ve daha sonra grafik için bir GNN modeli eğitir. Ve gömme oluşturmak için olası tip değişkenleri ve tahmin olasılığı ile birleştirilir.
Çok Yönlü Grafik Ağları ile Soyut Diyagramatik Akıl Yürütme
https://openreview.net/pdf?id=ByxQB1BKwH
IQ testinin uygulanmasında, yukarıdaki makale GNN'nin Raven Testi (RPM) ve Figure Syllogism (DS) gibi IQ testini nasıl gerçekleştirdiğini göstermektedir. Spesifik olarak, RPM görevinde, matrisin her satırı bir grafik oluşturur ve ileri besleme modeli aracılığıyla bunun için kenar gömme elde edilir ve ardından grafik özetlenir. Son satırda 8 olası cevap olduğundan, 8 farklı grafik oluşturulacak ve her bir grafik, ResNet modeli aracılığıyla IQ puanını tahmin etmek için ilk iki satıra bağlanacaktır. Aşağıda gösterildiği gibi:
Kimden: https://openreview.net/pdf?id=ByxQB1BKwH
Hesaplama Grafiklerini Optimize Etmek İçin Güçlendirilmiş Genetik Algoritma Öğrenimi
https://openreview.net/pdf?id=rkxDoJBYPBDeepMind
Yukarıdaki makalede, TensorFlow hesaplama grafiğinin maliyetini optimize etmek için bir RL algoritması önerilmiştir. Grafik önce standart GNN tarafından işlenir ve ardından grafikteki her düğümün programlama önceliğine karşılık gelen ayrıklaştırılmış gömme oluşturulur ve son olarak gömme model eğitimi için genetik algoritma BRKGA'ya beslenir, böylece elde edilen gerçek TensorFlow grafiği optimize edilir. Hesaplama ek yükü. Genetik algoritmanın her düğümün düzenini ve zamanlamasını belirlediğini belirtmek gerekir.
Benzer harika uygulamalar arasında Chence Shinin moleküler yapı oluşturma, Jiechuan Jiangın oyun oynama ve Yu Chen'in oyun oynama yer alır.
Makaleye bağlantı aşağıdaki gibidir: Graph Convolutional Reinforcement Learning
https://openreview.net/forum?id=HkxdQkSYDB
Doğal Soru Üretimi için Pekiştirmeli Öğrenmeye Dayalı Grafikten Sıraya Model
https://openreview.net/forum?id=HygnDhEtvr
3. Bilgi grafikleri daha popüler hale gelecek
Bu yılki ICLR konferansında, bilgi grafiği muhakemesi üzerine birçok makale var.
Bilgi grafiği örneği (kaynak: https://arxiv.org/abs/1503.00759)
Temelde bilgi grafiği, gerçekleri temsil etmenin yapılandırılmış bir yoludur. Genel grafiklerden farklı olarak, bilgi grafiğinin düğümleri ve kenarları, oyuncuların ve filmlerin isimleri gibi aslında belirli anlamlara sahiptir. Bilgi grafiğindeki yaygın bir soru, "2000'den önce Oscar'ı hangi Spielberg filmleri kazandı?" Gibi bazı karmaşık soruların nasıl yanıtlanacağıdır. Bu soru mantıksal bir sorgu diline çevrilmiştir: {Win (Oscar, V) Yönetmen (Spielberg, V) ProducedBefore (2000, V)} Query2box:
Kutu Gömme İşlemlerini Kullanarak Vektör Uzayındaki Bilgi Grafikleri Üzerine Muhakeme
https://openreview.net/forum?id=BJgr4kSFDS
Query2Box mantık çerçevesi Hongyu Ren ve Stanford Üniversitesi'ndeki diğerlerinin çalışmalarında, sorguyu tek bir nokta (dikdörtgen bir kutu olarak) yerine gizli alana yerleştirmeyi önerdiler.
QUERY2BOX'ın iki işlemi ve mesafe fonksiyonunun geometrik örneği Bu yöntem, yeni bir dikdörtgen kutu elde etmek için kesişme işleminin (yani birleşik ) doğal olarak gerçekleştirilmesini mümkün kılar. Ancak birleşim işlemi için (yani ayrılma ) o kadar basit değildir, çünkü çakışmayan bölgeler oluşturabilir.
Ek olarak, tüm sorguları doğru bir şekilde modellemek için yerleştirmeleri kullanmak için, yerleştirmeler arasındaki mesafe işlevinin karmaşıklığı (VC boyutuyla ölçülür) haritadaki varlıkların sayısı ile orantılı olacaktır.
Bununla birlikte, ayrışma () sorgusunu DNF formuna dönüştürmek için iyi bir teknik vardır Bu anda, birleşim işlemi yalnızca grafik hesaplamasının sonunda gerçekleştirilir ve bu, her alt sorgu için mesafe hesaplamasını etkili bir şekilde azaltabilir.
Bilgi Grafiklerinde Sayısal Kuralların Farklılaştırılabilir Öğrenimi
https://openreview.net/forum?id=rJleKgrKwSCMU'dan Po-Wei
Wang ve diğerleri tarafından benzer bir konuyla ilgili bir makale, dijital varlıklar ve kurallarla başa çıkmak için bir yöntem önerdi.
Bilgi grafiğinin bir alıntı örneği (Citation KG) Örneğin, bilgi grafiğini (Citation KG) belirtmek için bir kural olabilir: etkiler (Y, X) meslektaşOf (Z, Y) süpervizörOf (Z, X) hasCitation > (Y, Z) Bu, öğrencinin X'in akıl hocası Z'nin meslektaşı Y'den etkilendiği tipik bir durumdur (Y'nin atıf oranı daha yüksektir).
Bu kuralın sağ tarafındaki her ilişki bir matris olarak ifade edilebilir ve eksik bağları bulma süreci, ilişkinin sürekli matris ürünü ve varlık vektörü olarak ifade edilebilir.Bu sürece kural öğrenme denir. Matrisin oluşturulma şekli nedeniyle, sinir ağı yöntemi yalnızca colleagueOf (Z, Y) sınıflandırma kuralı altında çalışabilir.
Yazarın katkısı, pratikte bu matrislerin açıkça ifade edilmesine gerek olmadığını, dolayısıyla benzer hasCitation'larla etkili bir şekilde uğraştıklarını yeni bir yöntemle kanıtlamalarıdır. > (Y, Z), çalışma süresini büyük ölçüde azaltan olumsuzlama işleminin sayı kuralı.
Yaşlı Bir Köpeğe Yeni Numaralar Öğretebilirsiniz!
Eğitim Hakkında Bilgi Grafiği Gömmehttps: //openreview.net/forum? İd = BkxSmlBFvr
Bu yılın grafik sinir ağında (veya makine öğreniminde) sıklıkla görülen bir araştırma yönü: mevcut modellerin yeniden değerlendirilmesi ve adil bir ortamda değerlendirme.
Yukarıdaki makale bunlardan biridir.Araştırmaları, yeni modelin performansının genellikle deneysel eğitimdeki "küçük" ayrıntılara, örneğin kayıp fonksiyonunun biçimi, düzenleyici ve örnekleme şemasına bağlı olduğunu göstermektedir.
Yazarlar, geniş ölçekli ablasyon çalışmalarında, SOTA performansının eski yöntemin (RESCAL modeli gibi) hiperparametrelerini uygun şekilde ayarlayarak elde edilebileceğini gözlemlemişlerdir. Elbette, bu alanda birçok ilginç çalışma var.En son kelime gömme araştırmalarına dayanarak, Allen ve diğerleri ilişkilerin ve varlıkların öğrenme temsilinin gizli alanını daha da araştırdı. Asai ve arkadaşları, modelin belirli bir sorguyu yanıtlayan Wikipedia grafiğindeki muhakeme yolunu nasıl elde ettiğini gösterdi.
Tabacof ve Costabello, grafik gömme modellerinin olasılık kalibrasyonunda önemli bir konuyu tartıştılar ve şu anda popüler olan gömme modelleri TransE ve ComplEx'in (logit işlevini sigmoid işlevine dönüştürerek olasılıkları elde eden) yanlış hizalamaya, yani gerçeklere Yetersiz tahminler veya aşırı tahminler var.
Makalenin bağlantısı aşağıdaki gibidir: Bilgi Grafiği Gösterimini Anlamak Üzerine
https://openreview.net/forum?id=SygcSlHFvS
Soru Cevaplama için Wikipedia Grafiği Üzerinden Akıl Yürütme Yollarını Almayı Öğrenmek
https://openreview.net/forum?id=SJgVHkrYDH
Bilgi Grafiği Gömme Modelleri için Olasılık Kalibrasyonu
https://openreview.net/forum?id=S1g8K1BFwS
4. Görüntü gömme için yeni çerçeve
Grafik gömme, grafik makine öğreniminin uzun vadeli bir araştırma konusudur. Bu yıl grafik temsillerini nasıl öğrenmemiz gerektiğine dair bazı yeni fikirler var.
GraphZoom: Doğru ve Ölçeklenebilir Grafik Gömme için Çok Seviyeli Spektral Yaklaşım
https://openreview.net/forum?id=r1lGO0EKDH
Cornell'in Chenhui Deng ve arkadaşları, herhangi bir denetimsiz gömme yöntemi düğüm sınıflandırma problemine uygulanabilecek, çalışma süresini ve doğruluğunu iyileştirmek için bir yöntem önerdi. Bu makalenin genel fikri, ilk olarak orijinal grafiği daha küçük bir grafik halinde basitleştirmek, böylece düğüm gömme hızlı bir şekilde hesaplanabilir ve ardından orijinal grafiğin gömülmesini geri yüklenebilir.
Başlangıçta, öznitelik benzerliğine bağlı olarak, düğümün k en yakın komşusu arasındaki bağlantılara karşılık gelen orijinal grafik üzerinde ek kenar genişletmeleri gerçekleştirilir. Ardından grafik kabalaştırılır: her bir düğüm, yerel spektrum yöntemiyle düşük boyutlu bir alana yansıtılır ve kümeler halinde toplanır. Herhangi bir denetimsiz grafik gömme yöntemi (DeepWalk, Deep Graph Infomax gibi) küçük grafiklerde düğüm yerleştirmeleri elde edebilir. Son adımda, elde edilen düğüm gömme (esasen kümenin gömülmesini temsil eder), farklı düğümlerin aynı gömülmeye sahip olmasını önlemek için bir yumuşatma operatörü ile yinelemeli olarak yayınlanır. Deneyde, GraphZoom çerçevesi, node2vec ve DeepWalk'a kıyasla 40 kat şaşırtıcı bir hızlanma elde etti ve doğruluk oranı da% 10 arttı.
Grafik Sınıflandırması için Grafik Sinir Ağlarının Adil Bir Karşılaştırması
https://openreview.net/forum?id=HygDF6NFPB
Birçok makale, grafik sınıflandırmanın araştırma sonuçları üzerinde ayrıntılı analizler yapmıştır. Pisa Üniversitesi'nden Federico Errica ve diğerleri, GNN modelini grafik sınıflandırma sorunu üzerine yeniden değerlendirdiler.
Araştırmaları, grafik topolojisini (yalnızca birleşik düğüm özellikleri) kullanmayan basit bir temelin SOTA GNN'ye benzer performansa ulaşabileceğini göstermektedir. Aslında bu şaşırtıcı keşif, Orlova ve arkadaşları tarafından 2015 yılında yayınlandı, ancak geniş bir ilgi görmedi.
Grafik Veri Kümelerinde İzomorfizm Yanlılığını Anlama
https://openreview.net/forum?id=rJlUhhVYvSSkolkovo
Bilim ve Teknoloji Enstitüsü'nden Ivanov Sergey ve diğerleri araştırmalarında MUTAG ve IMDB gibi ortak veri setlerinde düğüm özellikleri dikkate alınsa bile birçok grafiğin izomorfik kopyalarına sahip olacağını keşfettiler. Ayrıca, bu izomorfik grafiklerin çoğu, sınıflandırıcıya doğal olarak etiket gürültüsü getiren farklı hedef etiketlere sahiptir. Bu, model performansını iyileştirmek için ağdaki tüm mevcut meta bilgileri (düğüm veya uç öznitelikleri gibi) kullanmanın çok önemli olduğunu gösterir.
Güçlü Grafik Sinir Ağları Gerekli mi? Grafik Sınıflandırma Üzerine Bir İnceleme
https://openreview.net/forum?id=BJxQxeBYwH
Başka bir iş de UCLA Sun Yizhou ekibinin işi. Bu çalışma, doğrusal olmayan en yakın komşu toplama işlevinin orijinal doğrusal olmayan en yakın komşu toplama işlevinin yerini almak için kullanılması durumunda modelin performansının düşmeyeceğini göstermektedir. Bu, "grafik veri setinin sınıflandırma üzerinde çok az etkiye sahip olduğu" şeklindeki önceki görüşün tersidir. Bu çalışma aynı zamanda bu tür görevler için uygun bir doğrulama çerçevesinin nasıl bulunacağı sorusunu da gündeme getiriyor. Leifeng.com'un "AI Technology Review" WeChat resmi hesabını takip edin ve makaledeki paketli makale koleksiyonunu indirmek için arka planda "2020'de GML Trendleri" yanıtını verin.
Makalenin içeriği, 2020'de Grafik Makine Öğreniminin En İyi Trendleri olan directiondatascience.com'dan seçilmiştir.
~ Refah Teslimatı ~
AI takvimi gönder
