Bengio ekibinin başyapıtı: GNN karşılaştırma karşılaştırması ortaya çıktı, grafik sinir ağının "ImageNet" i burada
Yazar | MrBear
Düzeltme | serinin sonu
Editör | Jia Wei
Grafik Sinir Ağı (GNN), şu anda ilgi odağı olan sıcak bir araştırma konusudur. Bununla birlikte, bilgisayar vizyonunun yükselişinin ImageNet'in doğuşuna bağlı olması gibi, grafik sinir ağlarının da acil olarak küresel bilim adamları tarafından tanınan birleşik bir karşılaştırma ölçütüne ihtiyacı var.
Son zamanlarda Bengio, ekibini yeni bir grafik sinir ağı karşılaştırma kıyaslama testi çerçevesi ve beraberindeki 6 standartlaştırılmış veri seti yayınlamaya yönlendirdi. Herkes listenin tadını çıkarmaya başlayabilir!
Kağıt bağlantısı:
https://arxiv.org/pdf/2003.00982.pdf
Açık kaynak bağlantısı:
https://github.com/graphdeeplearning/benchmarking-gnns
Günümüzde grafik sinir ağları, grafik verilerini analiz etmek ve öğrenmek için standart bir araç haline geldi ve çeşitli alanlara (örneğin kimya, fizik, sosyal bilimler, bilgi grafikleri, öneri sistemleri ve sinirbilim) başarıyla uygulandı. Bu alanın yükselmesiyle, daha büyük ve daha karmaşık veri kümeleri ve alanlarıyla başa çıkmamızı sağlayan, farklı ağ boyutları altında genelleştirilebilecek mimarileri ve anahtar mekanizmaları tanımlamak çok önemli hale geldi.
Ne yazık ki, tek tip deneysel ayarlara ve büyük veri setlerine sahip standartlaştırılmış karşılaştırma kıyaslamalarının yokluğunda, yeni GNN'lerin etkinliğini ölçmek ve modelleri karşılaştırmak giderek daha zor hale geliyor.
Bu makalede, Bengio ekibi yeniden üretilebilir bir GNN karşılaştırma kıyaslama çerçevesi önermektedir ve bu, araştırmacılara yeni veri setleri ve modeller ekleme kolaylığı sağlar. Bu karşılaştırmalı kıyaslama çerçevesini, etkili bir GNN tasarlarken anahtar işlemler oluşturmak için matematiksel modelleme, bilgisayar görüşü, kimya ve kombinatoryal problemler gibi yeni orta ölçekli grafik veri setlerine uyguladılar. Aynı zamanda, sağlam ve ölçeklenebilir GNN'ler geliştirmek için genel yapı taşları olarak grafik evrişim, anizotropik difüzyon, artık bağlantı ve normalizasyon katmanı kullanılır.
1
Giriş
Birçok öncekinin çabaları sayesinde, son yıllarda grafik sinir ağları (GNN), başlangıç çizgisinde sıcak bir araştırma konusu haline geldi ve araştırmacılar, art arda bir dizi umut verici yöntem geliştirdiler.
Bu alanın sürekli gelişmesiyle birlikte, güçlü bir GNN'nin nasıl oluşturulacağı temel bir konu haline geldi. Ne tür mimari, temel ilkeler veya mekanizmalar evrenseldir, genelleştirilebilir ve büyük grafik veri kümelerine ve büyük grafiklere genişletilebilir? Bir diğer önemli soru şudur: Teorik gelişimin GNN üzerindeki etkisi nasıl incelenir ve ölçülür?
Karşılaştırmalı kıyaslama testi, bu temel sorunları çözmek için güçlü bir örnek sağlar. Bu yöntemin, bilimsel ilerlemeyi teşvik etmede, temel fikirleri belirlemede ve belirli alanlardaki problemleri çözmede bazı bilimsel alanlar için çok yararlı olduğu kanıtlanmıştır.
Son yıllarda, ünlü 2012 ImageNet Challenge, derin öğrenmede bir devrim başlatan iyi bir kıyaslama testi veri seti sağlamıştır. Dünyanın her yerinden araştırma ekipleri, büyük ölçekli veri kümelerinde görüntü sınıflandırması için en komik türü geliştirmek için yarışıyor.
ImageNet veri setinde kaydedilen önemli ilerleme sayesinde, bilgisayarla görme araştırma topluluğu, derin sinir ağlarını eğitmek için güçlü ağ mimarilerini ve tekniklerini keşfetmeye yönelik parlak bir geliştirme yolu açtı.
Bununla birlikte, başarılı bir karşılaştırma ölçütü tasarlamak çok zor bir iştir. Bunun için uygun bir veri kümesi, sağlam bir kodlama arayüzü ve adil karşılaştırma için genel bir deneysel ortam tasarlamak gerekir. Yukarıdaki tüm unsurlar gereklidir. Zamanla tekrarlanabilir.
Bu tür talep bazı sorunlarla karşı karşıyadır:
İlk olarak, uygun bir veri seti nasıl tanımlanır? Temsili, gerçek, büyük ölçekli veri kümelerini toplamak zor olabilir. GNN için bu en önemli konulardan biridir. Yayınlanan makalelerin çoğu çok küçük veri setlerine odaklanır (örneğin, CORA ve TU veri setleri) Bu durumda, istatistiksel olarak ve bir anlamda neredeyse tüm GNN'lerin performansı aynıdır. Bir şekilde, sezgisel olarak, grafik yapısını dikkate almayan bu karşılaştırma temel modelleri GNN ile aynı performansa sahiptir ve hatta bazen GNN'den daha iyi performans gösterir.
Bu, insanların yeni ve daha karmaşık GNN mimarileri geliştirmesinin gerekliliği ve hatta GNN kullanmanın gerekliliği hakkında soruları gündeme getiriyor. Örneğin, HoangMaehara ve diğerleri ve Chen ve diğerleri tarafından 2019 yılında yayınlanan çalışmada, yazarlar, modelin küçük veri kümeleri üzerindeki sınırlamalarını ortaya çıkarmak için GNN'deki bileşenlerin yeteneklerini analiz ettiler. Bu veri setlerinin karmaşık yapılandırılmış tümevarımlı öğrenme çerçevelerini tasarlamak için uygun olmadığına inanıyorlar.
İkinci olarak, GNN alanının karşı karşıya olduğu diğer bir büyük sorun, genel bir deneysel ortamın nasıl tanımlanacağıdır. Errica ve diğerleri tarafından 2019'da yayınlanan "Grafik sınıflandırması için grafik sinir ağlarının adil bir karşılaştırması" başlıklı makalede belirtildiği gibi, TU veri setine dayanan son makaleler eğitim, doğrulama ve test setleri ve değerlendirme protokollerinin bölünmesi konusunda bir fikir birliğine varmadı. Bu, nispeten yeni fikirlerin ve mimarilerin performansını adaletsiz kılar.
İyi bir veri kümesinin nasıl bölüneceği (rastgele bölme hariç) hala belirsizdir ve bunun aşırı iyimser tahminlere yol açacağı kanıtlanmıştır (Lohr, 2009). Ek olarak, farklı hiperparametreler, kayıp fonksiyonları ve öğrenme hızı programları mimarideki yeni gelişmeleri değerlendirmeyi zorlaştırır.
Bu yazının ana katkıları aşağıdaki gibidir:
-
PyTorch ve DGL kitaplıklarına dayalı olarak geliştirilen ve GitHub'da barındırılan halka açık bir GNN karşılaştırma karşılaştırma çerçevesi yayınlandı.
-
Hedef: Şu anda popüler olan küçük veritabanları CORA ve TU'yu aşmak ve 9 ila 500 düğüme sahip 12.000 ila 70.000 grafikten oluşan orta ölçekli bir veri kümesi sunmak. Veri seti matematiksel modelleme (rastgele blok modeli), bilgisayar görüşü (süperpiksel), kombinatoryal optimizasyon (seyyar satıcı problemi) ve kimyayı (moleküler çözünürlük) içerir.
-
Önerilen karşılaştırma kıyaslama çerçevesi, GNN'nin önemli yapı taşlarını belirler. Grafik evrişim, anizotropik difüzyon, artık bağlantı ve normalleştirme katmanları, verimli GNN'lerin tasarlanması için en yararlı olanlardır.
-
Yazarın amacı, yayınlanan GNN'yi sıralamak değildir. Belirli bir görev için, en iyi modeli bulmanın hesaplama maliyeti çok yüksektir (karşılık gelen kaynak sınırının ötesinde) ve zayıf doğrulama kullanan hiperparametrelerin değeri için kapsamlı bir arama gerektirir. Aksine, yazar, tüm modeller için parametre değişiklikleri için deneysel bir plan oluşturur ve önemli GNN mekanizmalarını belirlemek için performans eğilimlerini analiz eder.
-
Sayısal sonuç tamamen yeniden üretilebilir.
2 Karşılaştırma kıyaslama çerçevesi
Bu çalışmanın amaçlarından biri, son birkaç yılda önerilen çeşitli GNN mimarilerinin performansta bariz ve istatistiksel olarak önemli farklılıklar gösterdiği, kullanımı kolay, orta büyüklükte bir dizi veri seti sağlamaktır. Tablo 1'de gösterildiği gibi, bu makale 6 veri seti sunmaktadır. Bilgisayar görüntü veri setlerinden ikisi için yazar, klasik MNIST ve CIFAR10 veri kümelerindeki her bir görüntüyü görüntü biçimine dönüştürmek için "süper piksel" teknolojisini kullanır (ayrıntılar için orijinal metnin 5.2 bölümüne bakın). Bir sonraki görev bu grafikleri sınıflandırmaktır.
Tablo 1: Önerilen kıyaslama veri setinin istatistik tablosu
"PATTERN" ve "CLUSTER" veri setleri, rastgele blok modeline göre oluşturulur (ayrıntılar için orijinal metnin 5.4 bölümüne bakın). PATTERN veri kümesi için karşılık gelen görev önceden tanımlanmış alt grafiği tanımlamaktır; CLUSTER veri kümesi için karşılık gelen görev kümeyi tanımlamaktır. Yukarıdaki iki görev, düğüm sınıflandırma görevleridir.
TSP veri seti, seyahat eden satıcı problemine göre oluşturulmuştur (bir şehir kümesi verildiğinde, her şehri ziyaret etmek ve başlangıç noktasına dönmek için mümkün olan en kısa yolu bulun), ayrıntılar için orijinal metnin 5.5 bölümüne bakın. Yazar, rastgele Öklid grafiğindeki TSP'yi, her kenarın gerçek değerinin Concorde çözücüsü tarafından verilen TSP yolu tarafından belirlendiği bir kenar sınıflandırma / bağlantı tahmin görevi olarak ele alır.
Orijinal metnin 5.3 bölümünde belirtildiği gibi, ÇİNKO gerçek dünyada var olan bir moleküler veri kümesidir. Her molekül bir grafik formuna dönüştürülebilir: her atom bir düğüm görevi görür ve her kimyasal bağ bir kenar görevi görür. Buradaki karşılık gelen görev, Kısıtlı Çözünürlük adı verilen bir moleküler özelliği geriletmektir.
Bu makalede sunulan her veri kümesi en az 12.000 grafik içerir. Bu, CORA ve genellikle yalnızca birkaç yüz görüntü içeren sık kullanılan TU veri kümeleriyle keskin bir tezat oluşturuyor.
Öte yandan, bu makalede önerilen veri setlerinin çoğu yapay veya yarı insan yapımıdır (ZINC hariç), CORA ve TU ise değildir. Bu nedenle, bu karşılaştırma ölçütlerinin birbirini tamamladığı düşünülebilir.
Bu çalışmanın ana motivasyonu, farklı GNN mimarileri arasında gözlemlenen farklılıkların istatistiksel olarak anlamlı olması için yeterince büyük bir veri kümesi önermektir.
3 Grafik Sinir Ağına Giriş
En basit haliyle, grafik sinir ağı, aşağıdaki formüle göre düğüm temsillerini bir katmandan diğerine yinelemeli olarak günceller:
İ düğümünün l + 1. katmanda d boyutlu gömülü temsili nerede,
Grafikteki i düğümüne bağlı düğüm kümesi,
O halde, düğümün derecesidir, doğrusal olmayan bir fonksiyondur ve öğrenilebilir bir parametredir. Grafik sinir ağının bu basit versiyonuna grafik evrişimli ağ (GCN) diyoruz.
GraphSage ve GIN (Graph Isomorphic Network) bu ortalama mekanizmanın basit varyantlarını önerir. Ortalama toplama sürümünü kullanan GraphSage'de formül (1) şu şekilde yeniden yazılabilir:
Gömme vektörü bir sonraki katmana geçmeden önce, birim bilye üzerine yansıtılacaktır. GIN mimarisinde formül (1) şu şekilde yeniden yazılabilir:
Bunlar arasında, öğrenilebilir parametreler vardır ve BN, toplu normalleştirme katmanıdır. Son tahmin için GIN'in tüm ara katmanlardaki özellikleri kullanacağını belirtmekte fayda var. Yukarıdaki tüm modellerde, her bir komşunun merkezi düğümün güncellenmesine katkısı eşittir. Bu tür modellere izotropik diyoruz ve tüm kenar yönlerini eşit olarak ele alıyorlar.
Öte yandan, Gauss karışım modeli ağı MoNet, geçitli grafik evrişimli ağ GatedGCN ve grafik dikkat ağı GAT, anizotropik güncelleme şemaları önermiştir:
Bunlar arasında ağırlıklar ve çeşitli mekanizmalar kullanılarak hesaplanır (örneğin, GAT'daki dikkat mekanizması veya GatedGCN'deki geçit mekanizması).
Son olarak, diferansiyel havuzlama DiffPool adında bir hiyerarşik grafik sinir ağını da düşünebilirsiniz. Hiyerarşi ve havuzlama sürecinin her aşamasında GraphSage formülünü (2) kullanır.
4 Benchmark deneyi
Burada, bu makalede önerilen açık kaynak karşılaştırma kıyaslama testi çerçevesinin deneysel sonuçlarını gösterelim.
Bu çalışmada kullanılan GNN ağlarının çoğu (grafik evrişimli ağ GCN, grafik dikkat ağı GAT, GraphSage, diferansiyel havuzlama DiffPool, grafik izomorfik ağ GIN, Gauss karışım modeli ağı MoNet dahil) derinlik grafik kodundan türetilmiştir. Kitaplık (DGL) ve PyTorch kullanılarak gerçekleştirildi. Yazar, GNN uygulamasının tüm DGL sürümlerini iyileştirmek için artık bağlama, toplu normalleştirme ve grafik boyutu normalizasyonu kullanır. Geçitli grafik evrişimli ağ GatedGCN, kullanım için düşünülen son GNN'dir ve "GatedGCN-E", kenar özniteliklerini / uç özelliklerini kullanan sürümü temsil eder.
Ek olarak, yazar, diğer düğümlerden bağımsız olarak her düğümün özellik vektörüne aynı şekilde çok katmanlı bir algılayıcı uygulayan, belirli grafikten bağımsız basit bir karşılaştırma temelini de uygular. Geçitli çok katmanlı algılayıcının temelini elde etmek için arkaya bir geçit mekanizması bağlamayı seçebilirsiniz.
Bu makale Nvidia'nın 1080Ti GPU'sunu, TU, MNIST, CIFAR10, ZINC ve TSP veri kümeleri üzerinde yapılan deneyleri ve PATTERN ve CLUSTER veri kümeleri üzerinde deneyler yapmak için Nvidia'nın 2080Ti GPU'sunu kullanıyor.
1. TU veri seti üzerinde grafik sınıflandırması yapın
İlk deney, TU veri kümesindeki grafikleri sınıflandırmaktır. Belgede üç TU veri seti seçilmiştir, ENZYMES (eğitim seti, doğrulama seti, test seti sırasıyla 480, 60 ve 60 grafik içerir), DD (eğitim seti, doğrulama seti, test seti sırasıyla 941 içerir) 30-5748 boyutunda, 118 ve 119 grafikleri) ve PROTEINS (eğitim seti, doğrulama seti ve test seti sırasıyla, 4-620 boyutunda 889, 112 ve 112 grafikleri içerir).
Deneyin sayısal sonuçları Tablo 2'de gösterilmektedir. İstatistiksel olarak konuşursak, tüm sinir ağları benzer performansa sahiptir, ancak standart sapma çok büyüktür.
Tablo 2: Standart TU test veri setindeki model performansı (değer ne kadar yüksekse o kadar iyidir). İki deneyin sonuçları verilmiştir Bu iki deneyde kullanılan hiperparametreler aynıdır, ancak kullanılan rastgele tohumlar farklıdır. Yazar, sıralama ve tekrarlanabilirlikteki farklılığı göstermek için bu iki deneyin sonuçlarını ayrı ayrı gösterdi. En iyi performans sonucu koyu kırmızı ile gösterilir, ikinci performans sonucu koyu mavi ile gösterilir ve üçüncü performans sonucu koyu siyah ile gösterilir.
2. SuperPixel kullanarak görüntü sınıflandırma
İkinci deneyde yazar, bilgisayarla görme alanında popüler MNIST ve CIFAR10 görüntü sınıflandırma veri setlerini kullandı. Orijinal MNIST ve CIFAR10 görüntülerini haritalara dönüştürmek için SuperPixel'i kullandılar.
MNIST veri setinde, eğitim seti, doğrulama seti ve test seti, boyutları sırasıyla 40-75 düğüm (SuperPiksel sayısı) arasında değişen 55.000, 5.000 ve 10.000 grafik içerir; CIFAR10 veri setinde, eğitim seti, doğrulama seti ve test seti Sırasıyla 85-150 düğüm boyutunda 45.000, 5.000 ve 10.000 grafik içerir.
Yazar, her örnek için, ağırlıkları olan bir k en yakın komşu matrisi oluşturur; burada süper pikseller i ve j'nin iki boyutlu koordinatları ve ölçekleme parametresi (her düğümün k en yakın komşusunun ortalama mesafesini hesaplayarak) ). MNIST ve CIFAR10'un süper piksel görüntülerinin görselleştirme sonuçları Şekil 1'de gösterilmektedir.
Şekil 1: Örnek görüntü ve süper piksel görüntüsü. SLIC ile elde edilen süperpiksel görüntüsü (MNIST maksimum 75 düğüme sahiptir ve CIFAR10 maksimum 150 düğüme sahiptir) Öklid uzayında elde edilen en yakın 8'e yakın komşu görüntüsüdür.Grafikteki düğümlerin renkleri ortalama piksel yoğunluğunu temsil eder.
MNIST ve CIFAR 10 veri kümelerindeki grafik sınıflandırma sonuçları Tablo 3'te gösterilmektedir.
Tablo 3: Standart MNIST ve CIFAR10 test veri setlerinde model performansı (değer ne kadar yüksekse o kadar iyidir). Deneysel sonuçlar, farklı tohumlar kullanılarak dört deneyin ortalaması alınarak elde edilir. Kırmızı en uygun modeli temsil eder, mor daha iyi modeli temsil eder ve koyu siyah, artık bağlantıları olan ve olmayan modeller arasında en iyi modeli temsil eder (ikisinin performansı aynıysa, her ikisi de siyah kalın harflerle yazılır) .
3. Moleküler veri seti üzerinde grafik regresyonu gerçekleştirin
Yazar, "kısıtlı çözünürlük" adı verilen moleküler özellikleri geriletmek için ZINC moleküler harita veri setini kullanır. ZINC veri setinde, eğitim seti, doğrulama seti ve test seti, sırasıyla 9 ila 37 arasında değişen boyutlarda 10.000, 1.000 ve 1.000 düğüm / atom içerir. Her bir moleküler grafik için düğüm özelliği atom tipidir ve kenar özelliği kenar tipidir. Deneysel sonuçlar Tablo 4'te gösterilmektedir.
Tablo 4: Standart ZINC test veri setindeki model performansı (değer ne kadar düşükse o kadar iyidir). Deneysel sonuçlar, farklı tohumlar kullanılarak dört deneyin ortalaması alınarak elde edilir. Kırmızı en uygun modeli temsil eder, mor daha iyi modeli temsil eder ve koyu siyah, artık bağlantıları olan ve olmayan modeller arasında en iyi modeli temsil eder (ikisinin performansı aynıysa, her ikisi de siyah kalın harflerle yazılır) .
4. Rastgele blok modeli (SBM) veri kümesi üzerinde düğüm sınıflandırması gerçekleştirin
Burada yazar, düğüm düzeyinde grafik örüntü tanıma görevlerini ve yarı denetimli grafik kümeleme görevlerini değerlendiriyor. Grafik örüntü tanımanın görevi, çeşitli boyutlarda büyük bir G grafiğine gömülü sabit bir grafik modeli P bulmaktır. GNN için, farklı grafiklerdeki kalıpları tanımlamak en temel görevlerden biridir. Desen ve gömülü görüntü, rastgele blok modeli (SBM) tarafından oluşturulur. SBM, aşağıdaki kurallara göre her düğüme topluluklar atayan bir tür rastgele grafiktir: Herhangi iki düğüm için, aynı topluluğa aitlerse, bağlı olma olasılıkları p'dir. Farklı toplulukların bağlı olma olasılığı q'dur (q'nun değeri gürültü seviyesi olarak kullanılır).
Tüm deneylerde, yazar 5 topluluk içeren bir G grafiği oluşturdu ve her topluluğun boyutu arasında rastgele oluşturuldu. Her bir topluluk için SBM kuralları p = 0.5, q = 0.2'dir ve G üzerindeki sinyal, 3 değişkenin (yani {0,1,2}) düzgün bir rasgele dağılımında örneklenerek elde edilir. Yazar rastgele olarak, p_P = 0.5 dahili olasılıkla ve q_P = 0.5 harici olasılıkla 20 düğümden oluşan 100 desen P üretti (yani, P'deki düğümlerin% 50'si G'nin P olmayan kısmına bağlıdır). P üzerindeki sinyal de {0,1,2} 'de üretilen rastgele bir sinyaldir. PATTERN veri setinde, eğitim seti, doğrulama seti ve test seti, sırasıyla 50 ila 180 düğüm arasında değişen boyutlarda 10.000, 2.000 ve 2.000 grafik içerir. Çıkış sinyalinin değeri, düğüm P'ye bağlı olduğunda 1'dir ve çıkış sinyalinin değeri, düğüm G'deyken ve P'ye bağlı olmadığında 0'dır.
Yarı denetimli kümeleme görevi, ağ bilimindeki başka bir temel görevdir. Yazar, boyutları rastgele oluşturulmuş, p = 0.55 ve q = 0.25 olasılıkla 6 SBM kümesi oluşturmuştur. CLUSTER veri setinde, eğitim seti, doğrulama seti ve test seti, boyutları sırasıyla 40 ila 190 düğüm arasında değişen 10.000, 1.000 ve 1.000 grafik içerir. Yazar, her topluluk için rastgele seçilen tek bir etiket verdi. Çıkış sinyali, küme kategorisinin etiketi olarak tanımlanır.
Tablo 5: Standart PATTERN ve CLUSTER SBM grafik test setlerinde model performansı (değer ne kadar yüksekse o kadar iyidir). Kırmızı en iyi modeli temsil eder, mor daha iyi modeli temsil eder ve koyu siyah, artık bağlantıları olan ve olmayan modeller arasında en iyi modeli temsil eder.
5. TSP veri kümesinde kenar sınıflandırması yapın
Son yıllarda, NP-zor kombinatoryal optimizasyon problemlerini (COP) çözmek için makine öğreniminin kullanımı sıcak bir araştırma konusu haline geldi. Yakın zamanda önerilen COP derin öğrenme çözücü, problem örneklerine (grafikler olarak karakterize edilir) dayalı yaklaşık çözümleri doğrudan tahmin etmek için GNN'yi klasik grafik arama yöntemleriyle birleştirir. Burada yazar, geniş çapta incelenen Seyahat Eden Satıcı Problemini (TSP) ele alıyor: İki boyutlu bir Öklid grafiği göz önüne alındığında, optimum bir düğüm sırası (yol) bulmalı, tüm düğümleri bir kez geçmeli ve kenarların ağırlıklarının toplamını bulmalıyız. (Yol uzunluğu) en küçük olanıdır. TSP'nin çoklu ölçek özelliği onu çok zor bir grafik görevi haline getiriyor.Yerel düğüm komşuları ve global grafik yapısını aynı anda çıkarmamızı gerektiriyor.
Buradaki TSP deneyinde yazar, Li ve diğerleri tarafından 2018'de yayınlanan ve GNN'nin her bir kenara atandığı "grafik evrişimli ağlar ve kılavuzlu ağaç arama ile kombinatoryal optimizasyon" makalesinde açıklanan öğrenme tabanlı COP çözümü yöntemini izledi Bir çözüm kümesinin olasılığını tahmin eden bir omurga mimarisine aittir / konuşlandırılmıştır. Ardından yazar, olasılıkları ayrı kararlara dönüştürmek için grafik arama teknolojisini kullanacaktır. Eğitim seti, doğrulama seti ve test seti sırasıyla 10.000, 1.000 ve 1.000 TSP örneğini içerir. Her örnek, birim karede eşit şekilde örneklenen düğüm konumlarından oluşan bir grafiktir. Yazar, düğüm düğümlerini her bir örneği tek tip olarak örnekleyerek elde eder, böylece farklı boyutlarda ve karmaşıklıkta birden çok TSP problemi üretir.
Ana GNN mimarisinin ve arama kısmının etkisini ayırmak için yazar, uç ikili sınıflandırma görevi olarak TSP'yi kullandı ve TSP yolundaki her kenarın gerçek değeri Concorde çözücüsü tarafından elde edildi. Büyük örnekleri genişletmek için, yazar tam bir grafik yerine seyrek bir k = 25 en yakın komşu grafiği kullanır. Çeşitli boyutlarda örneklenmiş TSP örnekleri için lütfen Şekil 2'ye bakın.
Şekil 2: TSP veri kümesinden örneklenmiş bir görüntü. Düğümler mavi ile temsil edilir ve TSP yolundaki gerçek kenarlar kırmızı ile gösterilir.
5 Aydınlanma bizim için
1. Küçük bir veri kümesinde, grafikten bağımsız bir sinir ağının (çok katmanlı algılayıcı) performansı GNN'ye benzer
Tablo 2 ve Tablo 3, küçük TU veri seti ve basit MNIST veri seti için, grafikten bağımsız MLP karşılaştırma taban çizgisinde GNN kullanıldığında belirgin bir performans artışı olmadığını göstermektedir. Ek olarak, MLP bazen GNN'den daha iyi performans gösterir (örneğin, DD veri kümesinde).
2. Büyük veri kümelerinde GNN, grafiklerle ilgili olmayan sinir ağlarının performansını artırabilir
Tablo 4 ve Tablo 5, ZINC, PATTERN ve CLUSTER veri setlerinde, tüm GNN'lerin iki MLP temel modeline kıyasla önemli bir performans iyileştirmesine sahip olduğunu göstermektedir. Tablo 6, TSP veri kümesinde artık bağlantı kullanan GNN modelinin performansının MLP karşılaştırma taban çizgisinden daha iyi olduğunu göstermektedir. Tablo 3'teki deneysel sonuçlar, CIFAR10 veri setindeki farkın küçük olduğunu, ancak en iyi GNN modelinin MLP modelinden önemli ölçüde daha iyi performans gösterdiğini göstermektedir.
3. Orijinal GCN'nin performansı düşük
GCN, GNN'nin en basit biçimidir. Düğüm temsillerinin güncellenmesi, formül (1) 'de açıklandığı gibi komşu düğümler üzerinde izotropik bir ortalama alma işlemine dayanır. Chen ve arkadaşları, 2019 yılında yayınlanan "Güçlü Grafik Sinir Ağları Gerekli mi? Grafik Sınıflandırması Üzerine Bir İnceleme" makalesinde bu izotropik doğayı analiz etmiş ve sonuçlar bu yöntemin basit grafik yapılarını ayırt edemeyeceğini göstermiştir. GCN'nin tüm veri kümelerinde neden düşük performansa sahip olduğunu açıklar.
4. GCN'de geliştirilmiş yeni izotropik GNN mimarisi
GraphSage, grafik evrişimli katmanın formül (2) aracılığıyla merkezi düğüm bilgisinin kullanılmasının önemini göstermektedir. GIN ayrıca formül (3) 'te merkezi düğümün özelliklerini kullanır ve tüm ara katmanların evrişimli özellikleriyle bağlantılı yeni bir sınıflandırıcı katman kullanır. DiffPool, GraphSage'in her çözünürlük seviyesinde kullanıldığı öğrenilebilir bir grafik havuzlama işlemini dikkate alır. Bu üç izotropik GNN, CLUSTER dışındaki tüm veri kümelerinde GCN'nin performansını büyük ölçüde iyileştirmiştir.
5. Anizotropik GNN daha doğrudur
GAT, MoNet, GatedGCN gibi anizotropik modeller, PATTERN dışındaki tüm veri setlerinde en iyi performansı elde etmiştir. Yazar aynı zamanda GatedGCN'nin tüm veri kümelerinde iyi performans gösterdiğini de fark etti.
Temel olarak komşu düğüm özelliklerinin basit toplamına dayanan izotropik GNN'lerin aksine, anizotropik GNN'ler karmaşık mekanizmalar kullanır (GAT, seyrek bir dikkat mekanizması kullanır ve GatedGCN bir kenar geçitleme mekanizması kullanır), bu da onları yapar Verimli bir şekilde başarmak daha zordur.
Ek olarak, bu tür bir GNN'nin başka bir avantajı daha vardır, yani kenar özelliklerini (örneğin, bir moleküldeki iki atom arasındaki kimyasal bağın türü) açıkça kullanabilirler. Tablo 4'te gösterildiği gibi, ZINC moleküler veri seti, GatedGCN -E, kimyasal bağlar kullanmayan GatedGCN'ye kıyasla MAE'nin performansını büyük ölçüde artıran kimyasal bağların kenar özelliğini kullanır.
6. Artık bağlantı performansı artırabilir
Artık bağlantı, bilgisayarla görmenin derin öğrenme mimarisinde ortak bir bileşen haline geldi. Artık bağlantıların kullanılması, GNN'nin performansı iki şekilde iyileştirmesine yardımcı olabilir:
Bir yandan, derin ağda geri yayılma sürecinde gradyan dağılımı sorununu sınırlar. Öte yandan, kendi kendine düğüm bilgisini GCN ve GAT gibi modellerde evrişim aşamasına dahil etmeyi mümkün kılar ve bu modellerin kendileri bu bilgiyi açıkça kullanmaz.
Tablo 7: Artık bağlantı içeren / içermeyen derin GNN için (32 katmana kadar), TSP test veri setindeki model performansı (değer ne kadar yüksekse o kadar iyidir). L katman sayısını temsil eder ve kalın siyah yazı tipi, artık bağlantı olan ve olmayan modelin en iyi modelini temsil eder (performans aynıysa, her ikisi de koyu siyah yazı tipleridir).
Şekil 3: ZINC ve CLUSTER test veri setlerinde artık bağlantılarla (düz çizgiler) ve artık bağlantılar olmadan (kesikli çizgiler) derin GNN'nin (32 katmana kadar) model performansı. Deneysel sonuçlar, farklı tohumlar kullanılarak dört deneyin ortalaması alınarak elde edilir.
7. Normalleştirme katmanı öğrenme performansını artırabilir
Gerçek dünyadaki çoğu grafik veri seti, farklı grafik boyutlarına sahip düzensiz grafik koleksiyonlarıdır. Farklı boyutlardaki grafikleri toplu olarak işlemek, farklı ölçeklerde düğüm gösterimlerine neden olabilir. Bu nedenle, aktivasyon değerini normalleştirmek, öğrenme ve genelleme performansını iyileştirmeye yardımcı olabilir.
Deneyde yazar iki normalleştirme katmanı kullandı: toplu normalleştirme (BN) ve grafik boyutu normalizasyonu (GN). Grafik boyutunun normalleştirilmesi basit bir işlemdir ve ürettiği düğüm özellikleri, grafiğin boyutuna, yani düğümlerin sayısına göre normalizasyonun sonucudur. Bu normalleştirme katmanı, evrişim katmanından sonra ve aktivasyon katmanından önce uygulanır.
Tablo 8: ZINC, CIFAR10 ve CLUSTER test veri setlerinde parti normalizasyonu (BN) ve grafik normalleştirme (GN) içeren / içermeyen modellerin performansı.
Deneysel sonuçların ortalaması, (ortalama ± standart sapma) olarak ifade edilen, farklı tohumlarla dört deney temel alınarak hesaplanmıştır.ZINC veri seti için, değer ne kadar düşükse, CIFAR10 ve CLUSTER veri kümeleri için değer o kadar iyi ve yüksek olur. Daha iyi. Kalın siyah yazı tipi, normalleştirme katmanı olan ve olmayan modellerin en iyisini temsil eder (ikisinin performansı aynı olduğunda, koyu siyah yazı tipi kullanılır).
6
Sonuç
Bu makalede Begio ve arkadaşları, grafik sinir ağlarının araştırılmasını kolaylaştırmak için karşılaştırmalı bir kıyaslama testi çerçevesi önerdiler ve deneydeki tutarsızlık problemini çözdüler. Yaygın olarak kullanılan küçük TU veri setinin bu alandaki yeniliği test etmeye uygun olmadığını kanıtladılar ve çerçeve dahilinde 6 orta ölçekli veri seti sundular.
Birden çok grafik odaklı görev üzerinde yapılan deneyler şunu göstermektedir:
1) Daha büyük veri setleri kullandığımızda, grafik yapısı çok önemlidir;
2) En basit izotropik GNN olarak, grafik evrişimli ağ GCN karmaşık grafik yapısını öğrenemez;
3) Kendi kendine düğüm bilgisi, hiyerarşi, dikkat mekanizması, yan geçit kontrolü ve daha iyi okuma işlevi (Okuma İşlevi), GCN'yi iyileştirmenin anahtarlarıdır;
4) GNN, artık bağlantılar kullanılarak daha derine genişletilebilir ve model performansı, normalleştirme katmanları kullanılarak da geliştirilebilir.
Son olarak, bu makalede önerilen karşılaştırma kıyaslama çerçevesinin PyTorch ve DGL kullanılarak uygulandığı, tamamen yeniden üretilebildiği ve herkesin yeni modelleri denemesi ve veri kümeleri eklemesi için GitHub'daki kullanıcılara açık olduğu unutulmamalıdır.
