CNN eski, GNN burada! Tsinghua Üniversitesi Sun Maosong Grubu'ndan GNN'ye ilişkin bir inceleme
Kaynak: Xinzhiyuan
Bu makale hakkında 3500 kelime 7 dakika okumanız tavsiye edilir.
Bu makale sizi UCI veritabanının Python API'sini anlamanıza, kodu gerçek vakalar aracılığıyla söküp açıklamaya götürecektir.
Derin öğrenme nedensel çıkarım yapamaz ve grafik modeli (GNN) çözümlerden biridir. Profesör Sun Maosong'un Tsinghua Üniversitesi'nden grubu, GNN'yi ve yöntemlerini ve uygulamalarını kapsamlı bir şekilde açıklayan bir inceleme makalesi yayınladı ve çeşitli GNN modellerinde yayılma adımlarını karakterize edebilen birleşik bir temsil önerdi. Makalede yer alan tablo için yüksek çözünürlüklü baskılı plastik etiketlerin referans olarak kullanılması tavsiye edilir.
Derin öğrenmenin en büyük zayıflığı nedir?
Bu sorunun cevabı farklı, ancak Turing Ödülü sahibi Judea Pearl'ün nedensel muhakemenin imkansız olduğunu söyleme şansı% 99,9.
Bu sorun için endüstri aktif olarak araştırıyor ve gelecek vaat eden yönlerden biri Grafik Sinir Ağı (GNN).
Kısa süre önce, Tsinghua Üniversitesi'nden Profesör Maosong Sunun grubu arXiv üzerine bir makale yayınladı. Grafik Sinir Ağları: Yöntemlerin ve Uygulamaların Gözden Geçirilmesi, Yazar, mevcut GNN modellerine ayrıntılı ve kapsamlı bir genel bakış yaptı.
"Grafik sinir ağı, bağlantı ve sembolizmin organik bir birleşimidir. Yalnızca derin öğrenme modellerinin grafikler gibi Öklid dışı yapılara uygulanmasını sağlamakla kalmaz, aynı zamanda derin öğrenme modellerine belirli bir dereceye kadar nedensel akıl yürütme yeteneği verir." İlk yazar Zhou Jie dedi.
"Derin öğrenme yöntemlerinin sağlamlığı ve yorumlanabilirliği sorgulandığı günümüzde, Grafik sinir ağı, gelecekte yapay zekanın gelişimi için uygun bir yön sağlayabilir. "
GNN, son zamanlarda derin öğrenme alanında yaygın bir ilgi gördü. Ancak bu alanı hızlı bir şekilde anlamak isteyen araştırmacılar, karmaşık modeller ve çok sayıda uygulamayla ilgili sorunlarla karşılaşabilirler.
"Bu makale okuyuculara GNN alanındaki farklı modellerin motivasyonunu ve avantajlarını hızlı bir şekilde anlamaları için daha yüksek düzeyde bir bakış açısı sağlamayı umuyor." Zhou Jie Xinzhiyuan'a şunları söyledi: "Aynı zamanda, farklı uygulamaları sınıflandırarak, farklı alanlardaki araştırmacıların hızlı bir şekilde yapması uygundur. GNN'nin farklı alanlara uygulanmasına ilişkin literatürü anlayın. "
abartmadan dedi, Makaledeki diyagramlar GNN ve hatta nedensel akıl yürütme hakkında bilgi edinmek isteyen araştırmacılar için, Yüksek çözünürlükte basılmış ve referans için duvara yapıştırılmış olmalıdır.
İçerik ve modeller açısından, bu makale orijinal GNN modelinin yapım yönteminden ve mevcut problemlerden başlar ve farklı grafik türleriyle nasıl başa çıkılacağı, bilgilerin nasıl verimli bir şekilde aktarılacağı ve nasıl yapılacağı dahil olmak üzere farklı iyileştirmeler içeren GNN varyantlarını sunar. Eğitim sürecini hızlandırın. Son olarak, son yıllarda önerilen birkaç genel çerçeve tanıtıldı, mevcut birkaç yöntemi özetliyorlar ve güçlü ifade yeteneğine sahipler.
Uygulama açısından makale, GNN'nin uygulama alanlarını yapılandırılmış senaryolara, yapılandırılmamış senaryolara ve diğer senaryolara böler ve fizik, kimya, görüntüler, metin, grafik oluşturma modelleri, kombinatoryal optimizasyon problemleri vb. Gibi klasik GNN uygulamalarını sunar.
Makale sonunda, yığılmış çok katmanlı GNN'lerin neden olduğu yumuşatma sorunuyla nasıl başa çıkılacağı, dinamik olarak değişen grafik yapılarıyla nasıl başa çıkılacağı, yapılandırılmamış verilerle başa çıkmak için genel yöntemlerin nasıl kullanılacağı ve daha büyük ölçeklere nasıl genişletileceği dahil olmak üzere dört açık soru ortaya koymaktadır. Ağda.
Yazar ayrıca GNN makalelerinin bir listesini de derledi: https://github.com/thunlp/GNNPapersAşağıdakiler, bu incelemenin kısmi çevirisidir, tıklayın Orijinali okuyun ArXiv kağıdına bakın.
Orijinal GNN ve sınırlamalarıGNN kavramı ilk olarak makalede F. Scarselli ve ark. Grafik sinir ağı modeli (F. Scarselli ve ark. 2009). Burada, orijinal GNN'yi açıklıyoruz ve temsil yeteneği ve eğitim verimliliği açısından orijinal GNN'nin sınırlamalarını sıralıyoruz.
Daha sonra, birkaç farklı GNN varyantı tanıttık, bu varyantların farklı grafik türleri, farklı yayılma işlevleri ve eğitim yöntemleri kullanarak.
Son olarak, mesaj geçiren sinir ağı (MPNN), yerel olmayan sinir ağı (NLNN) ve grafik ağı (GN) olmak üzere üç genel çerçeve sunduk. MPNN, çeşitli grafik sinir ağlarını ve grafik evrişimli ağ yöntemlerini birleştirir; NLNN, birkaç "kendi kendine dikkat" yöntemini birleştirir ve grafik ağı GN, bu makalede bahsedilen hemen hemen tüm grafik sinir ağı varyantlarını özetleyebilir.
Grafik sinir ağı
Daha önce belirtildiği gibi, Grafik Sinir Ağı (GNN) kavramı ilk olarak 2009 yılında Scarselli ve arkadaşları tarafından önerilmiştir. Mevcut sinir ağını genişletir ve grafiklerde temsil edilen verileri işlemek için kullanılır. Grafikte her bir düğüm, özellikleri ve ilgili düğümleri ile tanımlanır.
Deneysel sonuçlar GNN'nin Yapılandırılmış verileri modellemek için güçlü mimari, Ancak orijinal GNN'nin hala bazı sınırlamaları vardır.
Her şeyden önce, Sabit düğümler için, orijinal GNN'nin düğümün gizli durumunu yinelemeli olarak güncellemesi verimsizdir. Sabit nokta varsayımı gevşetilirse, düğümün ve çevresinin kararlı bir temsilini elde etmek için çok katmanlı bir GNN tasarlayabiliriz.
İkincisi, GNN yinelemelerde aynı parametreleri kullanırken, popüler sinir ağlarının çoğu farklı katmanlarda farklı parametreler kullanır.Bu hiyerarşik bir özellik çıkarma yöntemidir. Ek olarak, düğümlerin gizli durumunun güncellenmesi sıralı bir işlemdir ve RNN çekirdeklerinden (GRU ve LSTM gibi) yararlanabilir.
üçüncü, Orijinal GNN'de modellenemeyen bazı bilgi özellikleri de vardır. Ayrıca kenarların gizli durumunun nasıl öğrenileceği de önemli bir konudur.
Sonunda, Grafik yerine düğümün temsiline odaklanırsak, sabit bir nokta kullanmak uygun değildir, çünkü gösterimin sabit noktadaki dağılımı sayısal olarak pürüzsüzdür ve her bir düğümü ayırt edecek bilgi miktarı nispeten küçüktür.
Grafik sinir ağının varyantı
Bu bölümde, grafik sinir ağlarının birkaç çeşidini öneriyoruz. Birincisi, farklı grafik türleri üzerinde çalışan varyantlardır.Bu varyantlar, orijinal modelin temsil yeteneklerini genişletir. İkinci olarak, yayılma adımında değiştirilen çeşitli varyantları (evrişim, kapı mekanizması, dikkat mekanizması ve atlama bağlantısı) listeliyoruz.Bu modeller temsilleri daha iyi öğrenebilir. Son olarak, eğitim verimliliğini artıran gelişmiş eğitim yöntemlerini kullanma başlığını açıklıyoruz.
Şekil 2, GNN'nin farklı varyantlarını özetlemektedir.
Grafik Türleri
Orijinal GNN'de giriş grafiği, en basit grafik formatı olan etiket bilgisi ve yönlendirilmemiş kenarlara sahip düğümlerden oluşur. Ancak dünyada pek çok farklı grafik var. Burada, farklı grafik türlerini modellemek için bazı yöntemler tanıtacağız.
- Yönlendirilmiş Grafikler
Grafiğin ilk varyantı, yönlendirilmiş bir grafiktir. Yönlendirilmemiş bir kenar, iki düğüm arasında bir ilişki olduğunu gösteren iki yönlendirilmiş kenar olarak kabul edilebilir. Ancak yönlendirilmiş kenarlar, yönlendirilmemiş kenarlardan daha fazla bilgi getirebilir. Örneğin, bir bilgi grafiğinde kenar, baş varlıktan başlar ve kuyruk varlığıyla sona erer Baş varlık, ana varlık ile alt öğenin bilgi yayma sürecini farklı şekilde ele almamız gerektiğini belirten kuyruk varlığının üst öğesidir. Yönlendirilmiş grafik örnekleri ADGPM'dir (M. Kampffmeyer ve diğerleri 2018).
- Heterojen Grafikler
Grafiğin ikinci varyantı, birkaç tür düğüm içeren heterojen bir grafiktir. Heterojen grafiklerle başa çıkmanın en kolay yolu, her düğümün türünü orijinal özelliğe bağlı tek sıcak özellik vektörüne dönüştürmektir. GraphInception gibi heterojen grafikler.
- Edge-bilgilendirici Grafik
Grafiğin başka bir varyasyonu, her kenarın ağırlık veya kenar türü gibi bilgilere sahip olmasıdır. Örneğin, G2S ve R-GCN.
Farklı eğitim yöntemleri kullanan grafik varyantları
Yayılma adımında değiştirilen GNN varyantları
Grafik sinir ağlarının farklı varyantlarına ek olarak, farklı modelleri tek bir çerçeveye entegre etmeyi amaçlayan birkaç genel çerçeve de tanıttık.
J. Gilmer ve diğerleri (J. Gilmer ve diğerleri 2017) önerdi Sinir ağını geçen mesaj (mesaj geçen sinir ağı, MPNN), çeşitli grafik sinir ağı ve grafik evrişimli ağ yöntemlerini birleştirdi.
X. Wang ve diğerleri (X. Wang ve diğerleri 2017) önerdi Yerel olmayan sinir ağı (yerel olmayan sinir ağı, NLNN), çeşitli "kendi kendine dikkat" tarzı yöntemlerini birleştirir.
P. W. Battaglia ve diğerleri (P.W. Battaglia ve diğerleri 2018) önerdi Grafik ağı (grafik ağı, GN), MPNN ve NLNN yöntemlerini ve Etkileşim Ağları, Sinir Fiziği Motoru, CommNet, structure2vec, GGNN, İlişki Ağı gibi diğer birçok varyantı birleştiren ), Derin Setler ve Point Net.
Birkaç çözülmemiş sorunGNN farklı alanlarda büyük başarılar elde etmiş olsa da, GNN modelinin herhangi bir koşulda herhangi bir grafik görevi için henüz tatmin edici bir çözüm sağlayamadığını belirtmek gerekir. Burada, daha fazla çalışma için bazı açık konuları belirteceğiz.
Sığ yapı
Geleneksel derin sinir ağları, daha iyi performans elde etmek için yüzlerce katmanı istifleyebilir, çünkü daha derin yapıların daha fazla parametresi vardır ve bu, ağın ifade gücünü önemli ölçüde artırabilir. Bununla birlikte, GNN her zaman çok sığdır ve çoğu üç katmanı geçmez.
Deneyler, birden fazla GCN katmanının istiflenmesinin aşırı düzgünleştirmeye neden olacağını, yani tüm köşelerin aynı değere yakınlaşacağını göstermiştir. Bazı araştırmacılar bu sorunu çözmeyi başarmış olsalar da, bu hala GNN'nin en büyük sınırlamasıdır. Gerçek bir derin GNN tasarlamak, gelecekteki araştırmalar için heyecan verici bir zorluktur ve GNN'nin daha iyi anlaşılmasına önemli bir katkı sağlayacaktır.
Dinamik grafiklerin bir diğer zorlu problemi, dinamik yapılara sahip grafiklerle nasıl başa çıkılacağıdır. Statik grafikler her zaman kararlıdır, bu nedenle onları modellemek mümkündür, dinamik grafikler ise değişen yapılar sunar. Kenarlar ve düğümler göründüğünde veya kaybolduğunda, GNN uyarlamalı olarak değişiklik yapamaz. Şu anda dinamik GNN ile ilgili araştırmalar da aktif olarak yürütülmektedir.Genel GNN'nin kararlılığı ve uyarlanabilirliği için önemli bir kilometre taşı olduğuna inanıyoruz.
Yapılandırılmamış sahne
Yapılandırılmamış senaryolarda GNN uygulamasını tartıştık, ancak ham verilerden grafikler oluşturmanın en iyi yolunu bulamadık. Görüntü alanında, bazı çalışmalar, özellik haritalarını elde etmek için CNN kullanabilir ve daha sonra bunları düğümler olarak süperpikseller oluşturmak için örnekleyebilir ve bazıları nesne düğümlerini elde etmek için doğrudan bazı nesne algılama algoritmalarını kullanabilir. Metin alanında, bazı çalışmalar sözdizimsel grafikler olarak sözdizimi ağaçlarını kullanır ve diğer çalışmalar tamamen bağlantılı grafikler kullanır. Bu nedenle, önemli olan, GNN'nin daha geniş bir alanda daha büyük bir rol oynamasını sağlamak için en iyi grafik oluşturma yöntemini bulmaktır.
Ölçeklenebilirlik sorunları
Gömülü algoritmaların sosyal ağlar veya öneri sistemleri gibi büyük ölçekli ağ ortamlarına nasıl uygulanacağı, neredeyse tüm grafik gömme algoritmalarının karşılaştığı ölümcül bir sorundur ve GNN bir istisna değildir. GNN'yi genişletmek çok zordur, çünkü ona dahil olan birçok çekirdek süreç, büyük veri ortamında bilgi işlem gücünü tüketir.
Bu zorluk birkaç yönden yansıtılır: Birincisi, grafik verileri düzensizdir ve her düğümün kendi komşuluk yapısı vardır, bu nedenle gruplar halinde işlenemez. İkincisi, düğüm ve kenar sayısı milyonlara ulaştığında grafiğin Laplacianını hesaplamak mümkün değildir. Ek olarak, algoritmanın ölçeklenebilirliğinin, algoritmanın gerçek senaryolara uygulanıp uygulanamayacağını belirlediğini belirtmemiz gerekir. Şu anda bazı çalışmalar bu soruna çözüm önerdi ve biz de bu yeni gelişmeleri yakından takip ediyoruz.
sonuç olarakGeçtiğimiz birkaç yıl içinde GNN, grafik alanındaki makine öğrenimi görevleri için güçlü ve pratik bir araç haline geldi. Bu ilerleme, ifade gücüne, model esnekliğine ve eğitim algoritmalarındaki ilerlemelere bağlıdır. Bu yazıda, grafik sinir ağlarına kapsamlı bir genel bakış sunuyoruz. GNN modeli için, grafik türüne, yayılma türüne ve eğitim türüne göre sınıflandırılan GNN varyantlarını tanıttık.
Ek olarak, farklı GNN varyantlarını aynı şekilde temsil eden birkaç genel çerçeveyi de özetledik. Uygulama sınıflandırması açısından, GNN uygulamalarını yapılandırılmış senaryolara, yapılandırılmamış senaryolara ve diğer 18 senaryoya ayırıyor ve ardından her senaryodaki uygulamaları ayrıntılı olarak tanıtıyoruz. Son olarak, dört açık soru ortaya koyduk ve yapılandırılmamış sahneler için model derinliği, ölçeklenebilirlik, dinamik grafik işleme ve işleme yetenekleri dahil olmak üzere grafik sinir ağlarının temel zorluklarını ve gelecekteki araştırma yönlerini belirttik.
- Bitiş -Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
