Academia | Google AI Haritası Öğrenmenin en son başarısını temsil eder: örtüşen alan açıklaması sorununu çözün ve hiperparametreleri otomatik olarak ayarlayın
En son iki makale.
AI Technology Review Press, Varlıklar arasındaki ilişkileri temsil eden ilişkisel veriler, ağda (çevrimiçi sosyal ağlar gibi) ve fiziksel dünyada (protein etkileşim ağları gibi) her yerde görülebilir. Bu veriler, düğümleri (kullanıcılar, proteinler gibi) ve onları birbirine bağlayan kenarları (sosyal ağlardaki arkadaş ilişkileri, proteinler arasındaki etkileşimler gibi) içeren bir grafik olarak temsil edilebilir.
Kısa bir süre önce, Google AI, onları resim embe'de tanıtan bir blog yazısı yayınladı gg Yukarıdaki iki makalenin sonuçlarını incelemek. Bunlar arasında, makalelerden biri çakışan bölgelere sahip ağları nasıl daha iyi tanımlayacağını çözdü ve ikinci makale görüntü embe sorununu çözdü gg Temel hiperparametre ayarlaması problemi. Leifeng.com AI Technology Review blog gönderisini aşağıdaki gibi derledi.
Grafiklerin yaygın popülaritesi göz önüne alındığında, grafik analizi makine öğreniminde temel bir rol oynar ve kümelerde, ilişki tahmininde, mahremiyette ve diğer yönlerde uygulamaları vardır. Makine öğrenimi yöntemlerini grafiklere uygulamak için (örneğin, yeni arkadaşlıkları tahmin etmek veya bilinmeyen protein etkileşimlerini keşfetmek için), makine öğrenimi algoritmalarında kullanılabilecek bir grafik temsili öğrenmeniz gerekir.
Bununla birlikte, bir grafik temelde ayrı parçalardan (düğümler ve kenarlar gibi) oluşan birleşik bir yapıdır ve birçok yaygın makine öğrenimi yöntemi (sinir ağları gibi) sürekli yapıları, özellikle vektör temsillerini tercih eder. Vektör gösterimleri özellikle sinir ağlarında önemlidir çünkü doğrudan giriş katmanları olarak kullanılabilirler. Makine öğreniminde ayrık grafik gösterimini kullanma sorununu çözmek için, grafik gömme yöntemi grafik için sürekli bir vektör uzayı öğrenir ve grafikteki her düğümü veya kenarı vektör uzayındaki belirli bir konuma atar. Bu alanda popüler bir yöntem, DeepWalk'ta tanıtıldığı gibi rastgele kaldırmaya dayalı temsil öğrenmesidir.
Solda: Sosyal ağları temsil eden ünlü Karate haritası. Sağ: Grafikte sürekli olarak düğümlerin alanını gömmek için DeepWalk'ı kullanın.
Burada embe ile ilgili son iki makaleyi gösteriyoruz gg ing's paper: The web Conference 2019 konferans bildirisi "Is a Single Embe gg Birden Fazla Sosyal Bağlamı Yakalayan Düğüm Temsillerini Öğrenmek ve Neurips'in 2018 makalesi" Adımınızı İzleyin: Öğrenme Düğümü Embe'sini Öğrenin gg Grafik Dikkatiyle girişler ". İlk makale, üst üste binen bölgelere sahip ağları daha iyi tanımlayabilen, her düğüm için birden çok yerleştirmeyi öğrenmek için yeni bir teknik sunar. İkinci problem, insanların grafik yerleştirme yöntemlerini kolayca dağıtabilmeleri için grafik gömme işleminde temel hiperparametre ayarlaması sorununu çözer. Ayrıca, bu iki makalenin kodunu Google Research Github görüntü yerleştirme kitaplığında yayınladığımızı duyurmaktan memnuniyet duyuyoruz.
Düğüm temsilini öğrenmek, birden çok sosyal arka planı yakalamak
Hemen hemen tüm durumlarda, standart grafik gömme yönteminin temel varsayımı, her düğüm için tek bir gömmenin öğrenilmesi gerektiğidir. Bu nedenle, gömme yönteminin işlevi, grafiğin geometrik şeklindeki her bir düğümün tek bir rolünü veya konumunu tanımlamak olarak kabul edilebilir. Bununla birlikte, son araştırmalar, gerçek topluluklardaki düğümlerin birden çok örtüşen alana ait olduğunu ve birden çok rol oynadığını bulmuştur. Hem aile topluluğunuza hem de çalışma topluluğunuza katıldığınız sosyal ağınızı düşünün. Bu, aşağıdaki soruyu gündeme getirir: Örtüşmeye katıldıkları alanları temsil etmek için düğümleri birden çok vektöre gömme yöntemi geliştirmek mümkün müdür?
Web konferansı 2019 makalemizde, grafikteki düğümlerin birden çok topluluğa katılımlarını daha iyi temsil etmeleri için birden çok yerleştirmeye sahip olmasına izin veren denetimsiz bir yerleştirme yöntemi olan Splitter'ı geliştirdik. Yöntemimiz, ego-ağ analizine dayalı örtüşen kümelemedeki son yeniliklere, özellikle de karakter grafikleri kavramının kullanımına dayanmaktadır. Bu yöntem bir G grafiği alır ve G'deki her bir düğümün rol düğümleri adı verilen bir dizi kopya ile temsil edildiği yeni bir P grafiği (rol grafiği olarak adlandırılır) oluşturur. Bir düğümün her rolü, ait olduğu yerel topluluktaki düğümün bir örneğini temsil eder. Grafikteki her U düğümü için, düğümün ait olduğu yerel topluluğu bulmak için düğümün ego ağını (yani düğümü ve komşularını bağlayan grafik, bu durumda A, B, C, D) analiz ederiz. Örneğin, aşağıdaki şekilde, U düğümü iki topluluğa aittir: küme 1 (A ve B ile birlikte, Unun ailesini temsil eder) ve küme 2 (Unun meslektaşlarını temsil eden C ve D ile birlikte).
U düğümünün ego ağı
Daha sonra, bu bilgiyi U düğümünü U1 (aile rolü) ve U2 (iş rolü) olarak iki role "ayırmak" için kullanırız. Bu, iki topluluğu artık çakışmayacak şekilde ayırır.
ego bölme, U düğümlerini iki rolde ayırır
Bu teknik, grafik gömme yöntemlerindeki en son sonuçları iyileştirmek için kullanılmıştır. Bu iyileştirmenin temel nedeni, yöntemin sosyal ağlar ile yüksek düzeyde örtüşen topluluklara sahip diğer gerçek dünya grafikleri arasındaki belirsizliği ortadan kaldırabilmesidir. Yazarların örtüşen araştırma gruplarının (makine öğrenimi ve veri madenciliği gibi) işbirliğine dayalı ilişki grafiklerinin derinlemesine analiziyle bu sonucu daha da doğruladık.
Sol üst köşe: Büyük ölçüde örtüşen toplulukların bulunduğu tipik bir grafik. Sağ üst köşe: solda embe yapmak için node2vec kullanın gg Geleneksel diyagram oluşturma yöntemi. Sol alt köşe: yukarıdaki resimdeki karakter resmi. Sağ alt köşe: karakter haritasının ayırıcı embe'si gg ing.
Grafiğin dikkatini çekerek hiperparametreleri otomatik olarak ayarlayın
Şekil embe gg İng yöntemi, çeşitli makine öğrenimi tabanlı uygulamalarda olağanüstü performans göstermiştir, ancak manuel olarak ayarlanması gereken birçok hiper parametresi vardır. Örneğin, embe öğrenirken gg Yakındaki düğümler uzaktaki düğümlerden daha mı önemlidir? Uzmanlar bu hiperparametrelerde ince ayar yapabilseler bile, her grafiği ayrı ayrı ayarlamaları gerekir. Bu manuel işlemden kaçınmak için, ikinci makalede, optimum hiperparametreleri otomatik olarak öğrenmek için bir yöntem öneriyoruz.
Özellikle, birçok resim embe gg DeepWalk, vb. Gibi ing yöntemi, belirli bir düğüm (yani doğrudan komşular, komşuların komşuları, vb.) Etrafındaki bağlamı keşfetmek için rastgele kaldırmayı kullanır. Bu tür rastgele kaldırmanın birçok hiperparametresi olabilir, bu da grafiğin yerel aramasının ayarlanmasına izin verir ve böylece embe'yi ayarlar. gg Yakındaki düğümlerin dikkatini çekmek. Farklı grafikler, farklı optimal dikkat modelleri ve dolayısıyla farklı optimal hiperparametreler sunabilir (iki farklı dikkat dağılımını gösterdiğimiz aşağıdaki şekle bakın).
Yeni yöntemimiz, hiperparametreleri otomatik olarak ayarlar, adımlarınıza dikkat eder ve farklı grafiklerin bağlam dağılımını öğrenmek için dikkat modelini kullanır. Yukarıda, model tarafından öğrenilen iki merkezi düğüm (sarı) ve bağlam dağılımı (kırmızı gradyan) örneği gösterilmektedir. Soldaki şekil daha dikkati dağılmış bir dikkat modelini gösterirken, sağdaki dağılım yakın komşulara odaklanan bir modeli gösterir.
Bu çalışma, büyüyen AutoML ailesine aittir. Gerçek makine öğreniminde yaygın bir sorun olan hiperparametreleri optimize etme yükünü azaltmayı umuyoruz. Çoğu AutoML yöntemi, sinir yapısı aramasını kullanır. Bu makale bir değişken veriyor, embe kullanıyoruz gg İng ve grafik teorisi matris formüllerinde hiperparametreler arasındaki matematiksel ilişki. "Otomatik" bölümü, geri yayılım yoluyla öğrenme grafiğinin hiperparametrelerine karşılık gelir.
Katkımızın rakam embe'yi daha da ilerleteceğine inanıyoruz gg İng'nin mevcut araştırma durumu. Çok düğümlü embe öğreniyoruz gg İng yöntemi, örtüşen topluluk algılama alanlarının zengin ve derinlemesine çalışmasında belirli bir rol oynamıştır. İkinci resim embe'ye inanıyoruz gg İng yöntemi, gelecekteki araştırmalar için verimli sonuçlar getirecektir. Bu alandaki açık bir sorun, birden çok yerleştirmenin kullanılmasıdır gg sınıflandırma yöntemi. Ek olarak, hiperparametrelerin öğrenilmesine olan katkımız, maliyetli manuel ayarlama işini azaltacak ve görüntü embe'yi teşvik edecektir. gg araştırma yapıyor. Bu makalelerin ve kodların yayınlanmasının bu çalışmaların ilerlemesine yardımcı olacağını umuyoruz.
Daha fazla bilgi istiyorsanız, lütfen ana sayfamızı ziyaret edin!
aracılığıyla: https: //ai.googleblog .com /2019/06/innovations-in-graph-representation.html
2019 Küresel Yapay Zeka ve Robotik Zirvesi
12-14 Temmuz 2019 , Lei Feng.com ve Hong Kong Çin Üniversitesi (Shenzhen) tarafından ortaklaşa düzenlenen ve Shenzhen Yapay Zeka ve Robotik Enstitüsü tarafından ortaklaşa düzenlenen Çin Bilgisayar Federasyonu (CCF) sponsorluğunda 2019 Küresel Yapay Zeka ve Robotik Zirvesi (CCF-GAIR 2019 olarak kısaltılmıştır) Shenzhen'de resmen açılacak.
O sırada Nobel Ödülü sahibi James J. Heckman, Çinli ve yabancı akademisyenler, Dünya Zirvesi Başkanı, tanınmış Fellow ve çok sayıda ağır konuk savaşta yer alacak. Yapay zeka ve robotik bilim, üretim ve yatırım alanlarında karmaşık hayatta kalma durumunu tartışmak.
