Her dakika 1 milyar düğüm grafiği hesaplaması işleyen Plato'ya ne dersiniz?
Görüşülen | Yu Donghai
Muhabir | Yu Yan
Üretildi | CSDN (ID: CSDNnews)
"AI Teknolojisi Ekoloji Teorisi" karakter röportajı sütunu, CSDN tarafından başlatılan Milyon İnsan Öğrenen Yapay Zeka girişiminin önemli bir parçasıdır. En iyi yapay zeka eko markaları, girişimcileri ve endüstri KOL'leri ile yapılan görüşmeler sayesinde, sektör hakkındaki düşüncelerini, gelecekteki trendler hakkındaki yargılarını, teknik uygulamaları ve büyüme deneyimlerini yansıtıyorlar.
Bu makale "Yapay Zeka Teknolojisi Ekolojik Teorisi" röportaj serisinin on sekizinci sayısıdır.Tencent'in geniş ölçekli açık kaynaklı grafik hesaplama çerçevesi olan Plato'nun ayrıntılı bir yorumunu verecek ve grafik hesaplama çerçevesinin gelecekteki gelişme eğilimini tahmin edecektir.
Milyonlarca insan AI öğreniyor ve sizin payınız var! Bugünden itibaren, "2020 AI Geliştiricileri On Bin Kişi Konferansı" na kaydolmak için orijinal metni okumak için tıklayın. 299 yuan değerinde ücretsiz çevrimiçi canlı konferans bileti almak için "AIP211" kupon kodunu kullanın. 100 kopya ile sınırlıdır, ilk gelen önce hizmet verir!
Kasım 2019'da Tencent, grafik hesaplama çerçevesi Plato da dahil olmak üzere tek seferde beş büyük açık kaynak projesini duyurdu. Grafik hesaplama bir süredir popülerdi. 5G, IoT ve diğer teknolojilerin gelişmesiyle, grafik hesaplamanın popülerliğinin yalnızca artması bekleniyor. Bugün, örnek olarak Tencent'in açık kaynaklı grafik hesaplama çerçevesi olan Plato'yu ele alacağız.WeChat Plato'nun yüksek performanslı hesaplama ekibinin başkanı Yu Donghai aracılığıyla, ilgili geliştiriciler için referanslar sağlamayı umarak, grafik hesaplama çerçeve yapısının teknolojisini ve gelecekteki gelişme eğilimlerini analiz edeceğiz.
Grafik hesaplama nedir?
İlk olarak, grafik hesaplama kavramını anlayalım. Aslında grafik hesaplama, genellikle görüntü tanıma, görüntü işleme ve diğer teknolojiler dediğimizden farklıdır.Sıradan görüntülere ve fotoğraflara atıfta bulunmaz, ancak köşeleri kullanarak nesneler arasındaki ilişkiyi temsil etmek için kullanılan soyut bir veri yapısı ( Tepe) ve kenar (Kenar) açıklanmıştır: köşeler nesneleri temsil eder ve kenarlar, grafik verileri olarak grafiklerle tanımlanan verilere soyutlanabilen nesneler arasındaki ilişkiyi temsil eder. Grafik hesaplama, problemleri grafiklerle veri modelleri olarak ifade etme ve çözme sürecidir.
basitçe konuşmak gerekirse, Grafik hesaplama, büyük miktarda grafik verisinin nasıl verimli bir şekilde hesaplanacağını, saklanacağını ve yönetileceğini incelemek için bir yöntemdir.
Geleneksel ilişkisel verilerin kendisinin modelleme hataları ve yatay genişleme gibi sorunları olduğu için, grafik verileri daha güçlü ifade yeteneğine sahiptir ve farklı kaynakları ve farklı veri türlerini analiz için aynı grafiğe entegre edebilir ve orijinal bağımsız analizi alabilir. Sonuçları bulmak zordur, bu nedenle grafik hesaplama endüstri tarafından özellikle sosyal ağlar, öneri sistemleri, ağ güvenliği, metin erişimi ve biyotıp alanlarında değerlidir.
Tencent grafik hesaplama çerçevesi Plato doğdu ve sona erdi
Grafik hesaplamanın yaratıcısı Pregel, Spark GraphX, Hadoop Giraph, vb. Gibi grafik hesaplama için aslında birçok açık kaynaklı çerçeve vardır Tencent neden kendi grafik hesaplama çerçevesini oluşturmaya karar verdi?
Bir röportajda Yu Donghai, Tencentin Plato yapma konusundaki asıl niyetinden bahsetti. Bunun nedeni, orijinal ana akım grafik hesaplama açık kaynak çerçevesinden kaynaklandığı ortaya çıktı. Tencentin veri ölçekli ultra büyük grafik hesaplamasını tamamlamak istiyorsanız, bu uzun zaman alacak veya çok zaman alacaktır. Bilgi işlem kaynakları kabul edilemez. Tencent'in iş senaryoları, ultra büyük grafik hesaplamalarının sınırlı bir süre ve sınırlı kaynaklar içinde tamamlanmasını gerektirir. Bu nedenle, Kaliforniya Üniversitesi, Tsinghua Üniversitesi, Pekin Üniversitesi gibi dünyaca ünlü üniversitelerden oluşan yüksek performanslı bir hesaplama ekibinin çabalarıyla, 1 milyar düğümü hesaplayabildiğini iddia eden Plato yüksek performanslı dağıtılmış grafik hesaplama çerçevesi doğdu. Çerçeve bir "genel" ekledi.
Plato çerçevesi hakkında bunları bilmiyor olabilirsiniz
Platon ile ilgili olarak, sürümün başlangıcından beri çeşitli yorumlar yapılmıştır, ancak CSDN bugün Platon'un teknik yorumunu gözden geçirecek ve genişletecek ve eksiklikleri kontrol edecek.
Plato, Tencent'in açık kaynaklı yüksek performanslı dağıtılmış grafik hesaplama çerçevesidir ve iki temel yetenek sağlar: ultra büyük grafik verilerinin çevrimdışı grafik hesaplaması ve grafik gösterimi öğrenimi.
-
Grafik hesaplama motoru, yeni bilgi işlem iletişim modlarını destekler
Platon'un özü grafik hesaplamadır Motor, grafik bölümü, grafik gösterimi ve çok seviyeli bilgi işlem iletişim koordinasyonu planlama modülleri dahil ve temel API'den grafik algoritma kitaplığına ve ardından belirli iş hacmine kadar yeni bilgi işlem iletişim modlarına erişimi desteklemek için çok seviyeli bir arayüz tasarladı Kendi kendine oluşturulmuş bir dizi harita aracı. Plato, bu uygulama katmanı arayüzleri ve araçları aracılığıyla, farklı üst düzey hizmetleri birlikte desteklemek için çevrimdışı hesaplama sonuçlarını diğer makine öğrenimi algoritmalarıyla birleştirebilir.
-
Hesaplama modeli Gemini, KnightKing, Cyclops gibi grafik hesaplama sistemlerinin tasarımına dayanır.
Yu Donghai'ye göre, Hesaplama modeli Yukarıda, Plato, Gemini, KnightKing ve Cyclops gibi bir dizi akademik çevreler tarafından önerilen grafik hesaplama sistemlerinin tasarımından yararlanmaktadır. Plato grafik hesaplama motoru, seyrek yoğun uyarlamalı bir hesaplama modu, paylaşılan bir bellek hesaplama modu ve bir boru hattı hesaplama modu sağlar. Farklı grafik algoritma türlerinin yürütme süreci çok farklı olduğundan, tek bir hesaplama modu tüm algoritmaların performansını optimize edemez, bu nedenle Plato farklı grafik algoritma türlerinin yürütme sürecini özetler ve iyileştirir ve hesaplama modlarını kademeli olarak artırır ve soyutlar. Bir dizi optimum hesaplama modu elde etmek için yineleyin.
-
Birkaç dakikada 1 milyar düğüm grafiğinin hesaplanmasının sırrı
Plato'nun en çekici özelliklerinden biri, 1 milyar düğümlü grafik hesaplamalarını kaldırabilmesidir.Bu kadar büyük bir işleme ölçeği, endüstrinin tam da ihtiyacı olan şeydir. Plato, hızı korurken veri işlemenin verimini ve ölçeğini artırmayı nasıl garanti eder? Ek olarak, Giraph / GraphLab / GraphX / Gelly gibi ana akım grafik hesaplama açık kaynak çerçevelerine kıyasla, Platonun iki temel özelliği, Tencent verileri düzeyinde çevrimdışı grafik hesaplama ve Tencentin verileri düzeyinde grafik gösterimi öğrenimidir. Nasıl oldu?
Yu Donghai bunun nedeni, yüksek performanslı dağıtılmış bir grafik hesaplama çerçevesi olan Plato'nun iyi paralel genişleme yeteneklerine sahip olması, yani veri ölçeği arttıkça, Plato hesaplama kümesinin verileri paylaşmak için paralel olarak daha fazla sunucu ekleyebileceğini açıkladı. Depolama ve hesaplama.
Orijinal ana akım grafik hesaplama açık kaynak çerçevesi altında, grafik hesaplamayı 1 milyar düğüm ölçeğiyle tamamlamak birkaç gün ve çok sayıda hesaplama kaynağı alacaktı. Plato, veri depolamayı sıkıştırır, hesaplama verimliliğini artırır ve sofistike tasarım ve depolama, hesaplama, iletişim ve zamanlama optimizasyonu yoluyla iletişim planlamasını optimize eder, bu da Platon'un bellek tüketimini GraphX'e kıyasla 1-2 kat azaltır ve ayrıca hesaplama performansını artırır. 1-2 büyüklük sırasıdır, yani yalnızca küçük ve orta ölçekli bir kümenin (yaklaşık 10 sunucu) Tencent veri ölçekli ultra büyük grafik hesaplamalarını dakikalar içinde tamamlayabileceği anlamına gelir.
-
Otomatik eşleştirme algoritması için uyarlanabilir grafik hesaplama motorunun mekanizması
CSDN'nin merak ettiği bir diğer nokta da Plato'nun uyarlanabilir grafik hesaplama motorunun otomatik eşleştirme algoritmalarını nasıl gerçekleştirdiğidir.
Yu Donghai'nin açıklamasına göre, Plato uyarlanabilir grafik hesaplama motoru, seyrek yoğun uyarlamalı hesaplama moduna atıfta bulunur (bu yöntem ilk olarak Ligra tarafından önerilmiştir) Plato, algoritmanın yürütülmesi sırasında aktif köşe sayısına göre yoğun hesaplama modunu otomatik olarak seçecektir. Aynı zamanda, otomatik eşleştirme algoritmasını tamamlayan seyrek bir hesaplama modudur.
Platon'a inişin zorlukları ve acı noktaları nelerdir?
Büyük verileri temsil etmenin ve analiz etmenin etkili bir yöntemi olan grafik hesaplama, sosyal ağlar, öneri sistemleri, ağ güvenliği, metin alma, finans ve tıbbi bakım alanlarında çok önemli bir veri analizi ve madencilik aracı haline geldi. Örneğin, kullanıcının arama deneyimini iyileştirmek için web sayfalarının etkisi düzenli olarak sıralanır; grafik tabanlı bilişsel analiz, finansal risk kontrol yeteneklerini iyileştirmek için kullanılır; proteinler arasındaki etkileşim, alt grafik eşleştirme ve daha etkili klinik tıp geliştirmek için diğer yöntemlerle anlaşılır. ve daha fazlası.
Bununla birlikte, ortaya çıkan herhangi bir teknoloji, zemin söz konusu olduğunda kaçınılmaz olarak zorluklarla karşılaşacaktır.Grafik hesaplama bir istisna değildir.Örneğin, Plato çevrimdışı grafik hesaplamanın, tüm veri işleme zincirinin bir parçası olarak, veri bağlantısı gerektiren diğer çerçevelerle birlikte kullanılması gerekir. Bu, veri akışı verimliliği sorununa neden olacaktır.
Plato'nun bu problemle başa çıkmanın bir yolu vardır.Her yukarı akış ve aşağı akış çerçevesinin yürütme sürecini analiz ederek, bunlar ve Plato arasındaki veri bağlantısını optimize ederek, veri indirme ve kopyalamayı azaltarak, verimli veri işleme elde edilebilir.
Tabii ki, grafik hesaplamanın uygulanmasında hala birçok zorluk var ve temel teknoloji ve uygulama ve pazar gibi çeşitli düzeylerde iyileştirilmesi gerekiyor.
Plato, Kasım 2019'daki açık kaynak kodundan bu yana, Tencent Cloud'a entegre edilerek Tencent Cloud Big Data Suite, Smart Titanium, Tencent Cloud Knowledge Graph ve diğer çözümler aracılığıyla harici hizmet yetenekleri sağladı.Sektördeki birçok tanınmış internet şirketi ve üniversite tarafından kullanılmaktadır.
Şu anda Plato, grafik özelliklerini, grafik gösterimini öğrenmeyi ve diğer algoritmaları destekledi.Gelecekte, Ağ Gömme ve GNN algoritmaları gibi daha fazla algoritma açık kaynaklı olacak. Aynı zamanda, korumaya ve güncellemeye devam edecek ve diğer çerçevelerle kullanım kombinasyonunu keşfetmeye devam edecek.
Bu, Platon'un açıklamasının sonudur.Ardından, grafik hesaplama çerçevesi hakkında birkaç genel soruyu yanıtlayacağım ve grafik hesaplama teknolojisinin gelişme eğilimi hakkında tahminlerde bulunacağım.
Kullanışlı olması için grafik hesaplama çerçevesi ve genel hesaplama motorunun birleştirilmesi gerekiyor mu?
İlk soru, grafik hesaplama çerçevesi ve hesaplama motorunun birleşimiyle ilgilidir. Örneğin Giraph, Hadoop'a dayanır ve GraphX, Spark'a dayanır. O zaman sorularınız olabilir. Grafik hesaplama çerçevesi ve genel hesaplama motorunun birleşimi tüm avantajlar mı? Gelecekte bunu yapmak tüm grafik hesaplama çerçeveleri için en iyi seçim mi?
Yu Donghai, CSDN'ye, grafik hesaplama çerçevesi ve genel hesaplama motorunun kombinasyonunun avantajları olduğunu, ancak aynı zamanda dezavantajları olduğunu söyledi.Avantaj, kolaylık ve evrenselliktir.Veri işleme, veri madenciliği ve veri uygulamasının tüm süreci tek bir yerde tamamlanabilir, ancak eksiklikler de açıktır. Yani, genel hesaplama motoru grafik algoritmaları için belirli optimizasyonlar yapmaz ve ultra büyük grafik veri işlemenin performansı zayıftır.
Bunun aslında performans ve genellik arasında bir denge olduğuna inanıyor.Performans gereksinimleri yüksek değilse, genel bir bakış açısıyla genel amaçlı bir hesaplama motoru seçilebilir.Performans gereksinimleri yüksekse, yüksek performanslı bir grafik hesaplama çerçevesi en iyisidir. Seçim.
Grafik hesaplama teknolojisinin önemli noktaları nelerdir? Grafik hesaplama çerçevesinin gelişme eğilimleri nelerdir?
İkinci soru, gelecekte, grafik hesaplama alanının tamamında hangi teknik noktaların dört gözle beklemeye ve dikkat etmeye değer olduğudur? Ve grafik hesaplama çerçevesi açısından, gelecekteki geliştirme eğilimleri nelerdir?
GNN'nin şu anda grafik hesaplama alanında sıcak bir konu olduğunu ve sektördeki tanınmış internet şirketleri ve üniversitelerin, ağ çerçevesi TF-GNN ve Ali açık kaynak Graph-Learn aracılığıyla art arda kendi geliştirdiği GNN hesaplama çerçevesini başlattığını söyledi.
GNN, doğrudan grafik yapısı üzerinde çalışan bir sinir ağı olan Grafik Sinir Ağıdır (Grafik Sinir Ağı). Grafikteki düğümler arasındaki bağımlılıkları modelleme konusundaki güçlü yeteneği nedeniyle, grafik analizi ile ilgili araştırma alanlarını başarılı kılmıştır. Bir atılım yaptı ve akademinin ve endüstrinin dikkat ettiği önemli bir teknolojidir.
Ek olarak, derin öğrenme çerçevelerinin gelişim yönü olabilecek derin öğrenme çerçeveleriyle birleştirilebilecek bazı çerçeveler zaten vardır.
