Ağır! Tencent resmi olarak açık kaynaklı grafik hesaplama çerçevesi Plato, milyar düzeyinde düğüm grafik hesaplama dakikalar çağına giriyor
Bitirme | Tang Xiaoyin
Mühür resmi | Doğu IC'den ücretli indirme
Üretildi | CSDN (ID: CSDNnews)
Tencent'in açık kaynağı 8 yıldır gelişerek patlayıcı bir döneme giriyor!
Dört anahtar açık kaynak projesini açık kaynak yapmaya devam ettikten sonra: TubeMQ, Tencent Kona JDK, TBase ve TKEStack, Tencent Açık Kaynak bir kez daha gişe rekorları kıran bir projeyi başlattı! 14 Kasım, Pekin saatinde, Tencent, Tencent'in sadece bir hafta içinde beşinci büyük açık kaynak projesi olan açık kaynaklı yüksek performanslı grafik hesaplama çerçevesi Plato'yu resmen duyurdu.
Tencentin resmi tanıtımına göre, Plato, Tencentin dahili kaynakları entegre eden dahili grafik hesaplama TGraph ekibi tarafından bağımsız olarak geliştirilen yüksek performanslı bir grafik hesaplama çerçevesidir. Plato adı, büyük matematikçi Platoyu anmaktır. Şu anda Tencent Bulut Büyük Veri ekibi, Platoyu özetliyor. Tüm geliştiricilere açık.
Plato, dünyadaki diğer grafik hesaplama çerçeveleriyle karşılaştırıldığında, milyar düzeyindeki düğümlerin süper büyük grafik hesaplama ihtiyaçlarını karşılayabilir, algoritma hesaplama süresini günlerden dakikalara kısaltabilir ve diğer ana akım dağıtılmış grafik hesaplama çerçevelerinin performansını yönetebilir. , Ve her fırsatta yüzlerce sunucu gerektiren kaynak darboğazını kırdı.Şimdi, hesaplamayı tamamlamak için en az on sunucuya ihtiyaç var.
Tencent Plato ekip lideri Yu Donghai şunları söyledi: "Plato, Tencentin dahili WeChat Özellikle Tencent dahil olmak üzere çok sayıda temel işletme, sınırlı kaynaklar ve zamanda tamamlanamayan diğer mevcut bilgi işlem çerçevelerinin zorluklarını çözen Tencentin ultra büyük ölçekli sosyal ağ grafik verilerinin çeşitli hesaplamaları için destek sağlar. Plato sadece Tencent için muazzam bir iş değeri yaratmakla kalmadı, aynı zamanda grafik hesaplama teknolojisi ve endüstrinin koordineli gelişimini teşvik etmeye ve açık kaynak sonrası yeniliği hızlandırmaya devam edecek. "
Tencent'in yüksek performanslı grafik hesaplama açık kaynak çerçevesi Plato'nun ayrıntılı açıklaması
Aslında, grafik hesaplamanın "grafiği" sıradan görüntülere ve fotoğraflara değil, nesneler arasındaki ilişkiyi ifade etmek için kullanılan soyut bir veri yapısına atıfta bulunur. Grafik hesaplama, sorunları ifade etmek ve çözmek için grafikleri bir veri modeli olarak kullanır. süreç. Grafik hesaplama, analiz için farklı kaynakları ve farklı veri türlerini aynı grafikte birleştirebilir ve bağımsız analizle bulunması zor sonuçlar elde edebilir, bu nedenle sosyal ağlar, öneri sistemleri, ağ güvenliği, metin alma ve biyotıp alanlarında önem kazanmıştır. Veri analizi ve madencilik araçları.
Platonun bilgi işlem performansının son derece güçlü olduğu, piyasadaki en önde gelen grafik hesaplama çerçevesi olan Spark GraphXten 1-2 kat daha yüksek olduğu anlaşılmaktadır. Algoritma hesaplama süresini günlerden dakikalara kısaltır ve performansı onlarca kez iyileştirir. Ayrıca, grafik hesaplamanın dakika düzeyinde çağa tam girişini de işaret ediyor.
Diğer bir büyük avantaj, Platon'un bellek tüketiminin genel grafik hesaplama çerçevelerinden çok daha küçük olmasıdır. Spark GraphX'ten 1-2 kat daha küçüktür. Ultra büyük grafik hesaplamayı tamamlamak için yalnızca yaklaşık 10 sunucudan oluşan küçük ve orta ölçekli bir kümeye ihtiyaç duyar. Önceden, her fırsatta yüzlerce sunucu gerekiyordu ve kaynak baskısı ve bilgi işlem maliyetleri büyük ölçüde azaltılmıştı.
Şu anda, Plato temel olarak iki temel yetenek sunmaktadır: Tencent veri seviyesi altında çevrimdışı grafik hesaplama ve Tencent veri seviyesi altında grafik gösterimi öğrenme.
Aynı zamanda Plato, Kubernetes ve YARN gibi kaynak planlama platformlarına doğal olarak uyum sağlar ve ana akım dosya sistemlerini destekleyen, geliştiricilere daha kolay bir işletim ortamı sağlayabilen çoklu arayüzler sağlar.
Mimari tasarım açısından, Plato çerçevesinin özü, geliştiricilerin uyarlamalı hesaplama modu, paylaşılan bellek hesaplama modu ve boru hattı hesaplama modu dahil olmak üzere farklı grafik algoritma türlerine göre esnek bir şekilde seçim yapmaları için çeşitli hesaplama modları sağlayabilen uyarlanabilir grafik hesaplama motorudur. . Ek olarak, yeni bilgi işlem iletişim modlarına erişimi desteklemek için iyi bir arayüz de tasarlanmıştır.
Platon genel mimari diyagramı
Hesaplama motorunun yanı sıra Plato, algoritma tasarımcıları veya belirli işletmeler için çok seviyeli arayüzler sağlar: temel API'den grafik algoritma kitaplığına, belirli iş için özel olarak tasarlanmış "çözüme" - grafik araç seti. Plato, bu uygulama katmanı arayüzleri ve araçları sayesinde, farklı üst düzey hizmetleri birlikte desteklemek için çevrimdışı hesaplama sonuçlarını diğer makine öğrenimi algoritmalarıyla birleştirebilir.
Platon'un algoritma kütüphanesindeki grafik özellikleri, düğüm merkezilik göstergeleri, bağlı grafikler ve topluluk tanıma gibi birçok algoritmanın açık kaynaklı olduğunu ve gelecekte daha fazla algoritmanın daha fazla açık kaynaklı olacağını belirtmekte fayda var.
Performans karşılaştırması
Tencent'in resmi tanıtımına göre, Plato'nun bilgi işlem performansı, ana akım dağıtılmış grafik hesaplama çerçevesinin çok ilerisindedir. Aşağıdaki şekil, PageRank ve LPA'nın iki kıyaslama algoritmasında Plato ve Spark GraphX'in performans karşılaştırmasını seçmektedir .. Plato'nun performansının Spark GraphX'inkinden 1-2 kat daha yüksek olduğu görülebilmektedir.
Yetersiz bilgi işlem performansına ek olarak, aşırı bellek kullanımı da büyük ölçekli grafik hesaplamayı sınırlayan ana faktördür. Plato'nun bir diğer büyük avantajı, bellek ek yükünün ana akım grafik hesaplama çerçevelerinden çok daha küçük olmasıdır. Aşağıdaki şekilden de görebileceğiniz gibi, Plato'nun bellek tüketimi, Spark GraphX'e kıyasla 1-2 kat daha azdır ve süper büyük grafik hesaplama için daha büyük bir hayal gücü yaratır.
Plato, yalnızca kıyaslama algoritmalarında benzersiz değil, aynı zamanda gerçek iş algoritmalarında da etkilidir. Tencent'in verileri düzeyinde, Plato'nun bilgi işlem performansı da çok iyi. Aşağıdaki şekil, Platon'un ortak sınıf hesaplama, Node2Vec, LINE, GraphSage ve Tencent veri seviyesi altındaki diğer tipik iş algoritmalarının performansını göstermektedir.
Tencent açık kaynak 8 yıllık evrim: 86 proje, GitHub ilk ona girdi
2011'den itibaren Tencent, kodun ortak bileşenler şeklinde paylaşılmasını ve yeniden kullanılmasını savundu ve 2012'de ilk harici açık kaynak projesini bugüne kadar piyasaya sürdü, Tencent 8 yıllık açık kaynak sürecinden geçti ve verimli sonuçlar elde etti. Şimdiye kadar Tencent, GitHub'da açık kaynaklı 86 proje yürüttü, 250.000'den fazla yıldızla 1.000'den fazla katılımcı açık kaynak katkılarına katıldı ve GitHub'ın küresel şirket katkı listesinde ilk on arasında yer aldı.
Aynı zamanda, Tencent, Linux ve Apache gibi 9 açık kaynak kuruluşuna katılarak en üst düzey üye oldu ve Linux, Apache ve LF AI gibi açık kaynaklı kuruluşlara 3 olağanüstü açık kaynak projesini bağışladı. 2018'de Tencent, yüksek performanslı RPC geliştirme çerçevesi TARS ve onun hafif isim hizmeti çözümü TSeer'i Linux Vakfı'na bağışladı ve endüstri lideri derin öğrenme çerçevesi Angel'ı Linux altında yapay zekaya odaklanan LF AI Vakfı'na bağışladı; 2019'da, Tencent'in yeni piyasaya sürülen trilyon düzeyinde dağıtılmış mesajlaşma ara yazılımı TubeMQ, Apache Vakfı'na bağışlandı ve resmi olarak tanınan bir İnkübatör projesi oldu.
Özetle Tencent, "üç adımlı" açık kaynak planı, kod açma ve topluluk operasyonları yoluyla Tencent'in mevcut teknik yeteneklerini derinleştirmeye devam ediyor ve işbirliğine açık açıklık ve topluluk açık yönetişimi doğrultusunda gelişiyor.
Özellikle, ilk adım dahili açık kaynak işbirliğidir. İlk olarak, dahili projeleri ve organizasyonları gözden geçirin ve departmanlara özgü küçük ekip operasyonları veya departmanlar arası büyük ekip operasyonları yoluyla koordineli olarak terfi edin, avantajları yoğunlaştırmak ve teknolojik atılımlar aramak için kaynak tahsisini optimize edin ve kodu açmak için bir tarama mekanizması kurun.
İkinci adım, harici kodu açmaktır. Tasarım ve kod yapısını optimize edin, iniş sahnesini genişletmeye devam edin, kaynak entegrasyonunu sağlamak için harici katkıda bulunanların kaynaklarını etkin bir şekilde kullanın ve teknik etki oluşturun.
Üçüncü adım, topluluğa açık yönetişimdir Bu aşamada, dört konuya dikkat edilir: büyük ölçekli teknoloji teşviki ve uygulaması, geliştirici ekosistem inşası, topluluk lideri ve liderlik eğitimi ve Ar-Ge kaynaklarının tüm toplum için en uygun şekilde tahsisi.
Tencent'in açık kaynak yönetimine bu kadar önem vermesinin nedeni, Tencent Açık Kaynak Birliği (TOSA) Başkanı ve Tencent Teknoloji Mühendisliği İş Grubu Veri Platformu Bölümü Büyük Veri Yığın Depolama ve Yığın Hesaplama Başkanı Du Junping, CSDN (ID: CSDNnews) ile yaptığı röportajda önemden bahsetti. İki nokta: "Birincisi, Tencentin açık kaynağa karşı tutumu çok olgun. Açık kaynak, diğer şirketlerin açık kaynağa gitmesi gibi değildir ve herkes alkış kazanır. Açık kaynak kodu yalnızca ilk adımdır. İkinci adım, iyi bir topluluk oluşturmaktır. Üçüncü olarak İlk adım, bu iyi topluluk aracılığıyla teknoloji madenciliği yapmaktır.Ekolojide çeşitli işletmelere bazı ödüller kazandırmak uzun vadeli bir süreçtir.Kodu açarak çözülmez.İkinci nokta ise Tencent'in bir sosyal ağ olarak başladığı ve çok iyi olduğu İnsanlar arasındaki bağlantıya gelince, açık kaynağın başarısı Tencent'in hoşgörü ve iletişiminden ayrılamaz, bu yüzden buna daha fazla önem veriyoruz. "
Şimdi GitHub'da Star Plato'ya gelin!
Plato açık kaynak adresi:
https: // github .com / tencent / plato
Aktivite önerisi
2019 Gömülü İstihbarat Uluslararası Konferansı geliyor! "Her Şeyin İnterneti · Her Yerde İstihbarat" temasıyla, bilgisayarla görme, 3 boyutlu görme, tıbbi görüntü işleme, konuşma tanıma, NLP, sensör füzyonunu kapsayan yerleşik yapay zekanın geleceğini sergilemek için yurtiçi ve yurtdışındaki 30'dan fazla üst düzey uzman konuk olarak davet edilecek, Otonom sürüş gibi temel teknolojiler ve uygulamalar. İnovasyonu uygulamak için ana akım AIoT alanından 500'den fazla omurga ve yurtiçi ve yurtdışında 100'den fazla özel olarak davet edilen teknik lider toplar. Ayrıca, kaçırılmaması gereken bir endüstri etkinliği olan en son ürünlerini sergileyen düzinelerce çip, modül, araç ve uygulama entegratörü de olacak.
2019 Gömülü İstihbarat Uluslararası Konferansı, sınırlı süreli indirimli biletlerde% 30 indirim, 499 yuan'a kadar tasarruf! Öğrenci biletleri sadece 399 yuan! Zinciri dürtün ve satın almak için kodu tarayın!
