Bir kümede yapay zeka çipleri nasıl verimli bir şekilde dağıtılır ve kullanılır? | Özeti paylaş
Leifeng.com AI Araştırma Enstitüsü Basın: Yapay zeka teknolojisinin hızlı gelişimi sadece büyük miktarda veriden faydalanmakla kalmaz, aynı zamanda güçlü donanım desteği gerektirir. Sonsuz yapay zeka uygulamaları karşısında, verimli veri hesaplama ve işleme için genel amaçlı bir donanım kullanmak zordu ve bu da çeşitli yapay zeka yongalarının güçlü bir şekilde geliştirilmesine yol açtı.
Son zamanlarda, Leifeng.com AI Araştırma Enstitüsü'nün çevrimiçi açık sınıfında, Thinker (AI çip) ekibinin derin öğrenme platformundan sorumlu kişi olan Zhou Pengcheng, mevcut ana akım dağıtılmış heterojen bilgi işlem özelliklerini, farklılıkları ve uygulamaları paylaştı ve mevcut olanı nasıl popüler hale getirebileceğini tanıttı. Büyük veri analiz motorları (Spark gibi), AI yongalarının güçlü bilgi işlem gücünden yararlanır. Video oynatma:
Deep Learning Platform of Thinker (AI Chip) ekibinden sorumlu kişi olan Zhou Pengcheng, Alibaba Teknoloji Güvencesi Bölümünde bir algoritma mühendisi olarak çalıştı; Mikroelektronik Master, Tsinghua Üniversitesi, ana araştırma yönü: yeniden yapılandırılabilir çipler için derleyici arka uç optimizasyonu, Öğretim düzeyinde paralellik, yüksek eşzamanlı programlama modeli ve dağıtılmış hesaplama.
Konuyu paylaş : Yapay zeka yongaları bir kümede nasıl verimli bir şekilde dağıtılır ve kullanılır
Ana hatları paylaşın:
-
Hadoop YARN kaynak yönetim sistemine giriş
-
Spark dağıtılmış bilgi işlem çerçevesine giriş
-
Çeşitli heterojen çiplerin farklı platformları, özellikleri, farklılıkları ve uygulamaları
-
Açık kaynak projesi StarGate
Bu canlı paylaşım ilk olarak Hadoop YARN kaynak yönetim sistemini tanıtıyor. Esas olarak kümedeki CPU ve belleği yöneten Hadoop YARN kaynak yönetimi çerçevesi.
YARN (Yine Başka Bir Kaynak Müzakerecisi), çeşitli hesaplama çerçeveleri için kaynak yönetimi ve zamanlama sağlayabilen genel bir kaynak yönetimi platformudur.
YARN genellikle ResourceManager, NodeManager, ApplicationMaster ve Container gibi birkaç bileşenden oluşan bir Master / Slave yapısıdır.
NodeManager (NM), her düğümdeki kaynak ve görev yöneticisidir. Düğümdeki kaynak kullanımını ve her Konteynerin çalışma durumunu RM'ye periyodik olarak rapor edecek; aynı zamanda, AM'den Konteyner başlatma / durdurma isteklerini alacak ve işleyecektir.
ApplicationMaster (AM) Kullanıcılar tarafından gönderilen tüm uygulamalar, uygulama izleme, uygulama yürütme durumunu izleme, başarısız görevleri yeniden başlatma vb.'den sorumlu bir AM içerir. ApplicationMaster, Task'ın yürütülmesini ve izlenmesini tamamlamak için ResourceManager ile kaynakları koordine etmekten ve NodeManager ile birlikte çalışmaktan sorumlu bir uygulama çerçevesidir.
Kapsayıcı, YARN'deki bir kaynak soyutlamadır. Bellek, CPU, disk, ağ vb. Gibi bir düğümdeki çok boyutlu kaynakları kapsüller. AM, RM'den kaynak talep ettiğinde, RM tarafından AM için döndürülen kaynak Kapsayıcı tarafından temsil edilir. . YARN, her göreve bir Kapsayıcı atar ve görev yalnızca Kapsayıcıda açıklanan kaynakları kullanabilir.
Ardından, Spark olan özel bir uygulama yöneticisini tanıtacağım. Bu bilgi işlem çerçevesi çok popülerdir ve akışlı hesaplamayı, grafik hesaplamayı ve veritabanı sorgularını destekleyebilir. Spark hakkında daha fazla bilgi için resmi web sitesine bakabilirsiniz.Bu makale esas olarak Spark'ın heterojen bilgi işlem platformlarında nasıl kullanılacağını açıklamaktadır.
Spark'ın veri yapısı RDD (Esnek Dağıtılmış Veri Kümesi)
RDD, esnek bir dağıtılmış veri kümesi olan Resillient Distributed Dataset olarak adlandırılan Spark tarafından sağlanan temel soyutlamadır. Soyut olarak bir küme ortamında büyük bir dizi olarak düşünülebilir Bu dizi değişmezdir ancak birçok küçük diziye bölünebilir.Her küçük dizi (bölüm) kümedeki birkaç düğüme dağıtılır. Veri paralelleştirme gerçekleştirilir ve ardından hesaplama veriler ile düğümlere itilir ve dağıtılmış bir hesaplama tamamlanır.
RDD'ler genellikle Hadoop'taki dosyalar, yani HDFS dosyaları veya Hive tabloları tarafından oluşturulur; bazen uygulamadaki koleksiyonlar tarafından da oluşturulabilirler.
RDD'nin en önemli özelliği, hata toleransı sağlaması ve düğüm hatalarından otomatik olarak kurtulabilmesidir. Diğer bir deyişle, bir düğümdeki RDD bölümü, düğüm arızası nedeniyle veri kaybına neden olursa, RDD, bölümü kendi veri kaynağından otomatik olarak yeniden hesaplayacaktır. Bütün bunlar kullanıcı için şeffaftır.
RDD verileri varsayılan olarak bellekte depolanır, ancak bellek kaynakları yetersiz olduğunda, Spark RDD verilerini otomatik olarak diske yazar.
YARN modunda Spark'ın bilgi işlem darboğazı temeldeki çip üzerindedir. Bu bölüm için, oynatma videosu tanıtımını izleyebilirsiniz.
Sırada, farklı uygulamalardaki CPU, GPU, FPGA ve AI çipleri arasındaki fark var.
Şekildeki yeşil kısım, GPU bilgi işlem çekirdeğidir.GPU çok zengin hesaplama birimlerine sahiptir, ancak çok az kontrol mantığı birimi vardır. Bu, onu yalnızca evrişim işlemleri gibi daha normal bilgi işlem türleri için uygun kılar. Bu tür işlem sadece basittir Ve matris çarpımını tekrarlayın. Bu nedenle, GPU en uygun olanıdır.
FPGA ile GPU arasındaki fark, öncelikle FPGA tasarım kaynaklarının çok sınırlı olmasıdır.Örneğin, GPU'ya daha fazla çekirdek eklemek istiyorsanız, sadece çip alanını artırmanız gerekir, ancak FPGA modeliniz seçildikten sonra mantık kaynaklarının üst sınırı belirlenir (kayan nokta hesaplaması). FPGA'da çok fazla kaynak kaplar) İkinci olarak, FPGA'daki mantık birimi SRAM arama tablosuna dayanır ve performansı GPU'daki standart mantık biriminden çok daha kötü olacaktır. Son olarak, FPGA yönlendirme kaynakları da sınırlıdır (bazı hatlar uzağa yönlendirilmelidir), GPU'lardan farklı olarak, ASIC akışı isteğe göre yönlendirilebilir ve bu da performansı sınırlar.
Gerçekte, grafik hesaplama gibi GPU işlemeye uygun olmayan birçok uygulama vardır. Hepimiz bir grafiğin birçok düğümden ve kenardan oluştuğunu biliyoruz. Bir operatörü temsil etmek için bir düğüm kullanılıyorsa ve düğümler arasındaki kenarlar veri korelasyonunu veya veri bağımlılığını temsil ediyorsa, veri akış grafiği olarak da adlandırılabilecek bir hesaplama grafiği oluştururuz. (DFG). Grafik hesaplamanın GPU için uygun olmamasının nedeni, bu veri bağımlılığını verimli bir şekilde ele almanın hiçbir yolu olmaması ve bu bağımlılığı yalnızca bellek erişiminden geçirebilmesidir. Ve bu veri akış grafiği FPGA ile eşleştirilirse, bu bağımlılık bilgi işlem birimleri arasındaki bağlantı yapısı aracılığıyla aktarılabilir ve işlenebilir ve farklı bilgi işlem birimleri farklı operatörleri çalıştırabilir ve ardından boru hattı teknolojisini uygulayabilir. Bellek erişiminin baskısını büyük ölçüde azaltabilir ve performansı büyük ölçüde artırabilir. Bu nedenle, FPGA'ler düzensiz uygulamalar için (grafik hesaplama, akışlı hesaplama gibi) daha uygundur.
CPU, GPU, FPGA, ASIC'in mimari özellikleri
Aşağıdaki resim, ekibimiz tarafından geliştirilen ve çoğunlukla derin öğrenme uygulamalarını hızlandırmak için kullanılan üç çipi göstermektedir.
Intel FPGA geliştirme süreci
Çipin temel geliştirme sürecini anladıktan sonra, dikkate almamız gereken bir sonraki şey, sunucuya yüklenmiş çeşitli hızlandırıcı kaynaklarının verimli bir şekilde nasıl yönetileceği ve kullanılacağıdır. Bu amaca ulaşmak için, karşılık gelen bileşenlerin veya hizmetlerin tasarlanması ve uygulanması gerekir Örneğin, hızlandırıcının çeşitli durumlarını ve kaynak kullanımını gerçek zamanlı olarak izlemek için bir izleme bileşenine ihtiyaç vardır.Aynı zamanda, birden fazla uygulama için karşılık gelen bileşenleri tahsis etmek için bir programlayıcı bileşeni gereklidir. Hızlandırıcı kaynakları. Kısaca kaynak yönetimi için bir hizmete ihtiyacımız var.
Bu, ekibimiz tarafından bağımsız olarak geliştirilen StarGate açık kaynak projesidir. Adres:
StarGate'in ana mimarisi
Sırada StarGate'te Spark'ın açıklaması var. Alan sınırlamaları nedeniyle, buradaki metin içeriğini incelemeyeceğiz ve ilgilenen öğrenciler videoyu oynatmayı doğrudan izleyebilirler. Video adresi bağlantısı:
sonuç olarak
Mevcut popüler büyük veri üretim sisteminin bilgi işlem darboğazı, temel çipte yatmaktadır ve çip, hesaplama baskısını büyük ölçüde azaltabilir. AI yongalarının güçlü hesaplama yeteneklerini göstermek için, AI yongalarının temel mimarisi, özellikleri ve uygulanabilir senaryoları ayrı ayrı tanıtıldı. Bununla birlikte, farklı AI çipleri mevcut ana akım büyük veri üretim sistemlerini farklı derecelerde destekler.Çoğu durumda, mevcut üretim sistemini mevcut AI çiplerini entegre etmek için genişletmek gerekir. Veri merkezlerinde kullanılan yapay zeka yongalarının maliyetini en aza indirmek ve yapay zeka yongalarının güçlü bilgi işlem gücünü verimli bir şekilde kullanmak için açık kaynak projesi StarGate'i tasarladık ve geliştirdik.
Yukarıdakiler, Leifeng.com AI Araştırma Enstitüsü'nün bu açık sınıfının tüm paylaşılan içeriğidir. Daha fazla canlı video kursu için, WeChat herkese açık hesabını takip edin: AI Araştırma Kulübü
Leifeng.com tarafından üretilmiştir
