Facebook açık kaynaklı 3 AI donanım sistemi: her ay 2,7 milyar kullanıcı verisini işleyebilir
Xin Zhiyuan Rehberi Her ay 2,7 milyar aktif kullanıcı tarafından üretilen veri miktarıyla karşı karşıya kalan Facebook, odak noktasını genel amaçlı donanımdan yapay zekaya özel donanıma kaydırdı. Bugünün Açık Bilgi İşlem Projesi Küresel Zirvesi'nde, eğitim için Zion, akıl yürütme için Kings Canyon ve video kod dönüştürme için Mount Shasta olmak üzere üç AI donanımı piyasaya sürüldü ve açık kaynaklı.
Bir aile grubu uygulamasının her ay 2,7 milyar kişiye hizmet vermesi kolay değil! Facebook'a sorduğuna inanma.
Menlo Park'ta bulunan teknoloji devi, büyük miktarda bilgi işlem gücü gereksinimi ile başa çıkmak için genel amaçlı donanımdan özel hızlandırıcılara geçti. Bu hızlandırıcıların rolü, özellikle AI alanında veri merkezlerinin performansını, güç tüketimini ve verimliliğini sağlamaktır.
Bugün Facebook, yapay zeka model eğitimi için "yeni nesil" donanım platformu olan 3 donanım ürününü tek seferde piyasaya sürdü. Zion Yapay zeka muhakemesi için optimize edilmiş özelleştirilmiş uygulamaya özel entegre devreler Kings Kanyonu Ve video kod dönüştürme Shasta Dağı . Ve açık bilgi işlem projesine bağışlandı.
Open Compute Project (OCP), Facebook tarafından Nisan 2011'de başlatılan bir veri merkezi açık mimari teknoloji geliştirme organizasyonudur. Mevcut üyeleri arasında Intel, Red Hat, Facebook, Mozilla, Rackspace, NTT Data, Baidu, Goldman Sachs ve Google bulunmaktadır.
Facebook, bu üç donanım ürününün yapay zeka eğitimini ve çıkarımını büyük ölçüde hızlandıracağını iddia ediyor. Facebook mühendisleri Kevin Lee, Vijay Rao ve William Christie Arnold bir blog gönderisinde "Yapay zeka, insanların günlük etkileşimde bulunmalarına ve onlara benzersiz ve kişiselleştirilmiş deneyimler sunmalarına yardımcı olmak için çeşitli hizmetlerde kullanılıyor." Altyapıda yapay zeka iş yüklerinin kullanılması, hizmetler arasındaki ilişkiyi artırabilir ve kullanıcı deneyimimizi geliştirebilir. "
Zion
Zion, AI eğitimi için bloklar oluşturur
Blok ile iletişim
Zion, CNN, LSTM ve SparseNN dahil olmak üzere sinir ağı mimarilerinin "spektrumunu" idare edecek şekilde tasarlanmıştır. Üç bölümden oluşur: 8 NUMA CPU soketine sahip bir sunucu; 8 hızlandırıcı yonga setiyle donatılmış bir sunucu ve bir satıcıdan bağımsız OCP hızlandırıcı modülü (OAM).
Zion'un yüksek bellek kapasitesi ve yüksek bant genişliği, biri tüm CPU'ları bağlamak için diğeri tüm hızlandırıcıları bağlamak için olmak üzere iki yüksek hızlı yapıdan yararlanır. Ayrıca esnek mimarisi sayesinde, üstte tek bir rafa genişletilebilen çoklu sunucu rafına monte (TOR) ağ anahtarları kullanılabilir.
"Hızlandırıcı belleği yüksek bant genişliğine ancak düşük kapasiteye sahip, bu nedenle bu sorunu modeli bölümlere ayırarak çözüyoruz: sık erişilen veriler hızlandırıcıda ve daha az sıklıkla erişilen veriler CPU ile DDR belleğinde bulunuyor. "Lee, Rao ve Arnold," Tüm CPU'ların ve hızlandırıcıların hesaplanması ve iletişimi dengelidir ve yüksek hızlı ve düşük hızlı ara bağlantı sayesinde verimlilik büyük ölçüde artırılır. "
Kings Kanyonu
Zion, AI muhakemesi için Blok oluşturur
Blok ile iletişim
Muhakeme görevleri için tasarlanan Kings Canyon'a gelince, dört bölüme ayrılmıştır: Kings Canyon muhakeme M.2 modülü; Twin Lakes tek soketli sunucu; Glacier Point v2 taşıyıcı kartı; ve Facebook'un Yosemite v2 kasası. Facebook, hem INT8 hem de yüksek hassasiyetli FP16 iş yüklerini destekleyebilecek ASIC çipleri geliştirmek için Esperanto, Habana, Intel, Marvell ve Qualcomm ile birlikte çalıştığını söyledi.
ASIC'ler genel amaçlı kod çalıştırmazlar ve özel derleyicilerin grafikleri bu hızlandırıcılarda çalıştırma yönergelerine dönüştürmesini gerektirir. Glow derleyicisinin amacı, altyapının satıcıdan bağımsız olması için satıcıya özgü donanımı üst düzey yazılım yığınından soyutlamaktır. PyTorch 1.0 gibi çerçevelerden hesaplama grafikleri kabul eder ve bu makine öğrenimi hızlandırıcıları için oldukça optimize edilmiş kod üretir.
Kings Canyon'daki her sunucu, M.2 Kings Canyon hızlandırıcısını ve Twin Lakes sunucularına bağlı bir Glacier Point v2 taşıyıcı kartını birleştirir. Bunlardan ikisi Yosemite v2 kızağına kurulur ve NIC aracılığıyla TOR anahtarına bağlanır. Kings Canyon modülü, bir ASIC, bir bellek ve bir PCIe kanalı aracılığıyla hızlandırıcı modülüyle iletişim kuran bir CPU gibi diğer destekleyici bileşenleri içerir. Glacier Point v2, sunucunun tüm modüllere aynı anda erişmesine olanak tanıyan tümleşik bir PCIe anahtarı içerir.
"Modeli uygun şekilde bölerek, çok büyük derin öğrenme modelleri çalıştırabiliyoruz. Örneğin, SparseNN modeli için, tek bir düğümün bellek kapasitesi yeterli değilse, modeli artırmak için model iki düğüm arasında bölünür Kullanılabilir bellek miktarı. "Lee, Rao ve Arnold," Bu iki düğüm, çok ana bilgisayarlı NIC'lerle bağlanarak yüksek hızlı geçişe izin veriyor. "Dedi.
Shasta Dağı
Mount Shasta, Broadcom ve Verisilicon ile işbirliği içinde geliştirilmiş, özellikle video kod dönüştürme için geliştirilmiş bir ASIC'dir. Facebook'un veri merkezinde, birden fazla M.2 modülünü barındırabilen bir Glacier Point v2 (GPv2) taşıyıcı kartında entegre bir ısı emiciye sahip bir M.2 modülüne kurulacak.
Facebook, ortalama olarak, bu yongaların verimliliğinin mevcut sunuculardan "birçok kat daha yüksek" olmasını beklediğini söyledi. Amacı, giriş akışının kodlama verimliliğini 10W güç aralığında 60 fps'de 4K'dan en az iki katına çıkarmaktır.
"Zion, Kings Canyon ve Mount Shasta tasarımlarının yapay zeka eğitimi, yapay zeka çıkarımı ve video kodlamadaki artan iş yükümüzü karşılayabileceğini umuyoruz." Lee, Rao ve Arnold, "Donanım ve yazılım işbirliğini benimseyeceğiz. Donanım ürünlerinin verimliliğini tasarlayın ve sürekli iyileştirin. Ancak, bir üreticinin yeteneği nihayetinde sınırlıdır. Umarım daha fazla üretici Facebook ekosistemine girebilir ve birlikte çalışabilir. "
Referans bağlantısı:
