GPU'nun yüksek güç tüketimi zayıflığı en büyük kriz haline geldi mi? GPU'nun on yıllık hakimiyeti "kuşatılacak ve bastırılacak"
("MIT Technology Review" APP'nin Çince ve İngilizce sürümü artık çevrimiçi ve yıllık aboneler her hafta teknoloji İngilizcesi dersini canlı yayınlıyor ve ayrıca bir teknoloji İngilizce öğrenme topluluğu da var ~)
Yapay zeka teknolojisinin gelişmesi ve değişmesiyle, bir dizi yeni teknoloji şirketi yükselecek.Yurtdışındaki temsilciler arasında Graphcore, Wave Computing vb. Yer alırken, Horizon Robotics, Cambrian Technology, Shenjian Technology, vb. Başlangıçlar. Yapay zeka çiplerine ve ilgili çözümlere odaklanan bu girişimler, pazardan pay almayı umarak AI bilgi işlem alanında NVIDIA gibi geleneksel devlere de meydan okudu.
Bununla birlikte, GPU'lar mevcut AI hesaplama alanına hakim olduğu için, IC tasarım şirketlerinin enerji verimliliği oranı, ölçek ve uygulanabilir senaryolar gibi çeşitli genel yönlerde GPU'lara meydan okuması gerekiyor, ancak gerçekte hala birçok zorluk var. Her şeyden önce, GPU mimarisi tam anlamıyla mükemmel değil, ancak NVIDIA'nın sürekli iyileştirilmesiyle kullanılabilir sahneler giderek artıyor.Intel gibi geleneksel CPU üreticileri, FPGA'ların gücüyle birleştirilmiş mimarisi ile geliştirilmiş CPU'ları başlatmak konusunda isteksiz değiller. Yapay zeka bilgi işlem endüstrisine karşı saldırı yapmak istiyorum.
Şekil NVIDIA'nın GPU hesaplama çözümü hala yapay zeka hesaplamasının temelini oluşturuyor, ancak zorluklar daha da yoğun hale geliyor
Bu devlere meydan okumak, mimaride yüksek hedefli olmanın yanı sıra müşterilere daha yüksek değer katabilir veya yazılım algoritmalarından veya geliştirme ortamlarından farklılaşma yaratabilir. Eğer sadece kafa kafaya gelirseniz, ekolojik destek olmadan uzun süre hayatta kalmak zor olacaktır.
GPU şu anda en popüler AI bilgi işlem mimarisidir, ancak sektörün daha enerji verimli çözümlere ihtiyacı var
Ana bilgisayar piyasada göründüğünden beri, yalnızca bilgi işlem mimarisi ve bilgi işlem kaynak uygulamalarının gelişimini yönlendirmekle kalmadı, aynı zamanda bu bilgi işlem yeteneklerini doğru şekilde kullanmak için yazılım bile önemli ölçüde gelişti. Endüstri bu yazılımları kullandığında, donanım tasarımı için yeni gereksinimleri teşvik edecektir. Makine öğrenimi, sunucuların ana uygulamalarından biri haline geldiğinden, ilgili bilgi işlem donanım mimarisi de büyük değişikliklere uğradı. Örneğin, geçmişte bulut sunucu mimarileri, sunucu pazarının% 90'ından fazlasını kazanmak için ekolojik ve maliyet avantajlarına dayanan Intelin X86 CPUları başta olmak üzere tüm CPU mimarileriydi.
Bununla birlikte, makine öğrenimi karşısında, CPU mimarisinin kendisinin çok sayıda paralel işlem kapasitesindeki eksiklikleri ortaya çıkar. , Çekirdek ölçeğinin çok büyük olmasına ek olarak, çekirdek sayısı çok azdır, bant genişliği de genel bilgi işlem performansını sınırlar. Ve büyük çekirdek tek bir iş parçacığının karmaşık işini hızla halledebilse de, ancak az sayıda çeşitlendirilmiş makine öğrenimi hesaplama modeli karşısında ve hesaplama içeriği nispeten tek olsa da, CPU'nun boru hattı tasarımı bu tür büyük ölçekli işleri hızla işleyemez. Tüketim büyük ölçüde artmıştır ve hesaplama verimliliği düşüktür.
Şekil CPU ve GPU çekirdek özellikleri, bireysel uygulamaların hesaplama verimliliğini belirler.
GPU'nun çağdaş yapay zekanın ana hesaplama yöntemi haline gelmesinin nedeni, binlerce küçük çekirdeğe sahip olmasıdır. Çekirdeğin boyutu CPU'dan önemli ölçüde daha küçük olsa da, yalnızca nispeten basit hesaplamalar yapabilir ve işletim sistemini doğrudan başlatamaz. Ancak basitlik onun en büyük silahıdır. Bu devasa çekirdek gruplar aynı anda binlerce ila on binlerce basit bilgi işlem iş parçacığını anında işleyebilir ve GPU yongasına ve bant genişliğine doğrudan bağlı büyük yerel belleğe sahiptir. CPU sisteminden çok daha büyük .
Dahası, NVIDIA gibi bir şirketin GPU'su için kullandığı CUDA ortamı, ilgili AI bilgi işlem programlarının geliştirilmesindeki karmaşıklığı büyük ölçüde azaltır. Bu nedenle, AI alanındaki GPU'ların uygulaması hızlıdır ve ana bulut AI bilgi işlem mimarileri şu anda GPU'lara dayanmaktadır. .
Ancak GPU'nun eksiklikleri, özellikle de güç tüketimi yok değildir.Bir GPU bilgi işlem kartı yüzlerce watt gücü kolayca tüketebilir.Ölçek büyükse, tüm bilgi işlem merkezinin güç tüketimi kontrolü özellikle zahmetli olacaktır. . Örneğin, Carnegie Mellon Üniversitesi önde gelen bir yapay zeka araştırma kurumu olmasına rağmen, araştırmacılardan çiplerin kullanım süresini kısaltmalarını istemeleri bile gerekir, çünkü bu okulun güç sistemini getirecektir. Ağır baskı yapın. CMU Profesörü Franz Franchetti, üniversitenin bu sorunu hafifletmek için alternatif enerji kaynakları aradığını söyledi.
Şekil GPU hesaplama kartı güç tüketimi son derece yüksektir, ölçek büyüdükçe ilgili kuruluşların güç yönetimi üzerinde büyük bir yük oluşturmaktadır.
Özellikle Google'ın TPU mimarisini piyasaya sürmesinden sonra, mükemmel enerji tüketimi oranı, GPU enerji tüketimini ön plana çıkardı.
Otonom sürüş gibi bireysel uygulama alanlarında, NVIDIA Drive PX ve Xavier güçlü bir performansa sahiptir, ancak genel güç tüketimi yine de aracın elektrik sistemi üzerinde belirli bir baskı oluşturacaktır. Elektrikli arabaların yanı sıra, benzinli arabalar genel olarak yalnızca Motor çalıştırıldığında, klima gibi daha fazla güç tüketen cihaz fonksiyonlarını çalıştırmak için elektrik üretebilir.Otomatik sürüşün kontrol çekirdeğinin yüzlerce watt güç tüketmesi gerekiyorsa, Güç tüketiminden tasarruf etmek için rölanti devrinde otomatik sürüş için hesaplama işlevlerinin çoğunu kapatmak teorik olarak mümkün olsa da, yine de geleneksel akaryakıt aküleri üzerinde önemli baskıya neden olacaktır.
Şekil Otomatik sürüşün kontrol çekirdeği, sürüş ortamını belirlemek ve sürüş stratejilerini belirlemek için büyük miktarda veriyi entegre etmelidir.
Bununla birlikte, elektrikli araçlar için bile, motor olmayan parçaların bu kadar büyük miktarda elektrik tüketmesi gerekiyorsa, kilometrede belirli bir azalma olacaktır. Otomatik sürüş açıldığında, bu kontrol çekirdekleri çevredeki değişiklikleri hesaplamak ve kavramak ve her an sürüş durumuna tepki vermek içindir. Teorik olarak kesintisiz ve tam kapasitede çalışmak zorundalar ve cep telefonlarının veya tablet platformlarının güç tüketimini azaltabilecek bir dinlenme moduna girme şansı çok fazla değil.
Hem esnekliğe hem de enerji verimliliğine sahip olmak zor mu?
GPU'nun belirli bir derecede programatik yapılandırma yeteneklerine sahip olmasına rağmen, çoğu bilgi işlem ortamına uyum sağlayabilir, ancak mevcut AI hesaplamalarının çoğu, özellikle CNN (Convolutional Neural) gibi birkaç büyük uygulamada oldukça hedeflenmiş gibi görünmektedir. Doğal dil işlemede yaygın olan Ağ) ve RNN (Tekrarlayan Sinir Ağı), genellikle hesaplama modunda birkaç sabit yönteme sahiptir.Başka bir deyişle, bir miktar esneklik feda edilirse, bu ortak modlar ASIC şeklinde hızlandırılır. Ancak enerji verimliliği büyük ölçüde iyileştirilebilir, aslında çoğu müşterinin kabulü düşük değildir.
Ek olarak, terminallerin AI hesaplama yeteneklerine sahip olması giderek bir trend haline geldi.Örneğin, cep telefonlarındaki veya akıllı hoparlörlerdeki AI çekirdekleri, gelecekte AI hesaplama birimleriyle de donatılabilir. GPU mimarisinin bu kısmı, esas olarak güç tüketimi nedeniyle yardımcı olmayabilir. Sorun, özellikle mobil platformlardaki mevcut GPU güç tüketimi neredeyse CPU'nunkiyle aynı ve bazıları daha da kötü.GPU genellikle arabirimi kullanarak çizim yapmaktan sorumludur. AI hesaplamaları yapmak dikkatini dağıtabilir. Sistem gecikmelerine neden olur, bu nedenle bu bölümdeki eğilim, özel ASIC gömülü bilgi işlem birimlerini kullanmak olacaktır.
FPGA ve ASIC'in zorluklarıyla yüzleşmek
Daha önce de belirtildiği gibi, GPU geçmişte grafikler için doğdu, ancak grafikler için tasarlanmış vektör hesaplama birimi başka amaçlar için kullanılabildiğinden ve devasa paralel işleme yetenekleri nedeniyle, bilgi işlem için bir GPGPU haline geldi. Yapay zeka endüstrisinin müteakip gelişimini sağladı.
GPU, yapay zekayı çalıştırmak için bilgi işlem biriminin yaklaşık% 40'ını kullanır. Esnekliği ve mevcut grafik yeteneklerini korumak için, çoğu transistör yapay zeka hesaplamalarını işlemek için kullanılmayacaktır. ASIC'in gerekli harici bağlantılarına ve dahili merkezi kontrol parçalarına ek olarak, transistörlerin geri kalanı hesaplamalarda kullanılabilir, bu nedenle genel enerji verimliliği boşluğu buradan gelir.
Bununla birlikte, GPU'nun mevcut ekolojik düzeni esas olarak buluttadır ve NVIDIA tarafından otonom sürüş alanı için başlatılan Drive PX ve Xavier platformları gibi terminalin yalnızca birkaç uygulaması devam etmektedir. Genel olarak, performans önemli olsa da, güç tüketimi hala yüksektir ve aktif soğutma kullanılmalıdır, aksi takdirde aracın zorlu ortamına uyum sağlamak zor olacaktır.
Şekil NVIDIA Drive PX ve Xavier
Aksine, Mobileye, Renesas ve NXP gibi rakiplerin neredeyse tamamı, görüntü veya nesne tanıma için özel hızlandırma mimarilerini benimsemek için ASIC yöntemlerini benimsiyor.Mobileye, ADAS pazarının yaklaşık% 70'ini oluşturuyor ve otonom sürüşe yatırım yapan ilk çözüm sağlayıcısı. Birincisi, en yeni otonom sürüş çözümü EyeQ4, 3W güç tüketimi limiti altında 2.5TOPS performans sağlayabilir ve 28nm sürecini temel alırken, NVIDIA'nın en yeni Xavier, 16nm proses altında 20TFOPS'a kadar performans sağlayabilir. Performans, ancak güç tüketimi 80W'a ulaşır. Mobileye'nin yeni nesil otonom sürüş çözümünün performansı 17TOPS'a yükselecek, ancak güç tüketimi yalnızca 5W'a yükselecek ki bu, ASIC olmayan mimariye sahip NVIDIA için zor.
ASIC'lerin geliştirme ortamının tasarımı, üretimi ve işletiminden çok fazla maliyet harcaması gerekmesine rağmen, tek bir yonganın maliyeti GPU'nunkinden çok daha yüksek olabilir, ancak yüksek enerji verimliliğinin getirdiği güç tasarrufu ve verimlilik iyileştirmesini göz önünde bulundurursanız Gerçekleştirilebilecek genel bakım / işletme maliyetinin azaltılması aslında uzun vadede uygun maliyetli bir yatırım gibi görünmektedir.
AI bilgi işlem ortamı için çözümler başlatan Intel ve Xilinx dahil olmak üzere FPGA'lar da yetişmeye başladı. Örnek olarak Intelin Stratix 10unu alırsak, bilgi işlem performansı 10TFLOPSa ulaşabilir ve güç tüketimi yalnızca 120 Wtır. Örnek olarak NVIDIAnın Tesla V100ünü alırsak, Stratix10un 14TFLOPS performansından biraz daha yüksek bir performansa sahip olmasına rağmen, güç tüketimi 300 W kadar yüksektir. Intelin yakında çıkacak olan yeni nesil yapay zeka bilgi işlem kartı Knights Landing ve Lake Crest bilgi işlem mimarilerinin performansta birçok kez büyümesi ve tutarlı güç tüketimini sürdürmesi bekleniyor.
Yüksek verimlilik gerektiren daha fazla bilgi işlem mimarisi kademeli olarak GPU'yu terk eder
Şu anda, giderek daha popüler olan terminal AI bilgi işlem trendi, GPU gittikçe daha zayıf hale geldi, Apple A11, Huawei'nin Kirin 970 ve hatta gelecekteki MediaTek AI cep telefonu çip düzeni gibi ana akım çekirdek çözümler, Özel bilgi işlem birimi , Çipte yerleşik bağımsız bir yapay zeka hesaplama birimi vardır. Bu tür bir bilgi işlem birimi, GPU'nun vurguladığı GPGPU hesaplama işlevleri ve OpenCL destek yetenekleri gerektiren geçmişteki yapay zeka hesaplama görevlerinin çoğunun yerini alacak.
Şekil Huawei Mate 10 ve iPhone X, çipe bağımsız AI bilgi işlem birimlerini entegre eder.
Ancak Intel, FPGA'nın gücünü CPU'nun fiziksel kalitesinin iyileştirilmesi ve komut setinin artırılmasıyla birleştirerek NVIDIA'yı buluttan çıkarmaya çalışıyor.Ayrıca enerji verimliliği oranı üzerinde de duruluyor. Çindeki Cambrian, Horizon ve Shenjiana gelince, başlattıkları çözümlerin tümü daha yüksek enerji verimliliği oranlarına doğru ilerliyor. GPU mimarisinin her yönden düşman olduğu söylenebilir.
Aşağıda, gelecekte AI'daki GPU hakimiyetini tehdit edebilecek çeşitli potansiyel mimarilerin basit bir analizini yapıyoruz.
1. Graphcore'un IPU'su
Graphcore, AI hesaplamasının eğitime bölünmesi gerektiğine ve çıkarımın doğru sınıflandırma yönü olmadığına inanıyor. Normal bir AI bilgi işlem mimarisi, her iki görevi de aynı anda gerçekleştirebilmelidir Ve gelecekteki sürekli öğrenme mekanizması için, gelecekte ideal yapay zekanın Model konuşlandırıldıktan sonra öğrenmeye ve gelişmeye devam etmek gerekir.
Şekil Graphcore'un IPU modelinde, eğitim kısmından ek bir söz yoktur, ancak çıkarım motoruyla entegre edilmiştir.
IPU, standart bir sinir ağı işleme çipidir ve ölçek çok büyüktür, Genellikle binlerce ila milyonlarca köşeye sahiptir , Standart sinir ağlarına ek olarak, aynı zamanda Bayes ağı (Güvenilirlik ağı ve nedensel ağ olarak da bilinir, olasılık analizi ve grafik teorisine dayanan belirsiz bilginin ifade ve muhakeme modelini ifade eder) ve Markov Ağı (Markov ağları, bağımlılıkları ifade etmek için Bayes ağlarına benzer. Bununla birlikte, bir yandan Bayes ağlarının ifade edemediği döngüsel bağımlılıklar gibi bazı bağımlılıkları ifade edebilir; diğer yandan, Bayes ağlarının yapabileceğini ifade edemez. Türetme ilişkileri gibi ifade edilen bazı ilişkiler) ve mimari esnek olduğundan, gelecekteki yeni modeller ve algoritmalar teorik olarak mükemmel bir şekilde desteklenebilir.
Şekil IPU ve diğer bilgi işlem mimarisi yonga düzeni karşılaştırması.
Çok sayıda köşesi nedeniyle, mevcut en büyük GPU'dan yüzlerce kat daha büyüktür, bu da paralel çalışmadaki işleme potansiyelinin şaşırtıcı olduğu anlamına gelir. . Ek olarak, bu köşeler seyrektir ve çoğu köşe, diğer köşelerin yalnızca küçük bir kısmına bağlıdır. Ek olarak, IPU düşük hassasiyetli veri modelleri için de optimize edilmiştir, yani geçmişte süper hesaplama konseptinden tamamen farklı olan istatistiksel veri yaklaşımı kavramına sahiptir. Ayrıca IPU, model parametrelerinin yeniden kullanımını da destekler. Basitçe ifade etmek gerekirse, evrişim uzaysal çoklamadır ve regresyon zaman çoklamadır. Bu yeniden kullanım özellikleri, verilerin uzamsal veya zamansal değişmezliğini elde edebilir ve bu açıkça eğitim ve çıkarım performansına yardımcı olacaktır.
IPU ayrıca çok sayıda yonga üzerinde önbelleğe ve HBM aracılığıyla bağlanan yonga üzerinde belleğe sahiptir.Geleneksel sunucu mimarisinin genellikle çok katmanlı bir erişim veriyolu tasarımı aracılığıyla CPU veya GPU'ya bağlanması gerekir ve aktarım işlemi Büyük gecikmeler meydana gelir ve farklı bellek katmanları ayrıca bağımsız kontrol üniteleri ve enerji kaynağı gerektirir ve genel enerji verimliliği zayıf olacaktır.
Şekil IPU mimari diyagramı
Ancak işin çoğu çip üzerinde veya hatta çip içinde yapılabiliyorsa, gecikme büyük ölçüde azaltılabilir. Teorik olarak, IPU'nun tasarımı nihayetinde tüm modelleri yonga üzerindeki belleğe koymak ve bellek merkezli bir tasarım elde etmek için çok sayıda önbelleği yonga içine entegre etmek ve uygulamaya göre bilgi işlem biriminin ölçeğini ayarlamak ve sonunda enerji tüketiminin optimizasyonunu sağlamaktır.
Ek olarak, IPU birçok verinin iletimi ve hesaplanması için de optimize edilmiştir.Örneğin, hesaplanması ve iletişimi seri işlemeyi kullanır. Teoride, farklı görevler maksimum enerjiden tam olarak faydalanabilir. Gerçek iş yükü nasıl dengelenirse hesaplama yapılabilir. En kısa sürede tamamlayın.
IPU'nun, standart 300W güç tüketimi altında NVIDIA'nın en yeni V100'ünü aşan bir performans sağlaması bekleniyor.
Graphcore, IPU tasarımında birçok uç fikir kullanır.Teoride ölçeği bulut için daha uygun olsa da Graphcore, IPU mimarisinin iyi bir ölçeklenebilirliğe sahip olduğuna ve uç veya terminal hesaplamanın da yetkin olabileceğine inanıyor. Graphcore'un IPU'sunun 2018'in başlarında seri üretilmesi ve piyasaya sürülmesi bekleniyor .
2. Wave Computing, enerji verimliliğinde FPGA'yı geride bırakan bir GPU mimarisi önerir
Wave Computing, 2010 yılında kurulmuş bir şirkettir. Eskiden Wave Semiconductor olarak bilinen, 2016 yılında Wave Computing olarak değiştirildi. Wave'in stratejik yönü, çip çözümleri sunan bir yarı iletken şirketten, bilgi işlem teknolojisi çözümleri sunan bir şirkete dönüştü. Şirket, sistemlerinin yalnızca GPU tabanlı sinir ağlarının eğitim performansını 10 kat artırabileceğini değil, aynı zamanda enerji verimliliği açısından FPGA'leri de aşabileceğini umuyor.
Wave tarafından geliştirilen çip, DPU (Dataflow İşlemcisi) olarak adlandırılır. Hesaplama çözümünde 4 DPU donanım hızlandırma kartı vardır ve her DPU kartına 4 DPU yongası entegre edilmiştir. Wave, donanım hızlandırma çözümlerinin doğrudan mevcut veri merkezlerinin sunucu mimarisinde kullanılabileceğini iddia ediyor.
Şekil Wave'in DPU hesaplama çözümü mimari diyagramı
DPU, temel hesaplama birimi PE'yi uygulamak için eşzamansız mantık kullanır. Entegre bir saat sinyali olmadan, PE işlem verilerini alır almaz hesaplamayı tetikler ve sonucu alır. DPU'ya 16.000 PE entegre edilmiştir. Her bir PE, kendi komut hafızası, veri hafızası, kayıtları ve işlem birimi ile bağımsız bir işlemci olarak kabul edilebilir, İşlem hattının talimat önbelleği, her 0.1ns'de yeni bir talimat yayınlayabilir; bu, 10GHz'lik bir tepe frekansına ulaşabilen bir PE'ye eşdeğerdir. Her PE, 1KB tek bağlantı noktalı veri belleğine sahiptir ve erişim hızı 5GHz'e ulaşabilir. DPU'da 16000 PE bulunduğunu, yani her DPU'nun 8MB IRAM (komut hafızası) ve 16MB DRAM (dinamik hafıza) olduğunu belirtmekte fayda var ki bu çok korkutucu bir ölçek.
Şekil DPU'da, tam olarak bağlı her 4 PE bir Dörtlü oluşturur ve 4 Dörtlü bir küme oluşturur. Her iki PE, 8 bitlik bir toplayıcıyı paylaşır. Her bir küme, gerektiğinde 8/16/24/32 / 64bit işlemlere dönüştürülebilen 8 aritmetik birim (232-bit MAC, 232-bit BMU ve 416-bit ekleme birimi dahil) içerir. Ayrıca SIMD ve MIMD talimatlarını destekler.
DPU'da bir saat ağacı dağıtımı olmadığı için, yonga alanı büyük ölçüde azaltılabilir ve bilgi işlem birimi yalnızca gerektiğinde çalışır ve güç tüketimi büyük ölçüde azaltılabilir. Örneğin, her bir PE çekirdeğinin boyutu ARM'ın Cortex-M'sinden bile daha küçük. DPU'da ayrıca Tayvan'ın And Dağları'ndan yerleşik bir 32 bit CPU çekirdeği var.
Herkese açık test verilerine göre, WAVE'nin DPU'su, AlexNet'in eğitim süresini 120 dakika gerektiren NVIDIA'nın GPU'suna (Pascal) kıyasla 12 dakikaya düşürebilir. Ek olarak, Başlangıç ağına yönelik eğitim verileri, Wave'in 25 kata kadar hızlanma sağlayabildiğini göstermektedir.
3. Intel, AI hesaplamasında sesini yeniden kazanmak için CPU + FPGA kullanıyor
Intel, 50 yıl öncesine kadar bir başlangıç olarak adlandırılamamasına rağmen, Intel gerçekten de yapay zeka hesaplama alanında bir rakiptir.
Intel'in bilgi işlem rekabet gücünü artırma yolları Oldukça eski moda ama oldukça etkili. Örneğin, CPU için önerilen komut seti iyileştirmeleri, daha büyük veri akışlarını barındırmak için AVX multimedya komut setinin genişliğinde bir artışı içerir İkinci olarak, QFMA ve QVNNI komut setlerinin eklenmesi derin öğrenmenin verimliliğini hızlandırabilir. , Ve bu, Xeon Phi'nin en yeni nesli için Knights Landing mimari ürünüdür. Knights Landing, 72 Atom çekirdeğini entegre eder, her çekirdek aynı anda 4 iş parçacığı çalıştırabilir ve AVX, QFMA ve QVNNI komut setlerinin birlikte kullanılmasıyla, GPU'ya benzer bir ölçekte paralel hesaplama çalışması yapabilir, verimlilik önceki nesil üründür 4 ila 8 kez.
Şekil Knights Landing mimarisi, önceki nesle kıyasla çok yüksek bir verimlilik artışına sahiptir.
Intel, 2015 yılında en güçlü FPGA tasarım şirketlerinden biri olan Altera'yı satın aldı. Gelecekte, FPGA düzeni ile genel genel bilgi işlem ve derin öğrenme bilgi işlem ortamları için farklı çözümler sunulabilir. Örneğin, Crest mimari ürünü, Graphcore'un IPU'suna benzer bir mimari sağlar; bu, yalnızca büyük bilgi işlem öğelerini entegre etmekle kalmaz, aynı zamanda büyük miktarda yonga üzerinde önbellek ve yonga üzerinde bellek ekler.
Ayrıca Intel, Nervana'yı satın alarak Intel'e daha çeşitli ekolojik destek yetenekleri getirdi ve çeşitli farklı AI bilgi işlem mimarilerini destekler.Nervana aracılığıyla müşteriler GPGPU, Xeon Phi ve FPGA'yı aynı anda kullanabilir. Ancak Nervana ile bu bilgi işlem güçleri, daha yüksek performans veya daha çeşitli uygulama yöntemleri elde etmek için sorunsuz bir şekilde bağlanabilir. .
Şekil Nervana ve FPGA'yı birleştiren Intel, 2020 yılına kadar mevcut yapay zeka hesaplama performansının yüz katına ulaşmak istiyor.
Genel olarak, Intel zengin mimari kaynaklara sahiptir, bu nedenle farklı bilgi işlem uygulamaları için farklı platformlar oluşturmak ister.Intel, güçlü bir ekosistem oluşturmak için geliştirme ortamını bu farklı mimariler arasında entegre edebilir.
4. Kambriyen, Shenjian
Cambrian, son zamanlarda Çin'deki en dikkat çekici AI bilgi işlem mimarilerinden biridir. Kısa süre önce 100 milyon ABD dolarına kadar devlet yatırımı aldı. Derin öğrenme için sinir ağı çip mimarisi yalnızca enerji verimliliği açısından mükemmel değil, aynı zamanda en büyük avantajı, neredeyse tüm platformları ve tüm AI bilgi işlem standartlarını desteklemesi ve uygulama genişliği açısından birinci sınıf platformlarla karşılaştırılabilir hale getirmesidir.
Cambrian'ın kendisi, sinir ağı mimarisine dayanan bir ASIC çipidir.Yeniden tanımlanabilir yetenekleri yoktur, ancak hesaplama performansını derin öğrenmeye yoğunlaştırır.
Cambrian ayrıca sektörde hem IP yetkilendirmesini hem de çip satışlarını vurgulayan benzersiz bir iş modeli sunar.Müşteriler ihtiyaçlarına ve ölçeğine göre bir diş açma şeması seçebilir veya Kambriyen'i kendi çiplerine dönüştürmek için IP yetkilendirmesini kullanabilir. , Tıpkı Huaweideki Kirin 970 gibi ve Huawei de Kambriyen NPU aracılığıyla AI bilgi işlem performansının GPU hesaplamadan 6 kat daha hızlı olduğunu söyledi.
Şekil 1Cambrian'ın konferansında ortaya çıkardığı çip özellikleri.
Shenjian Technology, Çin'deki bir başka popüler AI bilgi işlem çözümü üreticisidir. En büyük özelliği çip tasarımında değil, algoritmada , Özel derin sıkıştırma algoritması sayesinde, eğitimden sonraki model boyutu büyük ölçüde azaltılabilir, böylece sınırlı depolama alanı bütçelerine sahip gömülü sistemler de AI uygulama hizmetlerinden yararlanabilir.
Şekil Shenjian tarafından önerilen DNNDK, AI uygulama geliştirme zaman çizelgesini büyük ölçüde azaltabilir.
Ve sıkıştırma, model depolama alanını azaltmanın avantajından daha fazlasını getirir. Modeli düzinelerce kez doğrudan sıkıştırabilir ve ağırlık sayısını 3 kat azaltabilirseniz, bant genişliği yükünü onda bir ve aynı zamanda da azaltabileceğiniz anlamına gelir. Performans 3 katına çıktı. Programın avantajlarını artırmak için algoritmaları kullanan Shenjian'ın sektörde nispeten iyi olduğu söylenebilir.
GPU değişikliklerle karşı karşıya, belki de çizim kısmından tamamen kurtulacak mı?
Daha önce de belirtildiği gibi, GPU'larda hesaplama için gerçekten kullanılan transistörler, tüm transistörlerin yalnızca yaklaşık% 40'ını oluşturur.Kazanmak için ölçeğe güvenmelerine rağmen, mevcut hesaplama verimliliği hala en iyilerden biridir, ancak aslında ASIC veya FPGA yeni mimarisini kullanmanın gelecekteki zorlukları karşısında Ayrıca biraz gergin hissetmeye başladı.
NVIDIA, belirli bir sinir ağı modelinin hesaplanmasını hızlandırmak için Tesla V100'deki yapay zeka hesaplama ortamına ek bir vektör hızlandırma birimi olan TensorCore'u eklemeye başladı, böylece genel bilgi işlem gücü bile ikinci nesil TPU ile karşılaştırılabilir. Bununla birlikte, ikisinin güç tüketimiyle karşılaştırıldığında, Tesla V100 güç tüketimi 300W'tır. İkinci nesil TPU biraz daha yavaş olsa da yalnızca 130W tüketir. Enerji verimliliği açığı büyüktür. NVIDIA, daha fazlasını saklamak yerine bir şeyi azaltmayı düşünmelidir. Hesaplama işlevi üst üste getirilmiştir.
Neyin azaltılması gerektiğine gelince, belki de ilk saldırıya uğrayacak şey geleneksel grafik parçasının işlem gücüdür Sonuçta, NVIDIA'nın GPU tasarımı oldukça modüler hale getirildi ve grafik özellikleri tüketici GPU pazarı için ayrılabilir.
Mevcut durum, yapay zeka hesaplama için yeni mimari konseptlerin ortaya çıkmaya devam etmesidir, ancak CUDA ekosistemini kısa bir süre içinde sallamak hala zor. Yukarıda belirtilen bilgi işlem çözümü satıcılarına ek olarak, Mythic ve Cerebras da son zamanlarda tanınmış AI bilgi işlem mimarisi başlangıçlarıdır ve bu şirketler de yatırımcıların beğenisini kazanmıştır.
Bununla birlikte, bu yeni şirketlerin, hesaplama performansını artırmak için mimari tasarımdaki çoklu hesaplama adımlarının entegrasyonuna güvendiklerini ve GPU'yu kazanmış olabileceklerini belirtmekte fayda var.Bu aşamada, çok fazla hesaplama adımı atlanamaz, ancak birincisi çoğunlukla belirli uygulamalar içindir. Diğeri çok yönlülüğü vurguluyor. Bununla birlikte, girişimlerin de riskleri vardır.Yeni ürünler çok fazla pazara uygulanırsa, performanstan veya başlangıçta vurgulanan esneklikten ödün verebilir. Bu şekilde, korkarım mevcut endüstri liderleriyle rekabet edemeyecek ve sonunda kazanılmanın ve hatta kapatılmanın kaderiyle yüzleşmek zorunda kalabilir.
Ek olarak, yeni mimarinin tedarikçileri enerji tüketimi ve performans konusunda belirli avantajlara sahip olabilir, ancak GPU hesaplamanın dayandığı CUDA geliştirme ortamı, 10 yıldan fazla bir süredir geliştirilmiş sağlam bir ekosistem olmuştur ve bu ekosistem etrafında birçok ilgili uygulama bulunmaktadır. Kendi ekolojinizi nasıl aşıp inşa edeceğiniz kolay değildir, ancak neyse ki, ürünleri geliştirmek ve iyi enerji performansı sağlamak için bu standartları takip ettiğiniz sürece, TensorFlow, Caffe, MXNet vb. Gibi endüstri standardı arayüzler zaten vardır. NVIDIA'dan pazar payı elde etmek imkansız değil.
NVIDIA yaklaşık 10 yıldır yapay zeka ekosistemine hakim durumda. Önümüzdeki 10 yılda da lider olacak mı? Gaziler ve çaylaklar, aralarında gerilim olsa bile bir arada. Ancak kesin olan şey, AI bilgi işlem mimarisinin Savaşan Devletler döneminin geldiğidir.
