AI'nın gelecekteki gelişimi nerede? FPGA'nın benzersiz avantajlarını inceleyin
Kaynak | Çekirdek Lao Shi
Yazar | Lao Shi, Ph.D., Imperial College London Elektronik Mühendisliği Bölümü'nden mezun olmuştur. Şu anda tanınmış bir yarı iletken şirkette kıdemli bir FPGA Ar-Ge mühendisidir. FPGA veri merkezi ağ hızlandırma, ağ işlevi sanallaştırma ve yüksek hızlı kablolu ağ iletişiminin Ar-Ge ve yeniliğinde derinden yer almaktadır. Meslekler. FPGA, yüksek performanslı ve yeniden yapılandırılabilir bilgi işlem teknolojileri üzerine en iyi akademik konferanslarda ve dergilerde birçok araştırma makalesi yayınladı.
Dünyanın en iyi "mimarlarının" birçoğu daha önce hiç duymadığınız insanlar olabilir.Çipin içindeki kumdan türetilen karmaşık sistem gibi, daha önce hiç görmediğiniz birçok büyülü yapı tasarladılar ve yarattılar. Cep telefonu, bilgisayar kullanıyorsanız veya İnternet üzerinden bilgi gönderip alırsanız, bu mimarların harika çalışmalarından her zaman yararlanacaksınız.
Dr. Doug Burger bu "mimarlardan" biridir. Şu anda Microsoft Teknik Üyesi ve Microsoft Research'te seçkin bir mühendis ve Austin'deki Texas Üniversitesi'nde bilgisayar bilimi profesörüydü. Aynı zamanda Microsoft'un FPGA projeleri Catapult ve Brainwave'in baş mimarı ve başkanıdır. Doug Burger, 2018'de Microsoft Research'teki bir podcast'te Moore Yasası sonrası dönemde çip endüstrisinin gelişimi hakkındaki görüşlerini ve vizyonunu paylaştı ve yapay zeka çağında çip teknolojisinin yönünü dört gözle bekledi.
Lao Shi görüşlerini çözdü ve derledi. Bu makale esas olarak Dr. Doug Burger'in yapay zeka çağındaki FPGA'nın benzersiz avantajlarına dair kapsamlı analizi ve yapay zeka teknolojisinin gelişimi üzerine derin düşüncesi hakkındadır. Makale çok uzun, ancak onlarca yıllık çalışma deneyiminin derinlemesine ve basit açıklamaları. Bir ustanın tarzını gösteriyor ve okumaya değer.
(Editörün notu: Aşağıdaki "I", Dr. Doug Burger ile ilgilidir)
-
içindekiler
-
1. Koyu silikon etkisi nedir
-
2. FPGA: Koyu silikon etkisini çözmenin etkili bir yolu
-
3. FPGA kullanmanın benzersiz avantajları nelerdir
-
4. Catapult projesi nedir
-
5. Brainwave projeleri ve gerçek zamanlı AI
-
6. Gerçek zamanlı AI sistemlerini değerlendirmek için ana kriterler
-
7. YZ'nin gelecekteki gelişimi nerede?
1. Koyu silikon etkisi nedir
Microsoft'a katılmadan önce doktora öğrencim Hadi Esmaeilzadeh ve ben bir dizi araştırma çalışması yürütüyorduk. Şu anda San Diego'daki California Üniversitesi'nde doçent. O zamanlar, akademi ve endüstrideki ana gelişme trendi çok çekirdekli mimariydi. Henüz tam olarak resmi bir küresel fikir birliği haline gelmemiş olsa da, çok çekirdekli mimari o zamanlar çok popüler bir araştırma yönüydü. Paralel yazılım yazmanın ve çalıştırmanın bir yolunu bulabilirsek, işlemci mimarisini doğrudan binlerce çekirdeğe genişletebileceğimize inanılıyor. Ancak Hadi ve ben aynı fikirde değiliz.
Sonuç olarak, 2011 yılında bir makale yayınladık ve bununla yüksek bir itibar kazandık. "Koyu silikon" terimi o makalede açıkça tanımlanmamasına rağmen, anlamı geniş çapta kabul edildi.
Koyu silikon etkisi, enerji tüketimi kısıtlamaları nedeniyle işlemci çekirdek sayısını artırmaya devam edebilmemize rağmen, aynı anda çalışamayacakları gerçeğine işaret ediyor. Sanki bir binada çok sayıda oda var gibi, ancak çok fazla güç tüketimi nedeniyle her odadaki ışıkları açamazsınız, bu da bu binanın geceleri çok karanlık bölümlere sahip gibi görünmesine neden olur. Bunun temel nedeni, Moore Yasası sonrası dönemde, transistör enerji verimliliğinin gelişiminin durma eğiliminde olmasıdır.
(Koyu silikon şematik diyagram, NYU'dan resim)
Böylelikle insanlar paralel yazılım geliştirip çekirdek sayısını artırmaya devam etseler bile getirdiği performans artışı eskisinden çok daha küçük olacaktır. Bu nedenle, ek olarak, endüstrinin "karanlık silikon" sorununun üstesinden gelmek için diğer alanlarda da daha fazla ilerleme kaydetmesi gerekiyor.
2. FPGA: Koyu silikon etkisini çözmenin etkili bir yolu
Benim fikrime göre, uygun bir çözüm, "özelleştirilmiş bilgi işlem" kullanmak, yani donanım tasarımını belirli çalışma senaryoları ve yükler için optimize etmektir. Bununla birlikte, özel bilgi işlem veya özel yongalarla ilgili temel sorun yüksek maliyettir. Örneğin, karmaşık bir bulut bilişim senaryosu için, ne tasarımcı ne de kullanıcı 47.000 farklı yongadan oluşan bir sistemi kullanmayacak.
Bu nedenle FPGA adlı bu çipe bahis yapıyoruz. FPGA'nın tam adı "Alan Programlanabilir Mantık Dizisi" dir ve esasen programlanabilir bir çiptir. İnsanlar donanım tasarımını programlanabilir belleğine defalarca yazabilir, böylece FPGA yongası farklı donanım tasarımlarını ve işlevlerini gerçekleştirebilir. Ek olarak, alanı üzerinde çalışan fonksiyonları dinamik olarak değiştirmek için de kullanabilirsiniz, bu nedenle bunlara "alan programlanabilir" denir. Aslında FPGA yongasında çalışan donanım tasarımını birkaç saniyede bir değiştirebilirsiniz, bu yüzden bu yonga çok esnektir.
(Intel Stratix 10 FPGA yongası, Intel'den resim)
Bu özelliklere dayanarak, FPGA teknolojisine büyük bir iddiaya girdik ve bunu Microsoft'un bulut veri merkezinde kapsamlı bir şekilde uyguladık. Aynı zamanda, yazılım tabanlı uygulamalardan FPGA tabanlı donanım uygulamalarına birçok önemli uygulama ve işlevi yavaş yavaş aktarmaya da başladık. Bunun çok ilginç bir bilgi işlem mimarisi olduğu ve aynı zamanda özelleştirilmiş donanıma dayalı genel bilgi işlem platformumuz olacağı söylenebilir.
FPGA kullanarak, bir yandan özelleştirilmiş hesaplama ve özelleştirilmiş yongaların araştırma ve tasarımını en kısa sürede gerçekleştirebilir, diğer yandan izomorfizmi mevcut mimari ile uyumlu tutabiliriz.
Belirli uygulama senaryoları veya algoritmaları çok hızlı gelişirse veya donanım ölçeği çok küçükse, bu donanım işlevlerini uygulamak için FPGA'leri kullanmaya devam edebiliriz. Uygulamaların ölçeği kademeli olarak genişlediğinde, kararlılıklarını artırmak ve güç tüketimini ve maliyeti düşürmek için bu olgun özelleştirilmiş donanım tasarımlarını doğru zamanda doğrudan özelleştirilmiş yongalara dönüştürmeyi seçebiliriz.
Esneklik FPGA'nın en önemli özelliğidir. Biliyorsunuz, FPGA çipleri telekomünikasyon alanında çok yaygın olarak kullanılmaktadır. Bu yonga, veri akışını hızlı işlemede çok iyidir ve ayrıca banttan çıkmadan önce işlevsel test için kullanılır. Ancak bulut bilişimde, daha önce hiç kimse FPGA'leri büyük ölçekte gerçekten başarılı bir şekilde dağıtamaz. "Dağıtım" ile kastettiğim, prototip oluşturma veya kavram kanıtlama çalışması olarak kullanılanlara değil, endüstriyel kullanım için gerçek dağıtımdan bahsediyor.
3. FPGA kullanmanın benzersiz avantajları nelerdir
Söylemek istediğim ilk şey, hem CPU hem de GPU'nun harika bilgisayar mimarileri olduğu ve farklı iş yükleri ve uygulama senaryoları için tasarlandıkları.
CPU çok genel bir mimaridir ve çalışma yöntemi "komut seti" olarak da bilinen bir dizi bilgisayar talimatına dayanır. Basit bir ifadeyle, CPU hafızadan küçük bir veri parçası çıkarır, bir kayıt veya önbelleğe koyar ve ardından bu veriler üzerinde çalışmak için bir dizi talimat kullanır. İşlem tamamlandıktan sonra veriler hafızaya geri yazılır, verilerin küçük bir kısmı daha çıkarılır ve ardından talimatlar ile işlem gerçekleştirilir ve döngü devam eder. Bu hesaplama yöntemine "zaman alanı hesaplaması" diyorum.
Ancak talimatlarla işlenmesi gereken bu veri kümeleri çok büyükse veya bu veri değerleri çok büyükse CPU bu durumla çok verimli bir şekilde baş edemez. Bu nedenle, yüksek hızlı ağ trafiğiyle uğraşırken, genellikle CPU'lar yerine ağ kartı yongaları gibi özel yongalar kullanmamız gerekir. Bunun nedeni, CPU'da, bir bayt verinin işlenmesinin bile tamamlamak için bir dizi talimat kullanması gerektiğidir ve veri akışı sisteme saniyede 12,5 milyar bayt hızla girdiğinde, bu işleme yöntemi daha fazla iş parçacığı kullansa bile meşguldür. Ama gelin.
GPU için, "Tek Talimat Çoklu Veri Akışı (SIMD)" adı verilen paralel işlemede iyidir. Bu işleme yönteminin özü, GPU'da benzer ancak aynı olmayan veri kümelerini işleyebilen bir dizi özdeş bilgi işlem çekirdeği olmasıdır. Bu nedenle, bu hesaplama çekirdeklerinin aynı işlemi gerçekleştirmesine ve tüm verileri paralel olarak işlemesine izin vermek için tek bir talimat kullanabilirsiniz.
O zaman FPGA için, aslında CPU hesaplama modelinin aktarımıdır. Verileri mimari üzerinde kilitlemek ve ardından onu işlemek için komut akışını kullanmak yerine, FPGA'lar mimarideki "talimatları" kilitler ve ardından veri akışını çalıştırır.
(CPU ve FPGA hesaplama modellerinin karşılaştırması, resim Microsoft'tan geliyor)
Ben bu hesaplama yöntemine "yapısal hesaplama" diyorum ve bazıları buna "uzaysal hesaplama" diyor, bu da CPU'nun "zaman alanı hesaplama" modeline karşılık geliyor. Aslında, adın ne olduğu önemli değil, ancak temel fikri, donanım devreleriyle belirli bir bilgi işlem mimarisi uygulamak ve ardından sisteme sürekli olarak veri akışlarını girmek ve hesaplamaları tamamlamaktır. Bulut bilişimde, bu mimari ağ verilerinin yüksek hızlı iletimi için çok etkilidir ve aynı zamanda CPU için iyi bir tamamlayıcıdır.
4. Catapult projesi nedir
Catapult projesinin temel amacı, FPGA'leri Microsoft'un bulut veri merkezinde büyük ölçekte dağıtmaktır. Bu proje devre ve sistem mimarisi tasarımı gibi mühendislik uygulamalarını kapsasa da özü hala bir araştırma projesidir.
2015 yılının sonunda, Microsoft tarafından satın alınan hemen hemen her yeni sunucuya Catapult FPGA anakartlarını yerleştirmeye başladık. Bu sunucular Microsoft'un Bing araması, Azure bulut hizmetleri ve diğer uygulamalar için kullanılır. Şimdiye kadar, çok büyük bir ölçekte geliştirdik ve FPGA'lar dünya çapında büyük ölçekte konuşlandırıldı. Bu aynı zamanda Microsoft'u dünyanın en büyük FPGA müşterilerinden biri yapar.
(Catapult FPGA kartı, Microsoft'tan resim)
Microsoft içinde birçok ekip, hizmetlerini geliştirmek için Catapult FPGA'ları kullanıyor. Aynı zamanda, bulut bilişimin birçok ağ işlevini hızlandırmak için FPGA kullanıyoruz, böylece müşterilerimiz her zamankinden daha hızlı, daha kararlı ve daha güvenli bulut bilgi işlem ve ağ hizmetleri elde edecekler. Örneğin, ağ veri paketleri saniyede 50 milyar bit hızında iletildiğinde, bu veri paketlerini kontrol etmek, sınıflandırmak ve yeniden yazmak için FPGA kullanabiliriz. Aksine, bunları yapmak için CPU kullanırsak, büyük miktarda CPU çekirdek kaynağına ihtiyaç duyulacaktır. Bu nedenle FPGA, bizimki gibi uygulama senaryoları için daha iyi bir seçimdir.
(Microsoft'un FPGA kartı, resim Microsoft'tan alınmıştır)
5. Brainwave projeleri ve gerçek zamanlı AI
Şu anda, yapay zeka büyük ilerleme kaydetti ve bu büyük ölçüde derin öğrenme teknolojisinin gelişmesinden kaynaklanıyor. İnsanlar yavaş yavaş bir derin öğrenme algoritmasına sahip olduğunuzda, modellediğinizde ve derin bir sinir ağını oluşturduğunuzda, ağı eğitmek için yeterli veriye ihtiyacınız olduğunu fark ettiler. Derin sinir ağı yalnızca daha fazla veri ekleyerek büyüyecek ve daha iyi hale gelecektir. Derin öğrenmeyi kullanarak, makine çevirisi, konuşma tanıma, bilgisayarla görme vb. Gibi birçok geleneksel AI alanında önemli ilerleme kaydettik. Aynı zamanda derin öğrenme, bu alanlarda yıllarca geliştirilen özel algoritmaların yerini de kademeli olarak alabilir.
Bu büyük gelişmeler ve değişiklikler, yarı iletken ve yonga mimarisi üzerindeki etkilerini düşünmemi sağladı. Sonuç olarak, yapay zeka, makine öğrenimi ve özellikle derin öğrenme için özelleştirilmiş donanım mimarisinin düzenine odaklanmaya başladık Bu, Brainwave Projesi projesinin ana arka planını oluşturuyor.
Beyin dalgası projesinde, sinirsel işlem birimi veya NPU (Sinir İşleme Birimi) olarak da adlandırılan derin bir sinir ağı işlemcisi önerdik. Bing Arama gibi uygulamalar için güçlü bilgi işlem gücüne ihtiyaçları vardır çünkü yalnızca sürekli öğrenme ve eğitim kullanıcılara daha iyi arama sonuçları sağlayabilir. Bu nedenle, geniş derin sinir ağını hızlandırmak ve sonucu kısa sürede döndürmek için FPGA kullanıyoruz. Şu anda, bu bilgi işlem mimarisi bir süredir küresel olarak çalışmaktadır. 2018 Microsoft Geliştirici Konferansı'nda, beyin dalgası projesinin önizleme sürümünü Azure bulut hizmetleri üzerinde resmi olarak yayınladık. Ayrıca bazı kullanıcılara, Azure'dan AI modellerini almak ve çalıştırmak için kendi şirketlerinin sunucularını kullanabilmeleri için FPGA'lı anakartlar sağlıyoruz.
(Brainwave FPGA kartı, Microsoft'tan resim)
Beyin dalgası projeleri için çok önemli bir diğer konu da sinir ağlarının çıkarımıdır. Mevcut teknolojilerin çoğu, toplu işleme adı verilen bir yöntem kullanır. Örneğin, birçok farklı isteği birlikte toplamanız, ardından bunları paketlemeniz ve işlenmek üzere NPU'ya göndermeniz ve ardından tüm yanıtları bir kerede almanız gerekir.
Bu durum için sık sık bankada sıraya girmenize benzetiyorum, ikinci sıradasınız ama toplamda 100 kişi sıraya giriyor. Vezne herkesin bilgilerini toplar ve herkese ne yapmak istediğini sorar, sonra para çekip yatırır ve ardından parayı ve makbuzu herkese gönderir. Yani herkesin işi aynı anda tamamlanır ve bu sözde toplu işlemdir.
Toplu işleme uygulamaları için, iyi bir iş hacmi elde edilebilir, ancak genellikle yüksek gecikme vardır. Bu nedenle gerçek zamanlı yapay zekanın gelişimini teşvik etmeye çalışıyoruz.
6. Gerçek zamanlı AI sistemlerini değerlendirmek için ana kriterler
Gerçek zamanlı yapay zekayı değerlendirmek için ana performans göstergelerinden biri, gecikmenin boyutudur. Ancak gecikmenin ne kadar küçük olduğu "yeterince küçük" olarak kabul edilmesi felsefi bir soru gibidir. Aslında, belirli uygulama senaryosuna bağlıdır. Örneğin, ağdaki birden fazla sinyali izler ve alırsanız ve bir acil durumun nerede meydana geldiğini analiz ederseniz, birkaç dakika yeterince hızlı olacaktır. Bununla birlikte, internet üzerinden biriyle konuşuyorsanız, çok küçük gecikmeler ve gecikmeler bile, birçok canlı TV röportajında aynı anda konuşan iki kişi gibi, aramanın kalitesini etkileyecektir.
Bir diğer örnek ise Microsoft'un bir başka yapay zeka teknolojisinin HoloLens cihazlarında kullanılan sözde HPU olmasıdır. HoloLens, karma gerçeklik ve artırılmış gerçeklik gibi işlevleri sağlayabilen akıllı bir gözlüktür.İçerisindeki HPU, sinir ağı işleme işlevlerine de sahiptir.
(Astronot Scott Kelly, Uluslararası Uzay İstasyonunda HoloLens kullanıyor, resim NASA'dan geliyor)
HPU için, etrafa baktığınızda sanal gerçeklik içeriğini sorunsuz bir şekilde görüntüleyebilmesi için kullanıcının çevresindeki ortamı gerçek zamanlı olarak analiz etmesi gerekir. Dolayısıyla bu durumda gecikme sadece birkaç milisaniye bile olsa kullanıcı deneyimini etkileyecektir.
Hıza ek olarak, dikkate alınması gereken bir diğer önemli faktör maliyettir. Örneğin, milyarlarca görüntüyü veya milyonlarca satırlık metni işlemek ve ardından, tıpkı birçok arama motorunun yaptığı gibi, sık sorulan soruları veya insanların arıyor olabileceği yanıtları analiz etmek ve özetlemek istiyorsanız; veya doktorlar Birçok radyolojik tarama görüntüsünden potansiyel kanser endikasyonlarını bulmak istiyorsanız, bu tür uygulamalar için hizmet maliyetleri çok önemlidir. Çoğu durumda, aşağıdaki iki noktayı tartmamız gerekir: Birincisi, sistemin işlem hızının ne kadar hızlı olduğu veya işlem hızının nasıl artırılacağı; diğeri, her bir hizmet talebi veya işlem için maliyetinin ne kadar olduğu.
Çoğu durumda, sistemin işlem hızını artırmak, kaçınılmaz olarak daha fazla yatırım ve aynı anda karşılanması zor olan artan maliyetler anlamına gelir. Ama beyin dalgası projesinin temel avantajı bu noktada yatıyor FPGA kullanımı sayesinde her iki açıdan da çok avantajlı bir konumda olduğumuzu düşünüyorum. Performans açısından en hızlıyız ve muhtemelen maliyet açısından en ucuzu biziz.
7. YZ'nin gelecekteki gelişimi nerede?
Dürüst olmak gerekirse, yapay zekanın sonu konusunda hiç endişelenmiyorum. Mevcut herhangi bir biyolojik sistemin zekası ile karşılaştırıldığında, yapay zekanın verimliliği hala binlerce kat daha kötü. Mevcut AI'mızın gerçekten "akıllı" olmadığı söylenebilir. Ek olarak, AI'nın ahlaki düzeyde gelişimine de dikkat etmemiz ve kontrol etmemiz gerekiyor.
Her halükarda, çalışmamız hesaplamaların verimliliğini bir dereceye kadar artırdı, bu da önemli bilimsel problemlerin çözülmesine yardımcı olmak için kullanılabilmesini sağlıyor. Bu konuda güçlü bir başarı hissine sahibim.
Donanım sistemleri ve bilgisayar mimarisi üzerine araştırma yapmayı düşünenler için en önemli şey, sizi tutkulu kılacak ve bunun için yorulmadan çalışacak "Polaris" i bulmak ve bunun için çaresizce çalışmaktır. Dövülmüş hissini bulmalısın Kariyer planlaması ve iş seçimi gibi çok fazla konu hakkında endişelenme Dağa çıkmanın bir yolu olması gerektiğine inanmalısın. Yaptığınız iş, size gerçekten değişimi sağlayabileceğini hissettirmeli ve değişim yolunda ilerlemeye devam etmenize yardımcı olmalıdır.
Şu anda insanlar, "post-von Neumann döneminin" heterojen hızlandırıcılarının yanı sıra, keşfetmemizi bekleyen çok daha derin şeyler olduğunu anlamaya başladılar. Moore Yasasının sonuna yaklaştık ve von Neumann sistemine dayalı bilgi işlem mimarisi uzun zamandır etrafta. Von Neumann, 1940'larda bu bilgi işlem mimarisini icat ettiğinden beri inanılmaz bir başarı elde etti.
Ama şimdi, bu hesaplama yapısına ek olarak, insanların geliştirmekte olduğu birçok yeni mimarinin yanı sıra çeşitli donanım hızlandırıcıları da üretildi, ancak genel olarak bu yeni yapılar oldukça kaotik bir durumda.
Bence bu kaotik görünümün altında daha derin gerçekler saklı ve bu da insanların bir sonraki aşamada yapacakları en önemli keşif olacak, bu da sürekli düşündüğüm bir soru.
Yavaş yavaş keşfettim ki zaten her yerde bulunabilen şeyler bilgisayar mimarisinde bir sonraki büyük adım olacak. Elbette tamamen yanılıyor da olabilirim ama bu bilimsel araştırmanın eğlencesi.
