Yapay zeka çağında FPGA'nın benzersiz avantajları
Kaynak: Lao Shi çekirdek hakkında konuşuyor
Dünyanın en iyi "mimarlarının" birçoğu daha önce hiç duymadığınız insanlar olabilir.Çipin içindeki kumdan türetilen karmaşık sistem gibi, daha önce hiç görmediğiniz birçok büyülü yapı tasarladılar ve yarattılar. Cep telefonu, bilgisayar kullanıyorsanız veya İnternet üzerinden bilgi gönderip alırsanız, bu mimarların harika çalışmalarından her zaman yararlanacaksınız.
Dr. Doug Burger bu "mimarlardan" biridir. Şu anda Microsoft Teknik Üyesidir ve Microsoft Research'te olağanüstü bir mühendis ve Austin'deki Texas Üniversitesi'nde bilgisayar bilimi profesörüdür. Ayrıca Microsoft FPGA projeleri Catapult ve Brainwave'in baş mimarı ve başkanıdır. . Doug Burger, 2018'de Microsoft Research'teki bir podcast'te Moore Yasası sonrası dönemde çip endüstrisinin gelişimi hakkındaki görüşlerini ve vizyonunu paylaştı ve yapay zeka çağında çip teknolojisinin yönünü dört gözle bekledi.
(Dr. Doug Burger, Microsoft'tan resim)
Lao Shi görüşlerini çözdü ve derledi. İlk makale burada. Bu makale, ikincisi, Dr. Doug Burger'in yapay zeka çağında FPGA'nın benzersiz avantajlarına ilişkin kapsamlı analizi ve yapay zeka teknolojisinin gelişimi üzerine derin düşünceleri hakkındadır. Makale çok uzun, ancak onlarca yıllık çalışma deneyiminin derinlemesine ve basit açıklamaları. Bir ustanın tarzını gösteriyor ve okumaya değer.
Aşağıdaki "I" ile Dr. Doug Burger kastedilmektedir.
içindekiler
1. Koyu silikon etkisi nedir
2. FPGA: Koyu silikon etkisini çözmenin etkili bir yolu
3. FPGA kullanmanın benzersiz avantajları nelerdir
4. Catapult projesi nedir
5. Brainwave projeleri ve gerçek zamanlı AI
6. Gerçek zamanlı AI sistemlerini değerlendirmek için ana kriterler
7. YZ'nin gelecekteki gelişimi nerede?
1. Koyu silikon etkisi nedir
Microsoft'a katılmadan önce doktora öğrencim Hadi Esmaeilzadeh ve ben bir dizi araştırma çalışması yürütüyorduk. Şu anda San Diego'daki California Üniversitesi'nde doçent. O zamanlar, akademi ve endüstrideki ana gelişme trendi çok çekirdekli mimariydi. Henüz tam olarak resmi bir küresel fikir birliği haline gelmemiş olsa da, çok çekirdekli mimari o zamanlar çok popüler bir araştırma yönüydü. Paralel yazılım yazmanın ve çalıştırmanın bir yolunu bulabilirsek, işlemci mimarisini doğrudan binlerce çekirdeğe genişletebileceğimize inanılıyor. Ancak Hadi ve ben aynı fikirde değiliz.
Sonuç olarak, 2011 yılında bir makale yayınladık ve bununla yüksek bir itibar kazandık. O yazıda net bir tanım olmamasına rağmen " Koyu silikon "Kelime, ancak anlamı geniş çapta kabul edildi.
Koyu silikon etkisi, enerji tüketimi kısıtlamaları nedeniyle işlemci çekirdek sayısını artırmaya devam edebilmemize rağmen aynı anda çalışamayacakları gerçeğini ifade eder. . Sanki bir binada çok sayıda oda var gibi, ancak çok fazla güç tüketimi nedeniyle her odadaki ışıkları açamazsınız, bu da bu binanın geceleri birçok karanlık bölüme sahip gibi görünmesini sağlar. Bunun temel nedeni, Moore Yasası sonrası dönemde, transistör enerji verimliliğinin gelişiminin durma eğiliminde olmasıdır.
(Koyu silikon şematik diyagram, NYU'dan resim)
Böylelikle insanlar paralel yazılım geliştirip çekirdek sayısını artırmaya devam etseler bile getirdiği performans artışı eskisinden çok daha küçük olacaktır. Bu nedenle, ek olarak, endüstrinin "karanlık silikon" sorununun üstesinden gelmek için diğer alanlarda da daha fazla ilerleme kaydetmesi gerekiyor.
2. FPGA: Koyu silikon etkisini çözmenin etkili bir yolu
bence, Uygulanabilir bir çözüm, "özelleştirilmiş bilgi işlem" kullanmak, yani donanım tasarımını belirli çalışma senaryoları ve yükler için optimize etmektir. . Bununla birlikte, özel bilgi işlem veya özel yongalarla ilgili temel sorun yüksek maliyettir. Örneğin, karmaşık bir bulut bilişim senaryosu için, ne tasarımcı ne de kullanıcı 47.000 farklı yongadan oluşan bir sistemi kullanmayacak.
Bu nedenle FPGA adlı bu çipe bahis yapıyoruz. FPGA'nın tam adı "Alan Programlanabilir Mantık Dizisi" dir Temelde programlanabilir bir çiptir. İnsanlar donanım tasarımını programlanabilir belleğine defalarca yazabilir, böylece FPGA yongası farklı donanım tasarımlarını ve işlevlerini gerçekleştirebilir. Ek olarak, alanı üzerinde çalışan fonksiyonları dinamik olarak değiştirmek için de kullanabilirsiniz, bu yüzden bunlara "alan programlanabilir" denir. Aslında FPGA yongasında çalışan donanım tasarımını birkaç saniyede bir değiştirebilirsiniz, bu yüzden bu yonga çok esnektir.
(Intel Stratix 10 FPGA yongası, Intel'den resim)
Bu özelliklere dayanarak, FPGA teknolojisine büyük bir iddiaya girdik ve bunu Microsoft'un bulut veri merkezinde kapsamlı bir şekilde uyguladık. Aynı zamanda, yazılım tabanlı uygulamalardan FPGA tabanlı donanım uygulamalarına birçok önemli uygulama ve işlevi yavaş yavaş aktarmaya da başladık. Bunun çok ilginç bir bilgisayar mimarisi olduğu söylenebilir ve aynı zamanda bizim Özelleştirilmiş donanıma dayalı genel bilgi işlem platformu .
FPGA kullanarak, özelleştirilmiş hesaplama ve özelleştirilmiş yongaların araştırma ve tasarımına mümkün olan en kısa sürede başlayabiliriz. İzomorfizmi mevcut mimari ile uyumlu tutabilir .
Belirli uygulama senaryoları veya algoritmaları çok hızlı gelişirse veya donanım ölçeği çok küçükse, bu donanım işlevlerini uygulamak için FPGA'leri kullanmaya devam edebiliriz. Uygulama ölçeği giderek büyüdüğünde, Doğru zamanda, kararlılıklarını artırmak, güç tüketimini ve maliyetleri azaltmak için bu olgun özelleştirilmiş donanım tasarımlarını doğrudan özelleştirilmiş çiplere dönüştürmeyi seçebiliriz .
Esneklik FPGA'nın en önemli özelliğidir. Biliyorsunuz, FPGA çipleri telekomünikasyon alanında çok yaygın olarak kullanılmaktadır. Bu çip, veri akışlarının hızlı işlenmesinde çok iyidir Ayrıca, bant çıkarmadan önce fonksiyonel test için de kullanılır. Ancak bulut bilişimde, daha önce hiç kimse FPGA'leri büyük ölçekte gerçekten başarılı bir şekilde dağıtamaz. "Dağıtım" ile kastettiğim, prototip oluşturma veya kavram kanıtı çalışması olarak kullanılanlara değil, endüstriyel kullanım için gerçek konuşlandırmaya atıfta bulunuyor.
3. FPGA kullanmanın benzersiz avantajları nelerdir
Söylemek istediğim ilk şey, hem CPU hem de GPU'nun harika bilgisayar mimarileri olduğu ve farklı iş yükleri ve uygulama senaryoları için tasarlandıkları.
CPU çok genel bir mimaridir ve çalışma yöntemi "komut seti" olarak da bilinen bir dizi bilgisayar talimatına dayanır. Basit bir ifadeyle, CPU hafızadan küçük bir veri parçası çıkarır, bir kayıt veya önbelleğe koyar ve ardından bu veriler üzerinde çalışmak için bir dizi talimat kullanır. İşlem tamamlandıktan sonra veriler hafızaya geri yazılır, verilerin küçük bir kısmı daha çıkarılır ve ardından talimatlar ile işlem gerçekleştirilir ve döngü devam eder. Bu hesaplama yöntemine "zaman alanı hesaplaması" diyorum.
Ancak, komutlarla işlenmesi gereken bu veri kümeleri çok büyükse veya bu veri değerleri çok büyükse, CPU bu durumla çok verimli bir şekilde başa çıkamaz. Bu nedenle, yüksek hızlı ağ trafiğiyle uğraşırken, genellikle CPU'lar yerine ağ kartı yongaları gibi özel yongalar kullanmamız gerekir. Bunun nedeni, CPU'da, bir bayt verinin işlenmesinin bile tamamlamak için bir dizi talimat kullanması gerektiğidir ve veri akışı sisteme saniyede 12,5 milyar bayt hızla girdiğinde, bu işleme yöntemi daha fazla iş parçacığı kullansa bile meşguldür. Ama gelin.
GPU için, "Tek Talimat Çoklu Veri Akışı (SIMD)" adı verilen paralel işlemede iyidir. Bu işleme yönteminin özü, GPU'da benzer ancak aynı olmayan veri kümelerini işleyebilen bir dizi özdeş bilgi işlem çekirdeği olmasıdır. Bu nedenle, bu hesaplama çekirdeklerinin aynı işlemi gerçekleştirmesine ve tüm verileri paralel olarak işlemesine izin vermek için tek bir talimat kullanabilirsiniz.
Daha sonra FPGA için Aslında CPU hesaplama modelinin bir aktarımıdır . Verileri mimaride kilitlemek ve ardından işlemek için komut akışını kullanmak yerine, FPGA mimarideki "talimatları" kilitler ve ardından veri akışını mimaride çalıştırır .
(CPU ve FPGA hesaplama modellerinin karşılaştırması, resim Microsoft'tan geliyor)
Ben bu hesaplama yöntemine "yapısal hesaplama" diyorum ve bazıları buna "uzaysal hesaplama" diyor, bu da CPU'nun "zaman alanı hesaplama" modeline karşılık geliyor. Aslında, adın ne olduğu önemli değil, ancak temel fikri, donanım devreleriyle belirli bir bilgi işlem mimarisi uygulamak ve ardından sisteme sürekli olarak veri akışlarını girmek ve hesaplamaları tamamlamaktır. Bulut bilişimde, bu mimari ağ verilerinin yüksek hızlı iletimi için çok etkilidir ve aynı zamanda CPU için iyi bir tamamlayıcıdır.
4. Catapult projesi nedir
Catapult projesinin temel amacı, FPGA'leri Microsoft'un bulut veri merkezinde büyük ölçekte dağıtmaktır. Bu proje devre ve sistem mimarisi tasarımı gibi mühendislik uygulamalarını kapsasa da özü hala bir araştırma projesidir.
2015 yılı sonunda, Microsoft tarafından satın alınan hemen hemen her yeni sunucuya Catapult FPGA kartlarını yerleştirmeye başladık . Bu sunucular Microsoft'un Bing araması, Azure bulut hizmetleri ve diğer uygulamalar için kullanılır. Şimdiye kadar, çok büyük bir ölçekte geliştirdik ve FPGA'lar dünya çapında büyük ölçekte konuşlandırıldı. Bu aynı zamanda Microsoft'u dünyanın en büyük FPGA müşterilerinden biri yapar .
(Catapult FPGA kartı, Microsoft'tan resim)
Microsoft içinde birçok ekip, hizmetlerini geliştirmek için Catapult FPGA'ları kullanıyor. Aynı zamanda, bulut bilişimin birçok ağ işlevini hızlandırmak için FPGA kullanıyoruz, böylece müşterilerimiz her zamankinden daha hızlı, daha kararlı ve daha güvenli bulut bilgi işlem ve ağ hizmetleri elde edecekler. Örneğin, ağ veri paketleri saniyede 50 milyar bit hızında iletildiğinde, bu veri paketlerini kontrol etmek, sınıflandırmak ve yeniden yazmak için FPGA kullanabiliriz. Aksine, bunları yapmak için CPU kullanırsak, büyük miktarda CPU çekirdek kaynağına ihtiyaç duyulacaktır. Bu nedenle FPGA, bizimki gibi uygulama senaryoları için daha iyi bir seçimdir.
(Microsoft'un FPGA kartı, resim Microsoft'tan alınmıştır)
5. Brainwave projeleri ve gerçek zamanlı AI
Şu anda, yapay zeka büyük ilerleme kaydetti ve bu büyük ölçüde derin öğrenme teknolojisinin gelişmesinden kaynaklanıyor. İnsanlar yavaş yavaş bir derin öğrenme algoritmasına sahip olduğunuzda, modellediğinizde ve derin bir sinir ağını oluşturduğunuzda, ağı eğitmek için yeterli veriye ihtiyacınız olduğunu fark ettiler. Derin sinir ağı yalnızca daha fazla veri ekleyerek büyüyecek ve daha iyi hale gelecektir. Derin öğrenmeyi kullanarak, makine çevirisi, konuşma tanıma, bilgisayarla görme vb. Gibi birçok geleneksel AI alanında önemli ilerleme kaydettik. Aynı zamanda derin öğrenme, bu alanlarda yıllarca geliştirilen özel algoritmaların yerini de kademeli olarak alabilir.
Bu büyük gelişmeler ve değişiklikler, yarı iletken ve yonga mimarisi üzerindeki etkilerini düşünmemi sağladı. sonra, Yapay zeka, makine öğrenimi ve özellikle derin öğrenme için özelleştirilmiş donanım mimarileri oluşturmaya odaklanmaya başladık , Beyin Dalgası Projesinin ana arka planı budur.
Beyin dalgası projesinde, sinirsel işlem birimi veya NPU (Sinir İşleme Birimi) olarak da adlandırılan derin bir sinir ağı işlemcisi önerdik. Bing Arama gibi uygulamalar için güçlü bilgi işlem gücüne ihtiyaçları vardır çünkü yalnızca sürekli öğrenme ve eğitim kullanıcılara daha iyi arama sonuçları sağlayabilir. Bu nedenle, geniş derin sinir ağını hızlandırmak ve sonucu kısa sürede döndürmek için FPGA kullanıyoruz. Şu anda, bu bilgi işlem mimarisi bir süredir küresel olarak çalışmaktadır. 2018 Microsoft Geliştirici Konferansı'nda, beyin dalgası projesinin önizleme sürümünü Azure bulut hizmetleri üzerinde resmi olarak yayınladık. Ayrıca bazı kullanıcılara, Azure'dan AI modellerini almak ve çalıştırmak için kendi şirketlerinin sunucularını kullanabilmeleri için FPGA'lı anakartlar sağlıyoruz.
(Brainwave FPGA kartı, Microsoft'tan resim)
Beyin dalgası projeleri için çok önemli bir diğer konu da sinir ağlarının çıkarımıdır. Mevcut teknolojilerin çoğu, toplu işleme adı verilen bir yöntem kullanır. Örneğin, birçok farklı isteği birlikte toplamanız, ardından bunları paketlemeniz ve işlenmek üzere NPU'ya göndermeniz ve ardından tüm yanıtları bir kerede almanız gerekir.
Bu durum için sık sık bankada sıraya girmenize benzetiyorum, ikinci sıradasınız ama toplamda 100 kişi sıraya giriyor. Vezne herkesin bilgilerini toplar ve herkese ne yapmak istediğini sorar, sonra para çekip yatırır ve ardından parayı ve makbuzu herkese gönderir. Yani herkesin işi aynı anda tamamlanır ve bu sözde toplu işlemdir.
Toplu işleme uygulamaları için, iyi bir verim elde edilebilir, ancak genellikle yüksek bir gecikme vardır . Bu nedenle gerçek zamanlı yapay zekanın gelişimini teşvik etmeye çalışıyoruz.
6. Gerçek zamanlı AI sistemlerini değerlendirmek için ana kriterler
Gerçek zamanlı yapay zekayı değerlendirmek için ana performans göstergelerinden biri, gecikmenin boyutudur. Ancak gecikmenin ne kadar küçük olduğu "yeterince küçük" olarak kabul edilmesi felsefi bir soru gibidir. Aslında, belirli uygulama senaryosuna bağlıdır. Örneğin, ağdaki birden fazla sinyali izler ve alırsanız ve bir acil durumun nerede meydana geldiğini analiz ederseniz, birkaç dakika yeterince hızlı olacaktır. Bununla birlikte, internet üzerinden biriyle konuşuyorsanız, çok küçük gecikmeler ve gecikmeler bile, birçok canlı TV röportajında aynı anda konuşan iki kişi gibi, aramanın kalitesini etkileyecektir.
Bir diğer örnek ise Microsoft'un bir başka yapay zeka teknolojisinin HoloLens cihazlarında kullanılan sözde HPU olmasıdır. HoloLens, karma gerçeklik ve artırılmış gerçeklik gibi işlevleri sağlayabilen akıllı bir gözlüktür.İçerisindeki HPU, sinir ağı işleme işlevlerine de sahiptir.
(Astronot Scott Kelly, Uluslararası Uzay İstasyonunda HoloLens kullanıyor, resim NASA'dan geliyor)
HPU için, etrafa baktığınızda sanal gerçeklik içeriğini sorunsuz bir şekilde görüntüleyebilmesi için kullanıcının çevresindeki ortamı gerçek zamanlı olarak analiz etmesi gerekir. Dolayısıyla bu durumda gecikme sadece birkaç milisaniye bile olsa kullanıcı deneyimini etkileyecektir.
Hıza ek olarak, dikkate alınması gereken bir diğer önemli faktör maliyettir. Örneğin, milyarlarca görüntüyü veya milyonlarca satırlık metni işlemek ve ardından, tıpkı birçok arama motorunun yaptığı gibi, sık sorulan soruları veya insanların arıyor olabileceği yanıtları analiz etmek ve özetlemek istiyorsanız; veya doktorlar Birçok radyolojik tarama görüntüsünden potansiyel kanser endikasyonlarını bulmak istiyorsanız, bu tür uygulamalar için hizmet maliyetleri çok önemlidir. Çoğu durumda, Aşağıdaki iki noktayı tartmamız gerekiyor, biri sistemin işlem hızının ne kadar hızlı olduğu veya işlem hızının nasıl iyileştirilebileceği; diğeri ise her bir hizmet talebi veya işleminin maliyeti .
Çoğu durumda, sistemin işlem hızını artırmak, kaçınılmaz olarak daha fazla yatırım ve aynı anda karşılanması zor olan artan maliyetler anlamına gelir. Ama beyin dalgası projesinin temel avantajı bu noktada yatıyor FPGA kullanımı sayesinde her iki açıdan da çok avantajlı bir konumda olduğumuzu düşünüyorum. Performans açısından en hızlıyız ve muhtemelen maliyet açısından en ucuzu biziz. .
7. YZ'nin gelecekteki gelişimi nerede?
Dürüst olmak gerekirse, yapay zekanın sonu konusunda hiç endişelenmiyorum. Mevcut herhangi bir biyolojik sistemin zekası ile karşılaştırıldığında, yapay zekanın verimliliği hala binlerce kat daha kötü. Mevcut AI'mızın gerçekten "akıllı" olmadığı söylenebilir. Ek olarak, AI'nın ahlaki düzeyde gelişimine de dikkat etmemiz ve kontrol etmemiz gerekir.
Her halükarda, çalışmamız hesaplamaların verimliliğini bir dereceye kadar artırdı, bu da önemli bilimsel problemlerin çözümünde faydalı olmasını sağladı.Bu konuda güçlü bir başarı hissine sahibim.
Donanım sistemleri ve bilgisayar mimarisi üzerine araştırma yapmayı düşünenler için, En önemli şey, sizi tutkulu hale getirebilecek ve onun için yorulmadan çalışabilecek "Kuzey Yıldızı" nı bulmak ve bunun için umutsuzca çalışmaktır. . Dövülmüş hissini bulmalısın Kariyer planlaması ve iş seçimleri gibi çok fazla konu hakkında endişelenme Dağa çıkmanın bir yolu olması gerektiğine inanmalısın. Yaptığınız iş, size gerçekten değişimi sağlayabileceğini hissettirmeli ve değişim yolunda ilerlemeye devam etmenize yardımcı olmalıdır.
Şu anda insanlar, "post-von Neumann döneminin" heterojen hızlandırıcılarının yanı sıra, keşfetmemizi bekleyen çok daha derin şeyler olduğunu anlamaya başladılar. Moore Yasasının sonuna yaklaştık ve von Neumann sistemine dayalı bilgi işlem mimarisi uzun zamandır etrafta. Von Neumann, 1940'larda bu bilgi işlem mimarisini icat ettiğinden beri inanılmaz bir başarı elde etti.
Ama şimdi, bu hesaplama yapısına ek olarak, çeşitli donanım hızlandırıcılar ve birçok yeni mimari geliştiriliyor, ancak genel olarak, bu yeni yapılar oldukça kaotik bir durumda.
Bence, Bu kaotik görünümün altında, daha derin gerçekler gizlidir ve bu, bir sonraki aşamadaki insanlar için en önemli keşif olacaktır. , Bu aynı zamanda sık sık düşündüğüm bir sorudur.
Yavaş yavaş keşfettim ki zaten her yerde bulunabilen şeyler bilgisayar mimarisinde bir sonraki büyük adım olacak. Elbette tamamen yanılıyor da olabilirim ama bu bilimsel araştırmanın eğlencesi.
İpuçları
EETOP'un makalesini okuduğunuz için teşekkür ederiz.Bu makaleyi beğendiyseniz, lütfen arkadaş çevrenizi paylaşın ve daha fazla bilgi alın lütfen beni takip edin.
Takip etmek için tıklayın
