Derin öğrenme, ASIC'ler, FPGA'lar ve GPU'lar için üç donanım çözümü, geliştiricilerin neleri bilmesi gerekiyor?
Bu yılın Mart ayında, AlphaGo ve Li Shishi arasındaki "Yüzyılın Savaşı" derin öğrenmeyi popüler hale getirdi. AlphaGo, derin öğrenme potansiyelinden tam olarak yararlanmak için yapay sinir ağı teknolojisini kullanıyor. Basitçe söylemek gerekirse, derin öğrenme, sorunları çözmek için otomatikleştirilmiş bir şekilde birleştirilmiş birçok veri işleme düzeyini içeren bir sinir ağıdır.
İnsan-makine savaşından önce, Go ve AI endüstrisindeki birçok kişi de dahil olmak üzere birçok kişi AlphaGo konusunda iyimser değildi. Ancak halkın bilmediği şey, o zamanlar Google şarkıcıları arasında bir koz vardı. AlphaGonun bilgi işlem cihazı, Google tarafından "Tensor Processing Unit" (TPU) adı verilen bir bilgi işlem kartı olan özel donanımla donatılmıştır. .
Google TPU
Derin öğrenme için üç donanım çözümü: ASIC'ler, FPGA'lar, GPU
İnsan-bilgisayar savaşının sona ermesinden iki ay sonra, Google donanım mühendisi Norm Jouppi yalnızca varlığını açıkladı. Blogda Google'ın veri merkezlerini bu hızlandırıcı kartlarla bir yıldan uzun süredir donattığını açıkladı. Google, teknik ayrıntıları kesinlikle gizli tutsa da, Ancak Google'ın açık kaynak projesi TensorFlow için optimize edildikleri ve derin öğrenme işlemlerini hızlandırmanın giderek daha popüler bir yolunu benimsedikleri ortaya çıktı: ASIC'ler. Uygulamaya özel entegre devre (uygulamaya özel entegre devre) olarak adlandırılır.
Ve Microsoft, giderek popüler hale gelen başka bir yaklaşımı benimsedi: FPGA'lar (Alanda programlanabilir kapı dizileri) . Avantajı, bilgisayarın değiştirilmesi gerekirse, yeniden monte edilebilmesidir. Bununla birlikte, en yaygın ve genel çözüm hala GPU kullanmaktır , Çok sayıda matematiksel işlemi paralel olarak işlemek. Beklendiği gibi, GPU çözümünün ana itici gücü pazar lideri NVIDIA'dır.
Nvidia amiral gemisi grafik kartı Pascal Titan X
Aslında, yapay sinir ağlarının 2009'dan sonra yeniden canlanması, GPU'larla yakından ilgilidir. O yıl, birkaç Stanford akademisyeni dünyaya GPU'ları kullanmanın makul bir sürede derin sinir ağlarını eğitebileceğini gösterdi. Bu doğrudan GPU genel amaçlı bilgi işlem-GPGPU dalgasını tetikledi.
NVIDIA'nın baş bilim adamı ve Stanford Eşzamanlı VLSI Mimari Grubu başkanı William J. Dally, "Sektördeki herkes artık derin öğrenme yapıyor. Bu bağlamda, GPU neredeyse en iyiye ulaştı."
William J. Dally (namı diğer Bill Dally)
Derin öğrenmenin üç hesaplama görevi
William Dally ayrıca derin öğrenme donanımı seçiminde dikkate alınması gereken üç farklı alan olduğunu açıkladı.
1. "Veri Merkezi Eğitimi"
İlki, kendisi tarafından "veri merkezinde eğitim" olarak adlandırıldı. Burada, herhangi bir derin öğrenme sisteminin yapması gereken ilk adıma atıfta bulunur: Nöronlar arasındaki milyonlarca bağlantıyı ayarlayın ve sinir ağının verilen görevleri yerine getirmesine izin verin.
Bu donanım için endüstri lideri, yakın zamanda Intel tarafından satın alınan bir şirket olan Nervana Systems'dır. Şirketin bilgisayar uzmanı Scott Leishman, geliştirdikleri ASIC derin öğrenme hızlandırıcısı Nervana Engine'in 2017 ortasında üretime başlayacağını açıkladı. Çok fazla hesaplama gerektiren başka bir görevin - bitcoin madenciliği, başlangıçtan itibaren CPU üzerinde çalıştığını, GPU'ya, ardından FPGA'lara ve son olarak ASIC'lere geçtiğini fark etti. Bu artan enerji verimliliğinden kaynaklanmaktadır. Dedi ki: "Derin öğrenme alanında da aynı eğilimi gözlemledim" .
2. "Veri Merkezinde Çıkarım"
Derin öğrenme donanımının ikinci görevi "veri merkezinde çıkarımdır". Buradaki çıkarım, belirli görevleri yerine getirmek için eğitilmiş bulut tabanlı sinir ağlarının sürekli çalışmasını ifade eder. Google'ın sinir ağı her gün görüntü sınıflandırması, dil çevirisi ve konuşma tanıma için astronomik çıkarım hesaplamaları yapmaktadır. Leifeng.com'un bildiği kadarıyla mevcut bilgiler teyit etmek için yeterli olmamakla birlikte, Sektör çalışanları genellikle Google'ın TPU'sunun bu görevler için özelleştirildiğini düşünüyor.
Eğitim ve muhakeme genellikle farklı beceri setleri gerektirir. Eğitim için, bilgisayarların genellikle 32-bit kayan nokta işlemleri kullanarak yüksek doğrulukta çalışması gerekir. Akıl yürütme için, daha yüksek hız ve daha düşük enerji tüketimi karşılığında doğruluk uygun şekilde feda edilebilir. Leishman bu konuda şunları söyledi: "Bu sıcak bir araştırma alanı. Enerji tüketimi ne ölçüde azaltılabilir?"
William Dally, Nvidia'nın derin öğrenme ürün planlarını açıklamayı reddetti, ancak bunun yerine bugün elde edilen başarıları vurguladı. Nvidia'nın GPU'larının sürekli geliştiğini söyledi. Önceki nesil Mazwell mimarisi, çift hassasiyetli (64 bit) veya tek hassasiyetli (32 bit) işlemler gerçekleştirebilirken, bu nesil Pascal (Pascal) mimarisi, tek hassasiyetli işlemlerin iki katı verim ve verimlilikle 16 bit işlemleri gerçekleştirebilir. Nvidia'nın sonunda 8 bit işlem yapabilen bir GPU yayınlayabileceğini tahmin edebiliriz. Bu, bulutta çıkarım hesaplaması için idealdir çünkü enerji tüketimi maliyetleri düşürmek için kritik önem taşır.
3. "Gömülü Aygıtlar için Çıkarım"
Dikkate alınması gereken üçüncü derin öğrenme işlemi, akıllı telefonlar, kameralar ve tabletler gibi "gömülü cihazlarda akıl yürütmedir". Bu tür uygulamaların özü düşük enerjili ASIC'lerdir. Son yıllarda, derin öğrenme yazılımı giderek artan bir şekilde cep telefonu uygulamalarına entegre edilmiştir. Kötü amaçlı yazılımları tespit etmek ve resimlerdeki metinleri çevirmek için kullanılmıştır.
Leifeng.com haberleri, DJI, Phantom 4'te derin öğrenme ASIC'e benzer bir şey uyguladı : Engelleri belirlemek için California şirketi Movidius'un görüntü işleme çipini kullanın. Bu arada, Movidius, yakın zamanda Intel tarafından satın alınan bir başka sinir ağı şirketidir. Ek olarak, Qualcomm ayrıca amiral gemisi çipi 820'de derin öğrenme hesaplamalarını optimize etmek için özel devreler ekledi .
Günümüzde şirketler, derin sinir ağlarını hızlandırabilen donanımlar geliştirmek için güçlü iş güdülerine sahiptir. Ancak büyük bir risk var: Teknoloji çok hızlı bir şekilde yinelenirse, dünün sinir ağı için tasarlanan çipler, nihayet üretilip dağıtıldığında güncelliğini yitirmiş olabilir. William Dally yanıt olarak şunları söyledi: "Algoritmalar hızla değişiyor ve bu donanımı geliştirenlerin tümü, ürün çözümlerinin geleceğe yönelik mümkün olduğunca çok sayıda bahsi kapsamasını sağlamaya çalışıyor."
Şu anda, ASIC ve FPGA tabanlı ürünlerin çoğu kurumsal tarafta kullanılmaktadır ve GPU'lar, çoğu bireysel geliştiricinin hala ilk tercihidir. Gelecekte GPU hakimiyetinin sarsılıp sarsılıp sarsılmayacağına gelince, Leifeng.com dikkat çekmeye devam edecek.
ieee aracılığıyla
