Çin'deki ISCA 2018'in tek makalesini kazanan Tsinghua Üniversitesi'nin Thinker ekibi, AI hesaplama çipleri için yeni bir depolama optimizasyonu yöntemi önerdi
Lei Feng.com AI Technology Review Press: 2-6 Haziran tarihleri arasında 45. Uluslararası Bilgisayar Mimarisi Sempozyumu (ISCA) Los Angeles, ABD'de düzenlendi. Uluslararası Bilgisayar Mimarisi Konferansı (ISCA), bilgisayar mimarisi alanındaki en önemli konferanstır. Konferans toplam 378 başvuru aldı ve 64 bildiri içeriyordu.
Tsinghua Üniversitesi, Mikro-Nano Elektronik Bölümü'nde doktora öğrencisi olan Tu Fengbin, konferansta "RANA: Yenilenerek Optimize Edilmiş Gömülü DRAM ile Verimli Sinir Hızlandırmaya Doğru" (RANA: Yenilenerek Optimize Edilmiş Gömülü DRAM ile Verimli Sinir Hızlandırmaya Doğru) başlıklı bir sözlü rapor verdi. Araştırma sonuçları, yapay zeka (AI) bilgi işlem yongalarının enerji verimliliğini büyük ölçüde geliştirdi.
Tu Fengbin'in araştırma makalesi, bu yılki konferansa dahil edilen Çin'deki ilk tamamlanmış imzalı kağıtlardan sadece biridir. Tsinghua Üniversitesi Mikro-Nanoelektronik Bölümü'nden Doçent Doktor Yin Shouyi, bu makalenin ilgili yazarı ve Fengbin Tu bu makalenin ilk yazarı. Makalenin ortak yazarları arasında Tsinghua Üniversitesi Mikronanoelektronik Bölümü'nden Profesör Wei Shaojun, Profesör Liu Leibo ve Wu Weiwei de yer alıyor.
Fengbin Tu, Weiwei Wu, Shouyi Yin, Leibo Liu, Shaojun Wei, `` RANA: Towards Efficient Neural Acceleration with Refresh-Optimized Embedded DRAM, '' International Symposium on Computer Architecture (ISCA), Los Angeles, USA, 2018.
Tsinghua Üniversitesi Mikro ve Nano Elektronik Bölümü'nde doktora öğrencisi olan Tu Fengbin sunum yaptı
Makalenin detayları aşağıdaki gibidir:
1 Araştırma geçmişi
Derin sinir ağları (DNN), çeşitli AI senaryolarında yaygın olarak kullanılmaktadır. Daha yüksek doğruluk elde etmek için, DNN'nin ağ ölçeği de artıyor, bu da birkaç MB veya hatta onlarca MB'lık ağ veri depolama kapasitesi ile sonuçlanıyor. Bu veri miktarı, giriş resminin çözünürlüğü ve yığın boyutu arttıkça daha da artacaktır. Ancak, geleneksel SRAM tabanlı AI bilgi işlem yongaları, yonga alanı sınırlamaları nedeniyle genellikle yalnızca birkaç yüz KB yonga üzerinde depolama kapasitesine sahiptir. Bu nedenle, mevcut DNN'yi çalıştırırken, çip dışı depolama erişimi kaçınılmazdır ve bu da çok büyük sistem enerji tüketimine neden olacaktır. Depolama sorunu, AI bilgi işlem yongalarının tasarımında çözülmesi gereken önemli bir sorundur.
Mevcut birkaç yaygın AI bilgi işlem yongası (DianNao, Eyeiss, Envision, Thinker) ve bunların depolama ve alan parametreleri.
2 Veri hayatta kalma süresi algısı (RANA) için sinir ağı hızlandırma çerçevesi
Gömülü DRAM (kısaca eDRAM), geleneksel SRAM'den daha yüksek bir depolama yoğunluğuna sahiptir ve yonga dışı erişimi azaltmak için yonga üzerinde depolama olarak geleneksel SRAM'ın yerini alabilir. Bununla birlikte, eDRAM bellek hücresindeki kapasitör şarjı zamanla kademeli olarak azalacaktır, bu nedenle eDRAM'in veri doğruluğunu korumak için periyodik yenileme işlemleri gerekir. Çalışmalar, tazeleme enerji tüketiminin eDRAM'ın toplam enerji tüketiminin ana kaynağı olduğunu ve genel sistem enerji tüketiminin büyük bir bölümünü oluşturacağını göstermiştir. Bu nedenle, eDRAM'in neden olduğu ek yenileme enerjisi tüketimi göz ardı edilemez. Bu makale, eDRAM'deki verilerin Veri Ömrünün eDRAM'ın Saklama Süresinden daha az olması durumunda sistemin artık bu verileri yenilemesine gerek kalmayacağını buldu. Bundan iki optimizasyon talimatı elde edilebilir: veri hayatta kalma süresini azaltmak ve veri saklama süresini artırmak.
Gömülü DRAM (eDRAM) yapısı ve bu makalenin temel noktası.
Bu makale, eDRAM belleğine dayalı yeni bir hızlandırma çerçevesi önermektedir: Veri ömrü algısı için bir sinir ağı hızlandırma çerçevesi (RANA). RANA çerçevesi, geleneksel SRAM'den daha yüksek bir depolama yoğunluğuna sahip olan ve yonga dışı bellek erişimini büyük ölçüde azaltan yonga üzerinde bellek olarak eDRAM kullanır. Aynı zamanda, RANA çerçevesi üç düzeyde teknoloji kullanır: veri hayatta kalma süresi farkında eğitim yöntemi, sinir ağı katmanlı hibrit bilgi işlem modu ve eDRAM yenileme enerji tüketimini üç eğitim, zamanlama ve mimari düzeyinden düşürmek için optimize edilmiş eDRAM denetleyicisi. , Ve sonra genel sistem enerji tüketimini büyük ölçüde optimize edin.
Veri ömrü algısı için bir sinir ağı hızlandırma çerçevesi (RANA).
2.1 Eğitim seviyesi optimizasyonu: veri hayatta kalma süresi algısı için eğitim yöntemi
Genellikle eDRAM'in yenileme döngüsü, program yürütme sırasında tüm bellek hücrelerinin verilerinin yanlış gitmemesini sağlamak için en kötü bellek hücresine karşılık gelen veri tutma süresine ayarlanır. Gerçek bir eDRAM belleğinde, farklı bellek hücrelerinin veri tutma süresi farklıdır. Aşağıdaki şekil, tipik bir eDRAM veri tutma süresi dağılım eğrisidir. Yatay eksen, veri tutma süresidir ve dikey eksen, hata oranıdır, yani, tüm depolama birimlerinde belirli bir saklama süresinin altındaki depolama birimlerinin oranıdır. 32KB eDRAM için, en kısa veri tutma süresine sahip bellek hücresi genellikle 45 mikrosaniyede görünür ve karşılık gelen hata oranı yaklaşık 10 ^ (- 6) 'dır. Bu makale, veri saklama süresindeki uygun bir artışın hata oranını önemli ölçüde artırmadığını buldu.
Tipik eDRAM veri tutma süresi dağılım eğrisi.
Bu makale, ağı daha yüksek bir hata oranına dayanacak ve daha uzun bir "tolere edilebilir" veri tutma süresi elde edecek şekilde yeniden eğitmek için DNN'nin hata toleransını kullanır. Aşağıdaki şekilde gösterildiği gibi, bu yöntem, hataları ortaya çıkarmak için ileri eğitim sürecinde girdi ve ağırlık verilerine bir katman maskesi ekler. Bu maske, her bit'e belirli bir hata oranıyla hatalar enjekte edecektir. Tekrarlanan yeniden eğitimden sonra, nihai doğruluk kaybı kabul edilebilir ise, ağın mevcut hata oranına dayanabileceği kabul edilir. Bu makale, AlexNet, VGG, GoogLeNet ve ResNet'in dört ağı için hata oranının 10 ^ (- 5) 'e yükseltildiğini ve ağ doğruluğunda herhangi bir kayıp olmadığını ortaya koymaktadır. Şu anda, karşılık gelen "tolere edilebilir" veri tutma süresi 734 mikrosaniyeye yükseltilmiştir. Bu nedenle, daha düşük bir frekansta yenileme ve hatta yenileme işlemlerini ortadan kaldırma fırsatı daha fazladır.
Eğitim seviyesi optimizasyonu: veri hayatta kalma süresi algısı için eğitim yöntemi.
2.2 Zamanlama düzeyi optimizasyonu: sinir ağı katmanlı hibrit bilgi işlem modu
Aşağıdaki şekil, çok katmanlı bir döngü şeklinde temsil edilen üç tipik hesaplama modunu göstermektedir. Bu makale, veri hayatta kalma süresinin ve yonga üzerinde depolama gereksinimlerinin döngü sırası, özellikle de en dış döngü ile yakından ilişkili olduğunu buluyor. Üç tür girdi, çıktı ve ağırlık verisi arasında, çıktı verilerinin hayatta kalma süresi diğer iki veri türünden tamamen farklıdır. Önbellekte statik olarak depolanan girdi ve ağırlık verilerinin aksine, çıktı verileri biriktirme işlemi sırasında sürekli olarak yenilenir. Her yenilemede, çıktı verileri belleğe yeniden yazılacak ve eDRAM bellek hücresi önceden kaybedilen şarjı geri yüklemek için yeniden şarj edilecektir. Bu süreç esasen periyodik yenileme işlemiyle aynıdır. Bu nedenle, şekilde gösterildiği gibi, çıktı verileri en dış döngü yineleme değişkeni olarak kullanılırsa, veri hayatta kalma süresi çok kısa olacaktır. Elbette, yonga dışı bellek erişimini önlemek için tüm çıktı verilerinin şu anda yonga üzerinde depolanması gerekir.
Üç tipik hesaplama modu ve bunların kullanım ömrü / önbelleğe alma gereksinimleri analizi.
Bu makale, yonga parametrelerine ve DNN ağ parametrelerine göre sinir ağının katmanlı bir karma hesaplama modunu önermektedir, ağın her katmanına optimum bir hesaplama modu atanmıştır. Bilgi işlem modunun keşif süreci, sistem enerji tüketimini en aza indirmek amacıyla bir optimizasyon problemi olarak soyutlanmıştır. Spesifik programlama yöntemi aşağıdaki şekilde gösterilmektedir: Programlama sonucu, yürütme işleminin donanım yapılandırması için katman yapılandırma bilgileri ("tolere edilebilir" veri tutma süresi, her katmanın hesaplama modu ve yenileme bayrağı dahil) olarak derlenecektir.
Çizelgeleme düzeyi optimizasyonu: sinir ağı katmanlamasının karma bir hesaplama modu.
2.3 Mimari düzeyinde optimizasyon: yenileme optimize edilmiş eDRAM denetleyicisi
Geleneksel eDRAM denetleyicide, tüm eDRAM bölümleri en muhafazakar yenileme döngüsüyle yenilenir. Bu çalışmada, eDRAM denetleyicisi biraz değiştirilmiş ve programlanabilir bir saat ayırıcı, bağımsız yenileme tetikleyicileri ve her eDRAM bölümü için yenileme bayrakları eklenmiştir. Denetleyicinin yapılandırma bilgileri, her bölümde hangi veri türünün depolandığını, yenilenmesi gerekip gerekmediğini ve yenileme döngüsünü özellikle belirleyen ilk iki teknolojinin derleme sonuçlarından gelir.
Mimari düzeyinde optimizasyon: optimize edilmiş eDRAM denetleyicisini yenileyin.
3 Deneysel sonuçlar
Aşağıdaki şekil, RANA çerçevesini doğrulamak için kullanılan deneysel platformun belirli yapılandırmasını göstermektedir: Bu çalışma, doğru performans parametreleri ve bellek erişim davranışı kayıtları elde etmek için RTL düzeyinde performans gücü analizi gerçekleştirmek için bir AI hesaplama yongası uygular.
Platform yapılandırma parametrelerini ve çip düzenini doğrulayın.
Deneysel sonuçlar, RANA çerçevesinin eDRAM yenileme enerji tüketiminin ek yükünün% 99,7'sini ortadan kaldırabildiğini, performans ve doğruluk kaybının ise ihmal edilebilir düzeyde olduğunu göstermektedir. SRAM kullanan geleneksel AI bilgi işlem yongaları ile karşılaştırıldığında, RANA çerçevesini kullanan eDRAM tabanlı bilgi işlem yongaları, aynı alan ek yükü altında yonga dışı bellek erişimini% 41,7 ve% 66,2 oranında azaltarak yapay zeka bilgi işlem sistemini daha verimli hale getirir. Enerji verimliliği büyük ölçüde geliştirildi.
RANA çerçeve sistem düzeyinde enerji tüketimi analizi.
4 özet
Tsinghua Üniversitesi Mikro ve Nano Elektronik Bölümü'nün Thinker ekibi, son yıllarda yeniden yapılandırılabilir bir bilgi işlem mimarisine dayanan Thinker AI bilgi işlem çipleri serisini (Thinker I, Thinker II ve Thinker S) tasarladı. Akademi ve sektörden geniş ilgi gördü. 2017'de ISLPED ödülünü aldı. Düşük Güçlü Tasarım Yarışması '17 Şampiyonu. Thinker ekibinin araştırma sonuçları, depolama optimizasyonu ve yazılım ve donanım ortak tasarımı açısından yongaların enerji verimliliğini büyük ölçüde artırdı ve AI bilgi işlem yongalarının evrimi için yeni fikirler sağladı.
İlgili Okuma:
Tezin ilk yazarı Tu Fengbin, Thinker yongalarının temel mimari tasarımcısı olarak, Leifeng.com'da konuk "sert yaratım açık sınıf" olarak konuk oldu ve sinir ağı donanım mimarisi tasarımındaki deneyimini tanıttı. AI teknolojisi incelemeleri, içeriği makaleler halinde paylaşma etrafında düzenlenmiştir:
Tsinghua Üniversitesi'nde doktora öğrencisi Tu Fengbin: Sinir ağı donanım mimarisini tasarlarken ne düşünüyoruz? (Bölüm I) | Zor Oluşturma Açık Sınıfının Özeti
Tsinghua Üniversitesi'nde doktora öğrencisi Tu Fengbin: Sinir ağı donanım mimarisini tasarlarken ne düşünüyoruz? (Sonraki) | Zor Oluşturma Açık Sınıfının Özeti
29 Haziran - 1 Temmuz tarihleri arasında düzenlenecek CCF-GAIR 2018'de, Tsinghua Üniversitesi Mikroelektronik Enstitüsü Direktörü Profesör Shaojun Wei, yapay zeka çipi özel oturumunun akademik konuğu olarak bir konferans raporu vermek üzere sahneye gelecek.
