Tsinghua Üniversitesi, Doğa Üzerine Mikroelektronik Enstitüsü'nün yeni araştırması olan CNN'i uygulamak için memristörleri tam olarak kullanın
Kaynak: Heart of the Machine
Bu makale hakkında 2962 kelime, Önerilen Okuma 6 dakika.
Bu makale, Tsinghua Üniversitesi Mikroelektronik Enstitüsü ve diğer kurumların, tamamen donanım tabanlı evrişimli sinir ağı (CNN) uygulamalarını gösteren Doğa üzerine makaleler yayınladı.
Kısa bir süre önce, Tsinghua Üniversitesi Mikroelektronik Enstitüsü gibi kurumlar, tamamen donanım tabanlı evrişimli sinir ağı (CNN) uygulamalarını gösteren Doğa üzerine bir makale yayınladılar. Onlar tarafından memristöre dayalı olarak inşa edilen beş katmanlı CNN, MNIST el yazısıyla yazılmış rakam tanıma görevinde% 96.19 doğruluk elde eder ve bu, CNN'nin verimliliğini büyük ölçüde iyileştirmek için uygun bir çözüm sunar.
Memristor tabanlı nöromorfik bilgi işlem sistemi, sinir ağı eğitimi için hızlı ve enerji tasarrufu sağlayan bir yöntem sağlar. Bununla birlikte, en önemli görüntü tanıma modellerinden biri olan evrişimli sinir ağları, memristor çapraz dizileri kullanan tam donanımda henüz uygulanmamıştır. Ek olarak, donanım uygulamasının küçük faydaları, büyük değişiklikler ve kusurlu cihaz özellikleri nedeniyle, sonuçların yazılım uygulamalarıyla eşleşmesi zordur.
Kısa bir süre önce, Tsinghua Üniversitesi ve Massachusetts Üniversitesi'nden araştırmacılar Nature dergisinde bir makale yayınladılar. CNN'nin yüksek verimli, yüksek performanslı tek tip memristor çapraz dizisiyle uygulanması önerilmektedir.Bu uygulama, paralel hesaplama verimliliğini artırmak için 2048 birim içeren toplam 8 memristor dizisini entegre eder. Ek olarak, araştırmacılar ekipman kusurlarına uyum sağlamak ve tüm sistemin performansını iyileştirmek için verimli bir hibrit eğitim yöntemi de önerdiler. Araştırmacılar, MNIST görüntü tanıma görevlerini yerine getirmek için memristorlara dayalı beş katmanlı bir CNN oluşturdular. Tanıma doğruluk oranı% 96'yı aşıyor .
Memristor dizisi, paylaşılan girdide paralel evrişim gerçekleştirmek için farklı evrişim çekirdeklerini kullanmanın yanı sıra, farklı girdileri paralel olarak işlemek için birden çok özdeş evrişim çekirdeğini de kopyalar. Şu anki en iyi grafik işleme birimi (GPU) ile karşılaştırıldığında, memristor tabanlı CNN nöromorfik sistemin enerji verimliliği daha büyük bir mertebedir ve deneyler, sistemin artık sinir ağları gibi büyük ağlara genişletilebileceğini göstermiştir. Bu sonuç, derin sinir ağları ve uç bilgi işlem için memristor tabanlı non-von Neumann donanım çözümlerinin sağlanmasını teşvik edebilir.
Memristor tabanlı bir CNN uygulamasının avantajları nelerdir?
CNN, en önemli derin sinir ağlarından biridir ve görüntü tanıma, görüntü bölümleme ve hedef algılama gibi görüntü işleme ile ilgili görevlerde önemli bir rol oynar.
CNN'nin tipik hesaplama adımları, çok sayıda kayan evrişim işlemi gerektirir. Bu perspektiften bakıldığında, CNN, paralel çoklu biriktirme (MAC) işlemlerini destekleyen bir bilgi işlem birimine ihtiyaç duyar. Bu, CNN'yi daha yüksek performans ve daha düşük enerji tüketimiyle çalıştırmak için geleneksel bilgi işlem sistemlerinin yeniden tasarlanmasını gerektirir.Bu bilgi işlem sistemleri, genel uygulama platformlarını (GPU gibi) ve uygulamaya özel hızlandırıcıları içerir.
Bununla birlikte, bilgi işlem verimliliğinin daha da iyileştirilmesi, nihayetinde sistemin von Neumann mimarisi ile sınırlıdır.Bu mimarideki bellek ve işlem birimleri fiziksel olarak ayrılmıştır, bu da büyük miktarda enerji tüketimi ve farklı birimler arasında yüksek veri karıştırma gecikmesi ile sonuçlanır.
tersine Memristor tabanlı nöromorfik hesaplama, non-von Neumann hesaplama paradigması sağlayabilir Yani verileri depolayın, böylece veri geçişinin ek yükünü ortadan kaldırın. Memristor dizisi doğrudan Ohm'un toplama yasasını ve Kirchhoff'un çarpma yasasını kullanır, böylece bellek içi MAC işlemlerini paralel olarak uygulayabilir ve böylece bellek içi hesaplamaları (bellek içi) simüle edebilir. bellek hesaplama) ve hız ve enerji verimliliğinde önemli bir artış elde edin.
Neden daha önce tamamen memristor donanımına dayalı bir CNN uygulanmadı?
Memristor tabanlı nöromorfik bilgi işlem araştırması, ekipman optimizasyonundan sistem uygulamasına kadar çok sayıda konuyu kapsar. Bazı araştırmalar, bellek içi hesaplamanın pratik uygulamaları ile ilgili deneyleri göstermektedir. Yakın zamanda yapılan bir çalışmada, MNIST el yazısı rakam veri setinde iki katmanlı ve üç katmanlı memristör algılayıcılarının görüntü tanıma sonuçları bildirildi. Bununla birlikte, CNN'lerin hiçbiri tamamen memristörlere dayanan donanım sistemlerinde uygulanmaz.
Bu ikilemin ana nedeni, memistör tabanlı CNN (mCNN) için verimli çözümlerin olmamasıdır: birincisi, mCNN genellikle düşük getirilere sahiptir ve memristörlerin çapraz dizisi düzensizdir; Hız kayması ve cihaz durumu kilidi), mCNN'nin yazılım uygulama sonuçlarıyla karşılaştırılabilir bir performans elde etmesi zordur (görüntü tanıma doğruluğu gibi); üçüncü olarak, CNN'deki çekirdek evrişim işlemi çok zaman alır çünkü farklı girdileri takip etmesi gerekir Genellikle bir sıralı işlem olan blok kayması, memistör evrişimi ile memistör dizisi arasında hız uyumsuzluğuna neden olur. Sonuncusu, tamamen bağlı vektör matris çarpımını (vektör-matris çarpımı, VMM) tamamlamak için tasarlanmıştır. .
El yazısı tanıma doğruluğu% 96'yı aşan ilk CNN donanım uygulaması
Araştırma, MNIST el yazısı rakamlı görüntü tanıma görevlerini gerçekleştirmek için eksiksiz bir beş katmanlı mCNN'yi başarıyla uyguladı. Optimize edilmiş malzeme yığını (malzeme yığını), 2048 tek transistörlü bir memristör (1T1R) dizilerinde güvenilir ve tek tip analog anahtarlama davranışı sağlayabilir. Bu çalışmada önerilen hibrit eğitim mekanizmasını kullandıktan sonra, deneyin tüm test seti üzerindeki tanınma doğruluğu% 96,19'a ulaştı.
Ek olarak, araştırma evrişim çekirdeğini üç paralel memistör evrişiminde kopyalar, böylece MCNN'nin gecikmesini yaklaşık 2/3 oranında azaltın. Bu araştırmada elde edilen son derece entegre nöromorfik sistem, memristor tabanlı evrişim operasyonu ile tam bağlı VMM arasındaki iş hacmi boşluğunu kapatır ve böylelikle CNN'nin verimliliğini büyük ölçüde iyileştirmek için uygun bir çözüm sunar.
Memristörlere dayalı pratik nöromorfik bilgi işlem sistemlerinin genellikle birden çok memristör çapraz dizisini entegre etmesi gerekir. Genel olarak konuşursak, farklı dizilere ağırlık atamak, özellikle ağ ölçeği genişletildiğinde paralel hesaplamayı kolaylaştırır. Bununla birlikte, memristörlere dayanan önceki demolar tek bir diziye dayanıyordu.Bunun ana nedeni, yüksek oranda tekrarlanabilir diziler üretmenin büyük zorluğuydu. Memistör cihazlarının değişkenliği ve kusurlu özellikleri, nöromorfik hesaplama uygulamaları için ana darboğaz olarak kabul edilir.
Bu araştırma, Şekil 1a'da gösterildiği gibi sinir ağları için uygun, memristörlere dayalı esnek bir bilgi işlem mimarisi önermektedir.
Memristor ünitesi bir TiN / TaO_x / HfO_x / TiN malzeme yığını kullanır ve elektrik alanını ve ısıyı ayarlayarak, her iki geliştirme (SET) ve bastırma (RESET) durumunda sürekli iletkenlik ayarlama yetenekleri sergiler. Malzemeler ve üretim süreci (ayrıntılar için Yöntemlere bakın) geleneksel CMOS işlemiyle uyumludur, böylece memristor dizisi, işlem değişikliklerini azaltmak ve yüksek tekrarlanabilirlik elde etmek için gofretin arka uç sürecine kolayca yerleştirilebilir. Elde edilen çapraz dizi, aynı programlama koşulları altında tek tip analog anahtarlama davranışına sahiptir. Bu nedenle, çoklu memristör dizisi donanım sistemi, özel bir baskılı devre kartına (PCB) ve FPGA değerlendirme kartına (ZC706, Xilinx) dayanmaktadır.
Sistem şemasında gösterildiği gibi, sistem esas olarak sekiz memistöre dayalı işleme elemanı (PE) içerir. Her PE, 2048 birimi entegre eden bir memristor dizisine sahiptir. Her memistör, 1T1R konfigürasyonu olan transistörün boşaltma terminaline bağlanır. Çekirdek PCB alt sistemi, Şekil 1b'de gösterildiği gibi sekiz memristor dizisi yongasına sahiptir. Her memristör dizisi (Şekil 1b'de sağdaki küçük resim) 128 × 161T1R birimine sahiptir. Yatay yönde 128 paralel kelime satırı ve 128 kaynak satırı ve dikey yönde 16 bit satırı vardır.
Dizi, Şekil 1c'deki test sonuçlarında gösterildiği gibi, oldukça tekrarlanabilir bir çok seviyeli iletkenlik durumunu gösterir. Şekil 1c, tümü bağımsız olan ve çakışmayan 32 farklı iletkenlik durumunda 1024 memistörün dağılımını göstermektedir. 50 ns'lik bir darbe genişliği ile eğitilen aynı SET ve RESET darbeleri, belirli bir iletkenlik durumuna ulaşmak için kapalı döngü programlama işlemine dağıtılır.
Şekil 1: Memristor tabanlı donanım sistemi, güvenilir çok seviyeli bir iletkenlik durumuna sahiptir.
Şekil 2: Memistör evrişimli beş katmanlı mCNN.
Şekil 3: mCNN'yi almak için karma eğitim yöntemini kullanma.
a: Deneyde kullanılan hibrit eğitim yönteminin akış şeması. b: Deneyde bir hibrit eğitim yöntemi kullanılarak mCNN eğitiminin bir örneği. İlk olarak, sistem farklı evrişimli katmanların çekirdek ağırlıklarını ve 192 × 10 FC ağırlıklarını memristor PE'ye taşır. Ardından, sistem çekirdek ağırlıklarını değiştirmez ve yalnızca gerçek zamanlı eğitim yoluyla FC ağırlıklarını günceller. c e: C1 katmanı (c, boyut 8 × 9), C3 katmanı (d, boyut 96 × 9) ve FC katmanındaki (e, boyut 120 × 16) çekirdek ağırlık hedef değeriyle karşılaştırıldığında ağırlık Ağırlık aktarım hatalarının dağılımı. Renk çubuğu, ağırlık taşıma hatasının mutlak değerini temsil eder. f: 550 karma eğitim yineleme döngüsünden sonra hata oranı yörüngesi. Yeşil eğri, 55.000 egzersiz görüntüsündeki eğilimi temsil eder ve mavi eğri, 10.000 test görüntüsündeki eğilimi temsil eder.
Şekil 4: Hibrit eğitim yöntemi kullanılarak elde edilen paralel memristör evrişimi, evrişim verimliliğini artırabilir
a: Kusurlu cihaz özelliklerini ayarlayan bir paralel memristör konvolver olan hibrit eğitim yöntemini kullanan bir donanım sistemi işlem akış şeması. Üç grup girdi görüntüsü (soldaki el yazısı rakamlar) üç PE konvolver grubuna girilir. Gerçek zamanlı ayarlamayı tamamlamak için işlenen tüm ara veriler paylaşılan FC PE'ye girilir. Sinir ağı diyagramında mavi, evrişimsel katmanı C1 ve alt örnekleme katmanı S2'yi temsil eder ve yeşil, evrişimsel katman C3'ü ve alt örnekleme katmanı S4'ü temsil eder. PE diyagramında, mavi alan C1 katmanının evrişim çekirdeğini temsil eder ve yeşil alan C3 katmanının evrişim çekirdeğini temsil eder. b d: C1 ve C3 katmanlarının saha dışı eğitim çekirdek ağırlıklarından, üç farklı G1 (b), G2 (c) ve G3 (d) grubunun ağırlık göç hatası dağılımlarına eşleme. Renk haritasının boyutu 104 × 9'dur. Renk çubuğu, 0,2 V okuma darbesinde geçişten sonra mevcut değerdeki hatayı gösterir. e: Karma antrenmandan önce (yukarı) ve sonra (aşağı) deneysel FC ağırlık dağılımının (120 × 16) gelişimi. f: e'ye karşılık gelen iletkenlik-ağırlık değişiminin dağılımı. g: Hibrit eğitimden sonra test setinde elde edilen hata oranı, her bir evrişim grubunda ağırlık aktarımı gerçekleştirildikten sonra doğrudan elde edilen hata oranından çok daha düşüktür.
Referans bağlantısı: https://www.nature.com/articles/s41586-020-1942-4
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
