Yazılım ve donanım işbirliğine dayalı tasarım şeması: Sinir ağını daha fazla enerji tasarrufu yapın!
Kılavuz
Son zamanlarda, California Üniversitesi, San Diego'nun bilimsel araştırma ekibi, sinir ağı eğitimini daha enerji verimli ve daha hızlı hale getirecek, sinirden ilham alan bir yazılım ve donanım işbirliğine dayalı tasarım programı geliştirdi. Bir gün çalışmaları, akıllı telefonlar, dizüstü bilgisayarlar ve gömülü cihazlar gibi düşük güçlü cihazlarda sinir ağlarını eğitmeyi mümkün kılacak.
arka fon
Nesneleri tanıma, sürücüsüz arabalarda gezinme ve oyun oynama gibi çeşitli görevleri yerine getirmek için sinir ağlarını eğitmek, yalnızca yüksek hesaplama gücü tüketimi sağlamakla kalmaz, aynı zamanda uzun zaman alır. Yüzlerce veya binlerce işlemciyi entegre eden büyük bilgisayarların genellikle bu görevleri öğrenmesi gerekir ve eğitim süresi haftalar hatta aylar alabilir.
Peki, yukarıdaki fenomen neden ortaya çıkıyor?
Bunun nedeni klasik bilgisayar mimarisiyle başlamaktır: von Neumann mimarisi. Von Neumann mimarisi, çoğu bilgisayar ve işlemci yongasının ana mimarisidir. Bu bilgisayar mimarisi, 1946'da Amerikalı Macar bilim adamı John von Neumann tarafından önerildi.
(Resim kaynağı: Wikipedia)
Von Neumann mimarisinde, bellek (bellek) program talimatlarını ve verileri depolamak için kullanılır; işlemci (CPU) ise talimatları yürütmek ve ilgili verileri işlemek için kullanılır. Bununla birlikte, işlemci ve bellek tamamen ayrı birimlerdir ve verilerin işlemci ve bellek arasında ileri geri hareket etmesi gerekir. Bilgisayar teknolojisinin sürekli ilerlemesiyle, işlemci hızı artmaya devam ediyor ve bellek kapasitesi genişlemeye devam ediyor, ancak bellek erişim hızının büyümesi yavaşladı, bu da bilgisayarın genel performansında önemli bir darboğaz haline geldi, bu sözde "bellek duvarı" sorunu.
Von Neumann mimarisine sahip bir bilgisayar, bir sinir ağını eğitirken çok fazla hesaplama gerektirir ve sık sık bellek okur ve yazar.Veri, çoğu zaman enerjinin ve zamanın çoğunu tüketen işlemci ile bellek arasında gidip gelir. .
Yukarıdaki sorunları çözmek için "bellek içi bilgi işlem" çok umut verici bir çözüm sunar. Aynı cihazda depolama ve bilgi işlem işlevlerini entegre ederek belleği yalnızca bir bellek değil aynı zamanda bir işlemci haline getirir. Bu şekilde, bilgi işlem görevleri doğrudan bellekte yürütülür, bu da bilgisayarın genel performansını ve verimliliğini büyük ölçüde artırır, enerji tüketimini büyük ölçüde azaltır ve işlemi hızlandırır.
Son yıllarda, dünyanın her yerinden bilim adamları, "bellek içi hesaplama" getirmesi beklenen birçok bilimsel araştırma araştırması başlattı. Yazar, ilgili alanlardaki bilimsel araştırma buluşlarını defalarca tanıttı. Önce "memristors" ve "dirençli bellek" ile temsil edilen bilimsel araştırma vakalarını gözden geçirelim:
(1) Amerika Birleşik Devletleri'ndeki Michigan Üniversitesi'nden araştırmacılar, geleneksel bilgisayar mimarisinin karşılaştığı darboğazı aşabilen, yapay zeka makine öğrenimi sistemleri için daha uygun ve karmaşık büyük veri sorunlarına daha iyi yanıt veren yeni bir tür memristor çipi geliştirdiler. Daha düşük güç tüketimi ve daha yüksek hız.
(Resim kaynağı: Michigan Üniversitesi)
(2) Fransız Ulusal Bilimler Akademisi, Bordeaux Üniversitesi ve Évry Üniversitesi'nden araştırmacılar, doğrudan çip üzerinde "memristör" olarak da bilinen yapay bir sinir sinapsı geliştirdiler. Bu araştırma sonucu, akıllı sistem öğrenimini daha az zaman ve enerji haline getirir ve tamamen otomatiktir.
(Resim kaynağı: Fransız Ulusal Bilimler Akademisi)
(3) Amerika Birleşik Devletleri'ndeki Michigan Üniversitesi, yedek havuz hesaplama sistemi olarak da adlandırılan, memristörlerden oluşan bir sinir ağı sistemi geliştirdi. Makinelere insanlar gibi düşünmeyi öğretir ve verimliliği önemli ölçüde artırır. En pahalı eğitim prosedürlerinden kaçınabilir ve ayrıca ağ için bellek sağlar.
(Resim kaynağı: referans [2])
(4) Amerika Birleşik Devletleri'ndeki Stanford Üniversitesi ekibi, bellek ve mantık birimlerini yer döşemeleri gibi dönüşümlü olarak üst üste yerleştiren ve iletişim için binlerce dikey nano bağlantı kullanan "üç boyutlu bir çip" geliştirdi. Bu, veri iletimi mesafesini kısaltır, veri iletimini daha hızlı hale getirir ve daha az güç kullanır.
(Resim kaynağı: Stanford Üniversitesi)
(5) Purdue Üniversitesi, Ulusal Standartlar ve Teknoloji Enstitüsü ve Theis Research Corporation'dan araştırmacılar, iki boyutlu molibden tellüridden yapılmış dirençli bir rastgele erişim belleği (RRAM) tasarlamak için işbirliği yaptı. Bu tür bir RRAM'nin yüksek hızlı ve güç tasarrufu sağlayan bir veri depolama yöntemi sağlaması beklenmektedir.
Aşağıdaki şekil gösterir: RRAM'ın 2H-MoTe2- ve 2H-Mo1 xWxTe2- temelli performansı ve sacın kalınlığına göre ayarlanan voltaj.
(Resim kaynağı: referans [3])
(6) Çin'deki Soochow Üniversitesi'nden araştırmacılar, dielektrik olarak çok katmanlı altıgen bor nitrür içeren bir dizi "Dirençli Rastgele Bellek (RRAM)" tasarladı. Bu araştırmanın, mevcut depolama teknolojilerinden daha hızlı ve enerji açısından daha verimli olan yeni depolama teknolojilerine yol açması bekleniyor.
Altıgen bor nitrür yapısının şematik diyagramı (resim kaynağı: Wikipedia)
(7) Rusya'daki Moskova Fizik ve Teknoloji Enstitüsü'nden (MIPT) araştırmacılar, uçucu olmaması beklenen atomik katman biriktirme (ALD) teknolojisi ile hazırlanan tantal oksit filmdeki oksijen içeriğini kontrol edebilen yeni bir çözüm geliştirdiler. Direnç değişken belleğinin temeli.
(Resim kaynağı: MIPT)
Yenilikçilik
Bugün, "bellek içi bilgi işlem" getirmesi beklenen yeni bir başarıya bakalım.
Son zamanlarda, California Üniversitesi, San Diego'nun bilimsel araştırma ekibi, sinir ağı eğitimini daha enerji verimli ve daha hızlı hale getirecek, sinirden ilham alan bir yazılım ve donanım işbirliğine dayalı tasarım programı geliştirdi. Bir gün çalışmaları, akıllı telefonlar, dizüstü bilgisayarlar ve gömülü cihazlar gibi düşük güçlü cihazlarda sinir ağlarını eğitmeyi mümkün kılacak.
Aşağıdaki şekilde gösterildiği gibi: California, San Diego Üniversitesi'ndeki bir araştırma ekibi tarafından geliştirilen donanım ve algoritmalar, sinir ağlarını eğitmek için gereken enerji tüketimini ve çalışma süresini azaltacaktır.
(Fotoğraf kredisi: David Baillot / Kaliforniya Üniversitesi, San Diego Jacobs Mühendislik Okulu)
Nature Communications dergisinde yayınlanan yeni bir makale, bu araştırmanın ilerlemesini anlatıyor.
teknoloji
Kaliforniya Üniversitesi, San Diego'daki Jacobs Mühendislik Fakültesi Elektrik ve Hesaplama Mühendisliği Bölümü'nde profesör olan Duygu Kuzum ve laboratuvarı, tekrarlanmadan "doğrudan bellek biriminde hesaplanabilen" donanım ve algoritmalar geliştirmek için Adesto Technologies ile işbirliği yaptı. Verileri ileri geri aktarın.
Kaliforniya Üniversitesi, San Diego'daki Kuzum Araştırma Grubu Elektrik Mühendisliği Bölümü'nde doktora öğrencisi olan ve makalenin ilk yazarı olan Yuhan Shi, Sinir ağı eğitiminin enerji verimliliğini en üst düzeye çıkarmak için bu sorunu her iki taraftan da (cihaz ve algoritma) çözüyoruz. "
Bu araştırmada kullanılan donanım bileşeni süper enerji tasarrufu sağlayan uçucu olmayan bir bellek teknolojisidir, yani 512 kilobitlik bir alt kuantum "iletken köprü rasgele erişim belleği (CBRAM)" dizisidir.
Alt kuantum iletken köprü rastgele erişim belleğinin özellikleri (resim kaynağı: referans [4])
CBRAM, büyük potansiyele sahip bir tür dirençli bellek teknolojisidir.Bilgi depolama durumunu değerlendirmek için temel olarak bellek elemanının direncini kullanır.Farklı dirençler, farklı depolama durumlarını temsil eder.Erişim hızı ve enerji tüketimi açısından avantajları vardır. Mükemmel performans, gelecek neslin en potansiyel kalıcı bellek bileşenlerinden biri olarak kabul edilir.
(Resim kaynağı: Jacobs Mühendislik Okulu, California Üniversitesi, San Diego)
Kuantum altı iletken köprü rastgele erişimli bellek dizilerinin güç tüketimi, günümüzün önde gelen bellek teknolojisinin yüzde onda biri kadardır. Bu cihaz, Adesto'nun CBRAM depolama teknolojisine dayanmaktadır. Bu teknoloji temel olarak yalnızca iki "0" ve "1" durumuna sahip dijital bir bellek olarak kullanılır, ancak Kuzum ve laboratuvarının gösterimi, bu teknolojinin birden fazla analog duruma sahip olacak şekilde programlanabileceğini ve dolayısıyla insan beynini taklit edebileceğini göstermektedir. Biyolojik sinaps. Bu sözde "sinaptik cihaz", sinir ağı eğitimi için "bellek içi bilgi işlem" geliştirmek için kullanılabilir.
Kuzum, California Üniversitesi, San Diego'daki Makine Entegrasyonu Hesaplama ve Güvenlik Merkezi'nde çalışıyor ve bu nörosinaptik cihaz dizisine kolayca eşlenebilen algoritmaların geliştirilmesine öncülük etti. Sinir ağı hesaplaması sırasında bu algoritma daha fazla enerji ve zaman tasarrufu sağlar.
Aşağıda gösterildiği gibi: Soldan sağa, Kaliforniya Üniversitesi, San Diego Elektrik Mühendisliği Bölümü'nde doktora öğrencisi ve makalenin ilk yazarı olan Yuhan Shi ve California, San Diego Üniversitesi Elektrik ve Bilgisayar Mühendisliği Bölümü'nde profesör ve araştırma lideri olan Duygu Kuzum.
(Resim kaynağı: Jacobs Mühendislik Okulu, California Üniversitesi, San Diego)
Bu şema, donanımda denetimsiz öğrenmeyi uygulamak için kullanılan "spiking sinir ağı" adı verilen enerji tasarruflu bir sinir ağı kullanır. En önemlisi, Kuzum'un ekibi kendileri tarafından geliştirilen başka bir enerji tasarrufu algoritması uyguladı, "yumuşak budama", bu da sinir ağı eğitimini çok fazla doğruluktan ödün vermeden daha enerji verimli hale getiriyor. .
Enerji tasarrufu algoritması
Bir sinir ağı, birbirine bağlı bir dizi yapay nöron katmanıdır ve her katmanın çıktısı başka bir katman için girdi sağlar. Bu katmanlar arasındaki bağlantının gücü sözde "ağırlık" ile temsil edilmektedir. Sinir ağını eğitmek bu ağırlıkları güncelleyebilir.
Geleneksel sinir ağları, her bir ağırlığı sürekli olarak güncellemek için çok fazla enerji tüketir. Bununla birlikte, yükselen bir sinir ağında, yalnızca yükselen nöronla ilişkili ağırlıklar güncellenecektir. Bu, daha az güncelleme, aynı zamanda daha az bilgi işlem gücü ve süresi anlamına gelir.
Sinir ağları da sözde "denetimsiz öğrenme" geliştirir. "Denetimsiz öğrenme", temelde kendi kendini eğitebileceği anlamına gelir. Örneğin, bir sinir ağına bir dizi el yazısıyla yazılmış sayı gösterirseniz, sinir ağı 0, 1, 2, vs.'yi nasıl ayırt edeceğini anlayacaktır. Bunun avantajı, sinir ağının etiketli örneklerle eğitilmesine gerek olmamasıdır, yani navigasyon gibi otonom uygulamalar için yararlı olan 0, 1, 2'yi gördüğünün söylenmesine gerek yoktur.
Kuzum Lab, daha hızlı ve daha enerji verimli eğitim için, denetimsiz sinir ağları ile "yumuşak budama" adını verdikleri yeni bir algoritma geliştirdi. "Yumuşak budama", eğitim sırasında olgunlaşan ağırlıkları bulmanın ve ardından bunları sıfır olmayan sabitlere ayarlamanın bir yoludur. Bu, eğitimin geri kalanında güncellemeye devam etmelerini engeller ve böylece hesaplama gücünü en aza indirir.
"Yumuşak budama" geleneksel budama yönteminden farklıdır çünkü bu, eğitimden sonra değil eğitim sırasında elde edilir. Sinir ağı eğitimini teste koyduğunda, "yumuşak budama" da daha yüksek doğruluk getirebilir. Genellikle budama işleminde fazlalık veya önemsiz ağırlıklar tamamen silinir. Dezavantajı, ne kadar fazla ağırlık keserseniz, test sırasında sinir ağının doğruluğunun o kadar düşük olmasıdır. Ancak "yumuşak budama", bu ağırlıkları düşük enerji koşullarında koruyabilir, böylece sinir ağlarının görevleri yüksek doğrulukla gerçekleştirmesine yardımcı olur.
Test yazılımı ve donanım ortak tasarımı
Ekip, sinirden esinlenen, denetimsiz bir nabız sinir ağı ve alt kuantum CBRAM nörosinaptik cihaz dizisinde "yumuşak budama" algoritması uyguladı. Daha sonra, bu sinir ağını, MNIST veritabanından el yazısıyla yazılmış rakamları sınıflandırmak için eğittiler.
Testte, ağırlıkların% 75'ine kadar "yumuşak budanmış" ve sinir ağı sınıflandırma doğruluğu% 93'e ulaştı. Aksine, geleneksel budama yöntemiyle ağırlıkların sadece% 40'ı budanır ve sinir ağının doğruluğu% 90'dan azdır.
değer
Kuzum, "Geleneksel işlemcilerdeki yonga üstü bellek çok sınırlı olduğundan aynı yonga üzerinde aynı anda hesaplama ve depolama yapmak için yeterli kapasiteye sahip değiller. Ancak bu çözümde bellekteki sinir ağı eğitimini genişletme yeteneğine sahibiz. Verileri harici bir işlemciye aktarmaya gerek kalmadan hesaplamalar için geniş kapasiteli bir bellek dizisi. Eğitim sırasında bu, birçok performans kazanımı sağlayacak ve enerji tüketimini azaltacaktır. "
Ekip, enerji tasarrufu açısından şu anki son teknoloji ile karşılaştırıldığında, sinirden esinlenen yazılım ve donanım işbirliği şemasının sonuçta sinir ağı eğitim cihazlarının enerji tüketimini iki ila üç kat azaltabileceğini tahmin ediyor.
Kuzum, "Yeni donanımı tespit etmek için diğer benzer depolama teknolojilerine başvurursak, cihazlarımızın enerji tüketiminin yüzde bir ila onda bir oranında azaltılabileceğini tahmin ediyoruz ve ardından ortak tasarım algoritmamızın enerji tüketimini azaltacağını tahmin ediyoruz. Onda bir. Genel olarak, yaklaşımımızı takip etmeyi ve enerji tüketimini binde birden yüzde yüze düşürmeyi umuyoruz. "
gelecek
Geleceğe bakan Kuzum ve ekibi, bu işi bir sonraki aşamaya taşımak için depolama teknolojisi şirketleriyle çalışmayı planlıyor.
Nihai hedefleri, sinir ağının daha karmaşık görevleri daha düşük güç tüketimi ve daha az zaman bütçesiyle tamamlamak için bellekte eğitilebileceği eksiksiz bir sistem geliştirmektir.
Anahtar kelime
Sinir ağı, depolama teknolojisi, algoritma
Referans
[1]
2 Chao Du, Fuxi Cai, Mohammed A. Zidan, Wen Ma, Seung Hwan Lee, Wei D. Lu. Zamansal bilgi işleme için dinamik memristörler kullanarak rezervuar hesaplama. Nature Communications, 2017; 8 (1) DOI: 10.1038 / s41467 -017-02337-y
3 Feng Zhang, Huairuo Zhang, Sergiy Krylyuk, Cory A. Milligan, Yuqi Zhu, Dmitry Y. Zemlyanov, Leonid A. Bendersky, Benjamin P. Burton, Albert V. Davydov, Joerg Appenzeller. Elektrik alan kaynaklı yapısal geçiş dikey MoTe2- ve Mo1 xWxTe2 tabanlı dirençli bellekler. Nature Materials, 2018; 18 (1): 55 DOI: 10.1038 / s41563-018-0234-y
[4]
