AI çip geliştirmenin geçmişi ve bugünü
Yazarlar | Ren Yuan, Pan Jun, Liu Jingjing, He Yandong, He Jin
Kaynak | Mikro-Nano Elektronik ve Akıllı Üretim Dergisi
Modern elektronik ürünler ve ekipmanlar, iletişim, eğlence, güvenlik ve tıbbi bakım gibi birçok yönden yaşam kalitemizi geliştirmiştir.Bunun başlıca nedeni, modern mikroelektronik teknolojisinin gelişmesinin insanların günlük işlerini ve etkileşim yöntemlerini büyük ölçüde değiştirmesidir. Geçtiğimiz birkaç on yılda Moore Yasası, çipteki cihazların özellik boyutunu sürekli olarak azaltarak bilgi işlem gücünü iyileştiriyor ve elektronik ürünlerin daha yüksek hız, daha düşük maliyet ve daha düşük güç tüketimi gibi avantajlarını getiriyor. Gordon Mooreun ilk gözlemi, bir çipteki transistör sayısının yaklaşık iki yılda bir ikiye katlanacağıydı. DavidHouse ayrıca, daha hızlı transistörler nedeniyle çip performansının her 18 ayda iki katına çıkacağını tahmin etti. Gordon Moore'un tahmini 50 yılı aşkın süredir başarılı olmasına rağmen, günümüzün silikon CMOS teknolojisi, boyutunun temel fiziksel sınırına yaklaşıyor ve Moore Yasasının sürekliliği giderek daha zor hale geldi.
Bu, elektronik ürünlerin ve ekipmanların performans kazanımlarının artık yalnızca cihaz özellik boyutlarının küçültülmesine bağlı olmadığı anlamına gelir.İnsanların bilgi işlem gücü ve düşük güç tüketimi açısından artan uygulama taleplerini karşılamak için yeni BT teknolojileri veya yeni hesaplama ilkeleri icat etmeleri gerekir. Talep ve yapay zekanın ortaya çıkması bu sınırlamayı aşmak için sınırsız olanaklar sağlar. Yapay zeka (AI), insan zekası sunmak için insanlar tarafından yapılan makinelerin teknolojisini ifade eder ve yapay zeka çipleri, yapay zeka teknolojisini ve ilgili algoritmaları çalıştırabilen yarı iletken çipleri ifade eder. Bu makale, yapay zeka çiplerinin araştırma sürecini ve pazar gelişimini tanıtacaktır.
Yapay zeka çiplerinin geliştirilmesi
Yapay zeka (AI) teknolojisinin geliştirilmesi ve uygulanmasının Amerika Birleşik Devletleri, Çin ve Avrupa Birliği gibi dünyanın büyük ülkelerinde ulusal bir strateji haline geldiği, ülkenin teknolojik gelişimi ve endüstriyel rekabette giderek daha önemli bir konuma geldiği anlaşılmaktadır. Aynı zamanda, AI teknolojisi el yazısı tanıma (MNIST veri seti gibi), yüz tanıma (Facebook'un DeepFace gibi), konuşma tanıma (Amazon'un Alexa'sı, Apple'ın Siri'si, Microsoft Cortana gibi), robotik (robot işletim sistemi gibi), Otonom sürüş (Tartan Racing gibi), hatta entelektüel oyunlar (Google'ın AlphaGo gibi) ve video oyunları (Pac-mAnt gibi) yaygın olarak kullanılmaktadır. Yapay zekanın gelişmesiyle birlikte, kararlar almak için programlama yerine deneyim öğrenmeye dayanan sinir ağı modelleri, makine öğrenimi vb. Gibi daha profesyonel teknolojiler üretildi. Buna karşılık, makine öğrenimi, verileri daha iyi anlamak için hiyerarşik algoritmalar içeren derin öğrenmenin temelini oluşturur.
1950'lerden beri, yapay zeka teknolojisinin insan keşfi hiç durmadı. "Yapay zeka" terimi, bilim adamları John McCarthy, Claude Shannon ve Marvin Minsky tarafından 1956'daki Dartmouth Konferansı'nda önerildi. O zamandan beri, yapay zeka araştırmalarının başlangıcı açıklandı. 1962'de Rosenblatt, 1957'de tasarlanan ve derin sinir ağı modelinin algoritma prototipi olarak kabul edilen "Principles of Neural Dynamics" adlı analog hesap makinesini yayınladı. 1969'da Minsky ve Papert, tek katmanlı bir sinir ağı tarafından eğitilen görüntü tanıma algoritmasının simetrik grafikleri bile doğru bir şekilde tanıyamadığına işaret ederek "Perceptron" u yayınladı.
Çok katmanlı sinir ağları için, yapay nöronların hesaplama sınırı, o sırada bilgisayarın hesaplama gücünün olmaması nedeniyle ciddi şekilde sınırlandırılmıştı, böylece çok katmanlı sinir ağı, bilgisayar çipinin o andaki ve daha sonra bilgisayar çipinin hesaplama performansı ile gerçekleştirilemedi, bu da yapay sinir ağları alanına neden oldu. 1970'lerin soğuk kışında.
1982'de Japonya, beşinci nesil bilgisayar projesi araştırma planını başlatırken, Amerika Birleşik Devletleri de beşinci nesil bilgisayarın araştırma ve geliştirmesine çok fazla kaynak yatırdı, ancak sonuçta, görüntü ve ses tanımanın temel sorunlarını hala çözemedi. 1985'te Hinton ve Sejnowski, önceden imkansız olduğu düşünülen Boltzmann makine tabanlı bir "çok katmanlı sinir ağı" yayınladılar. 1986'da Rumelhart ve Hinton "BP Geri Yayılma Algoritması" nı yayınladı. 1989'da, Bell Experiment Shi, çok katmanlı bir sinir ağında el yazısı posta kodu tanıyıcı geliştirmek için geri yayılma algoritmasını başarıyla kullandı. Aynı yıl Mead, biyonik çiplere dayalı nöromorfik mühendislik alanına öncülük eden Analog VLSI ve Neural Systems'ı yayınladı.
1993 yılında, Yann Le Cun'un ekibi DSP'yi 486 bilgisayarda bir derin öğrenme algoritması uygulamak için kullandı. Bir muhakeme çipi olarak, el yazısı sayıları tanıyabilir. Şimdiye kadar, genel amaçlı çip CPU'larının bilgi işlem gücü büyük ölçüde artırıldı, ancak yine de çok katmanlı sinir ağlarının bilgi işlem gücü gereksinimlerini karşılayamıyor. 1994'te Michael Gschwind ve diğerleri, sinir ağı algoritması uygulamalarını uygulamak için FPGA'ları kullandılar. 1998'de Yann Le Cun ve Yoshua Bengio, el yazısı tanıma sinir ağı ve geri yayılma optimizasyonu ile ilgili "belge tanımaya uygulanan gradyan tabanlı öğrenme" adlı bir makale yayınladı. Ürün sinir ağları çağının gelişi.
2006 yılında, Hinton, sınırlı bir Boltzmann makine modeli ve derin bir inanç ağı önerdi, çok katmanlı bir sinir ağını başarıyla eğitti, geri yayılma algoritmasının yerel optimal çözümü sorununu çözdü ve çok katmanlı sinir ağı "derin öğrenme" adını verdi. ", ilk kez büyük ölçekli derin sinir ağı öğrenme olasılığını kanıtladı. 2007'de NVIDIA, Birleşik Hesaplama Mimarisini (CUDA) geliştirdi.CUDA aracılığıyla araştırmacılar, GPU'ları geliştirmek için C dilini kolayca kullanabilir, böylece GPU'ların programları doğrudan yazmak için uygun bir programlama ortamına sahip olmaları sağlandı. 2008 yılında Nvidia, yapay zeka alanında kullanılabilen en eski GPU olan Tegra yongasını piyasaya sürdü ve şimdi esas olarak akıllı sürüş alanında kullanılan Nvidia'nın en önemli AI yongalarından biri haline geldi. 2009 yılında Rajat Raina ve Wu Enda, derin öğrenme eğitimini tamamlamak için GPU kullanarak "Grafik İşlemcileri Kullanarak Büyük Ölçekli Denetimsiz Öğrenme" başlıklı makaleyi birlikte yayınladılar. 2010 yılında, IBM ilk olarak beyin yapısını simüle eden beyin benzeri bir çip prototipi yayınladı.Proton, algısal bilişsel yeteneklere ve büyük ölçüde paralel hesaplama yeteneklerine sahip.
2012'de Krizhevsky ve Hintonun ekibi, ImageNet yarışmasında görüntü tanıma hata oranını% 18'e düşürmek için evrişimli sinir ağı (CNN) algoritmalarıyla birlikte GPU mimarisini kullandı ve NIPS konferansında "Image NetClassification with Deep" adlı bir görüntü tanıma belgesi yayınladı. Evrişimli NeuralNetworks ". Bu çığır açan başarı, insanları sinir ağlarının bilgi işlem gücü gereksinimlerinin mevcut bilgi işlem ekipmanı tarafından karşılanabileceğini ilk kez görünce şaşırttı. Bununla birlikte, bu başarının da kusurları var: Kullandıkları GPU mimarisi yongası, sinir ağlarını çalıştırırken ihtiyaç duyulmayan birçok mimari tasarımı içeren sinir ağı mimarisi için tasarlanmamıştır, bu nedenle verimlilik artışı sınırlıdır. Aynı yıl Google Brain, DNN modellerini eğitmek için 16.000 GPU çekirdeğine sahip paralel bir hesaplama platformu kullandı ve konuşma ve görüntü tanımada büyük başarı elde etti. 2013 yılında GPU'lar yapay zeka alanında yaygın olarak kullanılmaya başlandı ve Qualcomm Zeroth'u piyasaya sürdü. 2014 yılında, Çin Bilimler Akademisi'nden Dr.Tianshi Chen (Kambriyen kurucusu) ekibi, DianNao (DaDianNao, PuDianNao, ShiDianNao, Cambricon-X dahil) adlı yapay zeka hızlandırma çipleri hakkında bir dizi makale yayınladı ve yapay zeka hızlandırma çipini açtı. (ASIC) araştırma alanı. Yine aynı yıl, Nvidia, derin öğrenme için tasarlanmış ilk GPU mimarisi olan Pascal'ı çıkardı ve IBM, ikinci nesil TrueNorth'u piyasaya sürdü.
2015 yılında, Jason Cong, o yıl Uluslararası FPGA Konferansı'nda FPGA hızlandırma DNN algoritması üzerine "Derin Evrişimli Sinir Ağları için FPGA tabanlı Hızlandırıcı Tasarımını Optimize Etme" başlıklı bir makale yayınladı ve bu, FPGA'ları hızla popüler hale getirdi. Kısa süre sonra, 2016 yılında Google, TensorFlow çerçevesi tarafından tasarlanan TPU çipini piyasaya sürdü.Aynı yıl, TPU çerçeveli AlphaGo ortaya çıktı ve insan dünya şampiyonu satranç oyuncusu Li Shishi'yi yendi. Yine aynı yıl, Cambrian DIANNAO'yu geliştirdi ve FPGA çipleri bulut bilişim platformlarında yaygın olarak kullanıldı. Yalnızca 2017'de, eğitim performansını artıran Google TPU 2.0 piyasaya sürüldü; NVIDIA, GPU performansında önemli bir artışı teşvik eden Volta mimarisini piyasaya sürdü; Huawei Kirin 970 ilk cep telefonu AI çipi oldu; Tsinghua Üniversitesi Profesörü Wei Shaojunun ekibi bir Thinker prototipi geliştirdi ve ardından bunu başlattı Bilgi işlem gücü ve enerji verimliliği açısından uluslararası standartlara sahip Thinker yapay zeka çipleri serisi.
Yapay zeka çiplerinin sınıflandırılması
2.1 Geleneksel CPU İkilemi
1960'ların başından beri, CPU (Merkezi İşlem Birimi) bilgisayar endüstrisinde görünmeye ve kullanılmaya başladı. Günümüzde CPU'nun tasarımında ve uygulanmasında büyük değişiklikler meydana gelse de, von Neumann mimarisine dayalı CPU'nun temel çalışma prensibi pek değişmedi. Şekil 1'de gösterildiği gibi, von Neumann mimarisi bir merkezi işlem birimi (CPU) ve bir belleğe bölünmüştür CPU esas olarak iki ana bileşenden oluşur: denetleyici ve aritmetik birim. İş yerinde, CPU'nun bir talimatı her yürüttüğünde bellekten veri okuması ve talimatlara göre veriler üzerinde karşılık gelen işlemleri gerçekleştirmesi gerekir.Bu nedenle, CPU yalnızca veri işlemlerinden sorumlu değildir, aynı zamanda depolama okuma, talimat analizi, dal atlama ve diğer komutları da yürütmesi gerekir. Aynı zamanda, hesaplama hızı, birim zamanda, yani ana frekans başına yürütülen talimat sayısı artırılarak iyileştirilebilir. Bununla birlikte, yapay zeka derin öğrenme alanında nispeten az sayıda program talimatı vardır, ancak büyük veri işlemeyi gerektiren büyük veri hesaplamaları için büyük bir talep vardır. AI algoritmasını yürütmek için CPU kullanılırken, CPU veri / talimat okuma ve analiz için çok fazla zaman harcayacaktır.Belirli güç tüketimi öncülüğünde, CPU frekansını ve bellek bant genişliğini sınırsız bir şekilde hızlandırarak komut yürütme hızına ulaşamaz. Kısıtlamaların kaldırılması. Bu nedenle, bu durumda, geleneksel CPU yapısının bariz eksiklikleri vardır ve yapay zeka yongaları alanındaki hesaplama gücü darboğazı sorununun çözülmesi zordur.
2.2 Yapay zeka çiplerinde CPU sonrası dönem
İşlemcinin hesaplama gücüne dayanarak, yapay zeka çipleri alanındaki bilim adamları, son yıllarda esas olarak AI çiplerinin mevcut iki geliştirme yönüne odaklanan verimli ve kapsamlı araştırmalar yaptı. Bir yön, klasik von Neumann bilgi işlem mimarisini, geliştirme hedefi olarak hızlandırma hesaplama yetenekleri ile devam ettirmektir, temelde paralel hızlandırılmış bilgi işlem GPU'su (grafik işleme birimi), yarı özelleştirilmiş FPGA (sahada programlanabilir kapı dizisi), Tamamen özelleştirilmiş ASIC (uygulamaya özel entegre devre). Diğer yön, geleneksel von Neumann bilgi işlem mimarisini yıkmak ve bilgi işlem gücü sorunlarını çözmek için beyin benzeri sinir yapılarına dayalı nöromorfik çipler kullanmaktır. Yapay zeka çiplerinin bu iki yöndeki özellikleri aşağıda detaylı olarak anlatılacaktır.
2.2.1 Mimariye göre sınıflandırma
(1) Grafik işleme birimi (GPU). GPU, hızlı hız, esnek ve basit yonga programlama özelliklerine sahip, nispeten erken hızlandırılmış bir bilgi işlem işlemcisidir. Geleneksel CPU'nun hesaplama talimatları seri yürütme yöntemini izlediğinden, çipin tam potansiyeli kullanılamaz ve GPU, yüksek paralel yapıya sahiptir ve grafik verilerini ve karmaşık algoritmaları işlemede CPU'dan daha yüksek verimliliğe sahiptir. Yapı açısından, CPU esas olarak denetleyiciler ve kayıtlardan oluşurken, GPU veri işleme için daha fazla aritmetik mantık birimine (ALU) sahiptir.Bu tür bir yapı, yoğun verilerin paralel olarak işlenmesi için daha uygundur. Tek çekirdekli CPU ile karşılaştırıldığında, GPU sistemindeki çalışma hızı genellikle düzinelerce, hatta binlerce kez artar. Aynı zamanda, GPU, derin öğrenme algoritmalarının eğitim sorunlarını hafifletebilen ve yapay zeka potansiyelini serbest bırakabilen daha güçlü kayan nokta hesaplama yeteneklerine sahiptir. Ancak GPU'nun da belirli sınırlamaları vardır. Derin öğrenme algoritması iki bölüme ayrılmıştır: eğitim ve çıkarım GPU platformu algoritma eğitiminde çok etkilidir. Bununla birlikte, çıkarımda tek bir girdiyi işlerken, paralel hesaplamanın avantajlarından tam olarak yararlanılamaz.
(2) Sahada programlanabilir geçit dizisi (FPGA). FPGA, PAL, GAL ve CPLD gibi programlanabilir cihazlar temelinde daha da geliştirilmiş bir üründür. Temel ilke, FPGA yongasına çok sayıda temel geçit devresini ve hafızayı entegre etmektir ve kullanıcılar, FPGA yapılandırma dosyasını güncelleyerek (yani, yazma) bu geçit devreleri ve bellekler arasındaki bağlantıları tanımlayabilir. Bu yanma tek seferlik değildir, bu nedenle, yalnızca özelleştirilmiş devrelerin esneklik eksikliğini gidermekle kalmaz, aynı zamanda orijinal programlanabilir cihazın sınırlı sayıdaki kapı devrelerinin eksikliklerinin de üstesinden gelir. GPU'dan farklı olarak, FPGA aynı anda veri paralel ve görev paralel hesaplamayı gerçekleştirme yeteneğine sahiptir.Bir veri parçasını donanım boru hattı şeklinde işlemek için uygundur ve daha yüksek tamsayı aritmetik performansına sahiptir, bu nedenle genellikle derin öğrenme algoritmalarının çıkarım aşamasında kullanılır. Bununla birlikte, FPGA yazılım algoritmalarını donanım yapılandırması yoluyla uygular, bu nedenle karmaşık algoritmaları uygulamak zordur.
FPGA ve CPU'nun karşılaştırılması iki özellik bulabilir; bunlardan biri, FPGA'nın bellek ve kontrol tarafından getirilen depolama ve okuma kısmına sahip olmamasıdır, bu daha hızlıdır ve diğeri, FPGA'nın okuma talimatı işlemine sahip olmamasıdır, dolayısıyla güç tüketimi daha düşüktür. Dezavantajı, fiyatın nispeten yüksek olması, programlamanın karmaşık olması ve genel hesaplama gücünün çok yüksek olmamasıdır. Güç tüketimi açısından, FPGA'ların mimari açıdan da doğal avantajları vardır. Geleneksel Feng'in yapısında, yürütme birimi (CPU çekirdeği gibi) herhangi bir talimatı yürütür, komut belleğine, kod çözücüye, çeşitli komutların aritmetik birimine ve işleme katılmak için dallanma ve atlama işlem mantığına ve FPGA'nın her mantık birimine ihtiyaç duyar. İşlev, yeniden programlama sırasında belirlenir (yani, burn-in), hiçbir talimat gerekmez ve paylaşılan bellek gerekmez, bu da birim yürütme güç tüketimini büyük ölçüde azaltabilir ve genel enerji tüketimi oranını iyileştirebilir. Belki de FPGA'nın en dikkate değer örneği, daha da geliştirilmiş ve NeuFlow olarak yeniden adlandırılan ve daha sonra nn-X'e uyarlanan CNP'dir. Bu tasarımlar 10 ~ 100 KM / s işlem (GOPS) sağlayabilir ve güç yalnızca 10W'ın altındadır.
(3) Uygulamaya özel entegre devre (ASIC). Şu anda, derin öğrenmeyle temsil edilen yapay zeka hesaplama gereksinimleri, hızlanma elde etmek için GPU ve FPGA gibi paralel hesaplamaya uygun mevcut genel amaçlı yongaları kullanıyor. Endüstriyel uygulamalar büyük ölçekte artmadığında, bu tür GPU'lar ve FPGA'lar için mevcut genel amaçlı yongaların kullanılması, yüksek yatırımı ve özel yongaların (ASIC'ler) geliştirilmesinde yüksek uzmanlaşma riskini önleyebilir. Bununla birlikte, bu tür genel amaçlı bir yonga özellikle derin öğrenme için tasarlanmadığından, performans ve güç tüketiminde doğal olarak sınırlamalar vardır. Yapay zeka uygulamalarının ölçeğinin genişlemesi ile bu tür sorunlar giderek daha belirgin hale geldi.
Bir görüntü işlemcisi olarak GPU, orijinal olarak görüntü işlemede büyük ölçüde paralel bilgi işlemle başa çıkmak için tasarlandı. Bu nedenle, paralel hesaplamanın avantajları derin öğrenme algoritmalarına uygulandığında tam olarak kullanılamaz. Derin öğrenme, eğitim ve çıkarım hesaplamalarını içerir.GPU, derin öğrenme algoritması eğitiminde çok etkilidir, ancak tek bir girişte çıkarım yapıldığında, paralelliğin avantajlarından tam olarak yararlanılamaz. İkinci olarak, GPU SIMT hesaplama modunu benimser ve donanım yapısı nispeten sabittir ve donanım yapısı esnek bir şekilde yapılandırılamaz. Ek olarak, derin öğrenme algoritmalarını çalıştırmanın enerji verimliliği FPGA'lardan daha düşüktür.
FPGA son derece kabul görmesine rağmen, derin öğrenme algoritmalarının uygulanması için özel olarak geliştirilmemiştir.Gerçek uygulamalarda, yeniden yapılandırılabilir özellikler elde etmek için, FPGA içinde çok sayıda son derece ince taneli temel birim vardır, ancak her birimin hesaplama gücü çok daha düşüktür. CPU ve GPU'daki ALU modülü; ikinci olarak, yeniden yapılandırılabilir özelliği gerçekleştirmek için, yapılandırılabilir yonga üzerinde yönlendirme ve kablolama için FPGA içinde büyük miktarda kaynak kullanılır, bu nedenle bilgi işlem kaynaklarının oranı nispeten düşüktür; ayrıca hız ve güç tüketimi ASIC'lere kıyasla hala büyük bir boşluk var ve FPGA'lar daha pahalıdır ve tek bir FPGA'nın maliyeti, büyük ölçekli ve büyük ölçekli koşullar altında özel olarak ayrılmış yongalardan çok daha yüksektir.
Bu nedenle, yapay zeka algoritmaları ve uygulama teknolojilerinin artan gelişimi ve yapay zeka özel çipleri ASIC'in endüstriyel ortamının kademeli olarak olgunlaşmasıyla birlikte, tamamen özelleştirilmiş yapay zeka ASIC'leri kendi avantajlarını kademeli olarak ortaya koymuşlardır. ASIC, özel bir özelleştirilmiş çiptir. Özelleştirilmiş özellikler, ASIC'in performans-güç oranını iyileştirmeye yardımcı olur. Dezavantaj, devre tasarımının özelleştirilmesi gerektiğidir, bu nispeten uzun ve işlevin genişletilmesi zordur. Ancak özellikle yüksek performans ve düşük güç tüketimi gerektiren mobil uygulamalarda güç tüketimi, güvenilirlik, entegrasyon vb. Avantajları vardır. Örneğin, Google'ın TPU'su, Kambriyen GPU'su ve Horizonun BPU'su ASIC çipleridir.
(4) Nöromorfik çip (beyin benzeri çip). Yapay zeka çiplerinde, geleneksel von Neumann mimarisi, sistemin genel verimliliğini ve performansını azaltan bir "von Neumann darboğazına" sahiptir. Bu sorunun temelden üstesinden gelmek için, nöromorfik hesaplama, son yıllarda von Neumann sistemini temel alan bu geleneksel hesaplama mimarilerine en çekici alternatif haline geldi. "Nöromorfik hesaplama" terimi ilk olarak 1990 yılında Mead tarafından önerildi. Beynin bilişsel işlevinden esinlenen yeni bir hesaplama paradigmasıdır. Geleneksel CPU / GPU'dan farklı olarak, biyolojik beyinler (memeli beyinleri gibi) yüksek verimlilik ve düşük güç tüketimi ile küçük bir alanda büyük miktarda bilgiyi paralel olarak işleyebilir. Bu nedenle, nöromorfik hesaplamanın nihai amacı, ağ ile gerçek beyin arasındaki verimlilik boşluğunu kapatmak için yüksek verimli biyolojik bilgi işlemeyi simüle etmek için nöromorfik donanım hızlandırıcılar geliştirmektir.Bu, yeni nesil yapay zekanın ana itici gücü olarak kabul edilir.
Nöromorfik çip, klasik von Neumann mimarisini kullanmaz, ancak nöromorfik mimari temel alınarak tasarlanmıştır. Biyolojik sinir ağlarını simüle eden bir bilgisayar sistemidir. Nöronlar ve sinaptik güç beynin "işlemcisi" ve "belleği" olarak kabul edilirse ", nörokorteks boyunca dağıtılacaklar. Nöromorfik bilgi işlem, beyne yapısal seviyeden yaklaşır. Araştırma çalışması iki seviyeye ayrılabilir. Biri sinir ağı seviyesidir ve ilgili nöromorfik mimari ve işlemci IBM Truenorth tarafından temsil edilir. Bu çip özelleştirilmiştir. Dijital işlemenin çekirdeği bir nöron olarak kullanılır ve bellek bir sinaps olarak kullanılır.
Mantıksal yapısı geleneksel von Neumann yapısından farklıdır: bellek, CPU ve iletişim bileşenleri tamamen entegre edilmiştir, bu nedenle bilgi işleme yerel olarak gerçekleştirilir ve bu da geleneksel bilgisayar belleği ile CPU arasındaki hız darboğazının üstesinden gelir. Aynı zamanda nöronlar birbirleriyle rahat ve hızlı bir şekilde iletişim kurabilirler, diğer nöronlardan pulslar (aksiyon potansiyelleri) aldıkları sürece bu nöronlar aynı anda hareket ederler; ikincisi bunlara karşılık gelen nöron ve sinir sinapslarının seviyesidir. Bileşen düzeyinde yeniliktir. Örneğin, IBM Zurich Research Center, yüksek hızlı denetimsiz öğrenmeyi sağlayabilen dünyanın ilk insan yapımı nano ölçekli rastgele faz değişim nöronlarının yaratıldığını duyurdu.
Şu anda, en gelişmiş nöromorfik çip, Tablo 1'de gösterildiği gibi, insan beyninin ölçeğinden (1010 nöron, her nöron 103 ~ 104 sinaps) 104 kata kadar hâlâ uzaktadır. İnsan beyninde ölçeğe ulaşmak için, çok büyük ölçekli bir bilgisayar sistemi oluşturmak için devre kartına veya arka plana birden fazla nöromorfik yonga entegre edilmelidir. Nöromorfik çiplerin tasarım amacı artık derin öğrenme algoritmalarını hızlandırmakla sınırlı değil, çipin temel yapısında ve hatta cihaz düzeyinde tasarımı değiştirmek, yeni memristörler ve ReRAM kullanımı gibi yeni beyin benzeri bilgisayar mimarileri geliştirmeyi umuyor. Depolama yoğunluğunu artıran cihazlar. Bu tür çip teknolojisi henüz tam olarak olgunlaşmadı ve büyük ölçekli uygulamalara gitmek için hala uzun bir yol var, ancak uzun vadede beyin benzeri çipler bilgisayar mimarisinde bir devrim yaratabilir.
2.2.2 İşleve göre sınıflandırma
Makine öğrenimi algoritmasının adımlarına göre eğitim ve çıkarım olmak üzere iki kısma ayrılabilir. Eğitim süreci, karmaşık bir derin sinir ağı modelini eğitmek için genellikle büyük miktarda veri girişi gerektirir. Eğitim süreci, büyük eğitim verileri ve karmaşık derin sinir ağı yapısı içerdiğinden, hesaplama miktarı çok büyüktür ve çok büyük bir hesaplama ölçeği gereklidir. İşlemcinin hesaplama gücü, doğruluğu ve ölçeklenebilirliği için yüksek performans gereksinimleri gerektirir. Şu anda, NVIDIAnın GPU kümeleri genellikle pazarda kullanılmaktadır. Google'ın TPU2.0 / 3.0 ayrıca eğitim sürecinde derin ağ hızlandırmayı da destekler.
Çıkarım bağlantısı, eğitilmiş modelin kullanımına ve çeşitli sonuçların "çıkarımına" yönelik yeni verilerin kullanımına atıfta bulunur. Bu bağlantıdaki hesaplama miktarı, eğitim bağlantısından çok daha azdır, ancak yine de birçok matris işlemi içerir. Çıkarım bağlantısında, hesaplamalar için CPU veya GPU kullanmaya ek olarak, FPGA'lar ve ASIC'lerin her ikisi de önemli bir rol oynayabilir. Tablo 2, dört teknik mimariye sahip çipler için yapay zeka sistemlerinin geliştirilmesinin bir karşılaştırmasıdır.
2.2.3 Uygulama senaryolarına göre sınıflandırma
Esas olarak iki kategoriye ayrılır: sunucu tarafı (bulut) ve mobil taraf (terminal).
Sunucu tarafı: Derin öğrenmenin eğitim aşamasında, büyük miktarda veri ve hesaplama nedeniyle, tek bir işlemcinin bir modelin eğitim sürecini bağımsız olarak tamamlaması neredeyse imkansızdır.Bu nedenle, AI algoritmasından sorumlu çip, yüksek performanslı hesaplamanın teknik yolunu benimser. Bir yandan, algoritmanın doğruluğunu ve genelleştirilmesini sağlamak için olabildiğince çok ağ yapısını desteklemek gerekir; diğer yandan kayan nokta işlemlerini desteklemesi gerekir; performansı artırmak için bir dizi yapısını desteklemesi gerekir (yani, birden çok yonga tek bir hesaplamada birleştirilebilir. İşlemleri hızlandırmak için dizi). Çıkarım aşamasında, eğitimli derin sinir ağı modeli hala çok karmaşık olduğu için, çıkarım süreci hala hesaplama açısından yoğun ve depolama yoğun ve sunucu tarafında konuşlandırılabilir.
Mobil terminal (cep telefonları, akıllı evler, insansız araçlar, vb.): Mobil AI çipleri, tasarım fikirleri açısından sunucu tarafı AI çiplerinden esasen farklıdır. Her şeyden önce, yüksek hesaplamalı enerji verimliliği garanti edilmelidir; ikincisi, gelişmiş sürüş yardımı ADAS gibi cihazların yüksek gerçek zamanlı performans gerektirdiği durumlarda, çıkarım işleminin cihazın kendisinde tamamlanması gerekir, bu nedenle mobil cihazların yeterli çıkarım yeteneklerine sahip olması gerekir. Ve bazı durumlarda, düşük güç tüketimi, düşük gecikme süresi ve düşük maliyetli gereksinimler olacaktır ve bu da çeşitli mobil AI yongaları ile sonuçlanacaktır.
Yapay zeka çiplerinin araştırma durumu
3.1 Araştırma geçmişi
Yapay zeka çipinin özü, sinir ağı algoritmasının gerçekleştirilmesidir. Derin sinir ağları (DNN), doğal dil işleme, makine görüşü, konuşma tanıma ve tıbbi görüntü analizi gibi birçok yapay zeka alanında büyük atılımlar yaptı. Derin öğrenme temel olarak geleneksel evrişimli sinir ağı (CNN) ve tekrarlayan sinir ağı (RNN) olarak ikiye ayrılır; bu, büyük veri kümelerinin tekrarlanan eğitimine ve yüksek hesaplama gücü ve uzun eğitim süresi gerektiren çok sayıda kayan nokta çıkarım işlemine dayanır. , Güç tüketimi çok büyük. Örnek olarak, insan beyninin enerji tüketiminin (~ 20 W) neredeyse 50.000 katı olan 1 MW güç tüketimi ile 1.920 merkezi işlem birimi ve 280 grafik işlem birimine dayanan Alpha Go'yu ele alalım. Son yıllarda yapay zeka, Nesnelerin İnterneti ve uç hesaplamaya uygulanma potansiyeline sahip olarak görüldü.Bu nedenle, arka uca veya sunucuya büyük miktarda veri göndermekten kaçınmak için yüksek enerji verimliliği, hızlı tahmin ve çevrimiçi öğrenme yeteneklerine sahip olmak gerekiyor.
Yapay zeka algoritmaları, mimari, devreler, cihazlar ve diğer seviyeler, sınıflandırma doğruluğu gibi performans göstergelerini korurken muhakemenin enerji tüketimini azaltmak için büyük ölçüde geliştirildi ve optimize edildi. Özel ASIC tasarımı aracılığıyla enerji tasarrufu sağlayan çıkarım donanım hızlandırıcılarını uygulama çalışması oldukça yüksek enerji verimliliği (1 TFlops / W) elde etti, ancak geri yayılımı temel alan derin öğrenme algoritmalarının hata sinyallerini sık sık uzaktan yayması gerekir, bu nedenle etkili bir çevrimiçi elde etmek zordur. Öğrenin. Düşük enerji verimliliği ve etkili çevrimiçi öğrenme yöntemlerinin bulunmaması nedeniyle, CNN ve RNN tarafından temsil edilen birçok derin öğrenme algoritması, IoT akıllı sensörler ve uç hesaplama gibi yüksek enerji verimliliği gerektiren olay odaklı gelişen yapay zeka uygulamaları için uygun değildir.
Bu bağlamda, yapay zeka alanındaki bilim adamları, üçüncü nesil yapay sinir ağları olarak bilinen Spike Neural Networks'ü (SNN) önerdiler.
SNN, daha hızlı çevrimiçi öğrenme ve daha yüksek enerji verimliliği sağlamak için bilgileri temsil etmek, iletmek ve işlemek için nöron modelleri arasındaki zamanlama atım dizilerini kullanır. Geleneksel yapay sinir ağları (CNN ve RNN) ile karşılaştırıldığında, SNN, biyolojik sinir ağlarına daha yakın olan bilginin dürtü gösterimi, olaya dayalı bilgi işleme ve dürtü tabanlı yerel öğrenme kuralları dahil olmak üzere daha benzersiz beyin benzeri özelliklere sahiptir. Öğrenme ve hafıza mekanizmaları Bu nedenle, hızlı çevrimiçi öğrenmesi, son derece yüksek enerji verimliliği ve insan beyniyle olan yüksek benzerliği nedeniyle, son yıllarda yapay zeka bilimi alanında büyük bilimsel öneme sahip bir araştırma konusu haline geldi.
3.2 Araştırma durumu
Son yıllarda, dünyaca ünlü akademik araştırma kurumları ve uluslararası yarı iletken şirketleri, nabız tabanlı nöromorfik devreleri aktif olarak araştırıyor ve geliştiriyor. Tablo 3'te gösterildiği gibi, SNN tabanlı nöromorfik bilgi işlem donanımı, geleneksel DNN tabanlı donanım hızlandırıcılardan daha yüksek enerji verimliliğine sahiptir. En gelişmiş nöromorfik bilgi işlem yongalarının çoğu, SNN'lerin ASIC tasarımı için olgun CMOS silikon teknolojisine dayanır, yapay sinapslar SRAM gibi bellek simülasyonu yoluyla gerçekleştirilir ve yapay nöronlar, anahtar dijital veya analog devreler kullanılarak biyonikler tarafından gerçekleştirilir. En temsili olanı, IBM tarafından geliştirilen CMOS çok çekirdekli mimariye dayanan TrueNorth yongasıdır. 1 milyon nöron ve 250 milyon sinaps simüle edilirken, çip yalnızca 70 mW güç tüketir ve her bir sinaps olayı yalnızca 26 pJ'lik çok yüksek enerji verimliliği. Bununla birlikte, biyolojik sinapsların ve nöronların beyin benzeri özelliklerini taklit etmek için, elektronik sinapslar ve nöronlar, Şekil 2'de gösterildiği gibi, yapay sinapsların ve nöronların gerekli işlevlerini elde etmek için oldukça karmaşık CMOS devrelerine ihtiyaç duyar.
Örnek olarak IBM'in TrueNorth yongasını ele alalım: 5,4 milyar transistör içerir ve 28nm süreci altında 4,3 cm2'lik bir alanı kaplar. Bu nedenle, bu tür dürtü tabanlı nöromorfik CMOS donanım devresi çok sayıda transistör kullanır ve çok geniş bir çip alanına yol açar. Ek olarak, mevcut nöromorfik yongaların çoğu, hala nöronlar için CMOS mantık devresi ile sinapslar için SRAM devresi arasında yerel bir depolama bariyerine sahip olan bilgi işlem birimi ve depolama biriminden kısmen ayrılmış durumda. Problemler ve enerji verimliliği sorunları, bu nedenle gerçek anlamda von Neumann olmayan bir mimari değildir. Bununla birlikte, en son uçucu olmayan bellek (NVM) teknolojisi veya üç boyutlu yığınlama yeteneklerine sahip bellek içi bilgi işlem teknolojisinin bu sorunu çözmesi bekleniyor.
IBM tarafından geliştirilen yeni NVM teknolojisine dayanan bir başka darbeli sinir ağı işlevi çipi, von Neumann olmayan bir mimaride faz değişim belleğinin (PCRAM) kullanımının son derece düşük enerji tüketimi sağlayabileceğini kanıtladı ( Yalnızca 0,9 pJ / bit). Kesişme noktasını işgal eden faz değişim bellek dirençleri çapraz dizilimli bir yapı oluşturur CMOS analog devre ile birlikte, darbe zamanlamasına bağlı plastisite (STDP) öğrenme kuralının sinaptik plastisite fonksiyonunu ve sızıntı integral deşarjlı (LIF) nöron fonksiyonunu gerçekleştirir. Şekil 3'te gösterildiği gibi. Bununla birlikte, tahmin doğruluğu sorunu nedeniyle, çip yalnızca basit uygulama görevlerini gerçekleştirebilir ve temel ilişkilendirme öğrenme modunu tamamlayabilir. IBM'in dürtü tabanlı nöromorfik çipi, yapay nöronlar ve sinapslardaki en son bilimsel araştırma ilerlemesinin yanı sıra ortaya çıkan NMV teknolojisini yansıtıyor.
Çin, yabancı araştırma çalışmalarından bir şeyler öğrenirken aynı zamanda güçlü bir şekilde nabız temelli nöromorfik çip araştırması geliştirmiştir. Tsinghua Üniversitesi ekibi, LIF'i destekleyen yapay nöron işlevini gerçekleştiren CMOS teknolojisine dayanan çok çekirdekli beyin benzeri bir çip Tianji No. 1'i önerdi. Pekin Üniversitesi ekibi, basitleştirilmiş bir LIF işlevini ve basit bir Herber öğrenme mekanizmasını gerçekleştiren bir memristor dizisine dayanan bir nöromorfik çip önerdi. Memristor, benzersiz analog özelliklere ve ölçeklenebilirliğe sahip yeni bir NVM cihazı türüdür ve mükemmel enerji verimliliği ve cihaz özellikleri sayesinde, nöromorfik yongaların entegrasyon ölçeğini ve genel verimliliğini daha da artırabilir.
Şimdiye kadar, dürtü tabanlı nöromorfik yongaların ana araştırma yöntemi, algoritma modelleme, devre yeniliği ve yeni cihaz teknolojisi gibi çeşitli düzeylerde araştırma ve keşif dahil olmak üzere biyolojik sinirbilimde keşfedilen biyolojik davranış özelliklerinin doğrudan simülasyonu ve biyomimetik gerçekleştirilmesidir. Nöromorfik hesaplama algoritmalarına dayanan yapay zeka çip teknolojisi, son yıllarda büyük ölçüde geliştirilmiş ve iyileştirilmiş olsa da, bilinen tüm biyolojik öğrenme mekanizmalarını gerçekleştirmek hala zordur.Sadece SNN modelini bazı biyolojik olaylara yaklaşmak veya taklit etmek için optimize ederek, Yol planlama ve el yazısı tanıma gibi bazı basit öğrenme işlevlerini gerçekleştirin. Bu basitleştirilmiş beyin benzeri modeller, nabız zamanlamasına bağlı güncelleme kurallarına dayalı sinaptik modelleri ve belirlenmiş doğrusal integral ateşleme dinamiklerine dayanan nöron modellerini içerir.
Yapay zeka çip endüstrisinin mevcut durumu
4.1 Sektörün statükosu üzerine yorum
AI çipleri, çip endüstrisi ile yapay zeka endüstrisinin, özellikle de AI sistem çiplerinin entegrasyonunun anahtarıdır. Gartner'ın tahmin verilerine göre, küresel yapay zeka yonga pazarı önümüzdeki beş yıl içinde yükselen bir eğilim gösterecek. 2018'de 4,27 milyar ABD dolarından 34,3 milyar ABD dolarına, 7 katın üzerinde bir artış, AI yonga pazarının büyüme için çok yeri olduğunu gösteriyor. , Şekil 4'te gösterildiği gibi.
Çin Bilgi ve İletişim Teknolojileri Akademisi'nin bir veri raporuna göre Çin'in yapay zeka çip pazarı için, Çin'in yapay zeka pazarının 2018'de 30 milyar RMB'yi ve 2019'dan sonra 50 milyar RMB'yi aşması bekleniyor. Pazarın yıllık büyüme oranı 2017'de% 52,8'den 2018'de% 56,3'e yükselecek ve ardından 2020'de% 42,0'a düşene kadar yıldan yıla gerileyecek. Bunların arasında, 2017'deki çip satışları, Şekil 5'te gösterildiği gibi yapay zeka pazarının% 22'sini, yaklaşık 4,77 milyar yuan'ı oluşturuyordu.
Bugün, Çin'in toplam finansmanı 3 milyar ABD dolarından fazla olan 20'den fazla yeni AI çip tasarım şirketi var. Yapay zeka çip endüstrisinin yaşam döngüsü henüz olgunlaşmamış aşamada ve pazar hızla büyüyor. 2018'de 4,27 milyar ABD dolarından 2022'de 34,3 milyar ABD dolarına çıkacak, ancak çip şirketleri ve müşteriler arasındaki işbirliği modeli hala araştırılıyor. Hayatta kalabilmek için, endüstri kademeli olarak yukarı ve aşağı entegrasyon eğilimi gördü. Bulut (uç dahil) sunucular, akıllı telefonlar ve Nesnelerin İnterneti terminal cihazları dahil olmak üzere üç senaryo şu anda AI çip şirketleri için ana açılış pazarları ve birkaç şirket geleceğe yönelik otonom araç pazarında. Bu pazarlar, on milyonlarca sevkiyat veya on milyarlarca dolar satış gibi özelliklere sahiptir.
Ancak Çin, entegre devrelerin ithalat değerinin ihracat değerini aştığı bir durumla uzun süredir karşı karşıyadır.Gümrük Genel İdaresi istatistiklerine göre, Şekil 6'da gösterildiği üzere 2018 yılında toplam ithalat hacmi resmi olarak 300 milyar doları aşarak 2017 yılına göre yaklaşık 312,1 milyar ABD dolarına ulaşmıştır. % 19,8 artış. Buna karşılık, 2018 yılında entegre devrelerin toplam ihracatı, ithalat değerinin üçte birinden daha az olan sadece 84,6 milyar ABD dolarıydı.Aynı yıl, ham petrol ithalatı yaklaşık 240 milyar ABD dolarıydı.Bu, Çin'in aşırı derecede dışa bağımlı olduğunu gösteriyor. Çip üreticisi. Şu anda, yerel çip üretim teknolojisinin iyileştirilmesi gerekiyor, ancak yarı iletkenlerdeki iş bölümü oldukça olgun olduğundan, yerli çip tasarım şirketlerinin çip üretimi konusunda endişelenmesine gerek yok.
4.2 AI Chip Industry Zinciri
Yapay zeka çip endüstrisi zinciri temel olarak tasarım-imalat / paketleme ve test sistemlerine ayrılmıştır.
(1) Upstream: Temelde çip tasarımı İş modeline göre, üç türe ayrılabilir: IP tasarımı, çip tasarımı dökümhanesi ve çip tasarımı. IP tasarımı, çipi tasarlamak için kullanılan IP çekirdeğini ifade eder.
(2) Midstream: Gofret üretimi ve paketleme testi olmak üzere iki ana kategori içerir.Gofretler sadece paketleme sırasında test edilmekle kalmaz, aynı zamanda üretimden sonra ve paketlemeden sonra da bir test olacaktır.
(3) Downstream: Yazılım ve donanım entegrasyon çözümleri sağlayan şirketlerin yapay zeka çözüm sağlayıcıları gibi sistem entegratörlerine atfedileceği satış ve sistem entegrasyon şirketlerine bölünmüştür.
4.3 AI çip iş modeli
Yarı iletken yukarı akış ve orta akış entegre olup olmadığına göre, pazar iki iş modeline ayrılmıştır.
(1) Dikey entegrasyon modu: IDM olarak da bilinen bu moda ait kurumsal işletme, hem tasarım hem de üretim / paketleme ve testi içerir. IDM modelinin temsilci şirketleri Intel ve Samsung'dur.
(2) Dikey iş bölümü: işbölümünü benimseyen şirketler yalnızca bir işte uzmanlaşırlar.Örneğin, Nvidia ve Huawei HiSilicon yalnızca yonga tasarımına sahiptir ve Fabless olarak adlandırılan üretim işi yoktur; TSMC ve SMIC ise yalnızca OEM üretimi dahil değildir Döküm olarak adlandırılan çip tasarımı.
4.4 AI çip tasarımı endüstri modeli
Yonga tasarımının endüstri modeli üç türe ayrılır: IP tasarımı, yonga tasarımı dökümhanesi ve yonga tasarımı.
(1) IP tasarımı: Çip tasarımı ile karşılaştırıldığında, IP tasarımı endüstri zincirinin en üstündedir ve IP çekirdek yetkilendirme ücretlerine dayanmaktadır. Geleneksel IP çekirdek lisanslama şirketleri Arm tarafından temsil edilmektedir.Yeni oluşturulan AI çip şirketleri yeni IP çekirdekleri de tasarlayabilse de, lisanslama modelinin ölçek etkileri ile hatırı sayılır bir gelir yaratması kolay değildir. Bu, ana kâr modelidir. Ek olarak, otomatik tasarım (EDA aracı) ve çip tasarım doğrulama araçları sağlayan Cadence ve Synopsys, yapay zekaya özel yongaları aktif olarak dağıtıyor.
(2) Çip tasarım dökümhanesi: Çip tasarım dökümhanesi, imalat dökümhanesi ile aynıdır.Tasarım dökümhane hizmeti veren firmalar, ürünlere kendi etiketlerini koyamaz ve ürünlerin kendileri tarafından tasarlandığını iddia edemezler. VeriSilicon uzun yıllardır ilgili hizmetlerle uğraşmaktadır ve ayrıca NXP (NXP) ile işbirliğine dayalı bir ilişkisi vardır.
(3) Çip tasarımı: Yapay zeka girişimlerinin çoğu yonga tasarımına odaklanıyor, ancak bu alanda Nvidia, Intel, Xilinx ve NXP gibi geleneksel güçlü düşmanlar var, bu yüzden sadece birkaç tane var Yeni oluşturulan AI çip tasarım şirketleri geleneksel çip şirketlerinin ürün alanına girecek.Örneğin, Cambrian sunucu çip pazarı için Nvidia ile rekabet ediyor, Horizon otonom sürüş çipi pazarı için Nvidia ve NXP ile rekabet ediyor ve diğer şirketler IoT senaryolarında devreye giriyor. Örneğin, ses tanıma yongaları sağlayan Yunzhisheng, yüz tanıma yongaları sağlayan Vimicro ve uç hesaplama yongaları sağlayan Nineng Teknolojisi.
Yarı iletkenlerin dikey iş bölümü, saf yonga tasarım şirketlerinin hayatta kalmasına yardımcı olsa da, tek bir yonganın karmaşık işlevleri tek başına gerçekleştirmesi zordur, bu nedenle bazı şirketler yonga entegrasyon hizmetleri sunmaya başlamıştır. Yapay zeka alanına AI sistemi veya AI modülü denir. Genel olarak yapay zeka şirketleri, algoritma ve çiplerin entegre hizmetlerini aynı anda sağlayacaklardır.Bu tür şirketler genellikle "yapay zeka çözüm sağlayıcıları" veya AI Anahtar Teslimi olarak anılır.
4.5 AI çip ürün türleri
(1):(PCB) ()(system onboard )(system on chip)7
(2): (software)( firmware ) AI CPU AI AI ( )
4.6
6 :(1);(2)IP ;(3);(4);(5);(6) 40
(SoC) AI (ASIC) : IP IP AI
4.7 AI
AI AI AI
/ 8 AI AI
(CNN) ( NLP ) ( RNN )AI CNN RNN AI AI
4.7.1
AI AI AI () / 5
IDC 9 2018~2019 5 17.3% 26.3% 100 IDC 2018 320 234 2018 1000 2017 669
AI
4.7.2
AI IDC 14 5 3 20182.061.23OPPO1.13
IDC 3290()1080AI AI AI AI AI IDC 9770 9980 2022 2
MARKLINES 2014 2349.2 2018 2808.1 10%
sonuç olarak
CPUGPUDSP IP
AI AI AI ;
Referanslar YANN L C, CORTES C. The MNIST database of hand-written digits.. /exdb/mnist/. TAIGMAN Y, YANG M, RANZATO M A, et al. Deep- face: Closing the gap to humanlevel performance in face verification// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2014: 1701-1708. Amazon Alexa. Ways to build with Alexa. . . https://developer.amazon.com/alexa. Apple Siri. Siri does more than ever, even before you ask . . Microsoft Cortana Personal Assistant. Cortana. Your intelligent assistant across your life . . https://www.microsoft.com/en-us/cortana. QUIGLEY M, CONLEY K, GERKEY B, et al. ROS: an open-source Robot Operating System// ICRA workshop on open source software. 2009: 5. URMSON C, BAGNELL J A, BAKER C R, et al. Tartan racing: a multi- modal approach to the DARPA urban challenge. Technical report, Carnegie Mellon University, 2007. SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of go with deep neural networks and tree search. Nature, 2016, 529(7587): 484-489. EMILIO M, MOISES M, GUSTAVO R, et al. Pac-mAnt: optimization based on ant colonies applied to developing an agent for Ms. Pac- Man// IEEE Symposium on Computational Intelligence and Games (CIG). IEEE, 2010: 458-464. CHEN T, DU Z, SUN N, et al. DianNao: a small footprint highthroughput accelerator for ubiquitous machine- learning// 128 International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS). 2014: 269-284. CHEN Y, LUO T, LIU S, et al. DaDianNao: a machine-learning supercomputer// 201447th Annual IEEE/ ACM International Symposium on Microarchitecture (MICRO). IEEE, 2014: 609-622. LIU D, CHEN T, LIU S, et al. PuDianNao: a polyvalent machine learning accelerator// International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS). 2015:369-381. DU Z, FASTHUBER R, CHEN T, et al. ShiDianNao: Shifting vision processing closer to the sensor// International Symposium on Computer Architecture (ISCA). 2015:92-104. JOUPPI NP, YOUNG C, PATIL N, et al. In-datacenter performance analysis of a tensor processing unit// International Symposium on Computer Architecture (IS- CA). 2017:1-12. KAPOOHT. Von Neumann architecture scheme. The Innovation in Computing Companion, 257- 259. https://en.wikipedia.org/wiki/Von_Neumann_architecture. FARABET C, POULET C, HAN J Y, et al. CNP: an fpga-based processor for convolutional networks// International Conference on Field Programmable Logic and Applications (FPL). 2009:32-37. FARABET C, MARTINI B, CORDA B, et al. Neu Flow: a runtime reconfigurable dataflow processor for vision // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2011:109-116. GOKHALE V, JIN J, DUNDAR A, et al. A 240 G-ops/s mobile coprocessor for deep neural networks// IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) . IEEE, 2014: 682-687. NEUMANN J V. The principles of large-scale computing machines. Annals of the History of Computing, 1981, 3(3):263-273. MEAD C. Neuromorphic electronic systems. Proceedings of the IEEE, 1990, 78(10):1629-1636. STRUKOV D B. Nanotechnology: smart connections. Nature, 2011, 476(7361): 403-405. JEFF H, BLAKESLEE S. On intelligence. London:Macmillan, 2007. BENJAMIN, VARKEY B, GAO P, et al. Neurogrid: a mixed- analogdigital multichip system for large- scale neural simulations. Proceedings of the IEEE, 2014, 102 (5): 699-716. MEROLLA P A, ARTHUR J V, ALVAREZ-ICAZA R, et al. A million spiking- neuron integrated circuit with a scalable communication network and interface. Science, 2014, 345 (6197): 668-673. CASSIDY A S, ALVAREZ-ICAZA R, AKOPYAN F. Real- time scalable cortical computing at 46 giga- synaptic OPS/watt with ~100 × speedup in time- to- solution and ~ 100,000 × reduction in energy- to- solution// SC '14: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis. IEEE, 2014. FURBER S B, GALLUPPI F, TEMPLE S, et al. The spinnaker projec. Proceedings of the IEEE, 2014,102 (5): 652-665. SCHEMMEL J, BRIIDERLE D, GRIIBL A, et al. A waferscale neuromorphic hardware system for large- scale neural modeling// Proceedings of 2010 IEEE International Symposium on Circuits and Systems. IEEE, 2010. LECUN Y, BENGIO Y, HINTON G, et al. Deep learning . Nature, 2015, 521(7553): 436-444. KELLER J, PEREZ O. Improving MCTS and neural network communication in computer go. Worcester Polytechnic Institute, 2016. ZHANG S J DU Z D ZHANG L, et al. Cambricon- X an accelerator for sparse neural networks . 201649th Annual IEEE/ACM International Symposium on Microarchitecture (MICRO). IEEE, 2016. KOWALIK J S. Parallel computation and computers for artificial intelligence. Springer Science and Business Media, 2012. VERHELST, M, MOONS B. Embedded deep neural network processing algorithmic and processor techniques bring deep learning to IoT and edge devices. IEEE Solid-State Circuits Magazine, 2017, 9(4): 55-65. JOUPPI N P, YOUNG C, PATIL N, et al. In-datacenter performance analysis of a tensor processing unit .44th International Symposium on Computer Architecture(ISCA), 2017. SZE V, CHEN Y H, YANG T J, et al. Efficient processing of deep neural networks a tutorial and survey .Proceedings of the IEEE, 2017, 105(12). BENNIS M. Smartphones will get even smarter with on device machine learning. IEEE Spectrum, 2018. https://spectrum.ieee.org/tech-talk/telecom/wireless/smart- phones- will- get- even- smarter- with- ondevice- machine-learning. MAASS W. Networks of spiking neurons: the third generation of neural network models. Neural Networks, 1997, 10(9): 1659-1671. MEAD C. Neuromorphic electronics system. Proceedings of the IEEE, 1990, 78(10): 1629-1636. PAINKRAS E, PLANA L A, GARSIDE J, et al. SpiNNaker: a 1- W 18- core system- on- chip for massively- parallel neural network simulation. IEEE Journal of SolidState Circuits Page(s), 2013, 48(8):1943 - 1953. BENJAMIN B V, GAO P, MCQUINN E, et al. Neu- rogrid a mixed- analog digital multichip system or large- scale neural simulations. Proceedings of IEEE, 2014, 102(5): 699-716. MEROLLA P A, ARTHUR J V, ALVAREZ-ICAZA R, et al. A million spiking- neuron integrated circuit with a scalable communication network and interface. Science, 2014, 345(6197): 668-673. DAVIES M, SRINIVASA N, LINT H, et al. Loihi a neuromorphic manycore processor with on-chip learning. IEEE Micro, 2018, 38(1): 82 - 99. KIM S. NVM neuromorphic core with 64 k- cell(256- by- 256) phase change memory synaptic array with on-chip neuron circuits for continuous in-situ learning// IEEE International Electron Devices Meeting (IEDM). IEEE, 2015. CHUM, KIM B, PARK S, et al. Neuromorphic hardware system for visual pattern recognition with memristor array and CMOS neuron. IEEE Transactions on Industrial Electronics, 2015, 62(4): 2410 - 2419. SHI LP , PEI J, DENG N, et al. Development of a neuromorphic computing system// IEEE International Electron Devices Meeting(IEDM). IEEE, 2015. JIANG Y NHUANG P, ZHU, D B, et al. Design and hardware implementation of neuromorphic systems with RRAM synapses. IEEE Transactions on Circuits and Systems I: Regular Papers, 2018, 65(9): 2726 - 2738. YU S M, CHEN P Y. Emerging memory technologies: recent trends and prospects. Proceedings of the IEEE,2016, 8(2): 43 - 56. SURI M. CBRAM devices as binary synapses for low-power stochastic neuromorphic systems: auditory and visual cognitive processing applications// Proceeding of IEEE International Electron Devices Meeting (IEDM), 2012: 3-10. WANG Z. Memristors with diffusive dynamics as synaptic emulators for neuromorphic computing. Nature Materials, 2017, 16(1): 101-108. YANG J J, STRUKOV D B, STEWART D R. Memristive devices for computing. Nature Nanotechnology,2013, 8(1): 13-24. JO S H. Nanoscale memristor device as synapse in neuro-morphic systems.Nano letters, 2010, 10(4): 1297-1301. OHNO T. Short- term plasticity and long- term potentiation mimicked in single inorganic synapses. Nature Materials, 2011, 10(8): 591-595. WANG, Z RJOSHI SSAVELEV S E, et al. Memristors with diffusive dynamics as synaptic emulators for neuromorphic computing. Nature Materials, 2017, 16 (1): 101-108.,. . , 2019, 1 (2): 20-34.
REN Yuan, PAN Jun, LIU Jingjing, et al. Overview of artificial intelligence chip development . Micro/nano Electronics and Intelligent Manufacturing, 2019, 1 (2): 20-34.
CN10-1594/TN
