Kambriyen Araştırma Enstitüsü Dekanı Du Zidong: Kambriyen, AI işlemcilerle hangi sorunları çözdü?
Yapay zeka ya da derin öğrenme alanında Kambriyen ülkemizde büyük bir silah haline geldi ve bunu herkes biliyor ama en bilineni Huawei'nin Kambriyen IP'si kullanması. Yapay zeka işlemcisiyle ilgili sorunların çözüldüğü Kambriyen'in özel geliştirilmesine gelince, bunlar hala hafifçe göz ardı ediliyor ve çok az ilgi var.
22 Eylül'de Pekin'deki CCF YOCSEF TDS konu araştırma sınıfında, Kambriyen Araştırma Enstitüsü Dekanı Du Zidong, tema olarak "Derin Öğrenme İşlemcisi" ni aldı ve akademik alanda Kambriyen araştırma ve çözümlerini tartıştı. Wu Ji'nin birkaç nesli tarafından ortaya konan "Jiangshan" paylaşıldı ve yorumlandı.
İnsan beyninden yapay sinir ağına
2007'de yapay zeka dalgası derin öğrenmeye odaklandı ve yapay sinir ağları yeniden yükseldi. Yapay sinir ağları önerisi, aslında konferanstaki uzmanların yapay zeka kavramını önerdiği 1956'daki Dartmouth Konferansı'na kadar geri götürülebilir. Bunu, insan beynini taklit eden ve nöronlar yoluyla bilgi ileten yapay bir sinir ağı izliyor.
Biyolojik nöronlar ve yapay nöronlar arasında hala bazı farklılıklar vardır. Biyolojik nöronlar çok karmaşıktır. İnsan beyninde 86 milyar nöron vardır. Biyologların tahminlerine göre, her bir nöronda 1.000 sinaps vardır, bu da her nöronun 1.000 diğer nörona bağlı olduğu anlamına gelir. Her nörona özgü böylesine büyük ölçekli bir beyin dokusu için, sadece bu tür bağlantılar değil, aynı zamanda birçok kimyasal ve fizyolojik olay da vardır.
Böylesine karmaşık bir nöron için, araştırmacıların daha önce yaptığı şey, onu basit bir soyut modele dönüştürmekti. Basitleştirilmiş model esas olarak iki bölümden oluşur: girdi ve ağırlık.
Bir girdi vektörü ve ağırlık vektörü ise, aslında bir iç çarpımdır ve daha sonra bir aktivasyon fonksiyonu oluşturulur.Doğrusal olmayan aktivasyon fonksiyonu tanıtıldıktan sonra, doğrusal olmayan sınıflandırma problemi üzerinde belirli bir etkiye sahip olacaktır.
Tek bir nörondan çoklu nörona
Tek bir nöronun iki girişi vardır, iki sınıflandırma problemiyle başa çıkmak için kullanılabilir, tipik bir örnek, iki boyutlu bir düzlemde en uygun segmentasyon düzlemini bulmaktır. Model, farklı girdi örnekleri aracılığıyla eğitilir ve bulunan bölümleme düzlemleri sürekli olarak revize edilir. Birden fazla nöron birleştirilirse, bazı daha karmaşık görevler tamamlanabilir. Örneğin, görüntü tanıma gibi görevleri başarmak için birden çok sınıflandırmayı tamamlayabilir ve hatta bazı diğer karmaşık işlemleri ekleyebilirsiniz.
Akıllı işlemciler sadece gerekli
Aynı zamanda, yüksek bilgi işlem gücü katı bir talep haline geldi.
Görüntü tanıma açısından, geçmişte özel bir işlemci gerektirmeden, özellikle oyun alanında görüntü işleme için artan bir talep olmuştur.Görüntü çözünürlüğünün iyileştirilmesi ve gerçek zamanlı işleme talebi ile, görüntü işleme ayrı bir görev olarak özel işlemeye aktarılmıştır. Cihaz bir zorunluluk haline geldi, yani bir GPU var;
Sinyal işleme açısından, benzer çok görevli senaryoların ortaya çıkması nedeniyle, sinyal işlemeyi işleme için özel ekipmana ve dolayısıyla mevcut DSP'ye aktarmak da gereklidir;
Akıllı donanımın ortaya çıkması ve ilgili alanlarda bilgi işlem gücü talebinin sürekli artmasıyla birlikte, güç tüketimi ve gecikme için daha yüksek gereksinimleri olan akıllı işlemciler, yukarıda belirtilen işlemcilerden sonra başka bir adanmış işlemci türü haline geldi.
Bulut hizmetlerinden akıllı telefonlara, gelecekte her bilgisayar özel bir derin öğrenme işlemcisi gerektirebilir.Bu pazarın, her yıl 640 milyon yonga ve on milyarlarca dolarlık satışla GPU ile aynı boyutta olması bekleniyor.
Kambriyen akademik geçmişi
Leifeng.com'a göre, 2008'deki ilk araştırma sonuçlarından 2016'da Cambrian Technology Company'nin kurulmasına kadar, 2013'te ilk uluslararası derin öğrenme işlemcisinin (DianNao) piyasaya sürülmesi de dahil olmak üzere küresel yapay zeka akademisinde birçok akademik başarı elde edildi. 2014 yılında, dünyanın ilk çok çekirdekli derin öğrenme işlemcisi (DaDianNao) piyasaya sürüldü. 2015 yılında, dünyanın ilk genel amaçlı makine öğrenimi işlemcisi (PuDianNao) ve kameradaki akıllı tanıma IP'si (ShiDianNao) piyasaya sürüldü. 2016 yılında, dünyanın ilk sinir ağı genel talimatı yayınlandı. Set (Cambricon) vb.
2015 yılında piyasaya sürülen genel makine öğrenimi işlemcisi hakkında konuşan Kambriyen Araştırma Enstitüsü Dekanı Du Zidong, Pek çok alanda, özellikle bazı küçük örnek uygulama alanlarında, derin öğrenme en iyi seçenek değil ve hatta SVM (Destek Vektörü) Makine, destek vektör makinesi) yeterli. Bu tür bir uygulama için derin öğrenme yerine bazı geleneksel makine öğrenimini kullanabiliriz. 2015 yılında bu genel amaçlı makine öğrenimi işlemcisini yapmamızın ana nedeni budur. "
Ayrıca Cambrian Technology'nin 2016'da kurulduktan sonra Cambrian 1A işlemcisini piyasaya sürdüğü kadar derin bir akademik birikime dayanıyor. Ek olarak, Kambriyen makine öğrenimi işlemcisi MLU100, 1.3GHz ana frekansı, 166Tops tepe noktası, 80W ortalama güç tüketimi, 110W maksimum güç tüketimi ile TSMC 16nm sürecini kullanıyor.
Derin öğrenme için kullanılan ASIC'in üç ana çelişkisi
Geleneksel ASIC'in belirli bir algoritmayı sertleştirme fikri, derin öğrenme işleme ihtiyaçlarını iyi çözemez.Üç ana çelişki vardır:
Sınırlı ölçekli donanım ile keyfi ölçekli algoritmalar arasındaki çelişki
Sabit yapılı donanım ile sürekli değişen algoritmalar arasındaki çelişki
Enerjisi kısıtlı donanım ile hassaslık öncelikli algoritmalar arasındaki çelişki
Enerji tüketimini örnek olarak alırsak, mevcut görüntü ekranı kademeli olarak önceki yüksek çözünürlüklü ve ultra netten 1080P ve 4K'ya doğru gelişti. Artık ana akım kameralar 1080P hatta 4K sırasına girmeye başladı. Bu ölçekte bir algoritma için, bunun sınırlı ölçekli bir donanıma nasıl yerleştirileceği büyük bir sorun haline gelir.
Kambriyen çözümü
Geçmişte Kambriyen tarafından yapılan akademik çalışmalar, ağırlıklı olarak bu üç çelişkiye odaklanmış ve araştırma çalışmaları yürütmüştür.
Sınırlı ölçekli donanım ve rastgele ölçekli algoritmalar arasındaki bu çelişkiyi çözmek için donanım nöron sanallaştırmasını kullanma. Yenilik, sınırlı ölçekli donanımı, zaman bölmeli çoklama yoluyla rastgele bir büyük ölçekli yapay sinir ağına sanallaştırmaktır. Anahtar teknoloji, kontrol mimarisi ve bellek erişim mimarisidir Kontrol mimarisi, donanım nöronlarının dinamik konfigürasyonunu ve çalışma zamanı programlamasını destekler ve bellek erişim mimarisi, giriş nöronlarının, çıkış nöronlarının ve sinapsların ayrı çip üzerinde depolanmasını destekler.
Yazılım açısından, tüm yazılımı veya ağı farklı parçalara böldük ve ardından donanım üzerinde işlemler gerçekleştirip, verileri giriş verilerinin farklı özelliklerine göre ayrı ayrı depolayarak belleğe erişirken yerel özelliklerin verimli bir şekilde kullanılmasını sağlıyoruz.
Donanım bilgi işlem biriminin zaman bölmeli çoklamasının (sanallaştırma) şematik diyagramı aşağıdaki şekilde gösterilmektedir. Bir donanım aritmetik birimi aynı anda iki yeri işleyebiliyorsa, şekilde gösterilen ağ için, gerekli verileri farklı zamanlarda yüklemesi veya farklı çıkış nöronlarını hesaplaması ve ardından tüm ağı tamamlamak için gidiş-dönüşlerle çoklama yapması gerekir. Operasyon.
Bunlar arasında, giriş nöronlarını çoklayarak, gerekli iki nöron çipe yüklendiğinde, bir sonraki adım, bellek erişimlerinin sayısını koruyabilen iki giriş nöronunu yeniden kullanmaktır. Bir nöron veya iki gerekli veri tamamen tükendikten sonra, bu tür bir hesaplamanın bir sonraki adımını gerçekleştirmek için çipe yeni veriler yüklenir.
Sabit yapı donanımı ile sürekli değişen algoritma arasındaki çelişkiyi genel komut seti aracılığıyla çözün. Temel akademik yenilik, çeşitli derin öğrenme (makine öğrenimi) algoritmalarında ortak olan temel operatörleri otomatik olarak çıkarmak ve bu algoritmaları verimli bir şekilde işlemek için ilk derin öğrenme talimat setini tasarlamaktır. Anahtar teknoloji, operatör kümeleme ve bilgi işlem mimarisidir. Operatör kümeleme, verilerin özelliklerine göre birkaç kategoriye ayrılan algoritmanın çekirdek parçalarını otomatik olarak çıkarır; bilgi işlem mimarisi, ortak nöron devreleri tasarlayarak değişken hassasiyetli boru hattı aşamalarını destekler.
Cambrianın genel bir talimat seti tasarlama stratejisi esas olarak üç adıma bölünmüştür;
Modellerdeki, kullanımlardaki, hesaplama karmaşıklığındaki vb. Farklılıkların analizi yoluyla, hızlandırma için farklılaştırılmış algoritmalar seçilir;
Verinin hesaplama modelini ve veri yerelliğini analiz edin, en çok zaman alan / ortak işlem setini bulun ve her algoritmanın bellek erişim gereksinimlerini azaltmak için algoritmanın yerelliğini inceleyin;
İşlevsel bileşenler veya yonga üzerinde depolama için uygun bir hızlandırıcı yapısı tasarlayın.
Seyrek sinir ağı işlemci yapısı, enerji kısıtlı donanım ile hassas öncelikli algoritmalar arasındaki çelişkiyi çözer. Akademik yeniliği, sinir ağının hesaplama hataları, seyrek sinir ağı işleme ve sınırlı enerji tüketimi ile yüksek hassasiyetli akıllı işleme toleransının kullanılmasında yatmaktadır.
Sinir ağındaki parametrelerin miktarı büyük ve veri miktarı da büyük.Aynı zamanda nöronun ağırlığı da çok önemli değil.Bu veriler çıkarılırsa nihai hesaplanan tanıma sonucunu etkilemeyecektir. Bu nedenle seyreklik şu ana kadar önemli bir veri işleme yöntemidir.
Sinir ağı modelindeki en önemli şey tanıma sonucudur.Tanıma sonucu mutlak bir miktar değil, göreceli bir niceliktir. Örneğin, geleneksel Softmax işleme için kullanılır ve son olarak en büyük nöron seçilir. Seyrek bir sinir ağı veya değişken hassasiyetli bir sinir ağı kullanılarak hesaplanan nihai çıktı sonucunun hala önceki büyük nöron olduğu garanti edilebildiği sürece, nihai çıktı sonucunun yanlış olmadığı düşünülebilir. Elbette hesaplama sonucundaki hata ve kayıp değişecektir.
Kambriyen Ar-Ge ekibi, tanıma sonuçları arasındaki hesaplama hatalarındaki farkı dağıtmak için sinir ağlarını kullandı, böylece tüm ağda bulunan nöronların ve ağırlıkların sayısı büyük ölçüde azaltıldı. Deneysel verilere göre, sonuç ağırlıkların% 90'ının kaldırılabilmesidir. Yani teorik olarak, hesaplama ve bellek erişim verimliliği seyrek işleme yoluyla on kat azaltılabilir. İşlemci yapısı, hesaplama ve bellek erişiminin verimliliğini artırabilen bu tür seyrek özellikler için tasarlanmıştır.
özet
Cambrianın ana ürünleri artık akıllı işlemci IP'si ve özellikle akıllı yongalar açısından akıllı yongaları içeriyor. Ürün açısından Huawei ve diğer akıllı telefonlara uygulandı; teknik açıdan Cambrian kendi ürünlerini de geliştirdi. İşlemci mimarisi ve komut seti, donanım nöron sanallaştırması, genel komut setlerinin geliştirilmesi ve derin öğrenme için ASIC'lerin üç ana problemini çözmek için seyrek işlemci mimarisinin kullanılması yoluyla.
Aslında, Kambriyen'den önce Loongson araştırılmış ve geliştirilmişti. Çin Bilimler Akademisi geçmişine sahip iki ekibe ek olarak Godson'un gölgesi de Kambriyen Ar-Ge ekibinde görülebilmektedir.Özellikle Kambriyen'in kurucularından Profesör Chen Yunji araştırmacı Hu Weiwu ve Hu Weiwu ile birlikte çalışmıştır. Godson ekibinin bel kemiği.
Zamanın değişmesinden sonra, istihbarat dalgası altında, Du Zidong, Lei Feng.com editörü, Kambriyen'in şu anda esas olarak iki ekolojinin inşasını desteklediğini söyledi: Yazılım geliştiricilere daha iyi programlama yetenekleri (küçük ekoloji) sağlamak için Kambriyen çipi aracılığıyla ; Akıllı işlemcilerin (büyük ekoloji) yukarı ve aşağı ekolojik yapısını teşvik edin.
Şimdi baktığımızda, bu istihbarat dalgasında bu bayrağı rüzgara karşı yükseltmek ve yerli akıllı cihazlara daha yüksek kaliteli yapay zeka işlemcileri getirmek istiyorsak, Kambriyen için hala daha uzun bir yol var.
