Cep telefonunda ilk dağıtılmış derin öğrenme sistemi, tasarım otomasyonu üst toplantısı DATE Best Paper
Xinzhiyuan Raporu
TARİH Avrupa'da Tasarım, Otomasyon ve Test, Avrupa'daki en büyük tasarım otomasyonu konferansıdır. DATE tarihinde toplanan kalabalık, araştırmacılardan geliştiricilere ve son kullanıcılara kadar neredeyse tüm ekosistemi kapsıyor. Spesifik olarak, tasarımcılar ve tasarım otomasyonu kullanıcıları, araştırmacılar ve tedarikçilerin yanı sıra, elektronik devrelerin ve sistemlerin yazılım ve donanım tasarımı, testi ve üretiminde uzmanlar. Ayrıca DATE, IC / SoC, yeniden yapılandırılabilir donanım ve gömülü sistemlere büyük önem vermektedir.
2017 TARİHİ bu ayın 27'sinde İsviçre'nin Lozan kentinde açıklandı. 5 günlük konferansta düzenli açılış konuşmaları, bildiri sunumları, dersler ve seminerlerin yanı sıra ticari bir sergi de yer alıyor.Serginin içeriği en gelişmiş tasarım ve test araçları, yöntemler, IP ve tasarım hizmetlerinin yanı sıra Otomotiv, kablosuz, telekomünikasyon ve multimedya uygulamaları gibi yeniden yapılandırılabilir ve diğer donanım platformları. Diğer önemli toplantılara kıyasla DATE içeriğinin hayatlarımızla daha yakından ilişkili olabileceği söylenebilir.
Her zirvede yer alan makaleler, alandaki "sıcak araştırma yönlerini" ve "en yeni araştırma yöntemlerini" temsil ediyor ve en iyi makaleler dikkate değer. 2017'de DATE, dört kategorinin her birinden biri olan 4 en iyi makale seçti: tasarım (D Track), uygulama (A Track), test (T Track) ve gömülü yazılım (E Track). onların arasında , 2017 TARİH Gömülü Yazılım E Track'in En İyi Bildiri Ödülü, Duke Üniversitesi Profesörü Yiran Chenin mobil platformlarda derin öğrenme bilgi işlem hakkındaki makalesine verildi - "MoDNN: Derin Sinir Ağları için Yerel Dağıtılmış Mobil Hesaplama Sistemi" .
* Profesör Chen Yiran, başvuru sırasında hala Pittsburgh Üniversitesi'ndeydi ve bu yılın başlarında Duke Üniversitesi'ne transfer oldu
Bu makalede, araştırmacılar, bir kablosuz yerel alan ağı (WLAN) derin sinir ağı (DNN) aracılığıyla çalışabilen MoDNN adlı yerel dağıtılmış bir mobil bilgi işlem sistemi önerdiler. MoDNN, birden çok mobil cihaz arasında yürütme paralelliği sunarak DNN'nin hesaplanmasını önemli ölçüde hızlandırabilir.
DNN, yalnızca büyük veri merkezlerinde değil, aynı zamanda şimdi, bazı akıllı telefonlar, bazı derin öğrenmeyi çalıştıracak, birkaç yaygın örnek verecek, mikrofondaki gürültüyü filtreleyecek veya hızlandırmayı silecek kadar güçlüdür. Toplanan verilerde gereksiz sinyaller.
Derin öğrenme, mobil uygulamaların performansını büyük ölçüde artırabilir ve akıllı telefonları daha "akıllı" hale getirebilir. Tüm bunların temeli, DNN'nin mobil terminalde de çalıştırılabilmesidir.
Araştırmacılar, "Bildiğimiz kadarıyla bu makale, WLAN'da çeşitli mobil cihazları DNN hesaplama kaynakları olarak ilk kullanan ve paralellik geliştirme ve veri aktarımının uygulanmasında birçok yenilik var" dedi.
Profesör Chen Yiran'ın grubunun araştırma sonuçlarına detaylı bir şekilde bakalım.
Kağıt MoDNN: Derin sinir ağları için yerel olarak dağıtılmış bir mobil bilgi işlem sistemi
Yazar: Mao drive Chen, Chen Xiang, Kent W. Nixon, Christopher Krieger, Chen Yiran
Özet
Derin sinir ağları (DNN'ler) birçok uygulamada yaygın olarak kullanılsa da, DNN'leri mobil platformlar gibi sınırlı kaynaklara sahip cihazlara dağıtmak genellikle zordur. Bazı mevcut girişimler, temel olarak altyapı desteği veya özel eğitim gerektiren istemci-sunucu bilgi işlem moduna veya DNN sıkıştırma modeline odaklanır. Bu makale, DNN uygulamaları için yerel olarak dağıtılmış bir mobil bilgi işlem sistemi olan MoDNN'yi önermektedir. MoDNN, eğitimli DNN modelini birden fazla mobil cihaza bölerek cihaz düzeyinde bilgi işlem maliyetlerini ve bellek kullanımını azaltabilir ve böylece DNN hesaplamalarını hızlandırabilir. Ayrıca, uyanma süresi ve iletim süresi dahil olmak üzere paralel olmayan verilerin aktarım süresini en aza indirmek için iki model bölümleme şeması tasarladık. Deneysel sonuçlar, çalışma düğümlerinin sayısı 2'den 4'e çıktığında, MoDNN'nin DNN hesaplamasını 2.17-4.28 × hızlandırabileceğini göstermektedir. Paralel uygulamaya ek olarak, performans ivmesi kısmen veri aktarım süresinin azaltılmasından kaynaklanır, örneğin geleneksel 2D ızgara bölümleri için% 30,02 oranında azaltılır.
Arka plan tanıtımı
Mobil ağların artan bant genişliği, yoğun nesne tanıma ve sınıflandırma görevlerini içeren mobil cihazlarda multimedya etkileşimli uygulamaların hızlı büyümesini teşvik etmiştir. Derin sinir ağları (DNN), yüksek doğruluk ve uyarlanabilirlikleri nedeniyle bu görevleri gerçekleştirmek için yaygın olarak kullanılmaktadır. Bununla birlikte, DNN'nin operasyonu önemli miktarda kaynak gerektirecektir. Temsili bir örnek, 2014 ImageNet Büyük Ölçekli Görsel Tanıma Mücadelesinin (ILSVRC14) en gelişmiş performansını temsil eden VGG'dir. VGG'nin 15M nöronu, 144M parametresi ve 3.4B bağlantısı vardır. Bir mobil cihaza yerleştirildiğinde, VGG'nin pratikte dayanılmaz olan bir görüntü tanıma sürecini tamamlaması yaklaşık 16 saniye sürer.
DNN'nin devasa bilgi işlem yükü ile mobil cihazların sınırlı bilgi işlem kaynakları arasındaki boşluk, kullanıcı deneyimi üzerinde olumsuz bir etkiye sahiptir ve bu boşluğu doldurmak için bazı araştırma çabalarını doğurmuştur. Örneğin, istemci-sunucu modeli, yüksek hesaplama maliyetlerini harici altyapıya etkili bir şekilde aktarabilen doğrudan bir çözümdür: Hauswald ve diğerleri (2014), ardışık düzenlenmiş bir makine öğrenimi yapısında bir veri boşaltma şeması önerdi; Li ve diğerleri (2014), DNN eğitimi için verimli bir dağıtılmış parametre sunucusu çerçevesi oluşturdu. Ek olarak, model sıkıştırma gibi DNN'nin hesaplama iş yükünü azaltmaya adanmış birçok çalışma vardır: Han ve diğerleri (2015) DNN modellerini derinlemesine sıkıştırmak için üç aşamalı bir ardışık düzen kullanır: budama, eğitimli niceleme ve Huffman kodlama; Chen ve diğerleri (2015) ) Parametre paylaşımı için ağırlıkları karma kovalar halinde gruplamak için düşük maliyetli bir karma işlevi tanıtıldı.
Önceki çalışmalarda tam olarak araştırılmamış önemli bir senaryonun olduğunu gördük. Yani, DNN'yi yerel olarak dağıtılmış bir mobil bilgi işlem sisteminde çalıştırmak. Tek bir mobil cihazın harici bir altyapı tarafından desteklendiği istemci-sunucu modeliyle karşılaştırıldığında, yerel olarak dağıtılmış bir mobil bilgi işlem sistemi, daha fazla yerel bilgi işlem kaynağı, daha yüksek gizlilik ve daha az ağ bant genişliği gibi birçok önemli avantaja sahiptir. Bağımlılık vb.
Bu makalenin ana katkıları:
WLAN'da bir bilgi işlem kümesi oluşturmak için DNN hesaplama için birden çok yetkili, WiFi özellikli mobil cihazın kullanımını araştırdı. Test verilerini (görüntüler gibi) taşıyan mobil cihaz, Grup Sahibi (GO), diğer cihazlar ise çalışma düğümleri gibi davranır;
İki tip DNN katmanının (evrişimli katman ve tam bağlı katman) özelliklerine ve farklı mobil cihazların hesaplama gücüne bağlı olarak, mobil cihazlar arasındaki veri aktarım süresini en aza indirmek için iki bölümleme şeması önerilmiştir;
Tüm yürütme sürecini planlamak için bilgi işlem kümesindeki her mobil cihazda ara yazılım kullanın.
Bildiğimiz kadarıyla bu makale, WLAN'da çeşitli mobil cihazları DNN hesaplama kaynakları olarak kullanan ilk makaledir.Paralellik geliştirme ve veri aktarımının uygulanmasında birçok yenilik vardır. Deneysel sonuçlar, çalışan düğüm sayısı 2 olduğunda Yüksek yürütme paralelliğinin gerçekleşmesi ve veri iletim süresinin önemli ölçüde azalması nedeniyle 4'e yükseltildiğinde, MoDNN, DNN hesaplamasını 2.17-4.28X hızlandırabilir.
MoDNN'nin sistem çerçevesi
Şekil 1, üç ana bileşen içeren MoDNN sistem çerçevesine genel bir bakıştır:
1) GO ve birden çok çalışma düğümünden oluşan yerel dağıtılmış ağ kümesi;
2) DNN modelini çalışan düğümdeki model işlemciye ayırın;
3) DNN veri iletimi ve tanımlama hizmetlerini uygulayan ara yazılım.
Şekil 1
Evrişimli katmanın (CL) hesaplama maliyetinin esas olarak girdi boyutuna bağlı olduğunu not ediyoruz. Bu nedenle, CL'yi bölmek için Önyargılı Tek Boyutlu Bölme (BODP) şemasını getirdik. Tam tersine, tamamen bağlı bir katmanın (FL) bellek kullanımı, esas olarak katmandaki ağırlıkların sayısı ile belirlenir. Bunun ışığında, Modifiye Spektral Co-Clustering (MSCC) ve Fine-Grain CrossPartition'dan (FGCP) oluşan bir ağırlık bölme şeması, özellikle seyrek FL için tanıtıldı. DNN eğitildikten sonra, DNN model bölümlemesinin uygulamada yalnızca bir kez yapılması gerektiğine dikkat etmek önemlidir. Bu nedenle, eğitilmiş DNN aynı kaldığı sürece, bölümleme maliyeti sistemin yürütülmesiyle paylaşılabilir.
Sistem uygulaması ve deneysel kurulum hakkında daha fazla teknik ayrıntı için lütfen makaleye bakın.
Sonuç
Bu yazıda yazar, mobil platformda DNN'nin paralel hesaplamasını gerçekleştirmek için MoDNN yerel dağıtılmış mobil bilgi işlem sistemini önermektedir. Evrişimli katman ve tam bağlantılı katman, genel yürütme süresini etkileyen ana DNN bileşenleri olarak kabul edildiğinden, yazar, her bir çalışan düğümün iş yükünü dengelemek ve verileri en aza indirmek için BODP, MSCC ve FGCP gibi birkaç gelişmiş bölümleme şeması önerir. Iletim süresi. Deneyler, MoDNN'nin DNN hesaplamalarında doğrusal performans hızlandırmadan daha iyi performans gösterdiğini ve DNN uygulamalarında mobil platformların büyük potansiyelini ortaya koyduğunu göstermektedir.
[Xinzhiyuan'ın resmi hesabını girin ve "iletişim kutusuna" girin 170328 " Makaleyi indirin
27 Mart'ta Xinzhiyuan Açık Kaynak Ekolojik Yapay Zeka Teknolojisi Zirvesi ve Xinzhiyuan 2017 Girişimcilik Yarışması Ödül Töreni görkemli bir şekilde düzenlendi. "BAT" dahil olmak üzere Çin'in ana akım AI şirketleri ve 600'den fazla sektör eliti 2017 Çin'e ortak katkıda bulunmak için bir araya geldi Yapay zekanın gelişimi güçlü bir darbe aldı.
Orijinal metni okumak ve konferans kaydının metin versiyonunu görmek için tıklayın
