"AAAI Oral, Otomasyon Enstitüsü, Çin Bilimler Akademisi" Hash'ten evrişimli sinir ağına
Xinzhiyuan önerilir
Kaynak: Otomasyon Enstitüsü, Çin Bilimler Akademisi
Yazar: Cheng Jian Araştırma Ekibi
Yeniden basılan editör: Zhang Qian
Xin Zhiyuan Rehberi Araştırmacı Cheng Jianın ekibi kısa süre önce karma tabanlı bir ikili ağ eğitim yöntemi önerdi ve iç ürün karmasını sürdürme ile ikili ağırlık ağı arasındaki yakın ilişkiyi ortaya çıkararak ikili ağ parametrelerinin esasen şuna dönüştürülebileceğini gösterir. Hash problemi, ResNet-18'de, bu yöntemin doğruluğu mevcut en iyi yöntemden% 3 daha yüksektir.
Son yıllarda, derin evrişimli sinir ağları, bilgisayarla görmenin çeşitli görevlerine girdi ve görüntü tanıma, hedef izleme ve anlamsal bölümleme alanlarında büyük atılımlar yaptı. Bazı senaryolarda, derin evrişimli ağların mevcut performansı, pratik uygulamalarda dağıtım için yeterlidir ve bu da insanları daha fazla uygulamada derin öğrenmeyi uygulamaya teşvik eder.
Bununla birlikte, derin evrişimli ağlar, gerçek dağıtım sırasında parametre hacmi ve zaman karmaşıklığı açısından iki sorunla karşı karşıyadır.Bir yandan, derin ağların devasa parametre hacmi, büyük miktarda sabit disk depolama ve işletim belleğini işgal edecektir. Bu donanım kaynakları, bazı mobil ve Gömülü cihazlar genellikle çok sınırlıdır; Öte yandan, derin ağın hesaplama karmaşıklığı nispeten yüksektir, bu da ağ çıkarım hızını çok yavaşlatacak ve mobil cihazların güç tüketimini artıracaktır.
Bu tür sorunları çözmek için birçok ağ hızlandırma ve sıkıştırma yöntemi önerilmiştir; bunlardan ağ parametresi ikili hale getirme, ağ parametrelerini ikili parametreler olarak ifade etme yöntemidir. İkili ağdaki parametreler yalnızca +1 ve -1 değerine sahip olduğundan, çarpma işlemi toplama işlemi ile değiştirilebilir. Çarpma, toplamadan daha fazla donanım kaynağı ve hesaplama döngüsü gerektirdiğinden, çarpma yerine toplama kullanmak ağ hızlandırma amacına ulaşabilir.
Öte yandan, orijinal ağ parametrelerinin depolama formatı 32 bitlik bir kayan nokta sayısıdır ve ikili parametre ağı, +1 veya -1'i temsil etmek için yalnızca 1 bit kullanır ve 32 kat sıkıştırma amacına ulaşır. Bununla birlikte, parametreleri 32 bitten 1 bit'e nicemlemek, büyük bir niceleme kaybına neden olacaktır.Geçerli ikili ağ eğitim yöntemleri, genellikle ağ doğruluğunda büyük bir düşüşe yol açar.Büyük bir boyut getirmeden ikili ağ parametreleri nasıl öğrenilir Azalan doğruluk bir sorundur.
Ağdan figür
Hu Qinghao ve Otomasyon Enstitüsü'nün Cheng Jian araştırma ekibinden diğerleri, yakın zamanda karma tabanlı bir ikili ağ eğitim yöntemi önerdiler. Innerproduct Preserving Hashing ile ikili ağırlık ağı arasındaki yakın ilişkiyi ortaya çıkarır , Bu, ağ parametrelerinin ikilileştirilmesinin esasen bir hash problemine dönüştürülebileceğini gösterir.
Eğitimli tam hassasiyetli kayan noktalı 32 bit ağ parametreleri verilmiştir
, İkili ağırlık ağının (BWN) amacı, ikili ağın parametrelerini öğrenmektir.
Ve orijinal ağ doğruluğunu koruyun. İkili parametreleri öğrenin
En basit yol,
Ve ikili parametreler
Bununla birlikte, niceleme hatası ile ağ doğruluğu arasında belirli bir boşluk vardır.Kantizasyon hatasını en aza indirmek, ağ doğruluğunu doğrudan geliştirmeyecektir, çünkü her katmanın niceleme hatası katman katman birikecektir ve niceleme hatası Giriş verilerindeki artışa tabidir.
İkili parametreleri öğrenmenin daha iyi bir yolu
Bunun yolu, iç ürün benzerliğindeki farkı en aza indirmektir. Ağın belirli bir katmanının girdisinin
,
Orijinal iç çarpım benzerliği mi?
Kantifikasyon sonrası iç ürün benzerliği, minimize
karşı
Aradaki hata daha iyi ikili parametreleri öğrenebilir
. Hashing açısından bakıldığında,
Verilerin orijinal uzaydaki benzerliğini veya komşu ilişkisini temsil eder,
Veriler Hamming uzayına yansıtıldıktan sonra iç çarpımın benzerliğini temsil eder. Hashing'in işlevi, verileri Hamming uzayına yansıtmak ve Hamming uzayındaki orijinal uzaydaki verilerin komşu ilişkisini sürdürmektir. Şimdiye kadar ikili parametreleri öğrenin
Problemi, iç ürün benzerliği altında bir hash problemine dönüştürülür: Hash, esas olarak verileri Hamming uzayına yansıtmak ve orijinal uzaydaki iç ürün benzerliğini korumaktır.
Ekip önce yöntemi VGG9 küçük ağında doğruladı ve AlexNet ve ResNet-18'deki mevcut ikili ağırlık ağını aştı. Özellikle ResNet-18'de bu yöntemin doğruluğu mevcut en iyi yöntemden% 3 daha yüksektir. İyi deneysel sonuçlar elde edildi.
Tablo 1: VGG9'da farklı yöntemlerin sınıflandırma hata oranı
Tablo 2: AlexNet'teki farklı yöntemlerin sınıflandırma doğruluğu
Tablo 3: ResNet-18'de farklı yöntemlerin sınıflandırma doğruluğu
Dasgupta ve arkadaşları Kasım 2017'de "Science" dergisinde meyve sineğinin koku alma sinir devresinin aslında özel bir tür karma olduğunu ve hash projeksiyonunun seyrek bir ikili bağlantı olduğunu belirten bir makale yayınladı. İkili ağırlık ağını (BWN) karşılaştırarak, ikisi arasında yakın bir ilişki olduğunu bulabiliriz, Her şeyden önce, her iki ağ da ikili bağlantılardır; bu, ikili ağırlıkların biyolojik sinir devrelerinde biyolojik bir temele sahip olduğu anlamına gelir; bu, aynı zamanda ikili ağırlık ağlarının temelindeki mekanizma için ilham sağlar; ikincisi, her ikisi de içindir Komşu ilişkisini sürdüren ve bir karma problem olarak tanımlanabilecek bu fenomen, sinir ağının bazı bağlantılarının komşu ilişkisini sürdürmek için olduğunu gösterir. Son olarak, Drosophila'nın koku alma devresindeki seyrek bağlantı ve evrişimli katmanın parametre paylaşım mekanizması, girişin bazı alanlarına bağlı olmaları bakımından benzerdir.
İlgili çalışma AAAI2018 tarafından kabul edilmiştir ve konferansta sözlü bir rapor verecektir.
Referans malzemeleri:
Qinghao Hu, Peisong Wang, Jian Cheng. Hashing'den CNN'lere: Hashing ile İkili Ağırlık Ağlarının Eğitimi. AAAI 2018
Dasgupta S, Stevens C F, Navlakha S.Temel bir hesaplama problemi için bir nöral algoritma. Science, 2017, 358 (6364): 793-796.
Takım Profili:
Beynin bilişsel mekanizmasından ilham alan araştırmacı Cheng Jian ekibi, beyin benzeri akıllı bilgi işlem teknolojilerinin ve endüstrilerinin gelişimini teşvik etmek için beyin benzeri çipler, derin sinir ağı verimli hesaplama ve büyük ölçekli hesaplama platformları gibi temel konularda araştırmalar yapacak.
