FSNet: Derin evrişimli sinir ağlarını sıkıştırmak için evrişim çekirdek özetini kullanın
Resmi kaynaklara göre, ICLR 2020 konferansı çevrimdışı konferansı iptal edecek ve 25-30 Nisan tarihleri arasında sanal bir konferans düzenleyecek. Bu konferansta 687 bildiri kabul edilen (48 sözlü bildiri, 107 spot bildiri ve 531 poster bildirisi) olmak üzere toplam 2594 bildiri sunuldu ve kabul orani% 26,5 oldu.
Bu makale, ICLR 2020'de yayınlanan "FSNet: Filtre Özeti ile Derin Evrişimli Sinir Ağlarının Sıkıştırılması" makalesini tanıtmaktadır. Bu çalışma, derin evrişimli ağlar için farklılaştırılabilir parametre paylaşımına dayalı yeni bir model sıkıştırma yöntemi önermektedir.
Metin | Yingzhen Yang
Editör | Jia Wei
Kağıt bağlantısı:
https://openreview.net/forum?id=S1xtORNFwH
Derin sinir ağlarının sıkıştırılması ve hızlanması, derin öğrenme alanında her zaman sıcak bir sorun olmuştur. Bu makale, derin evrişimli ağlar için farklılaştırılabilir parametre paylaşımına dayalı yeni bir model sıkıştırma yöntemi önermektedir.
Evrişimsel ağın parametrelerinin esas olarak evrişim çekirdeği üzerinde yoğunlaştığına dikkat edin Yeni yöntem, aynı evrişim katmanındaki tüm evrişim çekirdeklerini temsil etmek için Filtre Özeti adı verilen yeni bir kompakt yapı önerir.
Temel ağın her bir evrişimli katmanının tüm evrişim çekirdeklerini bir evrişim çekirdek özeti ile değiştiriyoruz Sonuçta ortaya çıkan ağa bir evrişim çekirdek özet ağı (Filtre Özet Ağı veya FSNet) adı verilir. Evrişim çekirdek özet ağında, aynı evrişim katmanının tüm evrişim çekirdekleri, evrişim çekirdek özetinde örtüşen tensörler olarak temsil edilir.
Bitişik evrişim çekirdeklerinin örtüşen alanlarında doğal olarak parametreleri paylaştığı için, evrişim çekirdeği özetinin parametre miktarı, temel ağın karşılık gelen katmanındaki tüm evrişim çekirdeklerinin parametre miktarından çok daha küçüktür ve evrişim çekirdek özet ağının toplam parametre miktarı da karşılık gelir. Temel ağının toplam parametre sayısından çok daha küçüktür. Evrişim çekirdek özeti, sıkıştırma oranını daha da iyileştirmek için parametre niceleme yöntemleriyle birleştirilebilir.
Evrişim çekirdek özet ağının deneysel sonuçlarını, görüntü sınıflandırma ve nesne saptama gibi iki bilgisayarla görme görevi üzerinde gösteriyoruz.
Görüntü sınıflandırma görevinde, evrişim çekirdeği özet ağının CIFAR-10 ve ImageNet veri kümelerindeki sıkıştırma oranı, geleneksel evrişim çekirdek budama yöntemini aşıyor.
Hedef algılama görevinde temel ağ olarak SSD300 ve eğitim seti olarak PASCAL Görsel Nesne Sınıfları (VOC) 2007/2012 kullanıyoruz. Parametre niceleme yöntemiyle, evrişim çekirdek özet ağı yalnızca 0.68M parametreler kullandı ve VOC 2007 test setinde% 70.00 mAP'ye ulaştı. Bir kontrol olarak, MobileNetV2 SSD-Lite (Sandler ve diğerleri, 2018), aynı eğitim seti ve test setinde% 68,60 mAP'ye ulaşmak için 3,46M parametresi gerektirir.
Evrişim çekirdek özet ağının ve sinir ağı mimarisinin otomatik araması fikrini daha da birleştiriyor ve Differentiable FSNet veya DFSNet'i öneriyoruz.
Modeli, temel ağ olarak en son Farklılaştırılabilir Mimari Aramasında (DARTS) kullanıyoruz ve CIFAR-10 verilerinin eğitim seti üzerinde eğitilmiş farklılaştırılabilir evrişim çekirdek özet ağı yalnızca 1,88 milyon parametre kullanıyor CIFAR-10 test setinde, sınıflandırma doğruluk oranı% 97.19'a ulaştı. Temel ağın (DARTS) 3,13M parametre miktarı ve% 97,50 doğruluk oranıyla karşılaştırıldığında, türevlenebilir evrişimli çekirdek özet ağı, yalnızca% 0,31 doğruluk pahasına parametre miktarını% 40 azaltır.
Sinir ağı mimarisi otomatik arama teknolojisinin gelişmesiyle birlikte, (farklılaştırılabilir) evrişim çekirdeği özet ağının gelecekte daha büyük bir rol oynayacağına inanıyoruz.
