CVPR 2019 Sözlü kağıt yorumlama | Baidu, ağ sıkıştırma ve hızlandırma için yeni bir budama algoritması önerdi
Leifeng.com AI teknolojisi inceleme basını: Baidunun ağ sıkıştırma ve hızlandırma konulu "Derin Evrişimli Sinir Ağları Hızlandırması için Geometrik Medyan aracılığıyla Filtre Budama" adlı makalesi, CCF Sınıf A akademik konferans CVPR 2019 tarafından sözlü bir makale olarak dahil edildi. Bu makale yeni bir filtre tabanlı geometrik merkez (geometrik medyan) önermektedir. ) Sinir ağını sıkıştırmak ve hızlandırmak için budama algoritması. Bu makale, yazarlardan biri olan He Yang tarafından Lei Feng için sağlanan makalenin bir yorumudur.
Kağıt adresi: https://arxiv.org/pdf/1811.00250.pdf
Github adresi: https://github.com/he-y/filter-pruning-geometric-median
1. Arkaplan
Evrişimli sinir ağları (CNN) genellikle daha derin ve daha geniş yapılar yoluyla daha iyi performans elde eder, ancak sinir ağlarının mobil cihazlara dağıtılması gerektiğinde, sinir ağlarının ihtiyaç duyduğu kaynaklar mobil cihazların sınırlamalarını çok aşar. Örneğin, ResNet-152, 60,2 milyon parametreye sahiptir ve 231 MB depolama alanı gerektirir; ek olarak, tek bir görüntüyü işlemek için 380 MB'den fazla bellek ve 1,13 milyar kayan nokta işlemi (CPU'da 6 saniye sürer) gerektirir. Bu nedenle mobil cihazların ihtiyaçlarını karşılayacak yüksek verimli modeller bulmamız gerekiyor.
Ağ budama, ağ sıkıştırma ve hızlandırmada önemli bir yöndür.LeCun 1989'da önerdiğinden beri, hızla gelişmiştir. Şimdi esas olarak 2 yöne ayrılmıştır: 1) ağırlık budama; 2) filtre budama. Filtre budamanın, normal bir model elde edebilmesi, böylece bellek tüketimini azaltması ve ağ çıkarımını hızlandırması dahil olmak üzere, ağırlık budamaya göre bir dizi avantajı vardır.
Şekil 1: Filtre budama
Yukarıdaki şekil, tipik bir filtre budama işlemidir. Mevcut yöntemler, filtre normu (p-norm) ne kadar küçükse, ilgili özellik haritasının 0'a ne kadar yakın ve ağa katkısı ne kadar az olursa, bu filtrelerin ağın performansını ciddi şekilde etkilemeden kaldırılabileceğine inanmaktadır. . Bu nedenle, filtrenin p-normunu önemi sıralamak ve filtreyi küçük bir p-normu ile silmek için kullanıyoruz.
2. Mevcut filtre norm değerlendirme göstergeleriyle ilgili sorunlar
Şekil 2: Norm Değerlendirme Endeksi Koşulları
Yukarıda bahsedilen norm değerlendirme indeksi aslında iki örtük koşulu içerir (Şekil 2): 1) normun standart sapması yeterince büyüktür; 2) en küçük norm sıfıra yakındır.
Şekil 3: Filtre normu dağılımı için olası senaryolar
Bununla birlikte, gerçek filtre norm dağılımı yukarıdaki koşulları karşılamayabilir (Şekil 3). 1) Normun standart sapması çok küçük; 2) minimum normun değeri hala çok büyük. Durum 1 ise, birçok filtre benzer öneme sahiptir ve hangisinin kaldırılması gerektiğini bilmiyoruz. Durum 2 oluşursa, özellik haritası 0'a yakın olan filtreyi bulmamız bizim için zordur.
Şekil 4: Gerçek filtre norm dağılımı
Önceden eğitilmiş gerçek ağları analiz ettik (Şekil 4) ve bu ağların gerçekten de yukarıda bahsedilen durumu sergilediğini gördük. Lei Feng
3. Geometrik merkeze (FPGM) dayalı filtre değerlendirme indeksi
Şekil 5 Norm ve geometrik merkeze dayalı değerlendirme indeksi
Geometrik merkezin tanımı (Geometrik Medyan, GM):
https://baike.baidu.com/item/%E5%BD%A2%E5%BF%83
Şekil 6: Geometrik merkez
Geometrik merkez, Öklid uzayında bir noktanın merkezinin tahminidir. Filtrelerin Öklid uzayında da noktalar olduğunu düşünüyoruz, böylece bu filtrelerin ortak özelliği olan GM'nin hesaplamasına göre bu filtrelerin "merkezini" alabiliriz. Bir filtre bu GM'ye yakınsa, bu filtrenin bilgilerinin diğer filtrelerle örtüştüğü ve hatta gereksiz olduğu düşünülebilir, böylece bu filtreyi ağ üzerinde büyük bir etkiye sahip olmadan kaldırabiliriz. Çıkardıktan sonra işlevi başka filtrelerle değiştirilebilir.
Şekil 7: Geometrik merkeze dayalı filtre değerlendirme indeksi
Sonuç olarak, norm ile hiçbir ilgisi olmayan, norm değerlendirme indeksinin sınırlamasını kıran bir filtre değerlendirme yöntemi FPGM elde ederiz.
4. Deney
Cifar-10 veri setinde, ResNet-110'da FPGM hesaplaması% 52'den fazla azaltılır ve bağıl doğruluk% 2,69 oranında artırılır. Ek olarak, ILSVRC-2012 veri setinde FPGM ayrıca ResNet-101'deki hesaplama miktarını% 42'den fazla düşürdü.
Şekil 8: CIIFAR-10 deneysel sonuçları hakkında ResNet
Şekil 9: ImageNet deneysel sonuçlarında ResNet
Şekil 10: Görselleştirme sonuçları
ResNet-50'nin ilk evrişimli katmanının özellik haritasını görselleştirdik. Kırmızı olanlar (7,23,27,46,56,58) FPGM tarafından seçilen ve kaldırılması gereken kanallardır. Kaldırılan bu kanal özelliklerinin esas olarak iki bölümden oluştuğu görülebilir. 1) Bambu iskeleti, 2) Bir pandanın ana hatları. Bambu iskeleti, kalan (5,12,16,18,22) kanalla değiştirilebilir ve pandanın ana hatları, kalan (0,4,33,34,47) kanalla değiştirilebilir, böylece doğrulanır. Filtre budama teorisini geometrik merkeze dayandırıyoruz.
5. Özet
Mevcut filtre norm değerlendirme indeksini tartıştık ve filtrenin geometrik merkezine dayalı bir budama algoritması önerdik. Yöntemimiz ayrıca sinir ağını daha da sıkıştırmak ve hızlandırmak için matris çarpanlarına ayırma, ağırlıklandırma ve diğer yöntemleri birleştirebilir.
