120 kata kadar performans artışı! Didi intern, otomatik yapılandırılmış bir dal azaltma ve sıkıştırma algoritması çerçevesi önerir
Aynı doğruluk oranı altında, gerçek parametre sıkıştırması, önceki yönteme kıyasla 120 kata kadar artırılabilir.
Bu, adı verilen Didi intern tarafından önerilen otomatik yapılandırılmış dal azaltma ve sıkıştırma algoritması çerçevesinin getirdiği performans iyileştirmesidir. Otomatik Sıkıştırma .
Temel, derinlik modeli budamasında hiperparametreleri otomatik olarak bulmak ve modeldeki farklı katmanların parametre yedekliliğini kaldırmaktır.
CIFAR ve ImageNet veri kümeleri üzerinde yapılan çok sayıda test, AutoCompress'in etkisinin çeşitli sinir ağı sıkıştırma yöntemleri ve çerçevelerinin etkisini önemli ölçüde aştığını göstermektedir.
Bu araştırma AAAI2020 tarafından da kabul edildi.
Araştırmacılar, bu araştırmanın manuel tasarım sürecini değiştirebileceğini ve gömülü tarafta derin modeller çalıştırmanın gerçek zamanlı performans gereksinimlerini karşılamak için ultra yüksek sıkıştırma oranlarına ulaşabileceğini söyledi.
Bunu nasıl başardılar? Bunları aşağıda tek tek yorumlayalım.
Derinlik modeli budamasında hiper parametreleri otomatik olarak ayarlayın
Son yıllarda, derin sinir ağı modellerinin performansı sürekli olarak yenilendiğinden, modelin omurga ağı parametrelerinin miktarı giderek arttı ve depolama ve hesaplama maliyetleri artmaya devam etti, bu da kaynakları kısıtlı gömülü platformlarda konuşlandırmayı zorlaştırdı.
Derin sinir ağı modeli sıkıştırma teknolojisi, bu sorunu çözmek için vazgeçilmez bir anahtar haline geldi ve aynı zamanda son yıllarda araştırma sıcak noktalarından biri haline geldi.
Akademik topluluktan etkilenen platform düzeyinde düşük donanım yürütme verimliliği, zayıf bellek erişim verimliliği ve düşük hesaplama paralelliği sorunlarını çözebilen yapılandırılmış budama gibi birçok yöntem de ortaya çıktı. Sektörün ilgisiyle.
Ama aynı zamanda, algoritma uygulama sürecinde çok sayıda hiperparametre ayarı içeren "sert hasara" da sahiptir. Örneğin, modelin sıkıştırma boyutu nasıl belirlenir veya modeldeki her katmanın sıkıştırma oranı nasıl belirlenir vb.
Bu, uzmanların biraz "saç dökülmesi" tasarlamasını ve yönlendirmesini gerektirir ve bu hiperparametreleri manuel olarak tasarlama süreci uzun ve karmaşıktır.
Sonuçta etkinin mutlaka iyi olması gerekmez, bu büyük ölçüde ilgili personelin parametre ayarlama deneyimine bağlıdır.
Sonra bazı araştırmacılar bunu düşünmeye başladı, otomatik olarak hiperparametreleri ayarlayabilirler mi? Uygulanırsa, düşünmek çok heyecan verici olan algoritmanın verimliliğini büyük ölçüde artırabilecektir.
Böylece bazı insanlar bunu yapmaya başladı: Örneğin, MIT, CMU ve Google'daki araştırmacılar, her katmanın budamasına karar vermek için Derin Güçlendirmeli Öğrenmeyi (DRL) kullanan AMC adlı bir yöntem önerdi. oran.
Otomatik parametre ayarlama fikri gerçekleşse de bazı sınırlamalar vardır.
Bir yandan bu çalışmada yalnızca tek bir çıkış kanalı (filtre) budama boyutu kullanılırken, diğer yandan seyrek bir model elde etmek için benimsenen budama yöntemi, model eğitim sürecine yalnızca statik bir düzenli terim tanıtmaktır.
Ancak daha derin sınırlama, benimsediği DRL çerçevesine dayanan budama yönteminin, budama sorunuyla esasen uyumsuz olmasıdır. Sonuç olarak, en yüksek sıkıştırma oranı, yapılandırılmamış sıkıştırma oranının yalnızca 5 katıdır.
Didi'nin araştırmasında, bu eksiklikler iyileştirildi ve özellikle sinir ağı ağırlık budama probleminin hiperparametre ayarının otomatik süreci için genel bir akış önerildi.
Bir bütün olarak 4 adıma bölünmüştür. Davranışsal örneklemeyle başlayın (adım 1), ardından hızlı değerlendirme (adım 2), ardından kararı belirleyin (adım 3) ve son olarak budama (adım 4).
Yukarıda belirtilen genel sürece dayanarak ve önceki yöntemin sınırlamaları ışığında, mevcut derin sinir ağını ve makine öğrenimi çerçevesini entegre ederek, derin sinir ağlarının otomatik yapılandırılmış budaması için en verimli genel çerçeveyi gerçekleştirdiler ve buna AutoCompress adını verdiler.
Gerçek parametrelerin sıkıştırılması 120 kattan fazla artırılabilir
AutoCompress nasıl çalışır? Makalede üç yeni tasarımdan bahsediliyor:
(1) Karma yapılandırılmış bir budama boyutu önerin; (2) Eğitim sürecindeki normal öğeleri dinamik olarak güncellemek için verimli ve güçlü bir sinir ağı budama algoritması ADMM (Alternatif Çarpan Optimizasyon Algoritması) benimseyin; (3) Geliştirmeleri kullanın Rehberli sezgisel aramaya dayalı davranışsal örnekleme yürütün.
Bu yeni tasarımlara dayanarak, bunların çerçevesi aşağıdaki gibidir:
Genel olarak, AutoCompress çerçevesinin otomatik model budama için iki ana adımı vardır: Birincisi, yapısal olarak seyrek bir ağırlık dağılımı modeli elde etmek için ADMM algoritmasına dayalı yapılandırılmış budama kullanılır;
Daha sonra ağ yapısı saflaştırma (Arıtma) işlemi ile ADMM işleminde tamamen silinemeyen fazlalık ağırlığın küçük bir kısmı bulunup silinir.
Bu iki adımın aynı sezgisel arama mekanizmasına dayandığını belirtmek gerekir.
Örneğin, orijinal bir model verildiğinde, ağırlık sayısına göre veya işlem miktarına (FLOP) göre ayarlanmış iki amaç işlevi belirleyecektir.
Arama işlemi birkaç turdan geçer. Örneğin, ilk tur ağırlık sayısının iki katı sıkıştırmak, ikinci tur ise ağırlık sayısının dört katı sıkıştırmaktır. Her arama turunda, önce bir davranışı başlatın (hiperparametre) ve ardından her seferinde yeni bir davranış oluşturmak için davranışı bozun (hiperparametrede küçük bir değişiklik).
Simüle tavlama algoritması ilkesine göre iki davranış değerlendirilir.Yeni davranış değerlendirme sonucu orijinal sonuçtan daha iyi ise davranış kabul edilir ve yeni davranış değerlendirme sonucu orijinal sonuçtan daha kötü ise davranış belli bir olasılıkla kabul edilir.
Algoritmanın her turundaki sıcaklık parametresi T düşecek ve T belirli bir eşiğe düştüğünde arama duracaktır. Son olarak, aranan hiperparametrelere göre, sinir ağı yapılandırılır ve budanır.
Etkisi nasıl? Ayrıca şunları da test ettiler:
VGG-16'nın CIFAR-10 veri setinde, yapılandırılmış budama sıkıştırma oranı, hassasiyet kaybı olmaksızın 52,2 kata kadar çıkmaktadır.Samsung Galaxy S10 akıllı telefonda test edilmiştir (kod oluşturma optimize edilmiş derleyici kullanılarak), çalışma hızı 2,7 ms'dir. .
CIFAR-10 veri setinde, ResNet-18, doğruluk kaybı olmadan 54,2 kat yapılandırılmış bir budama sıkıştırma oranına ulaşır.
Önceki yöntemle karşılaştırıldığında, ResNet-18 ve ResNet-50 arasındaki boyut farkı hesaba katılırsa, ağırlık parametresi önceki yönteme göre doğrulukta bir artışla 120 kat azaltılabilir.
ImageNet veri setinde VGG-16, yalnızca% 0,6'lık bir hassasiyet kaybı ile 6,4 kat yapılandırılmış bir sıkıştırma oranına ve ResNet-18, hiçbir hassasiyet kaybı olmaksızın 3,3 kat yapılandırılmış bir sıkıştırma oranına ulaşmıştır.
Ayrıca, AutoCompress çerçevesi yapılandırılmamış budamaya da uygulanabilir.Sıkıştırma sonucu, ResNet-50'nin ImageNet veri setinde hassasiyet kaybı olmadan 9,2 kat sıkıştırma elde etmesini sağlar ve yalnızca% 0,7 kayıpla 17,4 kat sıkıştırma oranına ulaşabilir. Hassasiyet.
Bu nedenle, diğer yöntemlerle karşılaştırıldığında, AutoCompress'in etkisinin çeşitli sinir ağı sıkıştırma yöntemlerini ve çerçevelerini aştığı ve sonuçta ortaya çıkan verimli sinir ağı modelinin gömülü mobil sistemlerde gerçek zamanlı çıkarım işlemlerini gerçekleştirebileceği sonucuna vardılar.
Didi AI Lab stajyeri
Liu Ning adlı çalışmanın ilk yazarı, Northeastern Üniversitesi'nde doktora öğrencisi ve Northeastern Üniversitesi'nden Profesör Wang Yanzhi'nin vesayetindedir.
Lisede, Pekin Lisesi Fizik Yarışması ikincilik ödülünü, elektronik bilgi mühendisliği dalında lisans eğitimi aldı ve Ulusal Üniversite Biyolojik Ağ Oluşturma Yarışması üçüncülük ödülünü kazandı.
Syracuse Üniversitesi'nden 2015 yılında yüksek lisans derecesi aldı. Bu kez tanıtılan araştırma, 2019'da Didi'deki stajının sonuçlarından biridir. Stajyer eğitmen, Didi Intelligent Control'ün baş bilim adamı Tang Jian'dır.
Didi'nin stajından önce NetEase ve 360'ta staj yaptı.
Didi'nin raporuna göre, araştırma planından da bahsetti: derin öğrenme modellerinin sıkıştırılması ve tasarımı üzerine derinlemesine araştırma yapmaya devam etmeyi ve öğrenilen bilgi ve araştırma sonuçlarını gerçek dünya senaryolarına uygulamayı umuyor.
Şu anda bu çerçeve Didi'de etkin bir şekilde uygulanmaktadır.
Portal
AutoCompress: Ultra Yüksek Sıkıştırma Oranları için Otomatik DNN Yapılandırılmış Budama Çerçevesihttps: //arxiv.org/abs/1907.03141
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojideki en son gelişmeleri alın
