Mobil makine öğrenimi model sıkıştırması da otomatikleştirilmiştir: Tencentin yeni çerçevesi kendi modelini% 50 hızlandırır
İçbükey tapınaktan Xia Yi
Qubit Üretildi | Genel Hesap QbitAI
Doğrudan yerel olarak çalıştırmak için derin öğrenme modellerini cep telefonlarına sıkıştırma ve uygulama eğilimi yoğunlaşıyor. Google'ın, Apple'ın Core ML'si olan TensorFlow Lite'tan, bu yılın Haziran ayında piyasaya sürülen Xiaomi'nin MACE'sine kadar, mobil derin öğrenme çerçevesi neredeyse teknoloji devlerinin standart yapılandırması haline geldi.
Peki hangi çerçeve kullanılmalı? Hangi model sıkıştırma algoritması seçilmeli? Hiperparametrenin değeri nasıl alınır? Birçok araç geliştiricilerin önüne yerleştirilirken, sorunlar da birbiri ardına ortaya çıktı.
Tencent AI Lab bir cevap verdi: otomatik model sıkıştırma çerçevesi PocketFlow .
Bu model zaten Tencent tarafından kullanıldı ve yakın zamanda açık kaynaklı olacak.
Dünyanın ilk otomatik model sıkıştırma çerçevesi
PocketFlow, Tencent AI Lab tarafından dünyada ilk olarak adlandırılıyor Otomatik derin öğrenme modeli sıkıştırma çerçevesi Tencent tarafından ve diğer meslektaşlarından geliştirilen ana model sıkıştırma ve eğitim algoritmalarını entegre eder.Ayrıca, otomatik barındırma modeli sıkıştırma ve hızlandırma gerçekleştirmek için kendi geliştirdiği hiperparametre optimizasyon bileşenlerini sunar.
Sözde "otomasyon", modelin sıkıştırılması ve hızlanmasının otomatik olarak yapıldığı anlamına gelir. Tıpkı Google AutoML kullanıcılarının model mimarisini kendilerinin seçmesi gerekmediği gibi, PocketFlow'u da kullanarak Model sıkıştırma algoritmasını ve hiperparametre değerini kendiniz seçmenize gerek yok , Sadece performans göstergeleri için beklentiler belirleyin ve çerçevenin gerisini kendi başına yapmasına izin verin.
İnsanlar performansa ulaşmak için parametreleri ayarlamak için zamana ve çabaya ihtiyaç duyar, PocketFlow için yalnızca bir düzine yineleme.
Sadece iş gücü tasarrufu sağlamaz, etkisi iyidir.
100 yinelemeden sonra PocketFlow tarafından elde edilen hiperparametre kombinasyonu, doğruluk kaybını yaklaşık% 0,6 azaltabilir; ağdaki her katmanın ağırlıkları için niceleme bitlerinin sayısını otomatik olarak belirlemek için hiperparametre optimizasyon bileşenini kullanarak PocketFlow, ImageNet görüntü sınıflandırma görevlerinde kullanılır. ResNet-18 modeli sıkıştırıldığında, tutarlı bir performans artışı sağlar; ortalama niceleme bit sayısı 4 bit olduğunda, hiperparametre optimizasyon bileşeninin tanıtılması, sınıflandırma doğruluğunu% 63,6'dan% 68,1'e (orijinal modelin sınıflandırma doğruluğu) artırabilir. % 70,3'dür).
Tencent, PocketFlow'un ResNet ve MobileNet gibi CNN ağları üzerindeki sıkıştırma ve hızlandırma etkilerini gösterdi.
CIFAR-10 veri setinde, PocketFlow sıkıştırılmış ResNet-56 modeli, sıkıştırılmamış ResNet-44 modelinden önemli ölçüde daha iyi olan, 2.5 kat hızlanmada% 0.4 ve 3.3 kat hızlanmada% 0.7'lik bir sınıflandırma doğruluğu kaybı elde etti.
ImageNet veri kümesinde, PocketFlow MobileNet modelini daha küçük bir boyuta sıkıştırabilir, ancak sınıflandırma doğruluğu temelde değişmez. Sınıflandırma doğruluğunun Inception-V1, ResNet-18 ve diğer modellerden daha düşük olmaması koşuluyla, PocketFlow tarafından sıkıştırılan MobileNet modelinin boyutu bunların yalnızca% 20-40'ı kadardır.
Model sıkıştırma algoritması + hiperparametre optimizasyonu
PocketFlow çerçevesi derin öğrenme modellerini nasıl sıkıştırır?
İki kısma dayanır: biri Model sıkıştırma / hızlandırma algoritması , iki Hiperparametre iyileştirici .
Sıkıştırılmamış orijinal modeli PocketFlow çerçevesine girin, model sıkıştırma, hızlanma vb. Gibi istenen performans göstergelerini ayarlayın, PocketFlow çalışmaya başlayabilir.
Her yineleme sırasında, hiperparametre iyileştirici bir dizi hiperparametre değeri kombinasyonu seçer ve ardından model sıkıştırma / hızlandırma algoritması bileşeni, sıkıştırılmış bir aday model elde etmek için hiperparametre değer kombinasyonlarına dayalı olarak orijinal modeli sıkıştırır; Aday modelin performans değerlendirmesinin sonuçlarına bağlı olarak, hiperparametre optimizasyon bileşeni kendi model parametrelerini ayarlar ve bir sonraki yineleme sürecini başlatmak için yeni bir hiperparametre değer kombinasyonu seti seçer; yineleme sona erdiğinde, PocketFlow en uygun olanı seçer Hiperparametre değer kombinasyonu ve ilgili aday model, nihai çıktı olarak kullanılır ve mobil terminalde model dağıtımı için geliştiriciye geri gönderilir.
Tüm süreçte rol oynayan altı bileşen vardır:
Kanal budama (Kanal budama) bileşenleri:
CNN ağında, özellik haritasındaki kanal boyutlarını budayarak, model boyutu ve hesaplama karmaşıklığı aynı anda azaltılabilir ve sıkıştırılmış model, doğrudan mevcut derin öğrenme çerçevesine dayalı olarak dağıtılabilir. CIFAR-10 görüntü sınıflandırma görevinde, ResNet-56 modelinin kanalını budanarak, 2,5 kat hızlanmada% 0,4 sınıflandırma doğruluk kaybı ve 3,3 kat hızlanmada% 0,7 doğruluk kaybına ulaşmak mümkündür.
Bu bileşenin arkasında, Tencent AI Lab ekibi tarafından önerilen maksimizasyon kriterine dayalı kanal budama algoritması yer almaktadır.İlgili makale Ayrımcılığa Duyarlı Derin Sinir Ağları için Kanal Budaması, NIPS 2018'de yayınlandı ve yakında duyurulacak.
Ağırlık seyrekliği (Ağırlık dağıtma) bileşenleri:
Ağ ağırlıklarına seyreklik kısıtlamaları getirilerek, ağ ağırlıklarındaki sıfır olmayan elemanların sayısı büyük ölçüde azaltılabilir; sıkıştırılmış modelin ağ ağırlıkları, seyrek bir matris biçiminde depolanabilir ve iletilebilir, böylece model sıkıştırması elde edilebilir. MobileNet görüntü sınıflandırma modeli için, ağ ağırlığının% 50'sini sildikten sonra, ImageNet veri kümesindeki İlk-1 sınıflandırma doğruluk kaybı yalnızca% 0,6'dır.
Ağırlıklandırma (Ağırlık nicemleme) bileşeni:
Ağ ağırlıklarına niceliksel kısıtlamalar getirerek, her bir ağ ağırlığını temsil etmek için gereken bit sayısı azaltılabilir; ekip ayrıca, tek tip ve tek tip olmayan iki tür niceleme algoritması için destek sağlar ve ARM ve FPGA cihazlarının donanımından tam olarak yararlanabilir. Mobil terminalin bilgi işlem verimliliğini artırmak ve gelecekteki sinir ağı çip tasarımı için yazılım desteği sağlamak için optimize edilmiştir. ImageNet görüntü sınıflandırma görevleri için kullanılan ResNet-18 modelini örnek alarak, 8 bitlik özel nokta nicelemesi altında kayıpsız hassasiyette 4 kat sıkıştırma elde edebilir.
Ağ damıtma (Ağ damıtma) bileşenleri:
Yukarıdaki çeşitli model sıkıştırma bileşenleri için, sıkıştırılmamış orijinal modelin çıktısı, sıkıştırılmış modelin eğitimine rehberlik etmek için ek denetim bilgisi olarak kullanılır ve sıkıştırma / hızlandırma faktörü, aynı öncül altında% 0,5 ila% 2,0 arasında elde edilebilir. Artan doğruluk.
Çoklu GPU eğitimi (Çoklu GPU eğitimi) bileşenleri:
Derin öğrenme modeli eğitim süreci, yüksek bilgi işlem kaynakları gerektirir ve tek bir GPU'nun model eğitimini kısa sürede tamamlaması zordur.Bu nedenle, ekip, kullanıcının geliştirme sürecini hızlandırmak için çok makineli çoklu kart dağıtılmış eğitim için kapsamlı destek sağlar. Hem ImageNet verilerine dayalı Resnet-50 görüntü sınıflandırma modeli hem de WMT14 verilerine dayalı Transformer makine çeviri modeli bir saat içinde eğitilebilir.
Ek olarak, ekip ayrıca hata telafisi için nicelleştirilmiş bir stokastik gradyan iniş algoritması önerdi; bu, niceleme hataları için bir telafi mekanizması sunarak model eğitiminin yakınsamasını hızlandırır ve performans kaybı olmadan bir ila iki büyüklük gradyan sıkıştırması elde edebilir. Dağıtılmış optimizasyonda gradyan iletişim hacmi, böylece eğitimi hızlandırır, ilgili makaleler Error Compensated Quantized SGD ve Applications to Large-scale Distributed Optimization ICML 2018'de yayınlandı. Kağıt adresi:
Hiperparametre optimizasyonu (Hiper parametre optimizasyonu) bileşenleri:
Çoğu geliştirici model sıkıştırma algoritmaları hakkında fazla bir şey bilmiyor, ancak hiperparametrelerin değeri genellikle nihai sonuç üzerinde büyük bir etkiye sahip. Bu nedenle ekip, takviye öğrenme algoritmaları ve AI Labın kendi geliştirdiği AutoML otomatik dahil olmak üzere hiperparametre optimizasyon bileşenlerini tanıttı Hiperparametre optimizasyon çerçevesi, belirli performans gereksinimlerine göre optimum hiperparametre değer kombinasyonunu belirler. Örneğin, kanal budama algoritması için, hiperparametre optimizasyon bileşeni, orijinal modeldeki her katmanın artıklık derecesine göre her katman için farklı budama oranlarını otomatik olarak benimseyebilir. Modelin genel sıkıştırma katsayısının karşılandığından emin olma öncülüne göre, sıkıştırılmış Model tanıma doğruluğunu en üst düzeye çıkarın.
Açık kaynak yakında, Tencent önce saygı duyuyor
Daha önce de bahsettiğimiz gibi, Tencent AI Lab açık kaynaklı PocketFlow'u planlıyor. Şimdi, bu çerçeve Tencent'in kendi mobil işinde kullanılıyor.
Tencent bir kestane verdi: Yüzün mobil kamera uygulamasındaki kilit nokta konumlandırma modeli. Bu modeli sıkıştırmak için PocketFlow kullandılar Konumlandırma doğruluğunu değiştirmeden, hesaplama yükünü azalttılar ve farklı mobil işlemcilerde% 25 -% 50 arasında değişen hız artışları elde ettiler.
Dört gözle mi bekliyorsun?
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
