Endüstri Tencent AI Lab Açık Kaynak Dünyanın İlk Otomatik Model Sıkıştırma Çerçevesi PocketFlow
AI teknolojisi inceleme basını: Tencent AI Lab Machine Learning Center bugün, dünyanın ilk otomatik derin öğrenme modeli sıkıştırma çerçevesi PocketFlow'u başarıyla geliştirdiğini ve yakında açık kaynak kodunu yayınlayacağını duyurdu. Leifeng.com'un Yapay Zeka Teknolojisi İncelemesine göre, bu, mobil yapay zeka geliştiricileri için otomatik bir model sıkıştırma çerçevesidir. Mevcut ana model sıkıştırma ve eğitim algoritmalarını entegre eder ve tamamen otomatik bir yönetilen modeli gerçekleştirmek için kendi geliştirdiği hiperparametre optimizasyon bileşenlerini birleştirir Sıkıştırma ve hızlanma. Geliştiriciler, kullanıcı verilerinin yerel ve verimli bir şekilde işlenmesini sağlamak için belirli algoritmaların ayrıntılarını bilmeden AI teknolojisini mobil ürünlere hızla dağıtabilir.
Yapay zeka teknolojisinin hızla gelişmesiyle birlikte, giderek daha fazla şirket, mobil ürünlerine yapay zeka yetenekleri eklemeyi umuyor, ancak ana akım derin öğrenme modelleri genellikle yüksek bilgi işlem kaynakları gerektiriyor ve doğrudan tüketici sınıfı mobil cihazlara dağıtılması zor. Bu durumda, CNN ve RNN gibi ağ yapılarının hesaplama verimliliğini küçük bir doğruluk kaybıyla (veya hatta kayıpsız) etkin bir şekilde iyileştirebilen ve böylelikle mobil terminallerde derin öğrenme modellerinin konuşlandırılmasını sağlayan birçok model sıkıştırma ve hızlandırma algoritması ortaya çıkmıştır. mümkün hale gelir. fakat, Uygun model sıkıştırma ve hızlandırma algoritmasının ve gerçek uygulama senaryosuna göre ilgili hiperparametre değerinin nasıl seçileceği genellikle daha profesyonel bilgi ve pratik deneyim gerektirir , Kuşkusuz bu teknolojinin genel geliştiriciler için kullanım eşiğini yükseltir.
Bu bağlamda, Tencent'in Yapay Zeka Laboratuvarı Makine Öğrenim Merkezi, otomatik derin öğrenme modeli sıkıştırma ve hızlandırma elde etmek ve daha mobil ürünlerde yapay zeka teknolojisinin yaygın olarak uygulanmasını kolaylaştırmak için PocketFlow açık kaynak çerçevesini geliştirdi. Çeşitli derin öğrenme modeli sıkıştırma algoritmalarını entegre ederek ve yenilikçi bir şekilde hiperparametre optimizasyon bileşenleri sunarak, model sıkıştırma teknolojisinin otomasyonu büyük ölçüde iyileştirildi . Geliştiricilerin belirli model sıkıştırma algoritmalarının ve bunların hiperparametre değerlerinin seçimine müdahale etmelerine gerek yoktur.Sadece PocketFlow aracılığıyla ihtiyaçları karşılayan bir sıkıştırma modeli elde etmek ve bunu mobil uygulamalara hızlı bir şekilde dağıtmak için istenen performans göstergelerini belirtmeleri ve ayarlamaları gerekir.
Çerçeve tanıtımı
PocketFlow çerçevesi temel olarak iki bölümden oluşur: Model sıkıştırma / hızlandırma algoritması bileşeni ile Hiperparametre optimizasyon bileşeni , Belirli yapı aşağıdaki şekilde gösterilmektedir.
Geliştirici, sıkıştırılmamış orijinal modeli PocketFlow çerçevesinin girdisi olarak alır ve modelin sıkıştırılması ve / veya hızlandırılması gibi istenen performans göstergelerini belirtir; her yinelemede, hiperparametre optimizasyon bileşeni bir dizi hiperparametre değeri seçer Bundan sonra, model sıkıştırma / hızlandırma algoritması bileşeni, sıkıştırılmış bir aday model elde etmek için hiperparametre değerlerinin kombinasyonuna dayalı olarak orijinal modeli sıkıştırır; aday modelin performans değerlendirme sonucuna göre, Hiperparametre optimizasyon bileşeni, kendi model parametrelerini ayarlar ve yeni bir hiperparametre değer kombinasyonu seti seçer , Sonraki yineleme sürecini başlatmak için; yineleme sona erdiğinde, PocketFlow, en uygun hiperparametre değeri kombinasyonunu ve ilgili aday modeli nihai çıktı olarak seçer ve mobil terminalde model dağıtımı için geliştiriciye geri gönderir.
Özellikle, PocketFlow, aşağıdaki algoritma bileşenlerinin etkili kombinasyonu sayesinde daha az doğruluk kaybı ve daha yüksek otomasyon ile derin öğrenme modellerinin sıkıştırılmasını ve hızlandırılmasını sağlar:
a) Kanal budama bileşeni : CNN ağında, özellik haritasındaki kanal boyutlarını budayarak, model boyutu ve hesaplama karmaşıklığı aynı anda azaltılabilir ve sıkıştırılmış model, doğrudan mevcut derin öğrenme çerçevesine dayalı olarak dağıtılabilir. CIFAR-10 görüntü sınıflandırma görevinde, ResNet-56 modelinin kanalını budanarak, 2,5 kat hızlanmada% 0,4 sınıflandırma doğruluk kaybı ve 3,3 kat hızlanmada% 0,7 doğruluk kaybına ulaşmak mümkündür.
b) Ağırlık dağıtma (ağırlık dağıtma) bileşeni : Ağ ağırlıklarına seyreklik kısıtlamaları getirilerek, ağ ağırlıklarındaki sıfır olmayan elemanların sayısı büyük ölçüde azaltılabilir; sıkıştırılmış modelin ağ ağırlıkları, model sıkıştırması elde etmek için seyrek bir matris biçiminde depolanabilir ve iletilebilir. MobileNet görüntü sınıflandırma modeli için, ağ ağırlığının% 50'sini sildikten sonra, ImageNet veri setindeki İlk-1 sınıflandırma doğruluk kaybı yalnızca% 0,6'dır.
c) Ağırlık niceleme bileşeni : Ağ ağırlıklarına niceliksel kısıtlamalar getirerek, her ağ ağırlığını temsil etmek için gereken bit sayısı azaltılabilir; ekip ayrıca iki tür niceleme algoritması için destek sağlar, tek tip ve tek tip olmayan ve ARM ve FPGA cihazlarından tam olarak faydalanabilir. Mobil terminalin bilgi işlem verimliliğini artırmak ve gelecekteki sinir ağı yonga tasarımı için yazılım desteği sağlamak için donanım optimizasyonu. ImageNet görüntü sınıflandırma görevleri için kullanılan ResNet-18 modelini örnek olarak alırsak, 8 bitlik özel nokta niceleme altında kayıpsız hassasiyette 4 kat sıkıştırma elde edebilir.
d) Ağ damıtma bileşeni : Yukarıda bahsedilen çeşitli model sıkıştırma bileşenleri için, sıkıştırılmamış orijinal modelin çıktısı, sıkıştırılmış modelin eğitimine rehberlik etmek için ek denetim bilgisi olarak kullanılır.Kompresyon / hızlanma katsayısının öncülüğünde,% 0,5 -% 2,0 elde edilebilir. Doğruluk iyileştirme vb.
e) Çoklu GPU eğitim bileşeni : Derin öğrenme modeli eğitim süreci, yüksek bilgi işlem kaynakları gerektirir ve tek bir GPU'nun model eğitimini kısa sürede tamamlaması zordur.Bu nedenle, ekip, kullanıcının geliştirme sürecini hızlandırmak için çok makineli çoklu kart dağıtılmış eğitim için kapsamlı destek sağlar. Hem ImageNet verilerine dayalı Resnet-50 görüntü sınıflandırma modeli hem de WMT14 verilerine dayalı Transformer makine çeviri modeli bir saat içinde eğitilebilir.
f) Hiper parametre optimizasyonu (hiper parametre optimizasyonu) bileşeni : Çoğu geliştirici, model sıkıştırma algoritmaları hakkında fazla bir şey bilmiyor, ancak hiperparametre değerlerinin nihai sonuçlar üzerinde genellikle büyük bir etkisi vardır. Bu nedenle ekip, takviye öğrenme algoritmaları ve AI Labın kendi geliştirdiği AutoML dahil olmak üzere hiperparametre optimizasyon bileşenlerini tanıttı Otomatik hiperparametre optimizasyon çerçevesi, belirli performans gereksinimlerine göre en uygun hiperparametre değer kombinasyonunu belirler. Örneğin, kanal budama algoritması için, hiperparametre optimizasyon bileşeni, orijinal modeldeki her katmanın artıklık derecesine göre her katman için farklı budama oranlarını otomatik olarak benimseyebilir. Modelin genel sıkıştırma katsayısının karşılandığından emin olma öncülüne göre, sıkıştırılmış Model tanıma doğruluğunu en üst düzeye çıkarın.
Performans ekranı
Hiperparametre optimizasyon bileşenlerinin piyasaya sürülmesi, yalnızca yüksek eşiği ve zahmetli manuel ayarlama işini ortadan kaldırmakla kalmaz, aynı zamanda PocketFlow'u çeşitli sıkıştırma algoritmalarındaki manuel ayarlama efektini tamamen aşar. Örnek olarak görüntü sınıflandırma görevini ele alın.CIFAR-10 ve ImageNet gibi veri setlerinde, PocketFlow, ResNet ve MobileNet gibi çoklu CNN ağ yapılarında etkili model sıkıştırma ve hızlandırma gerçekleştirir.
CIFAR-10 veri setinde PocketFlow, kanal budama için kıyaslama modeli olarak ResNet-56'yı kullanır ve başarmak için hiperparametre optimizasyonu ve ağ distilasyonu gibi eğitim stratejileri ekler. Sınıflandırma doğruluk kaybı 2,5 kat hızlanma altında% 0,4 ve doğruluk kaybı 3,3 kat hızlanma altında% 0,7'dir. , Ve sıkıştırılmamış ResNet-44 modelinden önemli ölçüde daha iyidir; ImageNet veri kümesinde, PocketFlow zaten geliştirilmiş MobileNet modelinde ağırlık seyrekliği yapmaya devam edebilir, Daha küçük bir model boyutuyla benzer sınıflandırma doğruluğu elde edin ; Inception-V1, ResNet-18 ve diğer modellerle karşılaştırıldığında, Model boyutu ikincisinin yalnızca% 20-40'ı kadardır, ancak sınıflandırma doğruluğu temelde aynı (Hatta daha yüksek).
Zaman alıcı ve zahmetli manuel ayarlama ile karşılaştırıldığında, PocketFlow çerçevesindeki AutoML otomatik hiperparametre optimizasyon bileşeni Manuel ayara benzer performans elde etmek için yalnızca 10'dan fazla yinelemeye ihtiyaç vardır 100 yinelemeden sonra, arama yoluyla elde edilen hiperparametre kombinasyonu doğruluk kaybını yaklaşık% 0,6 azaltabilir; ağdaki her katmanın ağırlıklarının niceleme bitlerinin sayısını otomatik olarak belirlemek için hiperparametre optimizasyon bileşenini kullanarak PocketFlow, ImageNet görüntü sınıflandırma görevlerinde kullanılır. ResNet-18 modeli sıkıştırıldığında, tutarlı bir performans artışı sağlar; ortalama niceleme bit sayısı 4 bit olduğunda, hiperparametre optimizasyon bileşeninin tanıtılması, sınıflandırma doğruluğunu% 63,6'dan% 68,1'e (orijinal modelin sınıflandırma doğruluğu) artırabilir. % 70,3'dür).
Derin öğrenme modellerinin sıkıştırılması ve hızlandırılması, akademideki güncel araştırma noktalarından biridir ve aynı zamanda sektörde çok çeşitli uygulama olanaklarına sahiptir. PocketFlow'un piyasaya sürülmesiyle, geliştiricilerin model sıkıştırma algoritmasının belirli ayrıntılarını anlamasına ve çeşitli hiperparametrelerin seçimini ve ayarlamasını önemsemesine gerek kalmaz.Bu otomasyon çerçevesine dayanarak, geliştiriciler mobil dağıtım için kullanılabilecek modern bir modeli hızla elde edebilir. Yapay zeka yeteneklerinin daha mobil ürünlerde uygulanması yolu açtı.
Referanslar
Zhuangwei Zhuang, Mingkui Tan, Bohan Zhuang, Jing Liu, Jiezhang Cao, Qingyao Wu, Junzhou Huang, Jinhui Zhu, "Derin Sinir Ağları için Ayrımcılığa Duyarlı Kanal Budaması", 32. Nöral Bilgi İşleme Sistemleri Konferansı Proc. NIPS '18, Montreal, Kanada, Aralık 2018.
Jiaxiang Wu, Weidong Huang, Junzhou Huang, Tong Zhang, "Error Compensated Quantized SGD and its Applications to Large-scale Distributed Optimization", Proc. Of the 35th International Conference on Machine Learning, ICML '18, Stockholm, İsveç, Temmuz 2018 .
