Telefonunuzda kendi makine öğrenimi modelinizi kullanmak ister misiniz? Google Daddy'nin model sıkıştırma paketinden memnun kaldınız
Lei Feng net basın: Google I / O 2018'de Google, geliştiricilerin mobil makine öğrenimi modellerini özelleştirmeleri için ML Kit geliştirme kitini çıkardı. Kitteki temel teknoloji ile ilgili olarak: Learn2Compress model sıkıştırma teknolojisi, Google ayrıca Google AI hakkında hızlı bir şekilde bir makale yazdı. Ayrıntılı tanıtım ve gerçek testler için, Leifeng.com AI Technology Review içeriğini aşağıdaki gibi derledi.
Herkes bilir ki bir derin öğrenme modelini başarılı bir şekilde eğitmek ve çalıştırmak için, genellikle devasa bilgi işlem kaynakları, büyük bellek ve onu desteklemek için yeterli enerji gerekir. Bu, mobil ve IoT cihazlarında başarılı bir şekilde çalışmak istediğiniz anlamına gelir. Model buna karşılık gelen engelleri getirir. Mobil makine öğrenimi (Cihazda makine öğrenimi), doğrudan cihaz üzerinde çıkarımlar yapmanıza olanak tanır ve veri gizliliğini sağlama ve ağ bağlantısı durumundan bağımsız olarak istediğiniz zaman kullanma avantajına sahiptir. Hafif sinir ağları olan MobileNets ve ProjectionNets gibi önceki mobil makine öğrenimi sistemleri, model verimliliğini optimize ederek kaynak darboğazlarıyla başa çıktı. Peki ya tasarladığınız ve eğittiğiniz bir modeli telefonunuzdaki bir mobil uygulamada çalıştırmak istiyorsanız?
Artık Google bu sorunu çözmenize yardımcı oldu. Google I / O 2018'de Google, tüm mobil geliştiriciler için mobil makine öğrenimi geliştirme kiti ML Kitini çıkardı. Yakında sunulacak olan ML Kit geliştirme kitinin temel özelliklerinden biri, Google araştırma ekibi tarafından geliştirilen Learn2Compress teknolojisi tarafından yönlendirilen otomatik bir model sıkıştırma hizmetidir. Learn2Compress teknolojisi, TensorFlow Lite'daki mobil derin öğrenme modelini özelleştirebilir ve özelleştirilmiş model, yetersiz bellek ve çok yavaş çalışma hızı konusunda endişelenmeden mobil cihazda verimli bir şekilde çalıştırılabilir. Google, yakında Learn2Compress teknolojisine dayalı görüntü tanımayı ML Ki'de uygulamaktan da çok mutlu. Learn2Compress teknolojisi önce küçük bir geliştirici grubuna açık olacak ve önümüzdeki birkaç ay içinde daha fazla geliştiricinin kullanımına sunulacak. Teknik özelliklerle ilgilenen ve kendi modellerini tasarlamakla ilgilenen geliştiriciler kaydolmak için bu web sitesine (https://g.co/firebase/signup) tıklayabilirler.
Learn2Compress teknolojisi nasıl çalışır?
Learn2Compress teknolojisi, önceki çalışmalarda tanıtılan ProjectionNet gibi öğrenme çerçevelerini entegre eder ve sinir ağı modeli sıkıştırması için birkaç en son teknolojileri birleştirir. Learn2Compress teknolojisinin çalışma prensibi şu şekildedir: önce kullanıcı tarafından sağlanan önceden eğitilmiş bir TensorFlow modelini girin ve ardından Learn2Compress teknolojisi modeli eğitmeye ve optimize etmeye başlar ve otomatik olarak küçük boyutlu ve belleğe sahip kullanıma hazır bir mobil model oluşturur. Doluluk ve enerji kullanım verimliliği daha yüksektir ve minimum doğruluk kaybını sağlarken daha hızlı çıkarım hızına ulaşabilir.
Model sıkıştırma amacına ulaşmak için Learn2Compress teknolojisi, çoklu sinir ağı optimizasyonunu ve aşağıdaki üç model sıkıştırma tekniğini kullanır:
-
Tahmin üzerinde fazla etkisi olmayan ağırlıkları veya işlemleri (düşük puan ağırlıkları gibi) kaldırarak budama, model boyutunu küçültün. Özellikle, bu işlem, seyrek girdi veya çıktı içeren mobil modellerin verimliliğini büyük ölçüde artırabilir.Model, boyut olarak 2 kat sıkıştırılmış olsa da, orijinal modelin tahmin kalitesinin% 97'sini koruyor.
-
Modeli eğitme sürecinde uygulanan niceleme teknolojisi özellikle etkilidir.Bu teknoloji, model ağırlıkları ve aktivasyon değerleri için kullanılan bit sayısını azaltarak model çıkarım hızını artırabilir. Örneğin, kayan nokta değerleri yerine 8 bitlik sabit nokta gösteriminin kullanılması model çıkarımını hızlandırabilir, enerji tüketimini azaltabilir ve model boyutunu 4 kat daha da azaltması beklenir.
-
Asgari doğruluk kaybını sağlama öncülüğünde ortak eğitim (Ortak eğitim) ve damıtma (damıtma) yönteminin öğretmen-öğrenci öğrenme stratejisini izleyin - Google, büyük bir öğretmen ağı kullanıyor (bu durumda, kullanıcı TensorFlow modeli) sıkıştırılmış bir öğrenci ağını (yani cihaz üzerindeki mobil model) eğitmek için.
Öğretmen ağı sabitlenebilir (damıtma yönteminde olduğu gibi) veya birlikte optimize edilebilir Öğretmen ağı, aynı anda farklı boyutlarda birden fazla öğrenci modelini eğitebilir. Bu nedenle Learn2Compress teknolojisi, tek bir model yerine tek bir işlemde farklı boyutlarda ve farklı çıkarım hızlarında birden çok mobil model oluşturabilir ve ayrıca geliştiricilerin uygulama ihtiyaçlarını en iyi karşılayan modeli seçmelerine yardımcı olur.
Yukarıdakiler, transfer öğrenimi gibi diğer teknolojilerle birleştiğinde, model sıkıştırma sürecini daha verimli ve büyük ölçekli veri kümelerine ölçeklenebilir hale getirebilir.
Learn2Compress teknolojisinin gerçek performansına ne dersiniz?
Google, Learn2Compress teknolojisinin etkinliğini kanıtlamak için, görüntü ve doğal dil görevlerinde (MobileNets, NASNet, Inception, ProjectionNet vb.) Kullanılan en gelişmiş derin sinir ağlarından birkaçına dayanmaktadır ve bunları mobil modellere sıkıştırmak için bu teknolojiyi kullanır. . Bir görev ve veri kümesi verildiğinde, Google bu teknolojiyi farklı çıkarım hızlarına ve model boyutlarına sahip birden çok mobil model oluşturmak için kullanabilir.
Görüntü tanıma açısından Learn2Compress teknolojisi, cep telefonu uygulamaları için uygun ve iyi bir tahmin doğruluğu ile küçük ve hızlı modeller oluşturabilir. Örneğin, ImageNet görevinde Learn2Compress teknolojisi, Inception v3 taban çizgisinden 22 kat daha küçük ve MobileNet v1 taban çizgisinden 4 kat daha küçük bir model elde edebilirken, doğruluk oranı yalnızca% 4,6-7 oranında azalır. CIFAR-10'da, birden fazla Learn2Compress modelini birlikte eğitmek için paylaşılan parametreleri kullanmak, tek bir Learn2Compress büyük modelini eğitmekten yalnızca% 10 daha fazla zaman alır.Örneğin, verim 3 sıkıştırma modelinin boyutu 94 kat daha küçüktür. Hız 27 kat daha hızlıdır, maliyet 36 kat azalır ve iyi bir tahmin kalitesi elde edilebilir (% 90-95 ilk-1 doğruluk).
Google ayrıca, geliştiricilerin bu teknolojiyi bazı sonuçlar elde etmek için kullandıklarını görmekten de çok mutlu. Örneğin, Fishbrain adlı balıkçılık meraklıları için bir sosyal platform, platformun mevcut görüntü tanıma bulut modelini (80MB + boyutunda,% 91,8 ilk 3 doğruluğa ulaşan) çok küçük bir boyuta sıkıştırmak için Google'ın Learn2Compress teknolojisini kullanır. Mobil model (boyut olarak 5MB'den küçük, ancak orijinal büyük modele benzer doğruluğu sürdürüyor). Diğer durumlarda, Google, düzenlileştirme etkisi nedeniyle, sıkıştırılmış modelin doğruluk açısından orijinal büyük modelden biraz daha iyi olabileceğini buldu.
Google, makine öğrenimi ve derin öğrenme teknolojisinin sürekli gelişimi ile Learn2Compress teknolojisini geliştirmeye devam edeceklerini ve bunu daha fazla kullanıcı durumuna (görüntü tanıma modelleriyle sınırlı değildir) genişleteceklerini söyledi. Google ayrıca ML Kit'in model sıkıştırma bulut hizmetini piyasaya sürmeyi dört gözle bekliyor. Google, Learn2Compress teknolojisinin geliştiricilerin kendi mobil makine öğrenimi modellerini otomatik olarak oluşturmalarına ve optimize etmelerine yardımcı olabileceğini, böylece geliştiricilerin bilgisayarla görme, doğal dil ve diğer makine öğrenimi uygulamaları dahil olmak üzere mükemmel uygulamalar ve harika uygulamalar geliştirmeye odaklanabilmelerini umuyor. Hyun kullanıcı deneyimi.
Leifeng.com'un AI Technology Review tarafından derlenen Google AI Blogu aracılığıyla.
