Zhu Junyanın ekibi GAN sıkıştırma algoritmasını önerdi: hesaplama miktarı 20 kat azaltılır ve GPU ile CPU hızlandırılabilir
Aufei Tapınağı'ndan Bian Ce Balık ve Koyun Qubit Raporu | Genel Hesap QbitAI
Günümüzde GAN'ın etkisi giderek daha olağanüstü hale geldi.
Örneğin, Nvidianın GauGANı, Ma Liang sihirli kalem gibi, ince havadan bir şeyler yaratabilir:
Bununla birlikte, hesaplamaların miktarı, hiçbir şeyin arkasından oldukça şaşırtıcıdır.
GauGAN'ı örnek olarak alırsak, MobileNet-v3 gibi bir tanıma CNN ile karşılaştırıldığında, parametre farkı yalnızca 1 büyüklük mertebesidir (4.2: 93), ancak hesaplama yoğunluğu 2 büyüklük mertebesidir (0.5: 281).
Sonuç olarak, etkileşimli dağıtım zorlaşır.
Daha açık bir şekilde söylemek gerekirse, modeli cep telefonları ve tabletler gibi terminallere yerleştirmek ve yüzünüzü cinsiyete çevirmek istiyorsanız, bu uç cihazları satın almak kolay değildir.
Bu sorunu çözmek için MIT, Adobe Araştırma Enstitüsü ve Şangay Jiaotong Üniversitesi'nden ekipler genel bir sıkıştırma çerçevesi buldu.
O ne kadar güçlü?
Tek seferde CycleGAN hesaplama miktarını azaltın 20 kez Yukarıda, GauGAN'ın hesaplama miktarı azaltılmıştır 9 kere , Basit vuruşlardan fiziksel resimlere Pix2pix de kontrol edilebilir, ancak efekt farklı değildir.
Bahsetmeye değer. Makale CVPR 2020 için seçilmiştir ve kod da açık kaynaklıdır.
Yazar ekibi de yıldızlarla dolu. Bunlardan biri, CycleGAN'ın yazarı Shanghai Jiaotong Üniversitesi ACM sınıfından lisans öğrencisi Li Muyang. Zhu Junyan Kişisel olarak katılın ve rehberlik edin.
GAN sıkıştırma algoritması
GAN'ı sıkıştırmak, diğer CNN modellerini sıkıştırmak kadar kolay değildir.
Ana neden: GAN'ın eğitim dinamikleri oldukça dengesizdir ve jeneratör ile ayırıcı arasında çok büyük yapısal farklılıklar vardır, bu da bizim için mevcut CNN sıkıştırma algoritmasını kullanmamızı zorlaştırır.
Yazar, bu sorunu çözmek için etkili üretken modeller için özel olarak hazırlanmış bir eğitim programı önerir ve Sinir Mimarisi Araması (NAS) aracılığıyla sıkıştırma oranını daha da iyileştirir.
GAN sıkıştırmasının çerçevesi, esas olarak 3 bölüme ayrılan aşağıdaki şekilde gösterilmektedir:
1. Önceden eğitilmiş bir öğretmen oluşturucu G 'verildiğinde, ağırlıklarla paylaşılan tüm olası kanal numaralarını içeren damıtma yoluyla daha küçük bir "her şey için bir kez" öğrenci oluşturucu G elde edin. Her eğitim adımında farklı bir kanal numarası ck seçin.
2. "Her şey için bir kez" oluşturucudan birçok alt üreteci çıkarın ve yeniden eğitim yapmadan performanslarını değerlendirin Bu nedenle, "herkes için bir kez" olarak adlandırılır.
3. Son olarak, verilen sıkıştırma oranı ve performans hedeflerine göre, en iyi alt oluşturucuyu seçin, ona ince ayar yapın ve son sıkıştırma modelini elde edin.
Uygun bir kayıp işlevi oluşturun
GAN sıkıştırma algoritması CycleGAN, pix2pix ve GauGAN ile karşı karşıya olduğu için, bu modellerin kayıp fonksiyonları aynı değildir, bu nedenle yeni bir kayıp fonksiyonunun oluşturulması gerekir.
Birleşik eşleştirilmemiş ve eşleştirilmiş öğrenmeBazı GAN'lar eşleştirilmiş veri kümeleri aracılığıyla öğrenilir ve bazıları eşleştirilmemiş veri kümeleridir. Bu nedenle, eşleştirilmemiş ve eşleştirilmiş öğrenmenin kaybını birleştirmek için kayıp işlevine ikinci terim eklenmelidir:
Amaç jeneratörü sıkıştırmak olsa da, ayırıcı öğrenilen GAN bilgisini depolayacaktır çünkü mevcut jeneratörün eksikliklerini keşfedecektir.
Bu nedenle, aynı ayırt edici mimariyi benimsiyor, öğretmenlerin önceden eğitilmiş ağırlıklarını kullanıyoruz ve sıkıştırma oluşturucumuzla ayırıcıya ince ayar yapıyoruz. Önceden eğitilmiş ayrımcı, öğrenci oluşturucunun eğitimine rehberlik edebilir.
Başlatılan öğrenci ayırt edici D, öğretmen ayrımcısının D 'ağırlığını kullanır.
Ara karakteristik damıtmaDistilasyon, CNN'de yaygın olarak kullanılan bir model sıkıştırma yöntemidir.
Yaygın olarak kullanılan bir CNN modeli sıkıştırma yöntemi bilgi damıtmadır. Çıktı katmanının logitlerini eşleştirerek, bilgi öğretmen modelinden öğrenci modeline aktarılabilir ve böylece ikincisinin performansı iyileştirilebilir.
Nihai tam kayıp işlevi:
Hiperparametreler recon ve distill, son ikisinin ağırlığını kontrol eder.
Verimli jeneratör tasarım alanı
İyi tasarlanmış bir öğrenci mimarisi seçmek, nihai bilgi damıtımı için çok önemlidir.
Basitçe öğretmen modelinde kanalların sayısını azaltmak kompakt bir öğrenci modeli üretmez Hesaplama hacminin sıkıştırma oranı 4 katını aştığında, performans önemli ölçüde düşmeye başlayacaktır.
Tahminin olası nedenlerinden biri, mevcut oluşturucu tarafından kullanılan görüntü tanıma modelinin görüntü sentezi görevleri için en iyi seçim olmayabileceğidir.
Aşağıda yazar, mevcut cGAN jeneratöründen daha iyi bir mimari tasarım alanının nasıl elde edileceğini ve bu alanda Neural Architecture Search (NAS) yapılacağını göstermektedir.
Evrişim çözümü ve katman hassasiyetiSon zamanlarda, verimli CNN tasarımı, performans ve hesaplama arasındaki ödünleşmeyi kanıtlayan evrişim çözümü yöntemini yaygın olarak benimsemiştir. Yazar, ayrıştırılmış evrişim kullanımının cGAN'daki jeneratör tasarımına da faydalı olduğunu buldu.
Bununla birlikte, deneyler, ayrıştırmanın doğrudan tüm evrişimli katmanlara uygulanmasının görüntü kalitesini büyük ölçüde azaltacağını göstermiştir. Ancak bazı katmanlar daha sağlamken yalnızca belirli katman ayrışmasının performansı düşürmesi mümkündür.
ResNet oluşturucuda resBlock katmanı, model parametrelerinin ve hesaplama maliyetlerinin çoğunu tüketir ve ayrıştırmadan neredeyse hiç etkilenmez. Aksine, yukarı örnekleme katmanının çok daha az parametresi vardır, ancak model sıkıştırmaya karşı oldukça hassastır ve orta düzeyde sıkıştırma da FID'de önemli bir düşüşe neden olur.
NAS, kanalları otomatik olarak kırparMevcut üretici, tüm katmanlarda manuel tasarım kullanır, bu nedenle kanal sayısı fazlalık olacaktır. Modeli daha fazla sıkıştırmak için, yazar kanal kırpmayı kullanarak fazlalığı azaltmak ve hesaplama miktarını iki kez azaltmak için jeneratörün kanal genişliğini otomatik olarak seçer.
Her bir evrişimli katman için, MAC ve donanım paralelliğini dengeleyebilen kanal sayısı 8'in katlarından seçilebilir.
Ayrıştırma eğitimi ve yapı aramasıYazar, bu sorunu çözmek için tek seferlik sinir mimarisi arama yönteminin en son çalışmasını takip ediyor ve model eğitimini mimari aramadan ayırıyor.
Öncelikle, tüm kanalları destekleyen "her şey için bir kez" bir ağ eğitin. Farklı sayıda kanala sahip her bir alt ağ eşit olarak eğitilir ve bağımsız olarak çalışabilir. Alt ağ, ağırlığı "herkes için bir kez" ağıyla paylaşır.
"Her şey için bir kez" ağı eğittikten sonra, en iyi alt ağ, doğrulama setindeki her aday alt ağın performansını doğrudan değerlendirerek bulunur. "Her şey için bir kez" ağ, ağırlık paylaşımı konusunda tam olarak eğitildiğinden, hiçbir ince ayar gerekmez.
Bu şekilde, eğitim ve arama oluşturucu mimarisini ayırabiliriz: yalnızca bir kez eğitmemiz, olası tüm kanal yapılandırmalarını daha fazla eğitim almadan değerlendirmemiz ve arama sonucu olarak en iyisini seçmemiz gerekir.
Deneysel sonuçlar
Nihai deneysel sonuçlar aşağıdaki gibidir:
GAN sıkıştırması, çoklu biriktirme işlemlerinin (MAC) sayısını 9 ila 21 kat azaltır.
Bu yöntem, CycleGAN hesaplamasını 20 kattan fazla, pix2pix hesaplamasını 9 kat ve GauGAN hesaplamasını 9 kat azaltır.
Ve yalnızca GPU'da hızlandırılamaz, aynı zamanda çeşitli CPU'larda da hızlandırılabilir ve hızlanma etkisi CPU'da daha belirgindir.
Açık kaynak kodu
Şimdi, bu GAN sıkıştırma çerçevesi açık kaynaktır ve veri kümesi ve önceden eğitilmiş model indirilebilir.
Başlamak istiyorsanız, gerekli ortam:
- Linux
- Python 3
- CPU veya NVIDIA GPU + CUDA CuDNN
Aynı zamanda araştırma ekibi, PyTorch Colab, CycleGAN ve pix2pix'in online olarak deneyimlenebilen iki versiyonunu da hazırladı.
Sıradan atları zebralara dönüştürmek için CycleGAN'ı kullanmayı deneyin.
İlk olarak GAN Sıkıştırma projesini klonlayın:
! git klon https://github.com/mit-han-lab/gan-compression.gitTest veri setini indirin:
! bash veri kümeleri / download_cyclegan_dataset.sh horse2zebraÖnceden eğitilmiş modeli indirin:
python scripts / download_model.py model pix2pix task edge2shoes-r tam sahne python scripts / download_model.py model pix2pix task edge2shoes-r sıkıştırılmış sahneAşağıda cilt değişimine tanık olma anı var:
Etki farkı büyük değildir ve çıplak gözle sayılmaz. Yine de FID'nin hesaplanması gerekir (GAN tarafından oluşturulan görüntünün kalitesini değerlendirmek için kullanılır, puan ne kadar düşükse, gerçek görüntü o kadar benzerdir).
Proje, çeşitli veri kümeleri hakkında gerçek istatistikler sağlar:
bash ./datasets/download_real_stat.sh horse2zebra A bash ./datasets/download_real_stat.sh horse2zebra BTest sonucu, orijinal CycleGAN'ın FID'sinin 65.687 olduğunu gösteriyor. Sıkıştırmadan sonra, modelin FID'si 65.312'dir ve bu çok da farklı değildir.
Ancak MAC, parametre ölçeği ve gecikme açısından, sıkıştırma modeli orijinal modelden çok daha küçüktür.
Zhu Junyan ve Han Song tarafından desteklenen, Shanghai Jiaotong Üniversitesi'nden bir lisans öğrencisi tarafından bir çalışma
İlk makale, Şangay Jiaotong Üniversitesi ACM sınıfının son sınıf öğrencisi Li Muyang'dır.
Li Muyang, Temmuz 2019'dan bu yıl Ocak'a kadar MIT Profesörü Han Song ve Zhu Junyan'ın yanında çalıştı ve MIT Han Lab'da araştırma görevlisi olarak çalıştı.Bu CVPR 2020 raporu bu dönemde üretildi.
Şu anda Li Muyang'ın araştırma ilgi alanları makine öğrenimi, sistemler ve bilgisayar grafikleri alanındadır ve bu yıl mezun olduktan sonra doktora çalışmalarına devam etmeyi planlamaktadır.
Bilimsel araştırmanın yanı sıra, Li Muyang'ın hobilerinden biri şarkı söylemek. Kişisel ana sayfasında kendi şarkı bar bağlantısını ve kişisel MV'sini de paylaştı.
Makalenin diğer yazarları:
Ji Lin, Tsinghua Üniversitesi'nden lisans derecesi ile mezun oldu ve şu anda MIT'de doktora için çalışıyor.
Aynı zamanda Shanghai Jiaotong Üniversitesi ACM sınıfından bir lisans öğrencisi olan Ding Yaoyao, Profesör Han Song'un rehberliğinde Li Muyang ile MIT Han Lab'da araştırma görevlisi olarak çalıştı.
Zhijian Liu, Şanghay Jiaotong Üniversitesi'nden lisans derecesi ile mezun oldu ve şu anda Profesör Han Song altında doktora için çalışıyor.
Li Muyang'ın eğitmenlerinden Zhu Junyan. Bu genç adamın tanıtıma ihtiyacı yok, CycleGAN'ın yazarı ve ACM SIGGRAPH 2018'in en iyi doktora tezi ödülünü kazanan kişi. Şu anda bir Adobe araştırma bilimcisi, bu sonbaharda yardımcı doçent olarak mezun olduğu CMU'ya dönecek.
MIT EECS'de yardımcı doçent olan Song Han, aynı zamanda yapay zeka endüstrisinde büyük bir adamdır. Stanford Üniversitesi'nden doktora derecesi ile mezun oldu ve ICLR 2016'nın en iyi makalesini ve FPGA 2017'nin en iyi makalesini kazandı.
Portal
Kağıt adresi: https://arxiv.org/abs/2003.08936
GitHub: https://github.com/mit-han-lab/gan-compression
Li Muyang'ın kişisel ana sayfası: https://lmxyy.me
Colab: https://colab.research.google.com/github/mit-han-lab/gan-compression/blob/master/cycle_gan.ipynbhttps://colab.research.google.com/github/mit-han- lab / gan-sıkıştırma / blob / ana / pix2pix.ipynb
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojideki en son gelişmeleri alın
