He Yuming ekibinin en son şaheseri: Beyond EfficientNet, GPU'da 5 kat daha hızlı | CVPR 2020
İçbükey tapınaktan on üç balık ve koyun Qubit Raporu | Genel Hesap QbitAI
Büyük Tanrı (grup), salonun sinir ağını tekmelemek için garip bir hareket yaptı.
Yine de tanıdık bir ekip veya tanıdık bir imza olan Facebook AI Lab, yeni ağ tasarım paradigmalarını yeniler ve bunlara meydan okur.
Tanıdık Ross, tanıdık He Yuming, yepyeni ... RegNet .
Ağ tasarım paradigması sadece "mevcut ana akıma karşı çalışıyor" değil: basit ve anlaşılması kolay bir model aynı zamanda yüksek hesaplama karmaşıklığına da sahip olabilir.
Ve benzer koşullar altında, performans EfficientNet'ten daha iyidir ve GPU'daki hız da iyileştirilir 5 kere !
Birleştiren yeni bir ağ tasarımı paradigması Ağı manuel olarak tasarlayın ile Sinir ağı araması (NAS) avantajları:
Manuel ağ tasarımı gibi amaç, basit ağların bazı genel tasarım ilkelerini tanımlayabilen ve bunları çeşitli ortamlarda genelleştirebilen yorumlanabilirliktir.
NAS gibi, yarı otomatik işlemler anlaşılması, oluşturulması ve genelleştirilmesi kolay basit modelleri bulmak için kullanılabilir.
Gazete şüphesiz CVPR 2020'yi de kazandı.
Not: Makale 30 Mart'ta arXiv'de yayınlandı, bu yüzden bunun bir 1 Nisan şakası olduğunu düşünmeyin ...
Üç deney setinin karşılaştırması, neredeyse "Grand Slam"
RegNet, performans açısından çok üstün.
Deney, ImageNet veri kümesi üzerinde gerçekleştirildi ve amaç çok açıktı: Çeşitli ortamlarda sinir ağlarına meydan okuyun .
Önce bir göz atalım Mobil Sinir Ağı Karşılaştırma.
Son zamanlarda, birçok ağ tasarımı çalışması mobil rejime (~ 600MF) odaklanmıştır.
Yukarıdaki tablo, 600MF RegNet'in bu ağlarla karşılaştırılmasının sonucudur. RegNe'nin manuel tasarıma veya NAS ağına dayalı olması fark etmeksizin çok iyi performans gösterdiği görülebilir.
Yuming'in ekibi, RegNet modelinin temel bir 100 epoch çizelgesi (çizelge) kullandığını ve ağırlık zayıflatması dışında herhangi bir düzenleme kullanmadığını vurguladı.
Ve çoğu mobil ağ, daha uzun zamanlama ve derin denetim, Kesme, DropPath vb. Gibi çeşitli geliştirmeler kullanır.
Sonra, RegNet ve Standart temel ResNet ile ResNeXT Karşılaştırma.
Adil olmak gerekirse, araştırmacılar onları aşağıdaki şekilde gösterildiği gibi aynı eğitim ayarları altında karşılaştırdılar:
Genel olarak, ağ yapısını optimize ederek, RegNet modeli tüm karmaşıklık göstergeleri altında büyük ölçüde iyileştirilmiştir.
Araştırmacılar ayrıca, iyi bir RegNet modelinin, ResNet ve ResNeXT'nin pek uygun olmadığı düşük bilgi işlem ortamları da dahil olmak üzere çok çeşitli hesaplama ortamları için uygun olduğunu vurguladılar.
Yukarıdaki tabloda (a), aktivasyona göre gruplandırılan karşılaştırma gösterilmektedir.
Araştırmacılar, etkinleştirmeyi, GPU gibi hızlanma derecesi üzerinde daha büyük bir etkiye sahip olacak şekilde, tüm dönüşüm katmanlarının çıkış tensörünün boyutu olarak tanımlar.
Araştırmacılar, bu ayarın çok anlamlı olduğunu çünkü model eğitim süresinin bir darboğaz olduğunu söylediler. Gelecekte, otonom sürüş gibi senaryolarda muhakeme süresinin iyileştirilmesi faydalı olabilir. Sabit bir çıkarım veya eğitim süresi verildiğinde, RegNet çok etkilidir.
Yukarıdaki tabloda (b), floplara göre gruplanmış karşılaştırma gösterilmektedir.
Son olarak, RegNet ve EfficientNet Karşılaştırma.
EfficientNet şu anda en popüler teknolojiyi temsil etmektedir. Karşılaştırma sonucu aşağıdaki şekilde gösterilmektedir:
Floplar düşük olduğunda, EfficientNet'in hala bir avantaja sahip olduğu, ancak floplar arttıkça RegNetX ve RegNetY'nin gücünü kademeli olarak gösterdiği görülebilir.
Ek olarak, He Yuming'in ekibi, EfficentNet için aktivasyon ve flopların doğrusal bir ilişkiye sahip olduğunu; RegNet için ise aktivasyon ve flopların karekökünün doğrusal bir ilişkiye sahip olduğunu buldu.
Bu, EfficiententNet'in GPU eğitiminin ve çıkarım hızının yavaşlamasına neden olur. RegNeTX-8000, Efficient entNet-B5'ten 5 kat daha hızlıdır ve aşağıdaki tabloda gösterildiği gibi daha düşük hataya sahiptir:
Böyle bir performansla, sonraki soru şu: RegNet nasıl yapılır?
Önce bir ağ tasarım alanı oluşturun
İlk olarak, Radosavovic ve ark. Web tasarım alanı (Ağ tasarım alanları) kavramı.
Temel fikir, model dağılımını oluşturmak için modelin tasarım alanında örneklenebileceği ve klasik istatistikteki araçların tasarım alanını analiz etmek için kullanılabileceğidir.
He Yuming'in ekibi tarafından yapılan bu çalışmada, araştırmacılar, sınırsız bir başlangıç tasarım alanının kademeli olarak basitleştirilmiş bir versiyonunu tasarlamayı önerdiler. Bu sürece denir Tasarım alanı tasarımı (Tasarım alanı tasarımı).
Tasarım sürecinin her adımında, girdi ilk tasarım alanıdır ve çıktı, daha basit veya daha iyi performans modelinin basitleştirilmiş bir modelidir.
Modeli örnekleyerek ve hata dağılımını kontrol ederek, tasarım alanının kalitesi karakterize edilebilir.
Örneğin, yukarıdaki şekilde, ilk tasarım alanı A'dan başlayarak, tasarım alanı B'yi ve ardından C'yi oluşturmak için iki optimizasyon adımı uygulanır.
CBA, görebiliyoruz ki, A'dan B'ye C'ye, hata dağılımı giderek gelişiyor.
Diğer bir deyişle, her tasarım adımının amacı, daha basit ve daha etkili modeller üretebilecek tasarım ilkelerini keşfetmektir.
Araştırmacılar tarafından tasarlanan ilk tasarım alanı AnyNet .
Ağın temel tasarımı çok basittir: omurga (2, 32 çıkış kanallı 3 × 3 evrişim) + çok sayıda hesaplama yapan ağın ana gövdesi + tahmin edilen çıktı kategorisinin başı (ortalama havuzlama, ardından tamamen bağlı katmanlar).
Ağın ana gövdesi, kademeli olarak azalan bir çözünürlükte işleyen bir dizi aşamadan oluşur.
İlk blok dışında (2 adımlı evrişim kullanan), her aşama bir dizi özdeş blok içerir.
Genel yapı basit olsa da AnyNet tasarım alanında bulunabilecek toplam ağ sayısı çok büyük.
Çoğu deney, araştırmacıların X bloğu olarak adlandırdığı gruplanmış evrişimli standart artık darboğaz blokları kullanır ve bunun üzerine inşa edilen AnyNet tasarım alanı AnyNetX olarak adlandırılır.
AnyNetX'te araştırmacılar 4 hedefe ulaşmayı hedefliyor:
- Tasarım alanı yapısını basitleştirin
- Tasarım alanının yorumlanabilirliğini iyileştirin
- Tasarım alanının kalitesini iyileştirin veya koruyun
- Tasarım alanında model çeşitliliğini koruyun
Bu nedenle, ilk AnyNetX'e AnyNetXA adı verilir ve "A B C D E" optimizasyon süreci başlatılır.
İlk olarak, AnyNetXA tasarım alanının tüm aşamaları için, paylaşılan darboğaz oranını (darboğaz oranı) bi = b test edin ve ortaya çıkan tasarım alanı AnyNetXB olur.
Benzer şekilde, aynı ayarlar altında, AnyNetXB'den 500 model örneklenir ve eğitilir.
AnyNetXA ve AnyNetXB, ortalama ve en iyi koşullarda neredeyse aynı EDF'ye sahiptir. Bi kuplaj yaparken doğruluk kaybı olmadığını gösterir. Ve AnyNetXB'nin analizi daha kolaydır.
Ardından, AnyNetXB ile başlayarak, AnyNetXC'yi elde etmek için tüm aşamalar için paylaşılan grup genişliğini kullanın.
Daha önce olduğu gibi, EDF neredeyse hiç değişmedi.
Ardından, araştırmacılar AnyNetXC'deki iyi ve kötü ağların tipik ağ yapısını test ettiler.
İyi bir ağın genişliğinin arttığını gördüler.
Bu nedenle, wi + 1 wi tasarım ilkesini eklediler ve bu kısıtlamaya sahip tasarım alanını AnyNetXD olarak adlandırdılar.
Bu, EDF'yi büyük ölçüde iyileştirir.
En iyi model için, yalnızca sahne genişliği artmakla kalmaz, aynı zamanda araştırmacılar sahne derinliği di'nin de son aşama dışında aynı eğilime sahip olduğunu buldular.
Bu nedenle, di + 1 di'nin kısıtlama koşulu eklendikten sonra, sonuç tekrar iyileşti. Yani AnyNetXE.
AnyNetXE'nin daha fazla gözlemlenmesi, RegNet'in temel noktasına götürür: İyi bir ağın genişliği ve derinliği, nicelleştirilmiş doğrusal bir fonksiyonla açıklanabilir.
AnyNetXA'dan RegNetX'e, boyutlar 16 boyuttan 6 boyuta düşürüldü ve boyut yaklaşık 10 büyüklük sırası azaltıldı.
Aşağıdaki şekilde görülebileceği gibi, RegNetX'teki model, AnyNetX'teki modelden daha düşük bir ortalama hataya sahiptir. Dahası, RegNetX'in rastgele arama verimliliği çok daha yüksektir, yaklaşık 32 rastgele model aramak iyi modeller üretebilir.
Tasarım alanı genellemesi
Başlangıçta, verimliliği artırmak için araştırmacılar, RegNet tasarım alanını düşük hesaplama yükü ve düşük dönemli eğitim yöntemi ile tasarladılar.
Bununla birlikte, amaçları belirli bir ortamı hedeflemek değil, ağ tasarımının genel ilkelerini keşfetmektir.
Bu nedenle, RegNetX'i AnyNetXA ve AnyNetXE ile 5 adımlı bir ağda daha yüksek floplar, daha yüksek dönem ve çeşitli blok türleri ile karşılaştırdılar.
Her durumda, tasarım alanında aşırı uyum yoktur.
Diğer bir deyişle, RegNet iyi bir genelleme yeteneğine sahiptir.
Son olarak, bu AI araştırma rüya ekibini her zamanki gibi tanıtalım.
Tanıdık yüz, tanıdık ekip
Ross ve He Yuming, bu kombinasyon çok tanıdık geliyor.
Bu sefer beş yazarın hepsi Facebook AI Araştırma Enstitüsü'nden.
İlk makale için Imperial College London'da bir lisans öğretim asistanı olan Ilija Radosavovic, Facebook'ta staj yaptı.
Raj Prateek Kosaraju ve sırasıyla Georgia Teknoloji Enstitüsü ve Chicago Üniversitesi'nden mezun olan Ross Girshick, FAIR bilgisayar vizyonu doğrultusunda bilim adamlarıdır.
Son yazar Piotr Dollar, Kaliforniya Üniversitesi, San Diego'dan doktora derecesi ile mezun oldu ve şu anda FAIR'de çalışıyor.
Çinliler en çok yetenekli bir yapay zeka araştırmacısı olan He Kaiming'e aşinadır.
Dahası, He Yuming'in ekibinin adından önerdiği RegNet, ResNet-2016 CVPR En İyi Kağıt Ödülü'nün başyapıtı gibi görünüyor.
Ayrıca Kaiming Great God, 2009 ve 2017'de CVPR ve ICCV En İyi Kağıt Ödüllerini de kazandı ve yeni gelenler bulmak hala zor.
(İbadet etmeye devam edin ...)
İlginç bir şekilde, bu çalışmada, ResNet, karşılaştırma için bir temel olarak da kullanılmıştır.
Ancak, şaşırtıcı olmayan bir şekilde, son yıllardaki araştırmaya göre He Yuming, önceki yöntemlerini ve araştırmalarını da sürekli olarak bozuyor.
He Yuming'i geçme yolunda, He Yuming hala en hızlı koşucudur.
Eh, büyük tanrının mutluluğu çok iddiasız ve alçakgönüllü.
Önce filme saygı gösterelim ve RegNet'i nasıl değerlendireceğinizi size bırakalım ~
Portal
Kağıt adresi: https://arxiv.org/pdf/2003.13678.pdf
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojideki en son gelişmeleri alın
