CVPR 2020 | Shangtang, alan budamasına dayalı NAS algoritması öneriyor
Yazar Shangtang AutoML ekibinden CVPR2020 "POSTERİOR SOLMAYI BASTIRARAK TEK ATIŞLI NAS'I GELİŞTİRME" makalesini tanıtmaktadır.
Yazar | Shang Tang
Düzenle | Kongun Sonu
Kağıt adresi:
SenseTime AutoML ekibi tarafından, ağ kurumlarının arama performansını iyileştirmek için parametrelerin posterior dağıtım özelliklerine dayalı olarak önerilen ilk çalışma olan bu çalışma, ağ kurumlarında hızlı proxy aramasının etkinliği sorununu çözmek için yeni bir fikir sunmaktadır.
Aynı zamanda ekip, model yapısı arama ve tasarımı için bir temel olarak ImageNet veri kümesinde farklı boyutlarda iki model yayınladı. Önceki çalışmayla karşılaştırıldığında, PC-NAS, yapılandırılmış arama aracılarının etkinliğinde önemli bir iyileşmeye sahiptir.
1 Motivasyon
Bu makale, Tek seferlik parametrelerin posterior dağılımını analiz etmenin bir yolunu sunmaktadır.Arama uzayında ne kadar çok yapı varsa, parametrelerin posterior dağılımının o kadar fazla saptığı sonucuna varıldıktan sonra, alan budamasına dayalı bir NAS algoritması önerilmektedir. Bu çalışmanın araştırma motivasyonu:
1. Mevcut ağ yapısı arama algoritması (NAS) zaten uygulanabilir. Büyük miktardaki hesaplama talebi şu anda en büyük sorun haline geldi. Bununla birlikte, hesaplama problemini çözme yöntemi şu anda mükemmel değildir ve bir aracı olarak paylaşılan parametrelere sahip bir süpernetin kullanılması nispeten yaygın bir seçim haline gelmiştir. Ancak bu tür bir yöntem, failin sapması ve gerçek durumla sınırlıdır.
2. Gözlem ve analize göre, paylaşılan parametrelerin eğitilmesi sürecinde elde edilen parametrelerin arkası, tek bir modelin bağımsız eğitiminin parametre dağılımı ile belirli bir yasaya sahiptir. Ardından, bu çalışmanın gözlem ve analizini ayrıntılı olarak tanıtacağız.
Bayes model seçimine (ve belirli varsayımlara) dayanan bu çalışma, paylaşılan ağırlıkların yapısal sıralama üzerindeki etkisine ilişkin iki gözlem vermektedir:
-
Paylaşılan ağırlığın parametre dağılımı ile paylaşılmamış yeniden alıştırma süresinin yapısal parametre dağılımı arasındaki ilişki KL sapması ile ölçülebilir.
-
Seçim için mevcut model sayısı arttıkça, düğüm yapılarının sayısı arttıkça sapma artar.
2 Algoritma
Ağırlık paylaşımı eğitimi sırasında ağırlık paylaşımı için ağ yapılarının sayısını azaltmak amacıyla, eğitim sırasında bir alan budaması yöntemi öneriyoruz. Şu anda yukarıdaki Şekil (a) 'da gösterildiği gibi bir süpernetimiz olduğunu ve her katmanın bir miksopu olduğunu (mixop, n aday opların toplu adıdır), bu nedenle süpernet farklı yapılardan toplam n ^ katmanı içerdiğini varsayalım. Arama alanını daraltmak için kısmi model havuzu konseptini öneriyoruz. Ağ yapısının L katmanlarına sahip olduğu varsayıldığında, yapı havuzunun bir kısmının tüm arama süreci boyunca L aşamaları (Aşama) olacaktır. L-1 durumundan L durumuna her seferinde, kısmi yapı havuzundaki alt yapıların sayısı 1 artacaktır.
Şekil (b) 'de gösterildiği gibi bu sefer Aşama = 2'dir ve kısmi yapı havuzunda düğüm numaralarına göre (1,1) ve (0,1) olarak adlandırılan 2 seviyeli iki yapı vardır. Aşama = 3'e ilerlemek için 2x3 parçalı yapıların (1, 1, 0), (1, 1, 1), (1, 1, 2) ve (0, 1, 0) potansiyelini değerlendireceğiz. ), (0, 1, 1), (0, 1, 2). Bazı ağların artıları ve eksileri veya potansiyeli nasıl değerlendirilir?
Bu nedenle, Potansiyel'i, kısmi yapıda belirtilen mixop için rastgele örneklenen yapının ortalama doğrulama kümesi olarak tanımlıyoruz.
Arama Sonuçları
Yukarıdaki arama sürecine göre, biri büyük biri küçük olmak üzere iki ağ alanında arama yaptık. Küçük arama alanındaki her katman 9 tip operatör içerir ve geniş arama alanı her katmanda 19 tip operatör içerir. Geniş arama alanı PC-NAS-L'nin arama sonucunu ve küçük arama alanı PC-NAS-S modelini adlandırdık.
Yukarıdaki tablodan görülebileceği gibi, aynı gpu lantensi altında, PC-NAS'ımız tüm temelleri aşabilir veya daha düşük olamaz.
Doğrulama modelinin sağlamlığı, tespit görevinde görülebilir.
3 Ajans sipariş koruması
Peki benimsediğimiz arama alanı küçültme algoritması aracının etkinliğini etkili bir şekilde artırıyor mu?
Aynı kod setini, baştan sona tek adımlı yöntem eğitimi kullanarak ve paylaşım ağırlıklarını eğitmek için algoritmamızı kullanarak karşılaştırdık. Son aşamadaki kısmi yapı modelinin genişletilmiş yapısı ve tek seferlik yöntemde rastgele benimsediğimiz aynı sayıda yapı için, iki grup arasındaki korelasyon, gerçek acc ve proxyacc . Son aşamada, korelasyonun tek seferlik yönteme göre belirli avantajları olduğunu görebiliriz.
Referanslar Georege Adam ve JonathanLorraine. Sinir mimarisi arama tekniklerini anlama. ArXiv preprintarXiv: 1904.00438, 2019. Bowen Baker, Otkrist Gupta, Nikhil Naik ve Ramesh Raskar. Takviyeli öğrenmeyi kullanarak sinir ağı mimarilerini tasarlama. Uluslararası Öğrenme Temsilcileri Konferansı, 2017a. Gabriel Bender, Pieter -Jan Kindermans, BarretZoph, Vijay Vasudevan ve Quoc V. Le. Tek seferlik mimari aramayı anlama ve basitleştirme. ICML, 2018. CVPR 2020 yazı dizilerinin yorumlanması
01. PolarMask: Endüstride büyük ölçekte uygulanması beklenen FCN'ye örnek segmentasyonunu birleştirin
02. RandLA-Net: Büyük sahnelerde (açık kaynaklı) 3B nokta bulutlarının anlamsal segmentasyonu için yeni bir çerçeve
03. 17 seçilmiş CVPR 2020, Tencent Youtu 9 seçilmiş bildiriler detaylı açıklama
04. Zayıf denetlenen hedef yerelleştirme alanında yeni SOTA-sözde denetimli hedef yerelleştirme yöntemi
05. 11 tür GAN görüntüsünün gerçekliğine meydan okuyun, DeepFake tanımlama hiç de zor değil
06. Resimlere bakın ve istediğiniz gibi konuşun: İnce taneli ve kontrol edilebilir görüntü açıklaması otomatik olarak oluşturulur
07. PQ-NET: Serileştirilmiş 3B şekil oluşturma ağı
08. Görme dili navigasyonunda yeni bir bölüm: gerçek sahnelerde uzak nesne konumlandırma ve gezinme görevleri
09. İşsiz iç mimar? Dil açıklaması için otomatik 3B sahne tasarımı algoritması
10. Derinlemesine Görsel Akıl Yürütme 2.0: Birleştirilmiş Hedef, Anlamayı İfade Eder
11. Transfer yeteneği kazanmak için denetimsiz pekiştirmeli öğrenme yöntemlerini kullanın
12. İnce taneli metin ve video modları arası erişim
13. IR-Net: Bilgi saklama için ikili sinir ağı (açık kaynak)
14. Megvii Araştırma Enstitüsü, yenilikçi bir derin özellik öğrenme paradigması olan Circle Loss'u önermektedir
15. ACGPN: Yeni bir imaj tabanlı sanal giyinme fikri
16. İki taraflı şube ağı BBN: Uzun kuyruklu gerçek dünya görevinin üstesinden gelmek
17. Nokta bulutlarına dayalı yeni bir 3B nesne algılama çerçevesi
18. MetaFuse: insan pozu tahmini için önceden eğitilmiş bir bilgi füzyon modeli
19. VI-ReID için hiyerarşik modlar arası yaya tanıma
20. 8 bitlik değerler modelleri de eğitebilir mi? Shangtang, eğitim hızlandırma için yeni bir algoritma önerdi
21. Çukur kazma ve bekleme, FineGym, hassas hareket analizi için hiyerarşik yüksek kaliteli bir veri seti
22. Tıkamak için büyülü kendi kendini denetleyen sahne
AI Technology Review Series Canlı
1, ACL 2020-Fudan Üniversite Dizisinin Yorumlanması
Canlı tema: farklı ayrıntı düzeyine sahip çıkarımlı metin özetleme sistemi
Konuşmacılar: Wang Danqing, Zhong Ming
Canlı yayın süresi: 25 Nisan (Pazartesi akşamı) 20:00.
Canlı tema: Sözlükle birleştirilmiş Çince adlı varlık tanıma [ACL 2020-Fudan University Series Interpretation (2)]
Konuşmacılar: Ma Ruotian, Li Xiaonan
Canlı yayın süresi: 26 Nisan (Pazartesi akşamı) 20:00.
Canlı konu: ACL 2020 | Karşıt örneklere dayalı bağımlılık sözdizimi modelinin sağlamlık analizi
[ACL 2020-Fudan Üniversite Dizisinin Yorumlanması (3)]
Konuşmacı: Zeng Jiehang
Canlı zaman: 27 Nisan (Pazartesi gecesi) 20:00.
2. ICLR 2020 serisi canlı yayın
Canlı tema: ICLR 2020 Eylem Semantik Ağı: Çok Etmenli Sistemlerdeki Eylemlerin Etkilerini Düşünme
Konuşmacı: Wang Weixun
Yeniden oynatma bağlantısı:
Canlı konu: ICLR 2020 Negatif örnekleme yoluyla uzman verilerinden kendi kendini düzeltme stratejilerini ve değer işlevlerini öğrenin
Konuşmacı: Luo Yuping
Yeniden oynatma bağlantısı: (oynatma süresi: 25 Nisan'da 10:00)
Canlı konu: ICLR 2020 Parçalı doğrusal aktivasyon işlevi sinir ağı kayıp yüzeyini şekillendirir
Konuşmacı: He Fengxiang
Canlı zaman: 24 Nisan (Cuma gecesi) 20:00
Nasıl katılınır?
