ICLR 2020 | 15.000 sinir ağını eğitin, NAS'ı hızlandırın ve aramayı yalnızca 0,1 saniyede tamamlayın
Yazar Dong Xuanyi Düzenle Deve
Bu makale, Sydney Teknoloji Üniversitesi doktora öğrencisi Xuanyi Dong tarafından ICLR 2020'de yayınlanan "NAS-BENCH-201: Tekrarlanabilir Sinir Mimarisi Aramasının Kapsamını Genişletme" başlıklı makaleyi yorumlamaktadır. Bu makalede önerilen NAS-Bench-201, NAS algoritmasının yeniden üretilebilirliğini büyük ölçüde geliştirebilir ve NAS algoritmasının hesaplama gereksinimlerini azaltabilir (örneğin, yalnızca 0,1 saniyede tamamlanabilir) aramak ).
Makaleye bağlantı: https://arxiv.org/abs/2001.00326
NAS arka plan tanıtımı
Sinir ağı yapısı, derin öğrenme alanındaki çeşitli uygulamaların performansında hayati bir rol oynamaktadır.Şu anda, ağ yapısının tasarım paradigması, uzmanlar tarafından manuel tasarımdan otomatik makinelere doğru kademeli olarak değişmiştir. aramak . Ağ yapısı aramak (Sinir Mimarisi Araması, NAS) nasıl yapılacağını incelemeyi amaçlamaktadır. aramak Mekanda otomatik olarak yüksek performanslı, yüksek hassasiyetli ve yüksek verimli bir ağ yapısı bulunur.
Geçtiğimiz birkaç yılda, giderek daha fazla sayıda araştırmacı NAS araştırma alanına yatırım yaptı, giderek daha fazla NAS yöntemi önerildi ve tüm alanda birçok atılım yapıldı. NAS alanının iyi ve kötü yönlerini gözden geçirmenin zamanı geldi. NAS, iyi performansıyla bilinmesine ek olarak, çok büyük hesaplama gereksinimleri nedeniyle birçok araştırmacının cesaretini kırmıştır.Aynı zamanda, çeşitli NAS algoritmalarının deneysel ayarları şu anda farklıdır ve bir NAS algoritmasının gerçek kalitesini oldukça ölçmek zordur.
NAS algoritmasının hesaplama gereksinimlerini azaltmak, herkesin NAS algoritmasının özüne odaklanmasını sağlamak ve sonraki NAS algoritmalarına ilham vermek için NAS algoritmasının yeniden üretilebilirliğini daha da artırmak için NAS-Bench-201'i önerdik.
NAS-Bench-201 nedir?
NAS-Bench-201, birçok kez farklı rasgele sayı tohumlarına ve farklı hiperparametrelere dayalı olarak üç veri setinde (CIFAR-10, CIFAR-100, ImageNet-16-120) 15.000'den fazla sinir ağını eğitir. Her eğitim döneminden sonra eğitim ve test süresi, model kaybı işlevi ve eğitim seti / doğrulama seti / test setinde doğruluk, eğitimden sonra model parametreleri, model boyutu, model hesaplama miktarı ve diğer önemli bilgiler sağlar. NAS-Bench-201, bu yararlı tanılama bilgilerini düzenler ve bunları elde etmek için uygun bir API sağlar. NAS-Bench-201 API'yi tek bir tıklama ile kurmak için "pip install nas-bench-201" i çalıştırın ve 15.000'den fazla sinir ağının tüm bilgilerine sahip olacaksınız! Aşağıdaki şekil, 15000+ ağ performansının görselleştirmesidir.
NAS-Bench-201 ile neler yapılabilir?
1. NAS-Bench-201, Düzenli Evrimsel Algoritma / Rasgele Arama / REINFORCE kullanarak NAS algoritmasını hızlandırın ve diğer NAS algoritmaları 0,1 saniyede tamamlanabilir aramak Keşfedilen ağın performansını işleyin ve verin.
2. NAS algoritması performansının gerçek zamanlı takibi Tek seferlik NAS algoritması için, NAS-Bench-201, yapıyı yeniden eğitmeden herhangi bir zamanda düğümde mevcut tahmin edilen ağ yapısının performansını gözlemlemek için kullanılabilir.
3. Her bir NAS algoritmasını oldukça karşılaştırın. Farklı makaleler yeniden eğitiliyor aramak Ağ yapısını dışa aktarırken, kullanılan hiperparametreler / veri geliştirmeleri / normaller / vb. Farklıdır. Artık NAS-Bench-201 API'yi kullanarak, her araştırmacı adil bir şekilde karşılaştırabilir aramak Ağ yapısının dışında.
NAS-Bench-201 başka ne sağlar?
Tek bir kod tabanı altında 10 farklı NAS algoritmasını uyguladık ve açık kaynaklı hale getirdik. Bu algoritmaların performansını olabildiğince adil bir şekilde karşılaştırdık ve test ettik. Sonuç aşağıdaki gibidir:
REA / REINFORCE / RANDOM / BOHB'nin 500 çalışan sonucu
Altı tek vuruşlu NAS algoritmasının üç çalıştırma sonucu
NAS-Bench-201 kullanmak için önlemler
NAS-Bench-201, NAS topluluğuna adil bir bilgisayar dostu ortam sağlamayı amaçlamaktadır. Her ağın performansı API'miz kullanılarak kolayca elde edilebildiğinden, bu uygun durum, tasarlanan yeni NAS algoritmasını görünmez bir şekilde en iyi yapıya uydurabilir. Bu amaçla, aşırı uyumu önlemek için bazı kurallar koyuyoruz.
1. Belirli bir işlemi düzenli hale getirmek mümkün değildir. Örneğin, bağlantı atlama işlemlerinin sayısını sınırlayın.
2. Sağladığımız ağ performansımızı kullanın. Eğitim stratejisi, bir ağ yapısının nihai performansını etkiler. Biz Önermek NAS-Bench-201 kullanıcıları, daha iyi performans elde etmek için diğer eğitim stratejilerini kullansalar bile, karşılaştırmalı değerlendirmemiz tarafından sağlanan her ağın performansını kullanır. Adaleti sağlamak için.
3. Birden fazla grubu duyurun aramak Deneyin sonucu. Tekrarlandı aramak Süreç, bir NAS algoritmasının etkisini daha kararlı bir şekilde gösterebilir.
NAS-Bench-201 API örnek ekranı
NAS-Bench-201'in verilerini kullanmak çok kolaydır.Verileri kendiniz düzenlemenize gerek yoktur.NAS algoritmaları için yararlı olan çeşitli teşhis bilgilerini kolayca çağırabilen kullanışlı bir API arayüzü sağlıyoruz. Aşağıda geçici olarak bazı temel kullanımları veriyoruz:
Herkes gelip bir deneyin! Kod, veri ve algoritma analizi her zaman ihtiyacınız olana sahiptir.
NAS-Bench-201 ile ilgili kaynaklar
-
10+ NAS algoritmasının PyTorch uygulaması: https: // github .com / D-X-Y / AutoDL-Projeler
-
NAS-Bench-201 Tekrarlama Kılavuzu: https: // github .com /D-X-Y/AutoDL-Projects/blob/master/docs/NAS-Bench-201.md
-
NAS-Bench-201 API'nin pip kurulumu: https://pypi.org/project/nas-bench-201/1.0/
-
NAS-Bench-201 makale bağlantısı: https://openreview.net/forum?id=HJxyZkBKDr
-
Mükemmel NAS makalelerinin listesi: https: // github .com / D-X-Y / Harika-NAS
ICLR 2020 hakkında daha fazla bilgi "ICLR 2020 Değişim grubu "" ve gruba katılmanın yolu: AI Yanxishe 2 asistanını (AIyanxishe2) ekleyin, "ICLR" not edin ve gruba katılmaya davet edin.
03. Tam puan belgeleri | Negatif çeşitlilik cehaletini hafifletmek için Ekstra Gauss'un önceki hedefleri
