Google Brain, yeni bir sinir mimarisi arama yöntemi yayınladı: 1000 kat daha hızlı
LZYY'den Yue Paihuai
Qubit Üretildi | Genel Hesap QbitAI
Geçen yıl, Google Brain ekibi, Sinir Ağı Otomatik Mimari Arama'yı (NAS) yayınladı. Bu yöntem teorik olarak sinir ağı mimarisini daha iyi ve otomatik olarak tasarlayabilir.
NAS iyi performans gösterse de, çok fazla bilgi işlem kaynağı tüketir. Bir kez çalıştırdığınızda, 450 GPU'nun 3-4 gün boyunca çalışması gerekebilir ve bu da yaklaşık 32400-43200 GPU saat harcar.
Yatırım yeterli olmadığında istenilen sonuç alınmayacaktır.
Belli ki büyük inekler boş yere oturmayacak. Bir yıl sonra, Google Brain ekibi en son araştırma sonuçlarını yayınladı: ENAS, tam adı: Efficient Neural Architecture Search.
Google Brain ekip üyeleri, NAS'ın hesaplama darboğazının, eğitim alt modelinin yakınlaşması durumunda, yalnızca doğruluğu ölçmesi ve eğitilmiş tüm ağırlıkları kaybetmesi olduğunu keşfetti.
En son araştırma, NAS'ın verimliliğini artırmak için tüm alt modelleri ağırlıkları paylaşmaya zorlamaktır. Bu yöntemin karmaşıklığı, her bir alt modelin farklı ağırlıklar kullanmasıdır.
Sonunda, Google Brain ekibi başarılı oldu. Yeni yöntemi kullandıktan sonra, yalnızca bir Nvidia GTX 1080Ti grafik kartı mimari aramasını 16 saat içinde tamamlayabilir.
NAS ile karşılaştırıldığında, GPU zaman tüketimi 1000 kattan fazla azalır.
Bu makale yayınlanmak üzere arXiv'e gönderildi. Yazarlar: Hieu Pham, Melody Y. Guan, Barret Zoph, Quoc V. Le, Jeff Dean.
Makalenin ayrıntılarıyla ilgileniyorsanız, işte portal:
https://arxiv.org/abs/1802.03268
Ayrıca ICLR 2018'de alınan bildiriler arasında benzer yönlerde bazı araştırmalar da var. Siz de ilgileniyorsanız, lütfen Google Brain ekibinin bir üyesi olan @hardmaru tarafından paylaşılan bu portalı kabul edin:
https://openreview.net/forum?id=rydeCEhs-
https://openreview.net/forum?id=BJQRKzbA-
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
