Tüm ImageNet'i 18 dakika boyunca 40 $ 'a eğitin! Bu başarının herkes tarafından elde edilebileceğini söylediler
Maihao Tapınağı'ndan Xia Yi
Qubit Üretildi | Genel Hesap QbitAI
Tencent kısa süre önce makine öğrenimi eğitiminde yeni bir rekor kırdı: ImageNet üzerinde AlexNet eğitimi, 4 dakika .
Şok oldum ve beğenildi. Aynı zamanda, bu araştırmanın ardındaki muazzam bilgi işlem gücüne daha fazla insanın gözü takıldı:
AlexNet'i 4 dakikada ImageNet'te% 58,7 doğrulukla eğitti. 1024 blok Nvidia Tesla P40 GPU; ResNet-50'yi 6,6 dakikada% 75,8 doğruluk oranıyla eğitti. 2048 yuan S40.
50.000 yuan'lık ihtiyatlı bir hesaplamaya göre, bu çalışmada tek başına GPU'nun maliyeti aşıyor 100 milyon yuan . Bilgisayar odası kasası, CPU vb. Gibi diğer maliyetleri göz önünde bulundurmasanız bile, artık fakir ve sıradan laboratuvarlar için uygun değildir.
Bazı zavallı takımlar kötülüğe inanmaz.
Fast.ai çevrimiçi derin öğrenme kursunun kurucusu Jeremy Howard, öğrencisi Andrew Shaw ve DIU'dan Yaroslav Bulatov, savunma inovasyon departmanı ile birlikte Kiralandı Amazon AWS bulut bilişim kaynakları, 18 dakika Görüntü sınıflandırma modeli, ImageNet üzerinde% 93 doğrulukla eğitilmiştir.
Howard resmi fast.ai blogunda bir makale yayınladı: Şimdi, kimse ImageNet'i 18 dakikada eğitebilirsiniz!
ImageNet'i herkesin kullanabileceği donanım (kamu altyapısı) üzerinde böyle bir doğruluk oranıyla eğitmenin bu hız olduğunu söyledi. Yeni Rekor , Stanford DAWNBench testinde Google'ın TPU Kapsülünden% 40 daha hızlı.
Bu tür sonuçlar için ne kadar bilgi işlem kaynağına ihtiyaç var?
Cevap, her biri 8 NVIDIA V100 GPU'ya sahip 16 AWS bulut örneği kullanmalarıdır. maliyet: 40 ABD doları .
SGD ve momentum ile optimize edilmiş standart bir ResNet-50 eğittiler.
Ve kullanılmış yöntem Özetle şu teknolojileri birleştirir:
Görüntüyü adım adım yeniden boyutlandırın : Fast.ai, sınıflandırma görevinde görüntü boyutunu kademeli olarak ayarlamayı (aşamalı görüntü yeniden boyutlandırma), önce küçük resimlerle eğitmeyi ve ardından kademeli olarak artırmayı önerir.
Doğrulamada dikdörtgen resimler kullanın : Geçmişte, görüntü tanımada insanların orijinal görüntüyü sabit boyutlu bir kareye kesmesi gerekiyordu, ancak bu sefer kullandıkları kütüphane, bu adımı atlayarak otomatik olarak sabit boyutlu modeli dinamik boyutlu bir modele dönüştürüyordu.
Aşağıdaki şekilde gösterildiği gibi, sol üst orijinal görüntüdür, sağ üstte fast.ai tarafından kullanılan dikdörtgen görüntüdür, sol alt standart yöntemle kare kesimdir ve sağ alt, çoklu kesme yöntemiyle kare kesimdir.
Google Brain Dinamik parti boyutu Bir varyantı: Bazı ara eğitim döngüleri için daha büyük gruplar kullanırlar, bu da GPU RAM'i daha iyi kullanabilir ve ağ gecikmelerini önleyebilir.
Tencent 4 dakikalık eğitim ImageNet yöntem çifti Kilo kaybı Düzeltilmiş işleme yöntemi: Bu yöntem, toplu norm katmanındaki ağırlık zayıflamasını ortadan kaldırır ve sabit bir eğitim süresinde birkaç döngü daha çalıştırabilir.
Birden çok makinede birden çok deneyi ekonomik olarak çalıştırmak ve AWS'nin daha ucuz "Spot bulut sunucusunu" daha rahat bir şekilde kullanmak için oluşturdukları sistem, Bir Python API Yeni örnekleri başlatmak ve yapılandırmak, denemeler yapmak, sonuçları toplamak, ilerlemeyi görüntülemek ve geliştirmek için Bir bağlantı planlayıcı (Nexus-scheduler) dağıtılmış deneylerin daha iyi yinelenmesine yardımcı olmak için.
Bağlantı planlayıcıda, ağ kullanımını Tensorboard aracılığıyla da görüntüleyebilirsiniz.
Temel dağıtılmış bilgi işlem kullanmaktır Nvidia'nın NCCL kütüphanesi Birleştirmek PyTorch'un tümü dağıtılmış modülü azaltır Başarıldı.
Tüm ImageNet'i 40 $, 16 AWS bulut sunucuları ve 18 dakika için eğitmenin sonucunu elde eden bir dizi yöntemdir.
Daha sonra, eğitim hızını daha da artırmak için yöntemi optimize etmeye devam etmeyi planlıyorlar. Ek olarak, ekip ayrıca fast.ai aracının işlevlerini içeren nexus-scheduler'ı 25 Ağustos'ta resmi olarak yayınlamayı planlıyor.
Son olarak, orijinal metne bir portal ekleyin:
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
