Tarihteki en iyi GAN'ı eğitmek için 512 TPU kullanın. Bir tanesi bunun bilgi işlem gücünde bir gelişme olduğunu gösteriyor
Copper Spirit Derleyin ve organize edin
Qubit Üretildi | Genel Hesap QbitAI
Son zamanlarda, bir "BigGAN" dalgası, makine öğrenimi çemberindeki uzmanları kaynama noktasına getirdi. Oluşturulan bu görüntünün kalitesinin sahte bir sinir ağı oluşturmak için yeterli olduğunu gören netizenler, "algoritma harika" diye övdü.
Halen çift kör inceleme altında olan bu ICLR 19 makalesi yayınlandı ve gerçek adı bu görüşe karşı çıktı.
Yabancı medya FastCompany ile yaptığı röportajda Andrew Brock, büyük GAN'ın başarısının anahtarının algoritmanın iyileştirilmesi değil, hesaplama gücünün iyileştirilmesi olduğunu söyledi.
İşlem gücü
Büyük GAN, Yüksek Doğruluklu Doğal Görüntü Sentezi için Büyük Ölçekli GAN Eğitimi kağıdından gelir. 128 × 128 küçük görüntüler oluşturmanın yanı sıra, büyük GAN ayrıca doğrudan 256 × 256, 512 × 512 ImageNet verileri üzerinde eğitilebilir ve nesil daha ikna edicidir. Örneklem.
Etki, yalnızca büyük GAN modeli parametreleri nedeniyle değil, aynı zamanda büyük eğitim ölçeği nedeniyle de olağanüstü GAN'dır. Parametreleri, öncekilerin 2-4 katıdır ve parti boyutu, öncekilerin 8 katıdır.
"Bu modellerin ihtiyaç duyduğu şey, algoritmaların iyileştirilmesi değil, hesaplama gücünün iyileştirilmesidir. Model kapasitesini ve her adımda görüntülenen görüntü sayısını artırdığınızda, ikili kombinasyonun etkisini elde edeceksiniz." Andrew Brock dedi.
Başka bir deyişle, sinir ağının karmaşıklığını artırmak için daha fazla düğüm ekleyerek Brock, daha yüksek doğrulukta sistem ve model dokuları oluşturabilir ve daha sonra bu tek tek dokuları birleştirerek tam bir küçük Kedi veya köpek yavrusu.
Yöntem iyi ve etkisi çok iyi İkisi arasında ne tür bir hesaplama gücü gerekiyor?
Brock evet dedi 512 Google TPU .
Bu deneyde Brock ve diğerleri, 512 Google TPU gerektiren 512 piksel görüntüler üretti ve eğitim süresi 24 ila 48 saat sürdü.
Tek başına TPU nimeti yeterli olmayabilir, yeterli güce sahip bir yer bulmanız gerekir. Kabaca bir tahmin olarak, eğer her TPU saatte 200 watt elektriğe ihtiyaç duyuyorsa Brockun 512 piksel deneyinde, her TPU 2450 ila 4.915 kilovat saat elektrik tüketecek ve bu da sıradan bir Amerikan evinin yaklaşık altı ay içindeki elektrik tüketimine eşittir. .
Görünüşe göre sıradan insanlar ve makine öğrenimi uzmanları arasındaki uçurum, yalnızca birkaç algoritma arasındaki boşluk kadar basit olmayabilir ...
Stajyer
Ekibin Eylül ayı sonunda gazetede imzası olmasa da tek seferde araştırma için 512 TPU kullanabildi.Dünya çapında çok az şirket bu kadar ekonomik güce sahip.
Şimdi, ekip sonunda üç araştırmacının Andrew Brock, Google DeepMind araştırmacısı Jeff Donahue ve Karen Simonyan olduğunu açıkladı.
Daguangjianying'in makine öğrenimi dünyasında eski bir söz var: Başkalarının evlerindeki stajyerler beni asla hayal kırıklığına uğratmadı. Doğru, büyük GAN ekibinin işi bir stajyer.
Brock şu anda Heriot-Watt Üniversitesi'nde okuyor. Qubit, bu sınıf arkadaşının Twitter'ına baktı ve hala öğrenci olmasına rağmen birçok uzman tarafından takip edildiğini gördü:
Google Daniel Goodfellow, PyTorch'un babası Soumith Chintala, Google Brain Tokyo İnternet ünlüleri araştırmacısı hardmaru, Tesla AI şefi Andrej Karpathy ve "New York Times" kıdemli muhabiri Cade Metz, Brock'un hayranı oldu ...
Portal
Son olarak, kağıt adresini ekleyin:
https://arxiv.org/pdf/1809.11096.pdf
Ancak, bu makaleyi çoğaltmak zor olabilir ~
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
