Google'ın yeni modeli ImageNet rekorunu kırdı, ilk yazar Shanghai Jiaotong Üniversitesi mezunu Xie Qizhe'dir
Aufei Tapınağı'ndan Balık ve Koyun Qubit Raporu | Genel Hesap QbitAI
Google'ın EfficientNet'i geliştikten sonra, ImageNet rekorunu kırdı.
Bu denir Gürültülü Öğrenci ImageNet'in yeni modeli, ImageNet görüntü sınıflandırmasının ilk 1 doğruluğunu% 87,4'e yükseltir; bu, önceki en iyi FixResNetXt-10132 × 48d'den daha yüksektir. Yüzde 1 puan .
Daha da şaşırtıcı olanı, ResNeXt-10132 × 48d'de yalnızca % 16.6 En yüksek doğruluk oranına sahip ImageNet-A test setinde, Noisy Student doğruluğu şu kadar artırdı: % 74,2 .
Yeni model, Google Brain Baş Bilimcisi Quoc V. Le ekibinden geliyor ve makalenin ilk yazarı, Shanghai Jiaotong Üniversitesi'nin ACM sınıfından mezun olan Xie Qizhe'dir. Şu anda CMU'da doktora yapmakta ve Google Brain'de öğrenci araştırmacısıdır.
Uygulama
İyileştirme çok açık, ancak yöntem karmaşık değil. Gürültülü Öğrenci ayakta duruyor EfficientNet Bu "ünlü öğretmen" in omuzlarında.
İlk adım, EfficientNet'i ImageNet'teki etiketli görüntülerle eğitmektir.
EfficientNet, Google'ın açık kaynaklı ölçekleme modelidir. AutoML'ye dayalı olarak geliştirilmiştir. İlk görünümünde ImageNet'in rekorunu kırmıştır. Doğruluk% 84,4 (ilk 1) ve% 97,1'dir (ilk 5). Model daha küçük ve daha hızlıdır ve verimlilik artırılmıştır. 10 kat fazla.
Bu model için, kübitler ayrıntılı bir yorum yaptı: https://mp.weixin.qq.com/s/DCRpBUJE98ckZnrouuVo6Q
İkinci adım, daha büyük bir veri setinde etiketlenmemiş görüntüleri sözde etiketlemek için EfficientNet kullanmaktır.
Bu adımda, araştırmacılar Google'ın JFT veri setini seçti. Bu veri seti, ImageNet'in 300 katı olan 300M görüntüye sahiptir.
Ardından, daha büyük bir öğrenci modeli eğitmek için etiketli görüntüleri sözde etiketli görüntülerle birleştirin.
Yeni öğrenci modeli, bu süreci yineleyerek yeniden yeni bir öğretmen olacak.
Sözde etiket oluşturma sürecinde, sahte etiketlerin güvenini artırmak için öğretmen modeli gürültüden rahatsız olmayacaktır.
Ancak eğitim sürecinde, öğrenci modeli rastgele derinlik, bırakma ve RandAugment'ten kaynaklanan gürültü girişimiyle karşı karşıya kalacaktır. Bu, öğrenci modelini sözde etiketlerden öğrenmeye zorlar.
Eğitim süreci boyunca, EfficientNet de sürekli olarak güncellenecektir. Bunların arasında en büyük model olan EfficientNet-L2'nin 3.5 gün boyunca 2048 çekirdekli bir Cloud TPU v3 Kapsülü üzerinde eğitilmesi gerekiyor.
Verim
Başta da belirtildiği gibi, bu yeni Noisy Student modeli ImageNet kaydını bir kez daha yeniledi, şimdi özel kaydına bir göz atalım:
İlk 1 doğruluk açısından, EfficientNet ve Noisy Student kombinasyonu, en iyi puanı yüzde 1 puan artırdı ve modelin parametre ölçeği Facebook'un FixResNetXt-10132 × 48d'den çok daha küçüktü.
Daha titiz test setinde, Noisy Student'ın ilerlemesi daha da önemlidir.
ImageNet-A test seti, SOTA modelinin doğruluğunun büyük ölçüde düşmesine neden olacak 7500 doğal hasım örneği içerir. Örneğin, Facebook'tan tanınmış bir oyuncu olan ResNeXt-10132 × 48d, yalnızca% 16,6'lık bir ilk 1 doğruluk oranına ulaşabilir.
Bu karşılaştırmada, Noisy Student, bir hamlede en yüksek 1 doğruluğu elde edecek % 16.6'dan% 74.2'ye yükseldi .
Image-C ve Image-P test setleri bulanık, buğulanmış, döndürülmüş ve ölçeklenmiş görüntüler içerir. Başka bir deyişle, test görüntüsü modelin eğitim verilerinden tamamen farklıdır.
ImageNet-C'de Noisy Student, hata oranının ortalamasını alacaktır 45,7'den 31,2'ye düşürüldü .
ImageNet-P'de, Noisy Student ortalama çevirme oranına sahip olacaktır 27,8'den 16,2'ye düştü .
Başka bir deyişle, bu yeni model yalnızca doğruluk oranını iyileştirmekle kalmadı, aynı zamanda sağlamlıkta da inanılmaz iyileştirmeler elde etti.
Makalenin yazarına göre, model kodu mümkün olan en kısa sürede yayınlanacak, bu yüzden önce işaretleyin ~
Portal
Kağıt adresi: https://arxiv.org/abs/1911.04252
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojideki en son gelişmeleri alın
