ImageNet denetimsiz öğrenmenin en iyi performansı, denetimli öğrenmeye kıyasla bir seferde% 7 artar
Kaynak: Heart of the Machine
Bu makale hakkında 2453 kelime, Önerilen Okuma 7 dakika.
Bu makale, Turing Ödülü sahibi Geoffrey Hinton gibi Google araştırmacılarının, tek seferde gözetimsiz öğrenme endeksini% 7-10 oranında geliştiren, hatta denetimli öğrenmenin etkisiyle bile karşılaştırılabilecek en son araştırmasını tanıtmaktadır.
Bugün, ImageNet'teki görüntü tanıma doğruluğunun performans iyileştirmesi genellikle her seferinde yüzde puanının sadece onda biri kadardır ve Turing Ödülü sahibi Geoffrey Hinton gibi Google araştırmacılarının en son araştırması, denetimsiz öğrenme endeksini 7 % 10, hatta denetimli öğrenmenin etkisiyle karşılaştırılabilir.
Günümüzde, ImageNet'teki görüntü tanıma doğruluğunun performans iyileştirmesi genellikle her seferinde yüzde puanının sadece onda biri kadardır ve Turing Ödülü sahibi Geoffrey Hinton gibi Google araştırmacılarının en son araştırması, denetimsiz öğrenme endeksini bir kez alır. Denetimli öğrenmenin etkisine kıyasla% 7-10'luk bir artış .
Özenli öğrenciler, uzun süredir sosyal ağlarda görünmeyen derin öğrenmenin öncüsü Geoffrey Hinton'un son zamanlarda aniden yeni bir trend izlediğini fark edebilirler. Araştırma ekibi tarafından başlatılan denetimsiz SimCLR yöntemi anında büyük ilgi gördü:
SimCLR, yapay zekanın sınıf etiketleri olmadan görsel temsili öğrenmesine olanak tanıyan ve denetimli öğrenmenin doğruluğunu elde edebilen basit ve açık bir yöntemdir. Makalenin yazarı, ImageNet'teki% 1 görüntü etiketlerinde ince ayar yaptıktan sonra SimCLR'nin% 85,8'lik bir İlk 5 doğruluğu elde edebileceğini, performansın AlexNet etiketlerinin yalnızca% 1'i ile ikincisini aştığını belirtti.
Makaleye bağlantı: https://arxiv.org/pdf/2002.05709.pdf
Bu çalışmada, araştırmacılar görsel temsil için basit bir kontrast öğrenme çerçevesi olan SimCLR inşa ettiler; bu, yalnızca önceki tüm çalışmalardan değil, aynı zamanda en son kontrastlı kendi kendini denetleyen öğrenme algoritmasından da üstündür ve yapı daha basittir: Ne özel bir mimari ne de özel bir havuz gerekli.
Şekil 1. SimCLR ile ImageNet'teki önceki kendi kendini denetleyen yöntemlerin (ImageNet ile ön eğitim) ve ResNet-50'nin (gri ×) denetimli öğrenme etkisinin ilk 1 doğruluk karşılaştırması.
Bu yazıda araştırmacılar şunları buldu:
Bu bulgulara dayanarak, ImageNet ILSVRC-2012 veri setinde yeni bir yarı denetimli, kendi kendini denetleyen öğrenme SOTA yöntemi-SimCLR uyguladılar. Doğrusal değerlendirme açısından SimCLR, önceki SOTA'dan% 7 daha yüksek olan% 76,5'lik ilk 1 doğruluk oranına ulaştı. İnce ayar için ImageNet etiketlerinin yalnızca% 1'i kullanıldığında SimCLR, önceki SOTA yönteminden% 10 daha yüksek olan% 85,8'lik bir ilk 5 doğruluğa ulaşır. Diğer 12 doğal görüntü sınıflandırma veri setinde ince ayar yapıldığında, SimCLR, 10 veri setinde güçlü bir şekilde denetlenen öğrenme temeline kıyasla veya daha iyi performans gösterdi.
Denetimsiz öğrenmenin hızlı gelişimi bilim insanlarına yeni bir umut verdi.DeepMind bilim adamı Oriol Vinyals şöyle dedi: Kontrast kaybı fonksiyonu sayesinde, denetimsiz öğrenme denetimli öğrenmeye yaklaşıyor!
Yöntemi basitleştirin, ancak etki daha iyidir
En son kontrast öğrenme algoritmasından (kontrastlı öğrenme algoritması) esinlenen SimCLR, aynı veri örneğinin farklı geliştirilmiş görünümleri arasındaki tutarlılığı en üst düzeye çıkarmak için gizli boşluktaki kontrast kaybını kullanır ve böylece gösterimi öğrenir. Spesifik olarak, bu çerçeve dört ana bölümden oluşur:
- Rastgele veri geliştirme modülü, pozitif çiftler olarak kabul ettiğimiz, sırasıyla xi ve xj olarak belirtilen aynı örneğin iki ilişkili görünümünü oluşturmak için verilen herhangi bir veri örneğini rastgele dönüştürebilir;
- Temsil vektörünü geliştirilmiş verilerden çıkaran temel bir sinir ağı kodlayıcısı f (·);
- Küçük bir sinir ağı projeksiyon kafası g (·) gösterimi kontrast kaybının alanına eşler;
- Kontrast tahmin görevi için tanımlanan kontrast kaybı işlevi.
Gazetenin yazarlarından biri olan Google'ın kıdemli araştırma bilimcisi Mohammad Norouzi, sosyal ağlarda bu öğrenme algoritmasının en basit özetini yaptı:
- Rastgele küçük bir parti çizin
- Her örnek için iki bağımsız geliştirme işlevi çizin
- Her örnek için birbiriyle ilişkili iki görünüm oluşturmak için iki geliştirme mekanizması kullanın
- Diğer örnekleri reddederken ilgili görüşleri birbirleri için çekici hale getirin
SimCLR'nin temel öğrenme algoritmaları aşağıdaki gibidir:
Daha büyük bir parti boyutu ile tren
Yazar, eğitim parti boyutunu N 256 ila 8192'ye böler. Parti boyutu 8192 olduğunda, gelişmiş görünümde her pozitif çift için 16382 karşı örnek vardır. Standart SGD / momentum ve doğrusal öğrenme oranı genişletme kullanılırken, büyük eğitim grupları istikrarsız olabilir. Eğitimi daha istikrarlı hale getirmek için, araştırmacılar tüm parti boyutlarında LARS optimize ediciyi kullandılar. Modeli eğitmek için Cloud TPU kullanıyorlar , Parti boyutuna bağlı olarak, kullanılan çekirdek sayısı 32 ile 128 arasında değişir.
Veri geliştirme
Veri artırma denetimli ve denetimsiz temsil öğreniminde yaygın olarak kullanılmasına rağmen, kontrast öğrenme görevlerini tanımlamanın sistematik bir yolu olarak görülmemiştir. Mevcut birçok yöntem, mimariyi değiştirerek kontrast tahmin görevlerini tanımlar.
Bu makaledeki araştırmacılar, hedef görüntü üzerinde basit rastgele kırpma (yeniden boyutlandırma) gerçekleştirerek, önceki karmaşık işlemlerden kaçınılabileceğini ve Şekil 3'te gösterildiği gibi yukarıdaki iki görevi içeren bir dizi tahmin görevinin oluşturulabileceğini kanıtladılar. Bu basit tasarım seçimi, tahmin görevini diğer bileşenlerden (sinir ağı mimarisi gibi) ayırmayı kolaylaştırır.
Birden fazla veri artırma işleminin kombinasyonu, iyi bir gösterimi öğrenmenin anahtarıdır. Şekil 4, yazarın bu çalışmada keşfettiği veri artırmayı göstermektedir.
Renk geliştirmenin önemini daha fazla göstermek için, araştırmacılar renk zenginleştirme yoğunluğunu ayarladılar Sonuçlar aşağıdaki Tablo 1'de gösterilmektedir.
Kodlayıcı ve projeksiyon kafası mimarisi
Şekil 7'de gösterildiği gibi, derinliği ve genişliği artırmak performansı artırabilir. Denetimli öğrenme bu yasa için de geçerlidir. Ancak, model boyutu arttıkça, denetlenen model ile denetimsiz model üzerinde eğitilen doğrusal sınıflandırıcı arasındaki boşluğun küçüleceğini gördük. Bu, denetimsiz öğrenmenin, denetlenen modellere göre daha büyük ölçekli modellerden daha fazla fayda sağlayabileceğini göstermektedir.
Doğrusal olmayan projeksiyon kafası, önceki katmanın temsil kalitesini iyileştirebilir Şekil 8, üç farklı projeksiyon kafası mimarisi kullanan doğrusal değerlendirme sonuçlarını gösterir.
Kayıp fonksiyonu ve parti boyutu
Ayarlanabilir sıcaklığın normalleştirilmiş çapraz entropi kaybı diğer yöntemlerden daha iyidir. Araştırmacılar NT-Xent kaybını, lojistik kayıp ve marj kaybı gibi yaygın olarak kullanılan diğer kontrast kaybı fonksiyonlarıyla karşılaştırdı. Tablo 2, amaç fonksiyonunun ve kayıp fonksiyonu girdisinin gradyanını göstermektedir.
Kontrastlı öğrenme, daha büyük parti boyutlarından ve daha uzun eğitim sürelerinden daha fazla fayda sağlayabilir. Şekil 9, model farklı Epoch'lar altında eğitildiğinde farklı parti boyutlarının etkisini göstermektedir.
Mevcut en iyi model ile karşılaştırma
Doğrusal tahmin
Tablo 6, doğrusal tahmin açısından SimCLR ile önceki yöntemler arasındaki karşılaştırmayı göstermektedir. Ek olarak, yukarıdaki Tablo 1, farklı yöntemler arasında daha sayısal karşılaştırmalar göstermektedir. Tablodan görülebileceği gibi, ResNet-50 (4 ×) mimarisini SimCLR yöntemiyle kullanmak, denetimli eğitim öncesi ResNet-50 ile karşılaştırılabilir sonuçlar elde edebilir.
Yarı denetimli öğrenme
Aşağıdaki Tablo 7, yarı denetimli öğrenme açısından SimCLR ile önceki yöntemler arasındaki karşılaştırmayı göstermektedir. Tablodan, bu yazıda önerilen yöntemin,% 1 veya% 10 etiketleri kullansa da önceki SOTA modelinden önemli ölçüde daha iyi olduğu görülebilir.
Transfer öğrenimi
Araştırmacılar, modelin aktarım öğrenme performansını 12 doğal görüntü veri seti üzerinde değerlendirdiler. Aşağıdaki Tablo 8, ResNet-50 kullanımının sonuçlarını göstermektedir Denetimli öğrenme modeli ResNet-50 ile karşılaştırıldığında, SimCLR iyi transfer performansı göstermektedir - iki puan karşılıklı olarak faydalıdır.
Çin Bir
Makalenin ilk yazarı Ting Chen, şu anda Google Brain'de çalışıyor. 2013 yılında Pekin Posta ve Telekomünikasyon Üniversitesi'nden lisans derecesi ile mezun oldu. 2013'ten 2019'a kadar Northeastern Üniversitesi ve UCLA'da bilgisayar bilimleri alanında doktora yaptı. Mayıs 2019'da resmi olarak Google Brain'e katıldı ve araştırma bilimcisi oldu. Daha önce Google'da iki yıllık staj deneyimi vardı.
Ting Chen'in araştırma ilgi alanları, kendi kendini denetleyen temsil öğrenme, ayrık yapılar için verimli derin sinir ağları ve üretken modelleri içerir.
Referans bağlantısı:
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
