Aşırı uyumu reddeden Google, DNN genellemesindeki farkı doğru bir şekilde tahmin eder ve ayrıca veri kümesini açık kaynak kodlu | ICLR
Aufei Tapınağı'ndan Balık ve Koyun
Qubit Raporu | Genel Hesap QbitAI
Derin sinir ağları (DNN'ler) artık her yerde. Go oynamaktan yıldızlararası oyunlara kadar DNN, görüntü tanıma, görüntü bölümleme ve makine çevirisi gibi çeşitli alanlara girdi ve her zaman inanılmaz bir performans sergiliyor.
Bununla birlikte, derin sinir ağlarının nasıl çalıştığı hala araştırmacıları şaşırtmaktadır.
Kara kutular her zaman eleştirilir.YZ'nin insanlara daha iyi hizmet vermesi için daha derin bir yapay zeka anlayışı gereklidir.
Google AI araştırmacıları bunun üzerinde çalışıyor ve ICLR 2019'daki bir makalede önerdiler. Derin sinir ağlarının genelleme boşluğunu tahmin etmek için marjinal dağılımı kullanın DNN'yi daha fazla ilke tasarlamak için.
Genelleştirilmiş tahmin
Genellemeyi anlamak için önemli bir kavramı anlamak gerekir Genelleme boşluğu Eğitim setindeki modelin doğruluğu ile test setindeki doğruluğu arasındaki fark nedir.
Google AI araştırmacıları, genelleme boşluğunu tahmin etmek için ağ katmanında normalleştirilmiş uç dağıtımların kullanılmasını önermektedir. Deneysel istatistikler yaptılar ve mesafenin uygun şekilde normalleştirilmesinden sonra, marjinal dağılımın bazı temel istatistiklerinin modelin genelleme boşluğunu doğru bir şekilde tahmin edebileceğini buldular.
Yukarıdaki üç resim, CIFAR-10 üzerinde eğitilmiş üç evrişimli sinir ağına karşılık gelir.Sınıflandırma doğruluğu sırasıyla% 55,% 71 ve% 85'dir.Soldan sağa, genelleme yeteneği gittikçe güçleniyor. .
Y ekseni, modelin 4 katmanlı ağındaki normalleştirilmiş marjinal dağılımın (x ekseni) olasılık yoğunluğunu temsil eder Açıktır ki, marjinal dağılım ve test doğruluğu güçlü bir korelasyona sahiptir.
Burada bir isim kabul ettiler Derin Model Genelleme (DEMOGEN) Bu veri seti, CIFAR-10 ve CIFAR-100 veri setlerinde bu modellerin eğitim ve test performansı dahil olmak üzere 756 eğitimli derin modelden oluşmaktadır. Veri kümesi şimdi Açık kaynak .
Deneysel sonuçlar
Marjinal dağılımın istatistiksel verileri gerçekten genelleme performansını öngörüyorsa, o zaman basit bir tahmin şeması karşılık gelen bir ilişki kurabilmelidir. Bu yüzden araştırmacılar doğrusal regresyon şemasını seçtiler.
Araştırmacılar, CIFAR-10 veri setinde 216 adet dokuz katmanlı evrişimli ağ eğitti Test setinin doğruluğu% 60 ile% 90.5 arasında ve genelleme boşluğu% 1 ile% 35 arasındadır.
Yazara göre, Bartlett'in 2017'de yayınlanan araştırması, bir temel yöntem olarak karşılaştırılan en iyi derin ağ genelleme sınırlarından birini sağlıyor. 20 boyutlu özellik uzayının logaritmik uzay regresyon modelinin tahmin etkisi önemli ölçüde iyileşti.
CIFAR-100 veri setinde, araştırmacılar 324 ResNet-32 ağı eğitti, test doğruluğu% 12 -% 73 arasında ve genelleme boşluğu% 1-% 75 arasında değişiyordu.
CIFAR-100 + ResNet-32'de tahmin edilen genelleme açığı, gerçek değerle zaten çok tutarlıdır. Genelleme açığı ile marjinal dağılımın logaritmik dönüşüm istatistikleri arasındaki ilişki neredeyse tamamen doğrusaldır.
Uzman değerlendirmesi
Bu araştırma ile ilgili olarak, inceleme uzmanları karışık incelemeler yaptı, ancak çoğu, marjinal dağıtımı derin bir öğrenme çerçevesine sokmanın ilginç bir fikir olduğunu kabul ediyor.
Bu araştırmaya hayran olan uzmanlar bunun iyi bir ampirik makale olduğunu düşünüyor ve sonuç cesaret verici:
Bu makale başka bir "boş" genelleme sınırı önermeye çalışmıyor, ancak insanların derin sinir ağlarının genelleştirmesini anlamalarına yardımcı olmak için çok yararlı olan uç istatistikler ile genelleme boşlukları arasındaki ilginç bağlantıyı ikna edici bir şekilde gösteriyor. faydalı.
Bununla birlikte, bazı uzmanlar, bu makalenin çok sayıda deneysel sonuç gösterdiğine, ancak daha fazla teorik doğrulama sağlamadığına dikkat çekti.
OMT
Tezin ilki, Berkeley'den lisans derecesi ile mezun olan Google AI programcısı Yiding Jiang.
Makalenin ortak yazarları arasında Turing Ödülü sahibi Yoshua Bengio ile birlikte "AI Kardeş" olarak bilinen Samy Bengio da var.
Yoshua Bengio, derin öğrenmenin genelleştirilmesi üzerine de bir araştırma yaptı.Ekibi bir derin öğrenme genelleme garanti şeması ("Derin Öğrenmede Genelleme") önerdi ve makaleleri de bu ICLR 2019 makalesinde yer aldı.
Portal
Google AI Blogu:
https://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html
Kağıt adresi:
https://openreview.net/forum?id=HJlQfnCqKX
DEMOGEN veri seti:
https://github.com/google-research/google-research/tree/master/demogen
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzündeki "işe alma" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri izleme
