ICCV 2019 Kağıt Yorumlama: Veriler gürültülü ise ne yapmalıyım? Negatif öğrenmeyi düşünebilirsiniz
Yorumlama | BBuf
Editör | Tang Li
Aşağıda tanıtılacak makale "Gürültülü Etiketler için Negatif Öğrenme" başlıklı ICCV2019'da yayınlandı, axriv adresi: https: // ar xi v.org/abs/1908.0 73 87.
Evrişimli Sinir Ağları (CNN), görüntü sınıflandırma görevlerinde iyi performans gösterir. CNN eğitiminin klasik yöntemi, görüntüleri denetimli bir şekilde etiketlemektir.Bu hızlı ve doğru bir yöntemdir. Bu yönteme burada pozitif öğrenme (PL) de denir. Ancak yanlış etiketler veya gürültülü etiketler varsa, PL eğitimini kullanmak yanlış bilgi sağlar ve bu da performansı ciddi şekilde düşürür. Bu sorunu çözmek için, CNN'i eğitmek için tamamlayıcı etiketler kullanan, negatif öğrenme (NL) adı verilen dolaylı bir öğrenme yöntemiyle başlıyoruz, örneğin, giriş görüntüsü belirli bir bilgi türüne ait değil. Ek etiket olarak pozitif bir etiket seçme olasılığı çok küçük olduğundan, NL yanlış bilgi sağlama riskini azaltır. Ek olarak, ağın daha hızlı yakınlaşmasını sağlamak için, bu yöntemi genişlettik ve seçici olarak seçici negatif öğrenme ve pozitif öğrenme (SelNLPL) olarak adlandırılan PL'yi benimsedik. Basit yarı denetimli eğitim teknikleriyle yöntemimiz, gürültü filtreleme için SelNLPL'nin etkinliğini kanıtlayan gürültülü veri sınıflandırmasının SOAT performansını elde eder.
1. Araştırma geçmişi
Evrişimli sinir ağları, görüntü sınıflandırma görevlerinde iyi performans gösterir, ancak doğru şekilde etiketlenmiş büyük miktarda veriye güvenir ve etiketlemenin maliyeti yüksektir ve etiketleme sürecinde etiketleme hataları kaçınılmazdır. Ağ, bu veri setinin üzerine çıkabilir ve sınıflandırmaya neden olabilir Zayıf performans. Bu zorluğun üstesinden gelmek için NL'ye resmin hangi kategoriye ait olmadığını öğrenmesini önerdik. Şekil 1'de görüldüğü gibi, eğer PL ise ve CNN resmi alırsa ve etiket bir araba ise, model bu resmin içeriğinin köpek yerine bir araba olduğunu düşünecek şekilde eğitilecektir.Burada bir şeyler yanlış olduğu açık. NL kullanılırsa, CNN, kuşlar gibi arabalardan başka ek etiketlerle sağlanacak ve ardından ağı bu resmin bir kuş olmadığını düşünmesi için eğitecektir. Bu şekilde, gürültülü verilerin tamamlayıcı etiket olarak gerçek etiketi seçmeden "doğru" bilgi sağlayabilmesi ve dolayısıyla model eğitimine yardımcı olması olasılığı yüksektir. Buna ek olarak, gürültülü verileri daha iyi eğitmek için iki yöntemi tam olarak kullanmak üzere PL ve NL'yi birleştiren SeNLPL'yi önermek için NL eğitim yöntemini kullanıyoruz. PL, gürültülü veriler için uygun olmasa da, temiz verilerde hala hızlı ve doğru bir yöntemdir.
Şekil 1
2. Katkı
1. Negatif öğrenme (NL) yöntemini gürültülü veri sınıflandırma problemine uyguluyoruz. CNN'in gürültülü verilere fazla uymasını önleyebileceğini kanıtlayarak pratikliğini gösteriyoruz.
2. Önerilen NL'yi kullanarak, eğitim verilerinden gürültü verilerini filtrelemek için SelNLPL adlı yeni bir çerçeve sunuyoruz.
3. SelNLPL'ye dayanarak, gürültülü verilerin SOAT sınıflandırma sonuçlarını nispeten basit yarı denetimli öğrenme yoluyla elde ettik.
4. Yöntemimiz gürültü verilerinin türü ve miktarı hakkında herhangi bir ön bilgi gerektirmez. Ve bizim yöntemimiz, önceki bilgilere dayanması gereken herhangi bir hiperparametreyi ortaya çıkarmaz, bu da yöntemimizi daha uygulanabilir kılar.
3. Yöntem
Bu bölüm gürültü verilerini sınıflandırmak için kullanılan genel yöntemi açıklamaktadır.
3.1 Olumsuz öğrenme
İlk bölümde, görüntü sınıflandırma problemleri için geleneksel eğitim yöntemlerinin olumlu öğrenme, yani her bir örneğin belirli bir sınıfa ait olduğunu öğrenme olduğundan bahsetmiştir. Aksine, NL'nin öğrenmesi gereken şey, her örneğin hangi sınıfa ait olmadığıdır. C tipi bir sınıflandırma problemi olduğunu düşünüyoruz,
Girdi olarak,
Onu temsil eden etiket ve tüm etiket koleksiyonu.
Tek sıcak kod vektörlerini temsil edin. Hipotez
CNN'nin girdi uzayını c boyutlu bir kesirli uzayla eşlediğini gösterir.
,onların arasında
Sinir ağının parametrelerini temsil eder. durumunda
Son olarak, softmax fonksiyonundan sonra, çıktı bir olasılık dağılımı olarak ifade edilebilir
,onların arasında
C boyutlu olasılık dağılımını temsil eder. PL eğitimini kullanırken, ağın çapraz entropi kaybı işlevi şu hale gelir:
onların arasında
temsilci
İlk
Elementler. Denklem (1), PL eğitimi sırasında nihai kayıp fonksiyonunun optimize edilmesi için uygundur. Ancak NL, PL'den farklıdır çünkü
Dolayısıyla, NL'nin kayıp fonksiyonunu aşağıdaki gibi öneriyoruz:
Bu tamamlayıcı etiket, Algoritma1'de gösterildiği gibi, eğitim sırasında her yineleme için verilen etiket y dışında tüm kategori etiketlerinden rastgele seçildiğinden tamamen rastgeledir. Denklem (2), tamamlayıcı etiketin olasılığını 0'a optimize eder, bu da NL'nin gereksinimlerini karşılamak için diğer kategorilerin olasılık değerlerinde bir artışa yol açar.
Şekil 2, PL ve NL arasındaki bariz farkı göstermektedir. CNN,% 30 simetrik gürültü ile karıştırılmış CIFAR10 veri setinde PL veya NL konusunda eğitilmiş mi? Kullandığımız gürültü Bölüm 5'te tanıtılacaktır. CNN, PL (Denklem 1) veya NL (Denklem 2) kullanılarak eğitilmesine rağmen, Şekil 2 (a) 'daki tüm kayıpların Denklem 1 ile hesaplandığını unutmayın. PL kullanmak, test kaybını azaltabilir ve erken bir aşamada test doğruluğunu artırabilir. Bununla birlikte, sonuçta CNN, gürültülü eğitim verilerine fazla uyuyor ve bu da temiz veriler üzerinde kötü test sonuçlarına yol açıyor. Aksine, gözlemlenen test kaybı kademeli olarak azaldıkça ve test doğruluğu geliştikçe, NL'nin CNN eğitimi sırasında verilere fazla uymadığı kanıtlanmıştır.
şekil 2
3.2 Seçici olumsuz öğrenme
Bölüm 3.1'de bahsedildiği gibi, NL, CNN'nin Şekil 3 (b) 'de gösterildiği gibi gürültülü örnekleri aşırı uydurmasını önleyebilir. Ardından, NL'den sonra yakınsamayı iyileştirmek için SelNL'yi tanıtıyoruz. NL ile eğitimden sonra SelNL, CNN'yi yalnızca 1 / c'den daha yüksek bir güven düzeyine sahip verilerle eğitebilir. Eşiklemeden sonra, eğitimde yer alan veri gürültüsü genellikle öncekinden daha azdır ve bu da CNN'nin yakınsamasını etkili bir şekilde iyileştirir. Şekil 3 (c), NL'den sonraki SelNL sonucunu gösterir.
Figür 3
3.3 Seçici pozitif öğrenme
Gürültülü veriler söz konusu olduğunda, NL daha iyi bir öğrenme yöntemi olabilir. Bununla birlikte, eğitim verileri gürültüsüzse PL, NL'den daha hızlı ve daha doğru bir yöntemdir. NL ve SelNL ile eğitimden sonra, Şekil 3 (c) 'de gösterildiği gibi temiz ve gürültülü örneklerin güveni çok farklıdır. SelPL, CNN'yi eğitmek için yalnızca güven düzeyinin ötesindeki verileri kullanır ve bu verilerin parazitsiz veriler olduğunu garanti eder. Burada 0.5 alıyoruz Şekil 3 (d) SelNL işlemeden sonraki SelPL eğitiminin sonucunu göstermektedir.Neredeyse tüm gürültüsüz verilerin güvenirliği 1'e yakındır.
3.4 Seçici olumlu ve olumsuz öğrenme
Sonuç olarak, NL, SelNL ve SelPL'nin kombinasyonuna SelNLPL adı verilir. Algortim2, SelNLPL'nin tüm sürecini gösterdi.
Şekil 4, her adımın performans değişikliğini göstermektedir. Şekil 4, her bir adımı uygularken performans geliştirmeyi açıkça gösterir, böylece SelNLPL'deki her adımın önemini kanıtlar. Şekil 4, SelNLPL'nin her adımının yakınsamaya katkıda bulunduğunu ve gürültülü verilere aşırı uymayı etkili bir şekilde önleyebildiğini ve böylece çok sağlam sonuçlar elde edildiğini göstermektedir. Şekil 3 (d) 'de gösterildiği gibi, temiz verilerin ve gürültülü verilerin genel güvenilirliği büyük ölçüde ayrılmıştır, bu da SelNLPL'nin eğitim verilerinden gürültülü verileri filtrelemek için kullanılabileceği anlamına gelir. 4. Bölüm bu noktayı daha ayrıntılı analiz edecektir.
Şekil 4
3.5 Yarı denetimli öğrenme
SelNLPL'nin filtreleme işlevi yardımıyla, yarı denetimli öğrenme yöntemi verileri temizlemek ve gürültülü verileri filtrelemek ve filtrelenmiş gürültülü veri etiketlerini atmak için uygulanabilir. Yarı denetimli öğrenme için, sözde etiketleme yöntemini uyguluyoruz. Şekil 5, sözde işaretlemenin tüm sürecini göstermektedir. İlk olarak, eğitim verilerini temiz verilere ve gürültülü verilere bölmek için SelNLPL tarafından eğitilmiş CNN'yi kullanın (Şekil 5 (a)). Daha sonra, Şekil 5 (b) 'deki CNN çıktısı gürültü verilerinin etiketini günceller. Burada, güncellenmiş etiketler olarak yumuşak etiketleri kullanıyoruz. Görüntü sınıflandırması için kullanılan tipik etiket, tek sıcak kod vektörü iken, yumuşak etiket yalnızca eğitilmiş CNN'nin çıktısıdır. Sonuçlar, etiketleri güncellerken yazılım etiketleri kullanmanın daha iyi olduğunu göstermektedir. Son olarak, yeniden başlatılan CNN'yi eğitmek için etiket güncellemesinin temiz verileri ve gürültülü verileri kullanılır (Şekil 5 (c)). Bu, SOAT doğruluğunu sağladı ve SelNLPL'nin yüksek filtreleme kapasitesini kanıtladı. Sonuçlar Bölüm 5'te gösterilmektedir.
Şekil 5
4. Filtreleme kapasitesi
Bölüm 3.4'te belirtildiği gibi, SelNLPL eğitim verilerinden gürültülü verileri filtrelemek için çok etkilidir. Bu bölümde, SelNLPL'nin filtreleme sürecini daha ayrıntılı olarak açıklayacağız. SelNLPL'yi bir CNN'yi eğitmek için kullanırken, güveni aşılan veriler temiz kabul edilir. Bu yönteme göre, PL eğitimi olmayan verileri gürültü verisi olarak ele alıyoruz. Tablo 1, CIFAR10 üzerindeki SelNLPL filtreleme sonuçlarını çeşitli gürültü oranlarıyla özetlemektedir. Tahmini gürültü, PL eğitimi olmadan verilerdeki gürültü oranını temsil eder. Geri çağırma hızı ve kesinlik, gürültü veri filtreleme kalitesini ölçmek için kullanılan yöntemlerdir. Sonuç sekmesinde, tahmini gürültü oranı neredeyse% 88 ile% 99 arasındaki gerçek gürültüyle eşleşir. Ek olarak, Tablo 1, gürültülü verileri filtreleme yöntemimizin daha yüksek geri çağırma ve kesinlik değerleri üretebileceğini göstermektedir; bu, yöntemimizin eğitim verilerinden en salt gürültülü verileri filtrelediği anlamına gelir. Bu, eğitim verilerine karıştırılan gürültü miktarı bilinmese bile (gerçek durumlarda bu normal bir fenomendir), SelNLPL'nin gürültü miktarını tahmin etmek için kullanılabileceği anlamına gelir.Bu büyük bir avantajdır çünkü eğitim verilerinin kalitesini değerlendirmek için bir kriter olarak kullanılabilir. Şekil 6, yöntemimizin genel filtreleme yeteneklerini karşılaştırmaktadır. PL eğrisi, gürültü verilerini fazla uydurmadan önce PL ile eğitilmiş modelin test edilmesiyle elde edilir. Eğri, SelNLPL'nin her adımının filtreleme performansının iyileştirilmesine yardımcı olduğunu göstermektedir.
tablo 1
Şekil 6
5. Deney
Bu bölümde, yöntemimizi değerlendirmek için yapılan deneyleri açıklayacağız. SelNLPL'den sonraki sözde etiketleme sonuçları, gürültü veri sınıflandırması için diğer mevcut yöntemlerin sonuçlarıyla karşılaştırılır. Yöntemimizin çeşitli ortamlara genişletilebileceğini kanıtlamak için, diğer temel yöntemlerin deneysel ayarlarını takip ediyoruz. Bu deneyler, CNN mimarisinde, gürültü veri seti türlerinde vb. Farklıdır. Spesifik deneysel test sonuçları Tablo 3, 4, 5 ve 6'da gösterilmiştir. Göstermek.
6. Analiz
6.1 Çok kategorili verilere uyarlama
Yöntemimiz NL, tamamlayıcı etiketleri kullanan bir giriş öğrenme yöntemidir. NL optimizasyon sürecinin doğası gereği, yakınsama derecesi veri setindeki sınıf numarasına bağlıdır; c arttıkça CNN eğitimi yavaşlar. Bu nedenle, yöntemimiz CNN'yi eğitirken, CIFAR100 veri setini eğitirken olduğu gibi aynı eğitim turunu kullanarak bir araya gelemez. Bu olgunun üstesinden gelmek ve analiz etmek için, NL yöntemini diğer birçok sınıflandırma durumuna genişletme yollarına ilişkin içgörü kazanmak için temiz veri noktalarıyla ilişkili gradyanları dikkate alıyoruz. Temiz etiketli bir veri noktasını düşünelim, bu da verilen y'nin asla gerçek y olmadığı anlamına gelir. CNN'nin başlangıç durumunda olduğunu varsayarak (başlangıç durumu ağa benzerdir ancak rastgele tahmin edilebilir), Denklem 2'deki tüm kategorilerin gradyanları elde edilebilir, burada
. Gradyan şu şekilde ifade edilir:
Verilen olmasına rağmen görülebilir
Kayıp işlevinin eğimi azaltılır, ancak diğer kategorilere (gerçek etiketler dahil) karşılık gelen puanları geliştirmek için bir eğim de vardır. Bu, CNN'yi NL kullanarak eğittikten sonra elde edilen gradyan olduğu anlamına gelir.
. 10 kategori veya 100 kategoriden oluşan bir veri kümesi kullandığımızı varsayarsak, elde edilen gradyan şöyledir:
10 veri kategorisi için,
100 veri kategorisi için. Bu iki durumu karşılaştırdığımızda, 100 kategorili veri setinin gradyanı, 10 kategorili veri setinin gradyanından 110 kat daha küçüktür. Analiz, NL'nin CIFAR100'de yakınsamasını sağlamak için CIFAR10'dan çok daha uzun, yaklaşık 110 kat daha uzun sürdüğünü gösteriyor. Bir CNN eğitimi çok zaman gerektirdiğinden, yöntemi her görüntü için birden fazla rastgele tamamlayıcı etiket sağlayacak şekilde genişlettik. 110 rastgele kayıp hesaplamak için tek bir veri için rastgele 110 tekrarlanabilir etiket seçiyoruz. 110 kayıp aynı görüntüden hesaplanan özellikleri paylaştığı için geri yayılma süresi sadece biraz artıyor. Bu basit genişletme yöntemiyle, CIFAR10 ile aynı turda antrenman yaparken, CIFAR100'ün bir önceki bölümde Tablo 3'te gösterildiği gibi yakınsayıp iyi gürültü önleyici performans gösterdiğini gözlemledik. Simetrik gürültü için SOAT sonuçları elde ettik. Asimetrik gürültü için Forwars T en iyi performansı gösterdi. Bununla birlikte, bu adil bir karşılaştırma değildir, çünkü gürültü altında bir kategorinin diğerine geçme olasılığını özetleyen kafa karışıklığı matrisinin önceki bilgilerine dayanır. Bu nedenle, yöntemimizin Forward T ile karşılaştırılmadığında bir SOAT sonucuna ulaştığı sonucuna varılabilir. Bu bölümde, yöntemimizin her bir görüntü için birden çok tamamlayıcı etiket sağlayarak birden çok kategoriye sahip veri kümelerine genelleştirilebileceğini gösteriyoruz.
6.2 Kontrollü çalışma
Bu soru, birden çok adımdan oluşan yeni bir gürültü verileri sınıflandırma yöntemi önermektedir. SelNLPL (NL- > SelNL- > SelPL) ve ardından sözde etiketleme ve yarı denetimli öğrenme gerçekleştirin. SelNLPL'deki her adımın gücünü incelemek için, tüm eğitim süreci boyunca SelNLPL'deki her adım atlandığında performans farkını ortaya çıkaran bir analiz yaptık. SelNLPL'den bir veya daha fazla adımı kaldırın ve ardından bunları sahte işaretlere uygulayın. Tablo 7, simetrik gürültünün% 30 ve% 50 olduğu Tablo4 deneyinin analizini göstermektedir. SelBLPL (# 1) içerir ve SelPL (# 2), SelNL (# 3) veya SelNL ve SelPL'yi (# 4) # 1'den siler. Tablo 7'de, # 1 ile karşılaştırıldığında, # 2 ve # 3 performans düşüşünü gösterirken # 4'ün performansı daha da düşmektedir. Şekil 7'de gösterildiği gibi. Bu çalışma, önerdiğimiz yöntemin her adımının bir etkisi olduğunu ve SelNL'nin çok önemli olduğunu kanıtlıyor.
Şekil 7
7. Özet
CNN'i eğitmek için bir öğrenme yöntemi olan gürültülü verileri kullanarak eğitim için NL'yi öneriyoruz, "girdi görüntüsü tamamlayıcı etikete ait değildir". Bu, eğitim CNN'sinin gürültülü verilerle paylaşımını azaltır, çünkü tamamlayıcı bilgilere sahip olmayan tamamlayıcı etiketler rastgele seçilebilir. Ek olarak, ağın daha hızlı yakınlaşmasını sağlamak için, bu yöntemi genişlettik ve seçici olarak seçici negatif öğrenme ve pozitif öğrenme (SelNLPL) olarak adlandırılan PL'yi benimsedik. PL, istenen temiz verileri eğitmek için seçici olarak kullanılır NL'nin geliştirilmesiyle, veri seçimi mümkün hale gelir ve gürültü verilerini filtrelemede üstün performans sağlar. Basit bir yarı denetimli eğitim tekniğiyle, yöntemimiz gürültü veri sınıflandırmasının SOAT performansını elde eder ve SelNLPL'nin gürültü filtreleme için etkinliğini kanıtlar.
