Denetimsiz uçtan uca görüntü sınıflandırması elde etmek için bu yöntemi kullanın! (Kağıt ile)
Kaynak: Heart of the Machine
Bu makale hakkında 2387 kelime 5 dakika okumanız tavsiye edilir.
FAIR araştırmacıları, evrişimli ağların büyük ölçekli uçtan uca eğitimi için bir kümeleme yöntemi önerdiler. Kümeleme çerçevesini kullanarak yararlı genel görsel özellikler elde etmenin mümkün olduğunu kanıtladılar.
Kümeleme, bilgisayarla görmede yaygın olarak kullanılan ve üzerinde çalışılan denetimsiz bir öğrenme yöntemidir, ancak büyük ölçekli veri setlerinde görsel özelliklerin uçtan uca eğitiminde neredeyse hiç kullanılmamıştır. Bu makalede, Facebook AI Araştırma Enstitüsü, sinir ağı parametrelerini birlikte öğrenen ve özelliklerin küme atamasını elde eden bir kümeleme yöntemi olan derin kümeleme (DeepCluster) önerdi. ImageNet ve YFCC100M gibi tipik ölçekli veri kümelerinde evrişimli sinir ağlarının denetimsiz eğitiminin deneysel sonuçları, bu yöntemin tüm kıyaslama performansında mevcut teknolojiden çok daha üstün olduğunu göstermektedir.
Önceden eğitilmiş evrişimli sinir ağları veya evrişimli ağlar, çoğu bilgisayar görüşü uygulaması için temel yapı taşları haline gelmiştir. Sınırlı veriler üzerinde öğrenilen modellerin genelleme yeteneğini geliştirmek için mükemmel genel özellikler çıkarabilirler. Büyük ölçekli tam denetimli veri kümesinin kurulması ImageNet, evrişimli ağların ön eğitimini destekler. Bununla birlikte, Stock ve Cisse tarafından sunulan son deneysel kanıtlar, ImageNet'teki en iyi sınıflandırıcının performansının büyük ölçüde hafife alındığını ve geriye kalan çok az hata olduğunu göstermektedir. Bu, son yıllarda çok sayıda yeni mimarinin ortaya çıkmasına rağmen performansın neden hala doymuş olduğunu bir dereceye kadar açıklıyor. Aslında bugünün standartlarına göre ImageNet nispeten küçüktür ve "yalnızca" çeşitli alanları kapsayan bir milyon sınıflandırılmış görüntü içerir. Bu nedenle, milyarlarca görüntü içeren daha büyük ve daha çeşitli bir veri kümesi oluşturmak mantıklıdır. Bu aynı zamanda çok sayıda manuel açıklama gerektirecektir. Topluluk yıllar boyunca çok sayıda kitle kaynaklı uzman bilgisi biriktirmiş olsa da, etiketlerin orijinal meta verilerle değiştirilmesi görsel sunumda sapmalara yol açacak ve bu da öngörülemeyen sonuçlara yol açacaktır. Bu, İnternet düzeyinde veri kümeleri üzerinde denetim olmaksızın bir eğitim yöntemi gerektirir.
Denetimsiz öğrenme, makine öğrenimi topluluğunda kapsamlı bir şekilde incelenmiştir ve kümeleme, boyut azaltma veya yoğunluk tahmin algoritmaları genellikle bilgisayarla görme uygulamalarında kullanılır. Örneğin, "özellik paketi" modeli, iyi görüntü seviyesi özellikleri oluşturmak için manuel olarak etiketlenmiş tanımlayıcıların kümelenmesini kullanır. Başarılarının önemli bir nedeni, uydu veya tıbbi görüntüler veya yeni bir yöntem kullanılarak elde edilen görüntüler (nesne derinliği gibi) gibi herhangi bir özel alan veya veri setine uygulanabilmeleridir. Bu modda, Çok fazla ek açıklama alınamıyor. Çeşitli çalışmalar, yoğunluk tahminine veya boyutsallık azaltmaya dayanan denetimsiz yöntemlerin iyi genel görsel özellikler üretmek için derinlik modellerine uygulanabileceğini göstermiştir. Kümeleme yöntemi görüntü sınıflandırmada ilk başarıyı elde etmiş olsa da, çok az kişi onu evrişimli ağların uçtan-uca eğitimi için kullanmayı önermiştir ve ölçek büyütülmemiştir. Sorun, kümeleme yöntemlerinin temel olarak sabit özelliklere sahip doğrusal modeller için tasarlanmasıdır.Özelliklerin aynı anda öğrenilmesi gerekiyorsa, çok az etkiye sahiptir. Örneğin, evrişimli bir ağı öğrenmek için k-araçlarını kullanmak, sıfır özellikli önemsiz bir çözüm elde edecek ve küme tek bir varlık halinde çökecektir.
Bu makalede, FAIR araştırmacıları evrişimli ağların büyük ölçekli uçtan uca eğitimi için bir kümeleme yöntemi önermektedir. Kümeleme çerçevesini kullanarak yararlı genel görsel özellikler elde etmenin mümkün olduğunu kanıtladılar. Şekil 1'de gösterildiği gibi, bu yöntem, görüntü tanımlayıcılarının kümelenmesi ve küme atamasını tahmin ederek evrişimli ağın ağırlıklarının güncellenmesi arasında değişir. Basit olması için araştırmamızı k-ortalamalarına odaklayacağız, ancak Power Yinelemeli Kümeleme (PIC) gibi diğer kümeleme yöntemleri de uygulanabilir. Evrişimli ağların standart denetimli eğitimine çok benzeyen birçok yaygın teknik süreç boyunca yeniden kullanılır. Kendi kendini denetleyen yöntemden farklı olarak, kümelemenin avantajı çok fazla profesyonel bilgi gerektirmemesi ve belirli sinyalleri girmesine gerek olmamasıdır. Bu yöntem basit olmasına rağmen, ImageNet sınıflandırması ve geçiş görevlerinde daha önce önerilen denetimsiz yöntemlerden daha iyi performans gösterir.
Şekil 1: Bu yazıda önerilen yöntemin gösterimi: derin özellikleri yinelemeli olarak kümelendirin ve evrişimli ağın parametrelerini öğrenmek için sözde etiketler olarak küme atamasını kullanın.
Son olarak, deneysel programı, özellikle eğitim seti ve evrişimli ağ yapısını değiştirerek, araştırmacılar çerçevenin sağlamlığını keşfettiler. Elde edilen deneyler dizisi, Doersch ve diğerlerinin bu seçimlerin denetimsiz yöntemlerin performansı üzerindeki etkisi hakkındaki tartışmasını genişletmektedir. Bu makaledeki yöntemin mimariyi daha sağlam hale getirdiğini kanıtladılar. AlexNet'i VGG ile değiştirmek, özellik kalitesini ve geçiş performansını önemli ölçüde artırabilir. Daha da önemlisi, denetimsiz modeller için eğitim seti olarak ImageNet'i kullanmayı tartıştılar. Etiketlerin ağ performansı üzerindeki etkisini anlamaya yardımcı olmasına rağmen, ImageNet'in ayrıntılı görüntü sınıflandırma zorluklarına dayanan özel bir görüntü dağıtım seti vardır: çeşitli köpek ırkları gibi dengeli sınıflardan oluşur. Alternatif olarak, Thomee ve diğerlerinin YFCC100M veri setinden rastgele bir Flickr görüntüsü seçilebilir. Yöntemleri, bu belirsiz veri dağıtımı konusunda eğitim alırken mevcut en iyi performansa sahiptir. Son olarak, mevcut kıyaslamalar, denetimsiz evrişimli ağların sınıf düzeyinde bilgileri yakalama becerisine odaklanmaktadır. Araştırmacılar ayrıca, örnek düzeyindeki bilgileri yakalama yeteneklerini ölçmek için onları görüntü alma karşılaştırmalı değerlendirmelerinde değerlendirmelerini tavsiye ediyor.
Bu makalede araştırmacılar şu katkılarda bulunmuştur:
- Evrişimli ağların uçtan-uca öğrenilmesini sağlamak için yeni bir denetimsiz yöntem önerin Bu yöntem, k-araçları gibi herhangi bir standart kümeleme algoritmasını kullanabilir ve birkaç ek adım gerektirir;
- Denetimsiz öğrenmeyi kullanarak birçok standart transfer görevinde mevcut en iyi seviyeye ulaşın;
- İşlenmemiş görüntü dağıtımını eğitirken, performans önceki en son teknolojiden daha iyidir;
- Denetimsiz özellik öğrenmedeki mevcut değerlendirme şemaları tartışılmıştır.
Bildiri: Görsel Özelliklerin Denetimsiz Öğrenimi için Derin Kümeleme
Kağıt adresi: https://arxiv.org/abs/1807.05520v1
Özet: Kümeleme, bilgisayarla görmede yaygın olarak kullanılan ve üzerinde çalışılan denetimsiz bir öğrenme yöntemidir, ancak büyük ölçekli veri setlerinde görsel özelliklerin uçtan uca eğitiminde neredeyse hiç kullanılmamıştır. Bu yazıda, sinir ağı parametrelerini birlikte öğrenen ve özelliklerin küme atamasını elde eden bir kümeleme yöntemi olan derin kümeleme (DeepCluster) öneriyoruz. Derin kümeleme, özellikleri yinelemeli olarak gruplamak için standart kümeleme algoritması k-araçlarını kullanır ve ardından ağın ağırlığını güncellemek için denetim olarak atamayı kullanır. ImageNet ve YFCC100M gibi büyük veri kümelerinde evrişimli sinir ağlarının denetimsiz eğitimine derin kümeleme uyguluyoruz. Nihai model, tüm kıyaslama performansında mevcut teknolojiden çok daha üstündür.
Deney
Ön deneylerde araştırma ekibi, eğitim sırasında derin kümelenme davranışını inceledi. Daha sonra, yöntemini önceki son teknoloji modelle standart bir kıyaslama üzerinde karşılaştırmadan önce, derin küme öğrenimi için filtrenin niteliksel bir değerlendirmesi gerçekleştirildi.
Görselleştirme
Şekil 3: Ham RGB girişinden (solda) veya Sobel filtrelemeden (sağda) sonra denetimsiz ImageNet üzerinde eğitilen AlexNet'in ilk katman filtresinin evrişim sonuçları.
Şekil 4: Filtre görselleştirme ve ImageNet üzerinde derin kümeleme kullanılarak eğitilmiş AlexNet'in conv1, conv3 ve conv5'teki hedef filtreleri için kullanılan YFCC100M'den 1 milyon görüntü alt kümesinden ilk 9 etkin görüntü. Filtrenin görselleştirilmesi, hedef filtrenin yanıtını en üst düzeye çıkaran bir giriş görüntüsünün öğrenilmesiyle elde edilir.
Şekil 5: YFCC100M'den 10 milyon görüntüden oluşan rastgele bir alt kümedeki ilk 9 etkin görüntü, son evrişimli katmandaki hedef filtre için kullanılır. Üst sıra, nesne içeren görüntülere duyarlı filtrelere karşılık gelir. Alt satır, stil efektlerine daha duyarlı olan filtreleri gösterir. Örneğin, 119 ve 182 numaralı filtreler, sırasıyla arka plan bulanıklığı ve alan derinliği efektleriyle etkinleştiriliyor gibi görünüyor.
Aktivasyon değerlerinin doğrusal sınıflandırması
Tablo 1: AlexNet'in evrişimli katmanının aktivasyon değerini özellik olarak kullanan ImageNet ve Places'daki doğrusal sınıflandırma. Bildirilen sınıflandırma doğruluğu ortalama olarak 10 mahsulün üzerindedir. Diğer yöntemler için rakamlar Zhang ve ark.
Pascal VOC 2007
Tablo 2: Pascal VOC sınıflandırması, tespiti ve segmentasyonu için en son denetimsiz özellik öğrenme yöntemlerinin karşılaştırması. , Krahenbuhl ve arkadaşlarının veriye bağlı başlatmayı kullandığını gösterir. Diğer yöntemlerle üretilen sayılar bir olarak etiketlenir.
