AAAI 2020 | Otomasyon Enstitüsü: Görsel özellik kalıntılarına direnmeye dayalı sıfır örneklemli öğrenme yöntemi
Yazarlar | Liu Bo, Dong Qiulei, Hu Zhanyi Editör | Camel
Bu makale, Hu Zhanyi'nin Çin Bilimler Akademisi Otomasyon Enstitüsü'nden ekibi tarafından tamamlanan ve AAAI-20 tarafından kabul edilen "Tartışmalı Özellik Artıklarından Kompakt Görsel Özelliğe Sıfır Atış Öğrenimi" makalesini analiz ediyor.
Son yıllarda, sıfır örneklemli öğrenme, bilgisayarla görme alanında yaygın olarak kullanılmaktadır. Dikkat . Mevcut sıfır örneklem öğrenme, bir gömme alanında ayırt edilebilir bir özelliği öğrenmeye adanmıştır, ancak, görünmeyen kategoriler için, bu özellikler genellikle birbiriyle örtüşür ve düşük tanıma doğruluğu ile sonuçlanır.
Bu sorunu çözmek için, bu makale, daha güçlü ayırt etme yeteneğine sahip özellikleri öğrenmek için yeni bir koşullu nesil hasım ağı önermektedir. Ağ, görsel özellik kalıntılarının üretilmesi için bir koşullu üreteci, görsel prototipleri tahmin etmek için bir öngörü, bir görsel özellik ayırıcı ve görüntü özelliklerini çıkarmak için bir özellik çıkarıcı içerir. Koşul üreteci, görsel özellik artıkları oluşturmak için koşullar olarak anlamsal özellikleri kullanır ve prototip öngörücü, görsel prototipleri tahmin etmek için girdi olarak anlamsal özellikleri kullanır Görsel artıkları görsel prototiplerle birleştirerek görsel bir özellik sentezlenebilir.
Sentezlenen görsel özellikler ve öznitelik çıkarıcı tarafından çıkarılan gerçek görsel özellikler, yüzleşme eğitimi için öznitelik ayırıcısına girdilerdir ve son olarak görsel öznitelik artıkları oluşturabilen bir koşullu üretici elde edilir. Görsel özellik artıkları, genellikle farklı görsel prototip türleri arasındaki mesafeden daha küçük değerde olduğundan, görsel prototipler tarafından sentezlenen görsel özellik kalıntılarının ve görsel özelliklerin kullanımının daha güçlü ayırt etme yeteneği elde etmesi beklenir.
Ek olarak, görsel özellikler ile anlamsal özellikler arasındaki anlamsal tutarsızlığı azaltmak için, bu makale, orijinal görsel özelliklerden anlamsal özelliklerle daha tutarlı bazı özellik boyutlarını seçen tahmin kaybına dayalı bir görsel özellik seçme yöntemi önermektedir. Daha kompakt bir görsel özellik oluşturun.
Bu makaledeki yöntem, altı uluslararası kamuya açık veri seti üzerinde test edilmiştir.Karşılaştırmalı deneylerin sonuçları, bu makaledeki yöntemin, birkaç ana yöntemle karşılaştırıldığında, hesaplama doğruluğu açısından büyük ölçüde iyileştirildiğini göstermektedir.
Alakalı iş 1. Sıfır örnek öğrenme
Sıfır örnek öğrenme, son yıllarda yaygın olarak kullanılmaktadır Dikkat Literatürdeki çalışmaların çoğu iki kategoriye ayrılabilir: Birincisi görsel özelliklerden anlamsal özelliklere, diğeri ise anlamsal özelliklerden görsel özelliklere doğru haritalamaya dayanmaktadır.
Görsel özelliklerin anlamsal özelliklerle [1] eşleştirilmesine dayanan yöntem, önce görsel özellikleri çıkarmak için genel bir CNN kullanır, daha sonra görsel özellikleri tamamen bağlantılı bir katman aracılığıyla anlamsal uzaya yansıtır ve son olarak semantik uzaydaki nesneleri sınıflandırmak için en yakın komşu sınıflandırıcıyı kullanır.
Doğrusal olmayan bir haritalama işlevi [3] kullanarak kayıp işlevini [2] iyileştirme gibi bazı çalışmalar yöntemi daha da geliştirmiştir. Anlamsal özelliklerin görsel özelliklerle haritalanması yöntemi, biri deterministik haritalama işlevlerine dayanan iki alt kategoriye ayrılabilir. Bu yöntem [4], semantik özellikleri doğrudan görsel özelliklerle eşler ve ardından görsel uzayda sınıflandırmak için en yakın komşu sınıflandırıcıyı kullanır. Diğeri, koşullu üretim ağına dayanmaktadır. Bu yöntem [5], anlamsal özelliklere dayalı çok sayıda görsel özellik oluşturmak için koşullu oluşturma yüzleşme ağını kullanır.Görünmeyen kategorinin görsel özellikleri oluşturulduktan sonra, sıfır örnek öğrenme problemi genel hale dönüştürülür. Sınıflandırma sorunu.
2. Görsel prototip tahmini
CNN tabanlı görsel özellikler, özellik uzayında iyi kümeleme özelliklerine sahip olduğundan, belirli bir nesne türünün yaklaşık görsel özelliklerini temsil etmek için görsel prototipler kullanmak mümkündür. Changpingo ve diğerleri, anlamsal özellikler ve görsel prototipler arasında bir regresyon işlevi kurarak diğer kategorilerin görsel prototiplerini tahmin etmek için bir yöntem önerdiler.
Yöntem
Bu makale, sıfır-örnek öğrenme problemini çözmek için yeni bir koşullu nesil yüzleşme ağı önermektedir.Şekil 1'de gösterildiği gibi, görsel özellik artıkları oluşturmak için bir koşullu üretici ve görsel prototipleri tahmin etmek için bir tahmin aracı içermektedir. Görsel bir özellik ayırıcı ve görüntü özelliklerini çıkarmak için bir özellik çıkarıcı.
Özellik oluşturma aşamasında, koşul üreteci, görsel özellik artıkları oluşturmak için koşullar olarak anlamsal özellikleri kullanır ve prototip öngörücü, görsel prototipleri tahmin etmek için girdi olarak anlamsal özellikleri kullanır.Görsel artıkları görsel prototiplerle birleştirmek görsel özellikleri sentezleyebilir. Sentezlenen görsel özellikler ve öznitelik çıkarıcı tarafından çıkarılan gerçek görsel özellikler, yüzleşme eğitimi için öznitelik ayırıcısına girdilerdir ve son olarak görsel öznitelik artıkları oluşturabilen bir koşullu üretici elde edilir.
Sınıflandırma aşamasında, bilinmeyen kategorinin oluşturulan görsel özelliklerini ve ilgili etiketleri kullanarak, bilinmeyen kategorinin gerçek görsel özelliklerini tanımlamak için kullanılabilecek, bilinmeyen kategorinin bir sınıflandırıcısını eğitebiliriz. Aşağıda görsel prototip öngörücüsüne ve görsel özellik kalıntı oluşturucusuna ayrıntılı bir giriş yer almaktadır.
Şekil 1 Model yapısı
1. Görsel prototip öngörücü
Görsel prototip öngörücünün görevi, kategorinin görsel özellik prototipini tahmin etmek için belirli bir kategorinin anlamsal özelliklerini kullanmaktır. Genel olarak konuşursak, bu kategorinin görsel prototip özelliklerini temsil etmek için aynı kategorinin görsel özelliklerinin ortalama değerini kullanırız. Bu şekilde, C kategorilerini içeren bir veri seti için, C çift anlamsal özellik ve görsel prototip özellikleri elde edebiliriz.
Bu C çift anlamsal özellikleri ve görsel prototip özelliklerini kullanarak, anlamsal özelliklerden görsel prototip özelliklerine kadar bir tahmin işlevi öğrenebiliriz. Tahmin fonksiyonu eğitildikten sonra, yeni bir kategorinin anlamsal özellikleri göz önüne alındığında, o kategorinin görsel prototip özelliklerini tahmin edebiliriz.
Genel olarak görsel özellik, yüksek boyutlu bir özellik vektörüdür. Bu makalenin yönteminde, görsel özelliklerin her bir boyutu için bir yordayıcı öğreneceğiz. Tahminci, SVR modelini kullanır, anlamsal özellikleri girdi olarak alır ve tek boyutlu görsel özellikleri çıkarır.
Aslında anlamsal özellikler ile görsel özellikler arasında anlamsal tutarsızlık sorunu vardır ki bu da anlamsal özelliklerin öngördüğü görsel prototip özellikleri ile gerçek görsel prototip özellikleri arasında belirli bir sapmaya yol açacaktır. Bu sorunu çözmek için, tahmin kaybına dayalı bir özellik seçme yöntemi öneriyoruz. Bu yöntem, her bir görsel özellik boyutunun tahmin kaybını sıralar, en küçük tahmin kaybına sahip ilk K görsel unsur boyutlarını seçer ve orijinal görsel özelliği bu K görsel unsur boyutlarıyla değiştirir. Görsel özellik seçimi sayesinde, anlamsal özelliklerle daha tutarlı olan daha kompakt bir görsel özellik elde ederiz.
2. Görsel özellikli artık jeneratör
Görsel özellik kalıntı oluşturucusunun görevi, belirli bir anlambilimsel özellik kategorisi altında çok sayıda görsel özellik kalıntısı oluşturmaktır.Bu görsel özellik kalıntılarını ve bunlara karşılık gelen görsel prototipleri birleştirerek görsel özellikleri sentezleyebiliriz. Yüzleşme eğitimi için özellik çıkarıcı tarafından çıkarılan sentetik görsel özellikleri ve gerçek görsel özellikleri, yüzleşme eğitimi için özellik ayırıcıya girin ve görsel özellik artıkları oluşturabilen bir koşullu jeneratör elde edebiliriz.
Koşullu üretme yüzleşme ağlarına dayanan mevcut sıfır örnek öğrenme yöntemleri, genellikle görsel özelliklerin kendilerini doğrudan oluşturmak için semantik özellikleri koşullar olarak kullanan bir koşul üretecini eğitmek için yüzleştirme eğitim yöntemlerini kullanır. Bu makalenin yönteminde, koşullu bir üreteci eğitmek için karşı eğitim yöntemini de kullanıyoruz, ancak koşullu üreteç görsel özellik artıkları oluşturuyor ve ardından görsel özellik kalıntılarını görsel prototip ile birleştirerek görsel özellikleri sentezliyor.
Görsel özellik prototip tahminini ve görsel özellik kalıntı oluşumunu birleştirerek, daha iyi ayırt edilebilirlik ve daha iyi anlamsal tutarlılıkla görsel bir özelliği sentezleyebiliriz. Daha iyi ayırt edilebilirlik, temel olarak görsel özelliklerin kalıntılarının genellikle değer olarak farklı görsel prototipler arasındaki mesafeden daha küçük olmasından kaynaklanmaktadır. Daha iyi anlamsal tutarlılık, esas olarak prototip tahmin kaybına dayalı görsel özellik seçim yönteminden gelir.
Görünmeyen yeni bir kategorinin anlamsal özelliği göz önüne alındığında, görsel özellik artık üreteci eğitildiğinde, o kategorinin görsel özelliğini sentezleyebiliriz. Bu şekilde sıfır örneklemli öğrenme problemi genel bir sınıflandırma problemine dönüştürülür.
Deneysel sonuçlar
Bu makaledeki yöntem, 4 büyük taneli veri seti (APY, AWA1, AWA2, SUN) ve 2 ince taneli veri seti (CUB, NAB) dahil olmak üzere mevcut genel veri setleri üzerinde kapsamlı bir şekilde test edilmiştir. Dört kaba ayrıntılı veri kümesinde, görülen kategorileri görünmeyen kategorilerden ayırmak için bir veri bölme yöntemi kullandık. İki kaba taneli veri setinde, görülen kategorileri ve görünmeyen kategorileri ayırmak için farklı zorluklara sahip iki veri bölme yöntemi kullandık. Sıfır örneklemli öğrenmede, deneysel sonuç değerlendirme yöntemi genellikle görünmeyen kategorinin doğruluk oranını benimser. Bu yöntemin deneysel sonuçları mevcut en iyi sonuçlarla karşılaştırılır ve sonuçlar Tablo 1-2'de gösterilir.
Tablo 14 büyük taneli herkese açık veri kümesinde karşılaştırma sonuçları
Tablo 1, bu makaledeki yöntemin deneysel sonuçlarını ve 4 büyük taneli veri setindeki mevcut ana yöntemleri listelemektedir. Tablo 1'den görülebileceği gibi, bu makaledeki yöntem her veri setinde en iyi sonuçları elde etmiştir. APY, AW1 ve AWA2 veri setlerinde, bu yöntemin tanıma doğruluğu büyük ölçüde iyileştirilmiştir. SUN veri setinde, bu makaledeki yöntemin tanıma doğruluğunun iyileştirilmesi nispeten küçüktür.Bunun nedeni, SUN veri setinin çok sayıda kategoriye sahip olması ve her kategorideki eğitim görüntülerinin sayısının küçük olması, bu da görsel prototiplerin doğru hesaplanması için elverişli olmaması olabilir. Bu, doğrulukta bir azalmaya yol açar.
Tablo 2 İki büyük taneli genel veri kümesinde karşılaştırma sonuçları
Tablo 2, bu makaledeki yöntemin deneysel sonuçlarını ve iki ince taneli veri seti üzerindeki mevcut ana yöntemi listelemektedir. Tablo 2'deki deneysel sonuçlar, bu makaledeki yöntemin yalnızca kaba taneli sıfır örneklemli öğrenmede daha iyi bir performansa sahip olmadığını, aynı zamanda ince taneli sıfır örneklem öğrenmenin performansında da büyük bir iyileşme olduğunu göstermektedir. Farklı zorluk derecelerine sahip iki veri bölme yöntemi için, bu makaledeki yöntem aynı zamanda tanımanın doğruluğunu da geliştirmektedir. Daha zor SCE veri bölme yöntemleri arasında, bu makaledeki yöntemin deneysel sonuçları daha açık bir şekilde geliştirilmiştir. Bu, bu makaledeki yöntemin farklı zorluklara sahip sıfır örneklemli öğrenme problemlerinde iyi bir performansa sahip olduğunu göstermektedir.
Bu makalede önerilen yöntemin etkili olup olmadığını daha fazla analiz etmek için iki karşılaştırmalı deney yaptık. İlk karşılaştırmalı deneyde, iki ince taneli veri seti üzerinde kalıntı tabanlı anti-görsel özellik oluşturma yöntemi ile doğrudan görsel önleme özellik oluşturma yönteminin sonuçlarını karşılaştırdık. Sonuçlar Tablo 3'te gösterilmektedir:
Tablo 3 Kalıntılara dayalı anti-görsel özellik oluşturma yöntemlerinin karşılaştırma sonuçları
Tablo 3'te AFRNet, artık tabanlı bir yüzleşmeye dayalı görsel özellik üretme yönteminin kullanıldığını, AFRNet-non ise doğrudan yüzleşmeye dayalı görsel özellik üretme yönteminin kullanıldığını belirtmektedir. Tablo 3'ten, kalıntılara dayalı anti-görsel özellik oluşturma yönteminin sıfır örneklemli öğrenmenin performansını önemli ölçüde artırabileceğini görebiliriz.
İkinci karşılaştırmalı deneyde, öngörü kaybına dayalı özellik seçim yönteminin iki ince taneli veri seti üzerindeki etkisini analiz ettik. Deneysel sonuçlar Tablo 4'te gösterilmektedir:
Tablo 4 Kayıp tabanlı görsel özellik seçim yöntemlerinin karşılaştırma sonuçları
Tablo 4'te w / o, tahmin kaybına dayalı özellik seçim yönteminin kullanılmadığını, w ise tahmin kaybına dayalı özellik seçim yönteminin kullanıldığını gösterir. Tablo 4'teki sonuçlar, genel görsel özelliğin yerine daha az tahmin kaybına sahip görsel özellik boyutu seçilerek görsel özellik ile anlamsal özellik arasındaki tutarlılığın etkili bir şekilde artırılabileceğini göstermektedir.
Referanslar
[1] Frome, A .; Corrado, G. S .; Shlens, J .; Bengio, S .; Dean, J .; Mikolov, T .; ve diğerleri 2013. Devise: Derin bir görsel-anlamsal embe gg In ing modeli NIPS, 21212129.
[2] Akata, Z .; Reed, S .; Walter, D .; Lee, H .; ve Schiele, B. 2015. Çıktının değerlendirilmesi gg ince taneli görüntü sınıflandırması için girişler CVPR, 29272936.
[3] Socher, R .; Ganjoo, M .; Manning, C. D .; ve Ng, A. 2013. Çapraz modal aktarım yoluyla sıfır vuruşlu öğrenme.NIPS, 935943.
4 Zhang, L .; Xiang, T .; and Gong, S. 2017. Derin bir embe öğrenme gg Sıfır atışlı öğrenme için modelleme CVPR, 20212030.
[5] Xian, Y .; Lorenz, T .; Schiele, B .; ve Akata, Z. 2018b. Sıfır vuruşlu öğrenme için ağ oluşturma özelliği. CVPR, 55425551.
