Kod açık kaynak COCO-16 Görüntü Segmentasyon Şampiyonu: İlk tamamen evrişimli uçtan uca örnek segmentasyon modeli
Xinzhiyuan Raporu
Görüntü sınıflandırması ve nesne algılamasının ardından, piksel düzeyinde doğru nesne örnek segmentasyonu, daha zorlu ve pratik bir görsel tanıma görevi haline geldi. İlk iki görev son yıllarda hızlı bir ilerleme kaydetti ve birçok zarif ve etkili yöntem oldu. Ancak, örnek segmentasyonu görevi hala bir kıyaslama çalışmasından yoksundur.
Bu amaçla, Tsinghua Üniversitesi ve Microsoft Research'ten Li Yi, Qi Haozhi, Dai Jifeng, Ji Xiangyang ve Wei Yichen, görüntü semantik segmentasyonu ve örnek segmentasyon tahmininde Tam Evrişimli Sinir Ağı'nın (FCN) avantajlarını kullanmak için işbirliği yaptı. Yeni bir mimari FCIS önerildi.
FCIS, bulut sunucusu segmentasyonu için basit, hızlı ve doğru bir çerçeve sağlayan ilk tamamen evrişimli, uçtan uca bulut sunucusu segmentasyon çözümüdür Örnek bölümleme tahmini ve sınıflandırmasının iki adımı arasındaki ilişki nedeniyle, FCIS aynı anda birden çok nesne örneğini algılayabilir ve bölümlere ayırabilir.
FCIS, COCO 2016 segmentasyon yarışmasında önemli bir avantajla birinci oldu. Birkaç gün önce, araştırma makaleleri "Tamamen Evrişimli Örneğe Duyarlı Anlamsal Segmentasyon" (Tamamen Evrişimli Örneğe Duyarlı Anlamsal Segmentasyon) CVPR 2017 tarafından önemli bir makale olarak kabul edildi.Yazar, makaleyi arXiv'e yükledi ve ayrıca kodu Github'da açtı.
FCIS: Bulut sunucusu segmentasyonu için ilk tam evrişimli uçtan uca çözüm
Mevcut ana akım örnek bölümleme yöntemlerinin neredeyse tamamı, yaygın olarak kullanılan nesne algılama yöntemlerine dayanan basit ve doğrudan uzantılardır ve sorunun anlaşılması yeterince derin değildir ve hesaplama verimliliği ve doğruluğunda iyileştirme için hala çok yer vardır.
Örneğin, ilgi bölgesinin sınıflandırılması ve bölümlendirilmesi (İlgi Bölgesi, Yatırım Getirisi) iki ayrı adım olarak gerçekleştirilir ve bu iki görevin alaka düzeyi tam olarak kullanılmaz; bölümleme alt ağının eğitimi, nesne kategorilerinin farklılığını dikkate almaz; Bir segmentasyon alt ağını çalıştıran bir ROI, düşük hesaplama verimliliğine yol açar; RoI Pooling daha hassas bir hizalama kullanmalıdır ...
"Nesne algılama ile ilgili önceki çalışmamız, NIPS 2016'da yayınlanan R-FCN'nin iki ana fikri var, biri verimli bir tam evrişimli ağa dayanıyor ve diğeri de kullanıma uygun olan çeviri değişmezliğini kırmak için konuma duyarlı RoI Pooling'i kullanmak. Örnek bölümleme yapalım, bu yüzden yukarıda bahsedilen sorunları çözmeyi umarak bu düşünce çizgisini takip ettim. Microsoft araştırmacıları dedi.
FCIS fikrinin şematik diyagramı . (a) Anlamsal bölümleme için tamamen evrişimli ağ (FCN). Her kategorinin, tek tek nesne örneklerini ayırt etmeyen ayrı bir puan haritası vardır. (b) Örnek bölümleme tahmini için kullanılan ÖrnekFCN 3x3 konuma duyarlı bir skor haritası, ilgili konum bilgisini kodlayacaktır. Örnek FCN, bir dizi bölümleme adayı üretir ve sonraki bir ağ, bu bölümleme adaylarını sınıflandırır ve değerlendirir. (c) Yeni önerilen tam evrişimli durum semantik bölümleme yöntemi (FCIS), burada konuma duyarlı iç / dış skor haritaları, birden çok bağlı görüntüyü aynı anda bölümlere ayıracak ve algılayacaktır. Kaynak: Yi Liet ve diğerleri.Tamamen Evrişimli Örneğe Duyarlı Anlamsal Segmentasyon
FCIS genel mimarisi . Bölgesel tahmin ağı (RPN), evrişimli katmanları FCIS ile paylaşır. RPN tarafından oluşturulan ilgi bölgesi (RoI), sınıflandırma ve segmentasyon tahminleri oluşturmak için puan haritaları üzerinde hareket edecektir. Ağırlıkları öğrenilebilen katmanların tümü evrişimli katmanlardır ve tüm görüntü üzerinde hesaplanır. Her yatırım getirisinin ek hesaplama maliyeti ihmal edilebilir düzeydedir. Kaynak: Yi Liet ve diğerleri.Tamamen Evrişimli Örneğe Duyarlı Anlamsal Segmentasyon
Aynı anda iki görevi çözmek için sınıflandırma ve segmentasyon korelasyonunu kullanın
Microsoft araştırmacılarına göre, ilk denediklerinde, R-FCN tarafından nesne sınıflandırması için kullanılan puan haritalarını, temel evrişimli ağı paylaşan iki yönlü puan haritalarına genişletmişler ve her biri ROI sınıflandırması ve bölümleme sorunlarını çözmüştür. Basit bir çoklu görev ağına benzer şekilde, R-FCN ile karşılaştırıldığında, eklenen parametreler ve hesaplamalar çok küçüktür.
Bununla birlikte, yeni mimariyi MS COCO nesne segmentasyon yarışmasının 2015 şampiyon yöntemi MNC'si (ayrıca çalışmaları) ile karşılaştırdıklarında, VOC veri setinde FCIS'in MNC'ye kıyasla doğruluk avantajının yeterince büyük olmadığını, ancak hız ve bellek avantajları olduğunu gördüler. açık.
Bununla birlikte, COCO veri seti üzerinde test edildikten sonra, doğruluk açığı açıkça genişledi. Yazar, yöntemlerinin daha zor küçük nesneler ve çok kategorili COCO veri setleri için daha etkili olduğunu analiz ediyor. Ek olarak, COCO'nun performans değerlendirme indeksi, nesne konumlandırma ve segmentasyon doğruluğu için daha yüksek gereksinimlere sahiptir ve yeni yöntemin yüksek doğruluğunu daha iyi yansıtabilir.
Daha fazla düşündükten sonra, araştırmacılar sınıflandırma ve bölümleme arasındaki ilişkinin tam olarak kullanılması gerektiğine inanıyorlar. Basit bir yeniden parametrelendirme yoluyla, iki alakasız skor haritasının birbiriyle yakından ilişkili olabileceğini, böylece aynı anda iki görevi çözmek için kullanılabileceğini buldular.
Bunun avantajı, ilgili eğitimin aynı anda iki denetim sinyalinden etkilenecek olmasıdır; bu, herhangi bir modelin karmaşıklığını ve hesaplama maliyetini artırmadan eğitim verilerinden tam olarak yararlanmaya eşdeğerdir ve deneysel sonuçlar da iyileştirilir. .
"Bu aynı zamanda son makalemizdeki tam evrişimli ağa dayanan bir yöntemdir. Basit ve etkilidir. Yukarıda bahsedilen tüm sorunları çözer ve sonunda 2016'daki MS COCO yarışmasının şampiyonluğunu kazandı." Makalenin ilk yazarı Li Yi, Xin Zhiyuan'a söyledi. .
("Kişiler" kategorisinde) Farklı ROI örneklerinin segmentasyonunun ve sınıflandırılmasının sonucu. Puan Haritaları, farklı ROI'ler ve iki alt görev arasında paylaşılır. Kırmızı nokta, görüntüdeki aynı pikselin farklı ROI'lerde farklı anlamlara sahip olduğunu gösterir. Kaynak: Yi Liet ve diğerleri.Tamamen Evrişimli Örneğe Duyarlı Anlamsal Segmentasyon
Şu anda, ekip ICCV'de Deformable Convolutional Networks adlı yeni bir makaleye katkıda bulundu. Bu çalışma uyarlamalı olarak öğrenebilir ve evrişim çekirdeğinin uzamsal örnekleme konumunu ayarlayabilir Etkisi, görüntü içeriğine göre uzaysal olarak deforme olabilen bir evrişim ağının öğrenilebilmesidir.
"Bunun da bir kıyaslama çalışması olduğuna inanıyoruz. ICCV'ye sunumumuzda nesne örnek segmentasyonu görevinde test etmedik ve bir sonraki adımda denemeyi planlıyoruz."
Makale: Tam Evrişimli Örneklerin Anlamsal Segmentasyonu
Yazar: Li Yi, Hao Qi, yoğun sezon nesli, güneşli sezon, Wei Yi Chen
Özet
Örneğe duyarlı görevler için ilk tam evrişimli uçtan uca çözümü öneriyoruz. Anlamsal bölümleme ve örnek maskesi teklifinde tam evrişimli ağın (FCN) tüm avantajlarını devralır ve aynı anda birden çok nesne örneğini algılayabilir ve bölümlere ayırabilir. Konuma duyarlı dahili / harici skor haritalarının tanıtılmasıyla, temeldeki evrişimli temsil, iki alt görev ve ilgili tüm bölgeler (ROI) arasında tamamen paylaşılır. Önerdiğimiz ağ son derece entegre olup, şu anda doğruluk ve etki açısından en iyi sonuçları elde ediyor ve aynı zamanda COCO 2016 görüntü segmentasyon yarışmasını önemli bir avantajla kazandı. Kod açık kaynak adresi: https://github.com/daijifeng001/TA-FCN
-
ArXiv gazetesinin ikinci baskısı (CVPR-17 kabul edildi): https://arxiv.org/pdf/1611.07709.pdf
-
Github kodu açık kaynak: https://github.com/msracver/FCIS
