CVPR 2019 CSP Yaya Algılama: Ankraj Çerçevesi Olmadan Yeni Bir Algılama Fikri
Bu makale CVPR 2019'a dahil edildi ve ilgili yazar Birleşik Arap Emirlikleri Yapay Zeka Enstitüsü (IIAI). Geleneksel özellik noktası tespit görevinden ve son zamanlardaki tamamen evrişimli anahtar nokta tespiti ve eşleştirmesinden esinlenen bu makalenin yazarı, yoğun kayan pencereler veya sabitleme noktaları yerleştirmeden tamamen evrişimli bir hedef merkez noktası ve ölçeği önermektedir. Büyük ve küçük yaya algılama yöntemleri, hedef tespiti için yeni bir bakış açısı sağlar.
Kağıt adresi: https://arxiv.org/abs/1904.02948
Kod adresi: https://github.com/liuwei16/CSP
Giriş
Hedef tespiti genellikle geleneksel yoğun kayan pencere yöntemini veya sabit çerçevelerin (ankraj) döşenmesine yönelik mevcut ana algılama yöntemini benimser, ancak hangi yöntem olursa olsun, belirli veri kümeleri için kayan pencereyi veya ankraj çerçevesini süper tasarlamak veya hatta optimize etmek kaçınılmazdır. Parametreler, böylece eğitimin zorluğunu arttırır ve dedektörün çok yönlülüğünü sınırlar.
Hedef tespiti gerçekleştirmek için pencereden veya bağlantı kutusu kısıtlamasından çıkmak mümkün mü?
Bu makale, çoğu evrişimli yanıtlara dayanan düşük seviyeli görüşte özellik tespiti veya ilgi alanı tespiti ile ilgili erken fikirleri yeniden gözden geçirdi. Bundan ilham alan bu makale, hedef tespitini yüksek dereceli anlamlara sahip bir özellik tespit görevi olarak ele alıyor ve hedef tespit için yeni bir bakış açısı sağlıyor. Spesifik olarak, kenarlar, köşeler, noktalar veya ilgili bölgeler gibi düşük seviyeli özellik algılaması için, bu makaledeki yöntem aynı zamanda ilgili özellikleri bulmak için tüm görüntüyü tarar Bu nedenle, evrişim doğal olarak yeterlidir. Ancak geleneksel düşük seviyeli özelliklerden farklı olarak, bu makale ayrıca yayalar, insan yüzleri vb. Gibi üst düzey anlamsal soyut özellik noktalarına sahip olmayı amaçlamaktadır ve günümüzün derin evrişimli sinir ağları zaten bu yüksek seviyeli anlamsal soyutlama yeteneğine sahiptir. Ek olarak, nokta tespiti veya ilgi bölgesi tespitine benzer şekilde, bu makale aynı zamanda her bir merkez noktası için hedef ölçeğini de tahmin eder ve bu da doğrudan bir evrişimli tahmindir. Bu nedenle, bu makale, hedef tespitini doğrudan bir tam evrişimli merkez noktası ve ölçek tahmin görevine basitleştirmek için bir örnek olarak yaya tespitini alır ve yöntemi CSP (Merkez ve Ölçekli Tahmin) dedektörü olarak adlandırır. Bu dedektör basit bir yapıya sahip olmasına rağmen, ana akım Caltech ve Citypersons yaya algılama veri setlerinde halen mevcut en iyi algılama performansını elde eder ve tek aşamalı bir dedektörinkine eşdeğer bir algılama hızına sahiptir, bu nedenle basit ve kullanılabilir yeni bir algılama fikridir. .
Araştırma motivasyonu
Geleneksel bilgisayar görüşü alanında, özellik noktası tespiti çok temel ve önemli bir görevdir. Genel olarak, kenar algılama, köşe (veya kilit nokta) algılama ve ilgi alanı algılama dahil olmak üzere düşük seviyeli bir görme teknolojisi olarak kabul edilir. Genel olarak, bir özellik noktası genellikle bir görüntünün ilginç bir parçasıdır Özellik noktası tespiti, görüntü bilgilerinin çıkarılması ve her pikselde belirli bir özelliğin var olup olmadığına karar verilmesi anlamına gelir. Görüntü bilgilerinin çıkarılması için, günümüzün derin evrişimli sinir ağının (CNN) görüntüler için yüksek derecede soyutlama yeteneklerine sahip olduğu düşünülmektedir, bu nedenle CNN, özellik noktası tespitinde de yaygın olarak kullanılmaktadır ve çok çekici sonuçlar elde etmiştir. Örneğin son yıllarda CNN tabanlı kenar algılama yöntemleri büyük ilerleme kaydetti, CNN'in çok sürekli ve düzgün kenarlar elde edebildiğini ortaya koydu.Ayrıca CNN'in geleneksel yöntemlere göre daha güçlü soyutlama yeteneklerine sahip olduğunu gösteriyor. Bu yüksek seviyeli soyut yetenek, düşük seviyeli görsel özellik noktalarının tespiti ile sınırlı kalmamalı, daha yüksek seviyeli soyut anlamsal özellik noktalarını tespit etme potansiyeline sahip olmalıdır.
Bu nedenle, yüksek seviyeli hedef tespit görevi, anlamsal özellik noktası tespiti problemine basitleştirilebilir mi? Bu tam olarak bu makalenin keşfedeceği şeydir. Tıpkı anahtar nokta tespiti gibi, dedektör kilit noktaların yerini bulmak için tüm görüntüyü tarar Açıkçası, bu işlem paylaşılan evrişim işleminin iyi olduğu şeydir. Ancak geleneksel düşük seviyeli anahtar nokta tespitinin aksine, hedef tespit daha yüksek seviyede soyutlama gerektirir, yani her bir hedefin merkez noktasını bulması gerekir, bu derin modelin potansiyelidir. Ek olarak, geleneksel ilgi bölgesi tespitine benzer şekilde, hedef tespitinin de her bir merkez noktası için bir ölçek öngörmesi gerekir, bu da aynı zamanda evrişim tahmini yapabilir. Yukarıdaki iki hususa dayalı olarak, bu makale hedef tespitini tam evrişimli ağa dayalı bir hedef merkez noktası tespiti ve hedef ölçeği tahmin görevi olarak kurmayı önermektedir. Aşağıdaki şekilde basit bir şematik diyagram gösterilmektedir: İlk olarak, bir görüntü tam bir evrişimli ağa girilir ve ağ tarafından çıkarılan özellik haritasına dayalı olarak iki harita evrişimli olarak tahmin edilir, bunlardan biri hedefin merkez noktası konumunu bir ısı haritası olarak sunar. Hedefi tahmin etmekten sorumlu bir ölçek. Bu temelde, ikisi orijinal görüntüye eşlenebilir ve bir hedef algılama çerçevesi olarak yorumlanabilir: merkez nokta ısı haritasının konumu, algılama çerçevesinin merkez konumuna karşılık gelir, tahmin edilen ölçek boyutu algılama çerçevesinin boyutuna karşılık gelir ve merkez nokta ısısı Grafikteki güven seviyesi, algılama çerçevesinin puanına karşılık gelir.
Hedef tespiti için, çığır açan Viola-Jones dedektöründen başlayarak, yoğun kayar pencere sınıflandırıcı benimsenmiştir. İster iki aşamalı Daha Hızlı R-CNN serisi ister tek aşamalı SSD serisi olsun, evrişimli sinir ağlarına dayanan mevcut ana akım dedektörler bile, çapa çerçevesi tarafından benimsenen algılama yöntemi, özünde hala bir alt pencere sınıflandırıcısıdır. form. Başka bir deyişle, bu detektörler, önceden ayarlanmış bir alt pencerede veya bağlantı kutusunda bir hedef olup olmadığını belirlemek için esasen yerel bir sınıflandırıcıyı eğitmektedir. Bununla birlikte, bu yöntemlerin, eğitimin zorluğunu artıran ve dedektörün çok yönlülüğünü sınırlayan, belirli bir veri seti için kayan pencere veya ankraj çerçevesi hiperparametrelerini kaçınılmaz olarak tasarlaması ve hatta optimize etmesi gerekir. Bu kayan pencere veya bağlantı çerçevesi hiperparametreleri şunları içerir: pencere sayısı, pencerenin boyutu, en-boy oranı, etiket çerçevesiyle örtüşme hızı eşiği, vb. Bu hiper parametreler genellikle, ayarlanması ve genelleştirilmesi zor olan algılama görevi ve veri seti ile ilgilidir. Genel olarak konuşursak, hedef tespiti iki yönü içerir: hedef nerede (nerede) ve hedef ne kadar büyük (nasıl). Bununla birlikte, bu mevcut yöntemler bu iki yönü bir pencere veya bağlantı kutusunda birleştirir ve farklı boyut ve oranlardaki pencerelerin veya bağlantı kutularının aynı anda hedef olup olmadığını belirlemek için yerel bir sınıflandırıcı kullanır. Bu bağlanma, çeşitli hiperparametre kombinasyonlarına neden olur. Bu yazıda önerilen CSP detektörü, bu iki alt problemi iki doğrudan evrişim yoluyla ayırır ve hedef tespitini daha doğal bir şekilde gerçekleştirir, böylece çeşitli çapa kutusu hiperparametreleri kombinasyonlarından kaçınır ve detektörü basitleştirir. Eğitim zordur.
Ek olarak, bu makalenin çalışması, son yıllarda bazı önemli nokta tespiti ve eşleştirme çalışmalarından da esinlenmiştir. Mevcut çalışmada, Tam Evrişimli Sinir Ağı (FCN), önce insan vücudunun kilit noktalarını tamamen evrişimli olarak tespit ederek ve ardından kombinasyon eşleştirme yaparak çok kişili poz tahminine başarıyla uygulanmıştır. Bundan ilham alan ECCV 2018, CornerNet ve TLL'nin iki çalışması, bağlantı kutusunu başarıyla attı ve bir çift çapraz algılama veya üst ve alt köşe algılama ve eşleştirilmiş eşleştirme yoluyla hedef tespiti gerçekleştirdi. YOLO ve DenseBox'ın yerini alır, ancak performansının belirli sınırlamaları vardır). Birden çok anahtar nokta ek eşleştirme stratejileri gerektirmesine ve bazı eşleştirme yöntemlerinin daha karmaşık olmasına (TLL'deki MRF gibi) rağmen, bu çalışma serisi, daha ileri gitmek ve basit, tamamen evrişimli tahmin merkezi ve ölçek tespiti elde etmek için bu makaleye ilham kaynağı oldu. Cihaz.
Yöntem gerçekleştirme
Temel çerçeve: Aşağıdaki şekil, CSP algoritmasının genel çerçevesini gösterir.Yapısı çok basittir.Genellikle iki modül içerir: Özellik Çıkarma ve Algılama Başlığı.
Özellik çıkarma modülü: Örnek olarak ResNet-50'yi ele alırsak, düşük seviyeli özellik haritası daha yüksek uzamsal çözünürlüğe sahiptir, bu nedenle daha fazla konumlandırma bilgisi sağlayabilirken, yüksek seviyeli özellik haritası daha fazla anlamsal bilgi içerir. Üst düzey özellikli füzyon, algılama görevleri için bir özellik haritasına eşlenir. Özellikle, algoritmanın karmaşıklığını azaltmak için, işte en basit özellik füzyon yöntemi: ilk önce birleştirilecek tüm özellik haritalarında L2 normalizasyonu gerçekleştirin ve ardından 3., 4. ve 5.'i bölmek için ters evrişim katmanını kullanın. İkinci seviyenin özellik haritasının çözünürlüğü, ikinci seviyeninki ile aynı olacak şekilde, yani orijinal görüntünün 1 / 4'ü olacak şekilde artırılır ve daha sonra bu özellik haritaları, tespit için son özellik haritasını elde etmek için kanal boyutunda birbirine eklenir. (Resimdeki mor kısım). Bir girdi görüntüsü verildiğinde, algılama için kullanılan özellik haritasının boyutu H / r × W / r'dir, bu alt örnekleme oranını temsil eder, daha büyük olanı, özellik haritasının çözünürlüğünün daha küçük olduğu anlamına gelir ve bu da algılamaya yol açar Cihazın konumlandırma performansı düşer ve daha küçük olanı daha fazla hesaplama yükü getirecektir.
Algılama kafası modülü: Yukarıdaki özellik haritasına dayalı olarak, algılama kafası, özellik şemasını algılama sonuçlarına dönüştürmekten sorumludur. Algılama başlığı modülünde, giriş özelliği haritasının boyutunu 256'ya sıkıştırmak için önce 3x3 evrişimli bir katman bağlayın ve ardından, karşılaştırmak için hedef merkez noktası ısı haritasını ve hedef ölçek tahmin haritasını oluşturmak için iki paralel 1x1 evrişimli katmanı bağlayın. R-CNN ve SSD serisi çalışmaları için, algılama kafası modülü büyük ölçüde basitleştirilmiştir. Deneyler, merkez noktası tespiti ve ölçek tahmininin yaya tespit görevleri için yeterli olduğunu göstermektedir. Bununla birlikte, aşağı örneklenmiş özellik haritalarının kullanılması hedef konumlandırma performansını etkileyecektir Bu kusuru telafi etmek için, merkez noktası ve ölçek tahminine ek olarak, merkez noktadan gerçek hedef merkeze olan sapmayı daha fazla tahmin etmek için ek bir ofset tahmin dalı eklenebilir. vardiya.
Eğitim etiketi: Gerçek hedef sınırlama kutusunun etiketi verildiğinde, algoritma aşağıdaki şekilde gösterildiği gibi merkez noktasının eğitim hedefini ve ölçeğini otomatik olarak oluşturabilir, (a) iki yaya hedefinin gerçek sınırlayıcı kutusunu verir, (b) verir Merkez noktası ve ölçeği oluşturmaya bir örnek: Merkez noktası için, hedef merkez hangi konumda olduğunda, 1 değeri (yani, pozitif örnek) o konuma atanır ve 0 değeri (yani negatif örnek) diğer konumlara atanır; ölçek haritası için, ne zaman Hedef merkezin düştüğü yerde, ölçeğin günlük değeri o konuma atanır ve 0, diğer konumlara atanır. Log işlevi, orijinal ölçeği belirli bir aralıkta geniş bir dağıtım aralığı ile sıkıştırmak için kullanılır ve hata ölçekten bağımsızdır, bu da dedektörün eğitimi için yararlıdır. Tek bir merkez noktanın belirsizliği göz önüne alındığında, Şekil (c) 'de, merkez nokta etrafındaki negatif örneklerin ağırlığını azaltmak için bir Gauss maskesi de tanımlıyoruz.Bu, kayıp fonksiyonunu tanımlarken daha fazla tanıtılacaktır.
Hedef ölçeğin hedef yükseklik ve / veya genişlik olarak tanımlanabileceğini belirtmekte fayda var. Yaya algılama için, daha kompakt bir hedef sınırlama kutusu elde etmek için, son çalışmalar insan vücudunun merkez eksenini işaretlemek, yani yayanın üst ve alt köşelerini belirlemek ve yaya yüksekliğini elde etmek için bir bağlantı oluşturmak ve ardından sabit bir uzunluk ve genişlik kullanmak için benimsemiştir. 0,41 oranı doğrudan yaya genişliğini belirler ve ardından hedef sınırlama kutusunu oluşturur. Buna dayanarak, CSP yaya dedektörü yalnızca hedefin yüksekliğini tahmin edebilir ve ardından dik yürüyen yaya özellikleriyle belirlenen sonraki değerlendirme için 0,41 sabit en boy oranına dayalı bir algılama çerçevesi oluşturabilir. Ancak diğer yaya olmayan hedefler için, CSP'nin ölçek tahmini, aşağıda belirtilen yüz algılama gibi, hedefin yüksekliğini ve genişliğini aynı anda tahmin etmelidir.
Merkez noktası ofsetinin eğitim hedefinin tanımı, ölçeğe benzerdir. Evrişim tahmin kanalı, yatay ve dikey yönlerde ofsetten sorumlu iki katman içerir. Hedef k'nin merkez noktası koordinatlarının (x_k, y_k) olduğunu varsayarsak, o zaman Etiket haritasındaki hedef merkezin konumuna bir değer atayın, burada "·" yuvarlama işlevini temsil eder ve diğer konumlara 0 değeri atayın.
Kayıp fonksiyonu: Hedef merkez noktası tahmini, iki sınıflı bir problemdir, yani ısı haritasının her bir pozisyonunda bir hedef merkez noktası olup olmadığını, merkez noktası pozitif bir örnekse, aksi takdirde negatif bir örnektir. Ancak, "mükemmel" bir hedef merkez noktası tanımlamak genellikle zordur. Pozitif numunelerin etrafındaki negatif numuneler merkez noktaya çok yakın olduklarından etiketleme hatasından kolaylıkla rahatsız olurlar, bu nedenle doğrudan negatif numuneler olarak atanması dedektörün eğitimi için sorunlara neden olacaktır. Bu bağlamda, bu makale her pozitif örnek ve çevresi için bir Gauss maskesi kullanır.Gauss maskesi, hedef merkez noktasını merkez koordinat olarak alır ve yatay / dikey varyansı, hedefin genişliği / yüksekliğiyle orantılıdır. İki hedefin Gauss maskeleri arasında bir çakışma varsa, ikisinden en büyüğü seçilir. Pozitif ve negatif örneklerin sayısındaki aşırı dengesizlik sorunuyla başa çıkmak için, bu makale CornerNet'teki odak stratejisini de benimsiyor - zor örneklere daha fazla ağırlık veriyor. Spesifik kayıp fonksiyonu tanımı makalede ayrıntılı olarak açıklanmıştır. Bu nedenle, Gauss maskesini ve odak stratejisini birleştirerek, biri zor örneklerin ağırlığının artırılması, diğeri ise pozitif örneklerin etrafındaki negatif örneklerin ağırlığının azaltılmasıdır. Son olarak, hedefin ölçek tahmini, klasik yumuşatılmış L1 kaybı ile verilen bir regresyon problemi olarak yapılandırılabilir.
Deneysel sonuçlar
Bu yazıda önerilen yöntem Caltech ve Citypersons yaya algılama veri kümelerinde doğrulanmıştır; burada açıklama, merkez çizgisine dayalı kompakt bir açıklama şeklindedir. Bu, şu anda en yaygın yaya algılama veri kümesidir. Kullanılan değerlendirme indeksi, tek görüntü yanlış algılama (FPPI) aralık içindeyken log-ortalama kaçırılmış algılama oranıdır (MR-2).
Caltech veri setinde, sonuç aşağıdaki şekilde gösterilmektedir. Test setinin makul bir alt kümesinde yalnızca Caltech eğitim seti ile eğitim alırken, CSP'nin ortalama kaçırılan tespit oranı% 4,5'tir ve bu, mevcut en iyi RepLoss% 5.0'dan% 0.5 daha iyidir. Karşılaştırma yöntemlerinin tümü Citypersons üzerinde önceden eğitildiğinde, CSP şu anki en iyi ortalama kaçırılan oran olan% 3,8'e ulaştı. Ciddi şekilde tıkanmış alt kümede, CSP, eğitim öncesi olmayan RepLoss'tan% 2.1 daha iyi ve eğitim öncesi ile RepLoss'tan% 5.3 daha iyidir. RepLoss ve OR-CNN oklüzyon için özel olarak tasarlanırken, CSP'nin ek bir oklüzyon stratejisi olmadığına dikkat çekmek önemlidir.
Citypersons veri setinde sonuçlar aşağıdaki tabloda gösterilmektedir. Tüm sonuçlar, merkez çizgisi ek açıklaması ile orijinal görüntü (1024x2048) üzerinde test edilir. Makul bir alt kümede CSP'nin önceki en iyi ALFNet'e kıyasla% 1.0, ciddi şekilde tıkanmış alt kümede% 2.6 ve küçük hedeflerde% 3.0 iyileştirildiği ve test hızının ALFNet'e eşdeğer olduğu görülebilir. NVIDIA GTX1080Ti'de, tek bir grafik kartındaki 1024x2048 boyutundaki her görüntü ortalama 0,33 saniye sürer. Özellikle, bir bağlantı kutusu gerektirmeyen aynı yöntem için CSP, TLL'den% 4,5 ve TLL + MRF'den% 3,4 daha yüksektir.
CSP'nin küçük hedef algılama yeteneği, büyük çözünürlüklü özellik haritalarından yararlanır. Tıkanma için, yoğun kayan pencerelere (VJ dedektörü gibi) dayalı geleneksel dedektörler veya ROI Havuzlama kullanan Daha Hızlı R-CNN, esasen hedef alanın genel değerlendirmesinin sınıflandırmasıdır. Bu nedenle, hedef alanın kapanması ve arka plan bilgisi genel yargıda yer almaktadır. Bu makalede önerilen CSP, hedefin nerede ve ne kadar büyük olduğunu anlayabilir Isı haritasında sadece merkez noktası tespit edilir ve ölçek ek olarak tahmin edilir, bu nedenle tıkanmanın etkisi nispeten küçüktür.
Takip et
CSP dedektörünün çok yönlülüğünü daha fazla doğrulamak için, bu makalenin yazarı, WiderFace yüz algılama veri seti üzerinde daha fazla takip deneyleri gerçekleştirdi. Ölçek, yükseklik + genişlik tahminini kullanır, çünkü WiderFace'in yüz etiketlemesi çeşitli değişen en boy oranları içerir. WiderFace eğitim setindeki CSP eğitiminin sonuçları doğrulama seti ve test setinde test edilmiştir Deneysel sonuçlar aşağıdaki şekilde gösterilmiştir. CSP'nin mevcut önde gelen yüz algılama algoritmalarıyla karşılaştırılabilir bir algılama performansı elde ettiği görülebilir ve bu algoritmaların çoğu "bağlantı kutuları" na dayalıdır. Özellikle zor alt kümede, doğrulama seti ve test setindeki CSP, şu anda yayınlanan yöntemlerden daha iyi performans elde eder.
Ek olarak, bu makalenin yazarı, yüz dedektörünün genelleme yeteneğini daha fazla test etti. WiderFace üzerinde de eğitilmiş CSP ve DSFD modelleri için (ikisinin performansı çok yakın, DSFD zor alt kümede, doğrulama seti% 90,4 ve test seti% 90,0) diğer veritabanları üzerindeki doğrudan testlerinin performansı değerlendirilir ( AP). Sonuç olarak, ikisinin performansı aynı ağ haritası olan FDDB üzerinde hala çok yakın olmasına rağmen, UCCS gözetim videosunun yüz algılamasında CSP% 11 ve DSFD% 7.6; ifşa edilecek ekstrem bir ortamda yüz algılama kıyaslamasında CSP % 27 ve DSFD% 12'dir. DSFD'nin aynı zamanda CVPR2019'da bulunan ankraj çerçevesine dayalı yüz dedektörünün mükemmel bir temsilcisi olduğunu ve ana katkısının ankraj çerçevesinin eşleştirme stratejisini iyileştirmek olduğunu belirtmek gerekir. Bununla birlikte, çapraz kitaplık testinin sonuçları karşılaştırıldığında, bir kitaplık üzerinde benimsenen bağlantı kutusu yapılandırmasının kitaplıktan çıkarken yapılandırılan bağlantı kutusunun uygulanabilirlik sorununa sahip olabileceği görülebilir. CSP basitçe hedef merkezi ve ölçeği tahmin eder ve önceden ayarlanmış bağlantı kutusu konfigürasyonuna sahip değildir, bu nedenle farklı senaryolara veya veri setlerine göreceli olarak daha iyi uyarlanabilir.
Sonuç
Son yıllarda popüler olan ankraj çerçevesi dedektörü büyük başarı elde etti, ancak yine de VJ dedektörünün temelini oluşturuyor ve tasarımı, kayar pencere sınıflandırıcıdan derinden etkileniyor. Bununla birlikte, derin evrişimli sinir ağlarının yüksek anlamsal soyutlama yetenekleri daha geniş bir potansiyel açarak bağlantı kutusunun terk edilmesini mümkün kılmıştır ve bu makalede önerilen CSP detektörü bu konuda yeni bir girişimdir. Şu anda, yaya algılama ve yüz algılamanın etkinliği doğrulanmıştır.Gelecekte, araç algılama ve genel nesne algılama gibi ilgili algılama görevlerine genişletilmesi düşünülebilir.
