[CVPR 2018 kağıt notları] Gerçek izleme senaryolarında anormal olay algılama
Leifeng.com AI teknolojisi inceleme notu: Bu makale, AI teknolojisi incelemesi için Shanghai Jiaotong Üniversitesi'nden Lin Tianwei tarafından yazılmış özel bir el yazmasıdır. Leifeng.com'un izni olmadan çoğaltılamaz.
Son yılların en popüler bilgisayar vizyonu araştırma yönü olan güvenlik, video analizi araştırmalarıyla yakın bir ilişkiye sahiptir. Gerçek gözetim videosunda ortak bir gereksinim, video akışındaki anormal olayları, yani anormallik algılama görevini otomatik olarak tanımlamaktır.
Bu görevde aşağıdakiler gibi birçok zorluk var:
1. Anormal olayların sıklığı çok düşüktür, bu da verilerin toplanmasını ve etiketlenmesini zorlaştırır;
2. Anormal olayların azlığı, eğitimde negatif örneklerden çok daha az sayıda pozitif örneğe yol açar;
İzleme senaryosunda, hem normal hem de anormal olaylar çeşitli ve karmaşıktır, yani kategori içindeki çeşitlilik yüksektir ve varyans çok ciddidir.
Kısa bir süre önce, UCF CV Araştırma Merkezi, CVPR18'de gözetim videosu anormal olay tespiti (Gözetim Videolarında Gerçek Dünya Anomali Tespiti, arxiv 1801.04264) üzerine bir makale yayınladı ve derin çoklu örnek sıralamasına dayanan zayıf denetimli bir algoritma çerçevesi önerdi. Aynı zamanda, yeni bir büyük ölçekli anormal olay tespit veri seti önerilmektedir. Bu not esas olarak bu makaleyi tanıtmaktadır ve anlamanıza yardımcı olarak kabul edilebilir. Hatalar varsa lütfen beni düzeltin.
Bu yazıda önerilen anormallik algılama algoritması
Önceki birçok yöntem önce ortak bir model öğrenir ve bu ortak modeli ihlal eden herhangi bir modelin anormal olması gerektiğini varsayar. Fakat aslında, bir yöntemin sözde normal bir model tanımlaması zordur ve neredeyse imkansızdır, çünkü normal model çok fazla farklı olay ve davranış içerebilir. Benzer şekilde, anormal olayları tanımlamak da zordur, çünkü anormal olaylar da çok fazla durum türü içerebilir. Bu nedenle, bu makale temel olarak iki motivasyon önermektedir.
Anormal olay tespiti görevi, zayıf gözetim çerçevesinde öğrenilmelidir. Burada zayıf gözetim, eğitim sırasında, yalnızca bir videoda anormal bir olay olup olmadığını ve anormal olayın türü ve belirli oluşum zamanının bilinmediği anlamına gelir.
Anormal olay tespit görevi, iki aşamalı bir çerçeve benimsemelidir, yani anormal olayın türüne bakılmaksızın, anormal olay için bir teklif oluşturulur ve ardından teklifte yer alan anormal olaylar sınıflandırılır. Bu, anormal olay tespitinin geri çağırma oranını iyileştirmeye yardımcı olur (çünkü mevcut kategorilerde olmayan bazı anormallikleri bulabilir). Böyle bir çerçeve, hedef tespitte RCNN benzeri yönteme çok benzer. Bu makale esas olarak anormal teklif aşamasına odaklanmaktadır.
Bu fikre dayanarak, bu makale, algoritma çerçevesini oluşturmak için çoklu örnek öğrenme (Ml) yöntemini benimser ve modeli eğitmek için seyrek ve pürüzsüz kısıtlamalar dahil olmak üzere MIL sıralama kaybını önerir. Algoritma çerçevesi aşağıdaki şekilde gösterilmektedir: Temel olarak eğitim setini oluşturmak için MIL fikrini kullanır, anormal puanı elde etmek için C3D + FC ağını kullanır ve son olarak modeli eğitmek için önerilen MIL sıralama kaybını kullanır.
İlk olarak, 1990'larda makine öğrenimi alanında önerilen bir yöntem olan çok örnekli öğrenmeyi kısaca tanıtalım. MIL'de "paket", "pozitif paket" in en az bir pozitif örnek içerdiği ve "negatif paket" in yalnızca negatif örnekler içerdiği (buradaki örneğin kavramı, örnekleminkiyle aynıdır ve aşağıdakiler değildir) birden fazla örneğin bir koleksiyonu olarak tanımlanır. ayırmak). MIL'in amacı, test edilecek örneklerin pozitif ve negatif etiketlerinin elde edilebilmesi için bir sınıflandırıcı elde etmektir. Anormallik algılama görevinde zayıf denetimin aslında MIL'in başka bir ifadesi olduğu görülebilir, bu nedenle MIL'in çözüm algoritması bu zayıf denetim görevi için çok uygundur. Çok eşgörünümlü öğrenmeye daha fazla giriş için lütfen bu bloga bakın Çoklu Örneklerle Öğrenim (Çok Örnlü Öğrenme).
Derin MIL sıralama modeliArdından, bu makalede önerilen algoritma tanıtıldı. Bu yazıda, anormallik tespiti bir regresyon görevi olarak tanımlanmaktadır, yani anormal numunenin anormal değeri (normal) normal numuneden (normal) daha yüksektir. Sezgisel değerlendirmeler, sıralama kaybını şu şekilde tanımlayabilir:
Burada Va ve Vn sırasıyla anormal ve normal örneklerdir ve f model tahmin fonksiyonudur. MIL'de, paketteki her numunenin gerçek etiketi bilinmediğinden, aşağıdaki form benimsenmiştir:
Bu, eğitimde hem pozitif hem de negatif paketler için eğitim için yalnızca en yüksek puana sahip örneğin kullanıldığı anlamına gelir. Spesifik olarak, pozitif pakette en yüksek puana sahip örnek büyük olasılıkla pozitif bir örnek olurken, negatif pakette en büyük puana sahip örnek zor bir negatif, yani zor bir durum olarak kabul edilir. Yazar, bu formüle dayanarak, pozitif ve negatif örnekler arasındaki mesafeyi olabildiğince uzatmak için menteşe kaybı şeklini benimser.
Ancak, bu kayıp videonun zamanlama yapısını dikkate almıyor, bu nedenle yazar iki gelişmiş motivasyon öneriyor:
1. Video klipler sürekli olduğundan, anormalliklerin skoru da nispeten düzgün olmalıdır.
2. Pozitif paketteki pozitif örneklerin (anormal olaylar) oranı çok düşük olduğundan, pozitif paketteki skorlar seyrek olmalıdır.
Yazar, bu iki motivasyona dayanarak, kayıp işlevine iki kısıtlama ekledi: zamanlama yumuşatma kısıtlaması ve seyrek kısıtlama. Aşağıdaki gibi.
Son olarak, son kayıp fonksiyonunu elde etmek için model parametrelerinin l2 düzenliliğini ekleyin.
Uygulama ayrıntılarıSpesifik uygulamada, bu makale video segmentinin özelliklerini çıkarmak için diğer veri kümeleri üzerinde önceden eğitilmiş C3D modelini kullanır ve C3D modeli burada eğitilmemiştir. Çıkarılan özellikler için, son tahmin edilen aykırı değerleri elde etmek için üç tam bağlantılı katman kullanılır. Yukarıda önerilen MIL sıralama kaybı, bu FC katmanlarını eğitmek için de kullanılır.
Eğitim verilerinin işlenmesi açısından bu makale, her videoyu bir paket halinde eşit olarak 32 segmente ayırır. Eğitim sırasında, 30 pozitif paket ve 30 negatif paket, eğitim için mini grup olarak rastgele seçilir.
Bu makalede önerilen anormallik algılama veri kümesi
Bu yazının bir başka katkısı, yeni bir büyük ölçekli anormal olay tespit veri seti UCF-Crime önermektir.Aşağıdaki tabloya bakın.Bu veri setinin önceki veri setine göre avantajları esas olarak iki yöndedir: biri video sayısı ve Videonun toplam süresi, önceki veri kümesinden çok daha uzundur ve ikincisi, daha fazla anormal olay türü içermesidir.
Veri seti bileşimi açısından, veri seti toplam 13 anormal olay içerir. 950'si anormal ve 950'si normal olmak üzere toplam 1.900 video var. Veri seti bölümü açısından eğitim seti 1610 video (800 normal video, 810 anormal video) ve test seti 290 video (150 normal video, 140 anormal video) içermektedir.
Veri seti web sitesi ve makalenin proje sayfası için lütfen bakınız: Gözetim Videolarında Gerçek Dünya Anomali Algılama
Deneysel sonuçlar
Yöntem karşılaştırmasıBu makale, anormallik algılama algoritmasının etkisini ölçmek için ağırlıklı olarak ROC eğrisi altındaki AUC'yi kullanır.Deneysel sonuçlar aşağıdaki şekil ve tabloda gösterilmiştir. Algoritmanın önceki yönteme göre büyük ölçüde geliştirildiği görülebilir. Ek olarak, eğitime kısıtlamalar eklemek de belirli bir etki artışı sağlar, ancak bu çok açık değildir.
Aşağıdaki şekil bazı görsel sonuçları göstermektedir.Yazar tarafından seçilen örneklerde anormallik tespitinin etkisinin hala çok iyi olduğu ve en sağdaki sütunun bazı hata durumlarını gösterdiği görülmektedir.
İzleme görevi senaryosunda, güvenilir bir sistem daha yüksek bir geri çağırma oranına ve daha düşük bir yanlış alarm oranına sahip olmalıdır.Yazar, 0.5 eşiğin altındaki yanlış alarm oranını karşılaştırmış ve aynı zamanda iyi sonuçlar vermiştir.
Anormal olay sınıflandırmasıBu makalenin yöntemi yalnızca anormal olay önerisi yapmaktır, ancak bu makalenin veri seti aslında anormal zaman sınıflandırma görevleri için kullanılabilir, bu nedenle burada yazar ayrıca C3D ve TCNN iki davranış tanıma algoritması ile bir temel çalıştırdı, burada görebilirsiniz TCNN'nin etkisi hala C3D'den çok daha iyidir.
Özet ve tartışma
Bu makale, yeni bir zayıf denetimli algoritma ve anormal olay algılama sorunu için yeni bir veri kümesi önermektedir. Algoritmalar açısından, bu problem esas olarak MIL çerçevesine uygulanır. Bu veri setinin önerisi, bu yönün geliştirilmesine büyük yardımcı olmalıdır ve daha önce anormallik tespiti için büyük bir veri seti olmamıştır.
Dezavantajlar açısından, veri dengesizliği görevleri gibi anormallik tespiti için, algoritmanın etkisini ölçmek için PRC eğrisini kullanmanın ROC eğrisinden daha iyi olacağını düşünüyorum. Yani, Ortalama Hassasiyet, anormallik algılama etkisini ölçmek için kullanılmalıdır. Ek olarak, makale aynı zamanda yanlış bildirim oranını ölçmeye odaklanır ve gerçek sahnedeki anormal olayların hatırlanma oranı daha önemlidir Sonuçta, gözden kaçan birkaç anormal olayın birkaç yanlış rapordan daha büyük bir olumsuz etkisi vardır.
Genel olarak, anormal olay tespiti gerçek sahnelerde çok önemli bir görevdir ve şu anda çok fazla hedeflenmiş çalışma yoktur. Bu makalede önerilen algoritma fikirlerine ve veri setlerine dayanarak, daha sonra takip edilecek daha çok iş olmalıdır.
