AAAI 2020 | Pekin Üniversitesi ve Şanghay Jiaotong Üniversitesi: Aktif hedef takibi elde etmek için tutum destekli çoklu kamera işbirliği
Yazar | CVDA
Editör | Camel
Bu makale şu kaynaklardan alınmıştır: Frontier Computing Research Center of Beijing University
Bu makale, Pekin Üniversitesi ve Şanghay Jiaotong Üniversitesi tarafından tamamlanan ve AAAI 2020 tarafından kabul edilen "Aktif Nesne İzleme için Poz Destekli Çoklu Kamera İşbirliği" başlıklı makaleyi yorumlamaktadır.
Proje bağlantısı: https://sites.google .com / görünüm / poz destekli-işbirliği
Hedef takibini gerçekleştirmek için kamerayı akıllıca kontrol etmek çok zor bir iştir. Ortamın karmaşıklığından dolayı, kamera tarafından alınan görsel bilgiler genellikle kusurludur.Örneğin, ortamdaki engeller hedefi kolayca kapatabilir. Hedef çok uzaktaysa şekil yeterince net olmaz ve benzer arka planların neden olması muhtemeldir. Hedeflerin karıştırılması vb.
Geleneksel yöntem, izleme için yalnızca görsel bilgilere dayanır Görsel bilginin kalitesi yeterince yüksek olmadığında, kameranın izleme başarısızlığına neden olması kolaydır. Bu nedenle, bu makale gözetim senaryolarında hedef takibi için kamera pozlarıyla çok kameralı işbirliğine dayalı bir işbirliği mekanizması tanıtmayı önermektedir.Farklı test ortamlarında deneysel sonuçları karşılaştırarak, bu makale bu işbirliği mekanizmasının etkinliğini ve ölçeklenebilirliğini doğrulamaktadır.
Şekil 1: Çok kameralı işbirliğine dayalı izleme
Yöntem tanıtımı
Bu yazıda tasarlanan çoklu kamera işbirliği mekanizmasına göre, her kameranın görsel bilgilere dayalı bir denetleyicisi, tutum bilgisine dayalı bir denetleyicisi ve bir dönüştürücü vardır. Görüntü tabanlı denetleyici, görüntüleri girdi olarak kullanır ve kamera aracısının eylemlerini çıkarır. Tutuma dayalı kontrolör, giriş olarak tüm kameraların tutum bilgilerini, yani tüm kameraların konumlarını, görüş açısını ve dönüştürücünün ikili etiketlerini kullanır ve kamera hareketlerini çıkarır. Dönüştürücü, iki kontrolör arasında geçiş yapmaktan sorumludur.Kameranın görsel bilgisi izleme için yetersiz olduğunda, yani görsel bilgiye dayalı kontrolör Şekil 1'de gösterildiği gibi başarısız olur. 1 numara Kameralar ve dönüştürücüler, çok kameralı sistemlerin istikrarlı işbirliğine dayalı takibini sağlamak için kamera davranışlarını kontrol etmek için yardımcı tutum tabanlı denetleyiciler kullanacak.
resim 2'de gösterildiği gibi,
Şekil 2: Ağ yapısı
Görsel bilgilere dayalı denetleyici modülü, özellik çıkarma için CNN (evrişimli sinir ağı) kullanır ve daha sonra tarihsel bilgi işleme için LSTM'ye (uzun kısa süreli bellek sinir ağı) bağlanır ve son olarak FC (tam bağlı ağ) eylemleri çıkarır; aynı zamanda LSTM Çıkış özelliği, dönüştürücüdeki FC tarafından işlenecek ve iki sınıflı olasılığın çıktısını alacaktır Kameranın son yürütme eylemi, en yüksek olasılığa sahip ilgili denetleyicinin eylem çıktısıdır. Tutuma dayalı kontrolör, birden fazla kameranın tutum bilgisini entegre etmek için GRU (Geçitli Tekrarlayan Sinir Ağı) kullanır ve ardından sonraki FC ağı her kameranın eylemlerini verir. Dönüştürücü bir FC ağından oluşur, giriş LSTM tarafından işlenen özelliklerdir ve çıktı iki sınıflandırma olasılığıdır.
Bu işbirliği mekanizması sayesinde, kamera, görsel bilgi kararını desteklemek için yeterli olmadığında, davranış rehberliği için etkili jest bilgilerini kullanmayı öğrenebilir.
Deneysel sonuçlar
Bu makaledeki yöntem, iki denetleyiciyi eğitmek için A3C takviye öğrenme algoritmasını kullanır.Aynı zamanda, dönüştürücünün sınıflandırma görevi, denetleyicinin görsel bilgiye dayalı eğitim sürecinde yardımcı bir görev olarak kullanılır.
Şekil 3: Eğitim ortamı ve test ortamı. Yukarıdan aşağıya farklı ortamları, soldan sağa farklı kameraları temsil eder
Eğitim ortamı, UnrealCV sanal ortamındaki RandomRoom sahnesidir (Şekil 3'ün ilk iki satırında gösterildiği gibi) Eğitim ortamında odanın arka planını, hedef karakterin şeklini değiştirdik ve sahneye farklı engeller koyduk vb. . Yeni ortam Garden'da (Şekil 3'ün üçüncü satırında gösterilmiştir) ve Urban City'de (Şekil 3'ün son satırında gösterilmiştir) test ettik.
Deneysel sonuçların ölçümü için, bu makale, çoklu kamera sisteminin izleme performansını ölçmek için ortalama açı hatasını ve başarı oranını kullanır; burada ortalama açı hatası, T uzunluğu izleme süresi altındaki tüm kameraların eğim ve sapma hatalarının ortalamasıdır:
Başarı oranı endeksi (S), T izleme süresi altındaki tüm kameraların ortalama başarı oranıdır:
Geleneksel yöntemler TLD, BACF ve DasiamRPN ile karşılaştırıyoruz.Geleneksel yöntem izleme işlemi sırasında kamerayı kontrol etmediğinden, geleneksel yönteme kural tabanlı bir hareket kontrolörü ekliyoruz, yani kamera algılama çerçevesinin konumuna göre dönüyor.
Deneyde, geleneksel yöntemin, karakterlerin şeklindeki büyük değişiklikler ve büyük engeller durumunda başarısızlığı takip etmenin kolay olduğunu bulduk.Yöntemimiz, Şekil 4'te gösterildiği gibi, kamera hedefi kaybettiğinde, duruş bilgisinin rehberliğine göre hedefi geri takip edebilir. Göstermek,
Şekil 4: İzleme örneği
3 numaralı kameranın görüntüsünde hedef bilgisi kaybolur ve davranışı vizyon tabanlı denetleyiciden tutum tabanlı denetleyiciye değiştirilir.Diğer kameraların hedefini tutarlı tutarak, tutum tabanlı denetleyici 3 numaralı kameranın eylemlerini doğru şekilde verir. Hedefe ulaşır ve uzun vadeli izlemenin iyi performans göstermesini sağlar. Deneyin spesifik nicel sonuçları (ortalama açı hatası ve başarı oranı) Tablo 1'de gösterilmektedir:
Tablo 1: Deneysel sonuçlar
Bu yazıda tasarlanan işbirliği mekanizmasının etkinliğini doğrulamak için, her kameranın bireysel izlemesini (SV) karşılaştıran, Bi-GRU, çoklu kamera görsel bilgi füzyonu (MV) kullanarak ve görme için FC ağını kullanarak bir dizi ablasyon deneyi tasarladık. Bilgi ve duruş bilgisinin birleştirme yöntemi (SV + P). Bunlar arasında yöntemimiz en düşük hata sonuçlarını elde etti ve en yüksek Başarı oranı, dönüştürme mekanizmasının görsel bilgi ve duruş bilgisi için kullanıldığını kanıtlamaktadır. Birleştirmek En iyi kooperatif izleme etkisini elde edebilir.
sonuç olarak
Gözetim sahnesindeki çok kameralı aktif izleme görevi için, bu makale, izleme performansını kusurlu görsel bilgiler altında sağlayabilen ve önceki yöntemlerden daha iyi sonuçlar veren, izlemeye yardımcı olmak için kamera tutumunu kullanan yeni bir çoklu kamera işbirliği mekanizması önermektedir. Yeni test ortamındaki (Garden / UrbanCity) sonuçlar, bu makaledeki yöntemin etkili bir şekilde daha fazla senaryoya genişletilebileceğini göstermektedir.
Referanslar
Bertinetto, L .; Valmadre, J .; Henriques, J. F .; Vedaldi, A .; ve Torr, P.H. 2016. Nesne izleme için tam evrişimli siyam ağları. Bilgisayarla görüş üzerine Avrupa konferansında, 850865. Springer.
Littman, M. L. 1994. Çok etmenli pekiştirmeli öğrenme için bir çerçeve olarak Markov oyunları, Machine Learning Proceedings 1994. Elsevier.
Luo, W .; Sun, P .; Zhong, F .; Liu, W .; Zhang, T .; and Wang, Y. 2018. Pekiştirmeli öğrenme yoluyla uçtan uca aktif nesne izleme. Uluslararası Makine Öğrenimi Konferansı'nda , 32863295.
AAAI 2020 hakkında daha fazla bilgi, Değişim grubu "Bu süreçte, gruba katılmanın yolu: Yapay zeka araştırma kulübünün (AIyan xi she2), "AAAI" not edin, gruba katılmaya davet edin.
