İlk beş veri seti! En güçlü hedef izleme algoritması SiamRPN ++, SenseTime tarafından üretilen açık kaynak kodludur
İçbükey tapınaktan siyah kestane
Qubit Raporu | Genel Hesap QbitAI
Matrix, Neo ve Smith yağmurda böyle savaşır.
ve Hedef izleme AI Işığın keskin bir şekilde değiştiği ve nesnenin şeklinin ve boyutunun sürekli değiştiği bir sahnede Neo'nun kafasını doğru kilitlemek gerekir.
Kırmızı, Shangtang'ın en son algoritmasıdır SiamRPN ++ Performansı için CVPR 2019'dan Oral'ı seçti.
Mavi rakibi, ECCV 2018'den mükemmel bir selefi UPDT . Antik çağlardan beri kırmızı ve mavi CP üretti.
Kırmızı veya mavi renkte kimin daha güçlü olduğunu göremeyecek kadar hızlı mı hareket edin? Ekran görüntüleri var:
Çıplak gözle bakıldığında, Shangtang SiamRPN ++ karmaşık sahnelerden neredeyse hiç etkilenmeden daha da iyidir.
Bundan daha fazlası oldu Teknoloji harikası .
Aynı zamanda Shangtang Siam ailesinin gururu oldu. Şu anda, Bütün aile açık kaynaktır :
· SiamMask (CVPR 2019)
· SiamRPN ++ (CVPR 2019 sözlü)
· DaSiamRPN (ECCV 2018)
· SiamRPN (CVPR 2018)
· SiamFC (ECCV 2016)
Ama bu nasıl bir aile?
Şanlı ev
Siam Siyam Kısaltması, yani bütün aile İkiz ağ .
Sözde ikizler iki ağdır Tüm ağırlıklar aynı .
Onlara farklı veriler girin, iki girişi ölçebilirsiniz Benzerlik , Sınıflandırma amaçlı.
Ekip yıllar içinde ikiz ağları parçaladı ve hedef takibi için bu tür bir algoritma kullandı.
Bunların arasında SiamRPN Dik durarak CVPR 2018 Spotlight'a seçildim.
SiamRPN: Algılama algoritmalarını izlemeye dahil etme
Bu yapay zeka doğdu çünkü ekip, ikiz ağın hedefi hızlı bir şekilde bulabilmesine rağmen hedef çerçeveyi ayarlayamadığını keşfetti. Hedefin şekli ayarlanamaz .
Ancak hedef takibi sadece bir nokta değil, Hedef aralığı Aynı derecede önemlidir.
Bu nedenle, ekip bölgesel bir öneri ağı ( RPN ).
İkiz ağ Dedektörün başlatılmasını tamamlamak için hedefe adaptasyonu gerçekleştirebilir ve izlenen hedefin bilgilerini kullanabilir ve RPN Algoritmanın hedef konum (aralık) için daha doğru bir tahmin yapmasına izin verir.
İkisini birleştir, yapabilirsin Uçtan uca eğitim SiamRPN. Algoritmik yeniliğe ek olarak, uçtan uca eğitim desteği nedeniyle, büyük ölçekli veri kümeleri (VID hariç) Youtube-BB Ayrıca performansı daha da iyileştirmek için eğitim seti haline geldi.
Bu nedenle, OTB100 ve VOT15 / 16/17 veri setlerinde SiamRPN, temel algoritma SiamFC'den% 5'ten daha yüksektir ve hız da daha hızlıdır. Bu CVPR 2018 Spotlight olarak seçildi.
DaSiamRPN: Eğitim setini iyileştirin ve ayrımcılık yeteneğini geliştirin
SiamRPN iyi sonuçlar elde etmesine rağmen, VID ve Youtube-BB ile eğitilmiştir: çok az kategori vardır, yaklaşık 20 veya 30 kategori vardır ve gerçek görevleri yapmak zordur.
ve COCO ile ImageNet DET Algılama veri setinde 80 kategori ve 200 kategori bulunmaktadır. Ve ikiz ağın eğitimi videonun tamamına değil, yalnızca görüntü çiftlerine ihtiyaç duyar, bu nedenle bu veri kümeleri kolayca tanıtılabilir.
Girişten sonra yeni sorunlar var: bu ağ herkesi etkileyecek Anlamsal örnek Yalnızca hedef nesneye yanıt vermeyin. Örneğin, hedef bir kişidir ve yapay zeka, bir sandalyeyle karşılaşıldığında yüksek bir tepkiye sahiptir.
Çünkü önceki eğitimde Negatif numuneler (hedefle ilgisi olmayan numuneler) yalnızca arka plan bilgisine sahiptir , Ağın ayırt etme yeteneğini sınırlayan.
Sonuç olarak, ekip yöntemi geliştirdi. Anlamsal negatif örnek çiftleri , İzleyicinin ayırt etme yeteneğini geliştirmek.
Yani, eğitim sürecinde, şablon ve arama bölgesi artık aynı hedef değildir; ağın, basit bir anlambilimden ziyade, arama bölgesinde daha benzer şablonlara sahip nesneleri bulmayı ayırt etme yeteneğini öğrenmesine izin vermektir. Nesneler.
Böyle bir değişiklik yaptım DaSiamRPN Kısa vadeli izlemeden şu şekilde genişletilebilir: Uzun vadeli takip , Ve UAV20L veri setinde önceki en iyi yöntemden% 6 daha yüksektir.
DaSiamRPN, ECCV 2018'e dahil edildi ve önceki yılın şampiyonasına göre bir gelişme olan VOT atölye yarışmasında gerçek zamanlı şampiyonluğu kazandı % 80 .
SiamRPN ++: İkiz ağın derin mimari kullanmasına izin verin
Algoritma da değiştirildi ve eğitim seti de değiştirildi.
Bu nedenle, ekip bu kez değiştirilmemiş olan ikiz ağın kendisini hedef aldı.
Önceki ikiz ağlar, Sığ evrişimli ağ (AlexNet gibi). Bununla birlikte, derin ağ doğrudan uygulanırsa, performans önemli ölçüde düşecektir.
Derin ağı etkili bir şekilde kullanmak istiyorsanız, çözmelisiniz. Konum önyargısı Sorun. Bu nedenle, araştırmacılar bir "pozisyon dengesi için örnekleme stratejisi" öne sürdüler:
Pozitif numuneyi merkeze yerleştirmek yerine, hedefi merkez noktanın yakınında dengelemek için tekdüze dağıtılmış bir örnekleme yöntemi kullanır.
Ofset aralığı arttıkça, derin ağ yavaş yavaş çalışmaya başlar. Yalnızca daha ayrıntılı bilgileri (sığ ağ özellikleri) değil, aynı zamanda daha anlamsal bilgileri de (derin ağ özellikleri) izleyebilir. Performansı daha da iyileştirmek için çok katmanlı bilgi füzyonu.
Ekip ayrıca yeni bir bağlantı bileşeni olan Derinlemesine Çapraz Korelasyonu önerdi (aşağıdaki Şekil c). Eğitimi daha istikrarlı ve daha iyi yakınsama sağlarken, parametre miktarını büyük ölçüde azaltabilir, ikisinin parametre miktarını dengeleyebilir.
Sonuç olarak SiamRPN ++, 5 büyük izleme veri setinde en iyi sonuçları elde etti: OTB2015, VOT2018, UAV123, LaSOT ve TrackingNet.
İkiz ağ ile derin mimari arasındaki engelleri aşan bu yapay zeka, doğal olarak CVPR 2019'un Oral'ı seçti.
Büyük ölçekli açık kaynak
Bu ikiz ağlar artık açık kaynaklıdır.
Shangtang bir PySOT PyTorch'a dayanan hedef izleme kitaplığı, tüm Siam ailesini içine yerleştirir. Özetlemek için şu modelleri ekleyin:
· SiamMask (CVPR 2019)
· SiamRPN ++ (CVPR 2019 sözlü)
· DaSiamRPN (ECCV 2018)
· SiamRPN (CVPR 2018)
· SiamFC (ECCV 2016)
PySOT kütüphanesi hem derin hem de sığ olmak üzere 3 farklı omurga sağlar:
· ResNet {18, 34, 50}
· MobileNetV2
· AlexNet
Model değerlendirmesi şu anda şu veri kümelerini desteklemektedir:
· OTB2015
· VOT16 / 18/19
· VOT18-LT
· LaSOT
· UAV123
PySOT ayrıca değerlendirme araçları için bir arayüz içerir.
Böylece herkes keşfedebilir.
PySOT portalı:
https://github.com/STVIR/pysot
SiamRPN tez portalı:
DaSiamRPN tez portalı:
https://arxiv.org/abs/1808.06048
SiamRPN ++ tez portalı:
https://arxiv.org/abs/1812.11703
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
