22 seçilmiş CVPR 2020, Baidu tarafından seçilen 15 makalenin ayrıntılı açıklaması
Metin | Baidu
Editör | Jia Wei
Son zamanlarda bilgisayarla görme alanındaki "Oscar" CVPR 2020, makale sonuçlarını resmi olarak açıkladı.Gönderim sayısındaki keskin artışla birlikte, kabul oranı sürekli bir düşüş yaşamaya başladı. Bu yıl, 6,656 geçerli başvuru arasından toplam 1.470 makale kabul edildi ve kabul oranı yaklaşık% 22 oldu.Geçen yılki% 25 seçim oranı ile karşılaştırıldığında, yıllık% 3 düşüş.
Bu konferansta Baidu, yüz algılama ve tanıma, video anlama ve analizi, görüntü süper çözünürlüğü ve otonom sürüşte araç algılama ve sahne örneği düzeyinde bölümleme gibi konuları kapsayan toplam 22 bildiriye sahip. Aşağıda, seçilen 15 makale için bir giriştir.
1. Yüz tanıma ve tanıma
Kağıt: HAMBox: Dış Yüzleri Algılamak İçin Çevrimiçi Yüksek Kaliteli Çapalara Delme
Son zamanlarda, yüz dedektörü, sınıflandırma ve çerçeve regresyonunu koordine eden çok görevli bir öğrenme problemi oluşturmak için bağlantı noktalarını kullanır Etkili bağlantı noktası tasarımı ve bağlantı noktası eşleştirme stratejileri, yüz dedektörünün büyük pozlar ve ölçek değişiklikleri altındaki insanları doğru bir şekilde bulmasını sağlar. yüz. Bu yazıda Baidu, yüksek kaliteli ankrajlarla dış yüzleri telafi edebilen HAMBox adlı çevrimiçi bir yüksek kaliteli çapa madenciliği stratejisi önerdi. HAMBox yöntemi, bağlantı noktalarına dayalı tek adımlı bir yüz dedektörü için genel bir optimizasyon şeması olabilir. WIDER FACE, FDDB, AFW ve PASCAL Face'in çoklu veri kümeleri üzerinde yapılan deneyler bu çözümün üstünlüğünü ortaya koydu.Aynı zamanda 2019 WIDER Face and Pedestrian Challenge'da% 57,13 harita ile şampiyonluğu kazandı ve uluslararası üne sahip.
Kağıt: FaceScape: Büyük Ölçekli, Yüksek Kaliteli bir 3D Yüz Veri Kümesi ve Ayrıntılı Riggable 3D Yüz Tahmini
Bu makale, büyük ölçekli, yüksek hassasiyetli bir 3B yüz modeli veritabanı olan FaceScape'i yayınladı ve ilk kez, tek bir görüntüden yüksek hassasiyetli, manipüle edilebilir bir 3B yüz modelini tahmin etmek için bir yöntem önerdi. FaceScape veritabanı, yaklaşık 18.000 yüksek hassasiyetli 3B yüz modeli içerir.Her model, yüzün çok ince 3B yapısını ve dokusunu karakterize edebilen bir temel model ve 4K çözünürlüklü bir yer değiştirme haritası ve doku haritası içerir. Mevcut genel 3B yüz veritabanı ile karşılaştırıldığında FaceScape, model miktarı ve kalitesi açısından dünyanın en yüksek seviyesindedir. FaceScape veritabanı temelinde, bu makale aynı zamanda zorlu yeni bir konuyu da araştırıyor: girdi olarak tek bir yüz görüntüsüne sahip yüksek hassasiyetli, kontrol edilebilir bir 3B yüz modelini tahmin etme. Bu yöntemin tahmin sonucu, ifade manipülasyonu yoluyla ince bir yüz modeli dizisi oluşturabilir ve oluşturulan model, yeni ifade altında hala gerçekçi ayrıntılı üç boyutlu yapı içerir. FaceScape veritabanı ve kodunun ticari olmayan akademik araştırmalar için yakın gelecekte ücretsiz olarak yayınlanacağı bildirildi.
Bildiri: Yüz Tanıma için Hiyerarşik Piramit Çeşitli Dikkat Ağı
Mevcut genel yüz tanıma yöntemleri, nadiren farklı katmanların çok ölçekli yerel özelliklerini dikkate alır. Bu amaçla, bu makale hiyerarşik bir piramit çeşitlendirilmiş dikkat modeli önermektedir. Yüzün genel görünümü önemli ölçüde değiştiğinde, yerel alan önemli bir rol oynayacaktır. Son zamanlarda yapılan bazı çalışmalar, yerel alanları otomatik olarak bulmak için dikkat modüllerini kullanır. Çeşitlilik dikkate alınmazsa, öğrenilen dikkat, diğer potansiyel olarak ayrımcı yerel blokları göz ardı ederken genellikle bazı benzer yerel bloklar etrafında gereksiz tepkiler üretecektir. Ek olarak, duruş veya ifadedeki değişiklikler nedeniyle, yerel bloklar farklı ölçeklerde görünebilir. Bu zorlukları hafifletmek için Baidu ekibi, çok ölçekli çeşitlendirilmiş yerel temsilleri otomatik ve uyarlamalı olarak öğrenmek için piramit çeşitlendirilmiş bir dikkat modülü önerdi. Daha spesifik olarak, piramit dikkat modülü çok ölçekli özellikleri yakalamak için geliştirildi; aynı zamanda, modeli farklı yerel bloklara odaklanmaya teşvik etmek için çeşitlendirilmiş öğrenme yöntemleri geliştirildi. İkinci olarak, yerel ayrıntıları veya alt katmanlardan küçük ölçekli yüz özelliği haritalarını birleştirmek için, bitiştirme veya ekleme yerine hiyerarşik iki doğrusal havuzlama kullanılabilir.
2. Hedef tespiti ve takibi
Kağıt: Associate-3Ddet: 3D Point Cloud Nesne Algılama için Algısaldan Kavramsala ilişkilendirme
Hedef tespit teknolojisi, robotik ve otonom sürüş alanındaki en önemli patern tanıma görevlerinden biridir. Bu makale, seyrek nokta bulutu özelliklerinin sağlamlığını artırmak için etki alanına uyarlanabilir bir yöntem önermektedir. Daha spesifik olarak, gerçek sahnedeki özellikler (algısal etki alanı özellikleri), zengin ayrıntılı bilgiler içeren eksiksiz sanal nokta bulutu özellikleri (kavramsal etki alanı özellikleri) ile ilişkilidir. Bu etki alanı uyarlama özelliği ilişkilendirme yöntemi, aslında nesne algısı sırasında insan beyninin ilişkisel ilişki işlevini simüle ediyor. Bu üç boyutlu hedef tespit algoritması, eğitim süreci sırasında özellik çıkarma yeteneklerini geliştirir ve çıkarım aşamasında herhangi bir ek bileşen sunması gerekmez, bu da çerçevenin çeşitli üç boyutlu hedef tespit algoritmalarına entegre edilmesini kolaylaştırır.
Kağıt: Nokta Bulutu Tabanlı 3D Video Nesnesi Algılama için Nöral Mesaj Aktarma ve Dikkatli Uzay-Zaman Trafosu
Tek kare nokta bulutlarına dayalı 3B hedef dedektörler genellikle hedef tıkanma, uzun mesafeli ve tek tip olmayan örnekleme ile baş edemezken, nokta bulutu videosu (çoklu nokta bulutu çerçevelerinden oluşur) genellikle yukarıdaki durumu iyileştirebilecek zengin uzay-zamansal bilgiler içerir. Bu nedenle, bu makale uçtan uca çevrimiçi bir 3B nokta bulutu video hedef dedektörü önermektedir. Kağıttaki Sütun Mesaj Geçiş Ağı (PMPNet), nokta bulutunun üst görünümündeki boş olmayan ızgaraları grafik düğümlerine kodlayabilir ve düğümlerin alıcı alanını dinamik olarak iyileştirmek için düğümler arasında bilgi iletebilir.PMPNet, grafik uzayının Avrupa dışı unsurlarını etkili bir şekilde birleştirebilir. CNN'nin özellikleri ve Avrupa karakteristikleri; mekansal-zamansal özellik toplama modülünde, orijinal Conv-GRU katmanını güçlendirmek için bir uzamsal ve zamansal dikkat mekanizması da önerilmektedir.uzamsal dikkat mekanizması, yeni bellek üzerinde ön plan geliştirme ve arka plan bastırma gerçekleştirir ve zamansal dikkat mekanizması kullanır Dinamik ön plan hedeflerini bitişik çerçevelerde hizalamak için. 3D nokta bulutu video hedef dedektörü, nuScenes büyük kıyaslama setinde lider sonuçlar elde etti.
Bildiri: Etkili Çevrimiçi Çok Nesneli İzleme için Birleşik Nesne Hareketi ve İlişkilendirme Modeli
Çevrimiçi çoklu hedef izleme (MOT) gerçekleştirmek için bir hareket tahmin modeli olarak tek hedef izleyiciyi (SOT) kullanmak şu anda popüler bir yöntemdir, ancak bu tür yöntemler genellikle benzer hedef girişimini ve yoğun tıkanmayı çözmek için karmaşık bir benzerlik tahmin modelinin ek bir tasarımını gerektirir. sorun. Bu makale, hareket tahminini ve benzerliği tek bir modelde tahmin etmek için çok görevli bir öğrenme stratejisi kullanır. Modelin aynı zamanda SOT eğitimi, hedef kimliği sınıflandırması ve sıralaması yapabilen bir üçlü ağ tasarladığını belirtmek gerekir.Ağ çıktısının ayırt edici özellikleri, modelin hedefleri daha doğru bir şekilde bulmasını ve tanımlamasını ve birden çok hedefi gerçekleştirmesini sağlar. Veri ilişkilendirme; Ayrıca çalışmada, özelliklerin farklı bağlam bölgelerini vurgulamak ve özellikleri SOT ve benzerlik tahmin görevlerine uygun olacak şekilde daha da güçlendirmek için göreve özel bir dikkat modülü önerilmiştir. Bu yöntem nihayet düşük depolama (30M) ve yüksek verimlilik (5FPS) çevrimiçi MOT modeliyle sonuçlandı ve MOT2016 ve MOT2017 standart test setlerinde lider sonuçlar elde etti.
3. Videonun anlaşılması analizi
Bildiri: ActBERT: Küresel-Yerel Video-Metin Temsillerini Öğrenmek
BERT'in kendi kendini denetleyen eğitiminden esinlenen Baidu ekibi, benzer bir ortak video ve metin modellemesi gerçekleştirdi ve video ile metin arasındaki yazışmaları anlatı videosuna dayalı olarak araştırdı. Hizalanmış metin, hazır otomatik konuşma tanıma işlevi ile sağlanır.Bu anlatı videoları, video metinleri arasındaki ilişkiyi araştırmak için zengin bir veri kaynağıdır. ActBERT, video metni özelliklerini güçlendirir ve ayrıntılı nesneleri ve küresel eylem amaçlarını keşfedebilir. Baidu ekibi, ActBERT'in metin video bölümü alma, video altyazı oluşturma, video sorusu yanıtlama, işlem bölümleme ve işlem bölümü konumlandırma gibi birçok video ve dil görevinde genelleme yeteneklerini doğruladı. ActBERT, en son video kelime işlemelerinden önemli ölçüde daha iyidir. Algoritma, video metninin özellik öğrenmesindeki üstünlüğünü daha da kanıtlıyor.
Kağıt: Etkili Etkileşimli Video Nesnesi Segmentasyonu için Bellek Toplama Ağları
Bu yazının amacı, hızlı interaktif bir video segmentasyon sistemi tasarlamaktır.Kullanıcılar, videonun belirli bir karesine göre hedef üzerinde basit bir çizgi verebilir ve segmentasyon sistemi, hedefi videonun tamamında segmentlere ayıracaktır. Daha önce, etkileşimli video bölümleme yöntemleri, etkileşimli çerçeve bölümleme gerçekleştirmek ve bölümleme sonuçlarını diğer karelere aktarmak için genellikle iki bağımsız sinir ağı kullanıyordu. Bu makale, etkileşimi ve iletimi tek bir karede birleştirir ve piksel gömme yöntemini kullanır. Videodaki her karenin yalnızca piksel gömme işlemini bir kez çıkarması gerekir, bu daha verimlidir. Ek olarak, bu yöntem, önceki etkileşimin içeriğini her çerçeveye uygulamak ve depolamak için yenilikçi bir bellek depolama mekanizması kullanır Yeni bir etkileşim turunda, bellekteki karşılık gelen çerçevenin özellik haritası okunur ve bellek zaman içinde güncellenir. Bu yöntem, segmentasyon sonuçlarının sağlamlığını büyük ölçüde geliştirir ve DAVIS veri kümesinde lider sonuçlar elde etmiştir.
Bildiri: Ortak Kendi Kendini Denetleyen Zamansal Alan Adaptasyonu ile Eylem Segmentasyonu
Tam denetimli hareket segmentasyonu alanında son gelişmeler kaydedilmiş olsa da, performansı hala yetersizdir. Önemli bir zorluk, zamansal ve mekansal değişim sorunudur (örneğin, farklı insanlar aynı eylemleri çeşitli şekillerde gerçekleştirebilirler). Bu nedenle, bu makale, eylem bölümleme görevini etki alanları arası bir sorun olarak yeniden tasarlayarak bu sorunu çözmek için etiketlenmemiş video kullanır ve etki alanları arası sorun temelde zamansal ve mekansal değişikliklerin neden olduğu etki alanı farkını hedef alır. Farklılığı azaltmak için, makale alanlar arasında farklı zaman alanı dinamiklerini birlikte hizalamak ve yerleştirmek için iki kendi kendini denetleyen yardımcı görev (ikili ve sıralı alan tahmini) içeren "Kendi Kendini Denetleyen Zamansal Uyum (SSTDA)" önermektedir Diğer etki alanı uyarlama (DA) yöntemlerinden daha iyi sonuçlar elde etmek için alan özelliği. Üç zorlu halka açık veri setinde (GTEA, 50 Salata ve Kahvaltı), SSTDA mevcut son teknoloji yöntemlerin çok ilerisindedir ve mevcut son teknoloji yöntemlerle karşılaştırılabilir performans elde etmek için etiket eğitimi verilerinin yalnızca% 65'i gereklidir. Ayrıca, yöntemin çeşitli değişikliklere uyum sağlamak için etiketlenmemiş hedef videoları etkili bir şekilde kullanabileceğini de göstermektedir.
4. Görüntü süper çözünürlüğü
Makale: Derinlik Haritası Süper Çözünürlüğü için Kanal Dikkatine dayalı Yinelemeli Artık Öğrenme
Derinlik bilgisinin artan uygulamasıyla birlikte, derinlemesine görüntü süper çözünürlüğü sorunu, geniş bir araştırmacı yelpazesinin dikkatini çekmiştir. Derinlik görüntüsü süper çözünürlüğü, düşük çözünürlüklü derin görüntülere dayalı yüksek kaliteli, yüksek çözünürlüklü derinlikli görüntüler elde etmeyi ifade eder. Bu makale bir derinlemesine görüntü süper çözünürlük yöntemi önermektedir.Aynı zamanda, düşük çözünürlüklü derinlikli görüntü üretme yöntemini analiz etmekte ve düşük çözünürlüklü derinlemesine görüntü üretmeyi simüle etmenin iki yolunu önermektedir: doğrusal olmayan enterpolasyon ve gürültülü alt örnekleme oluşturma yöntemi Ve aralık altörnekleme oluşturma yöntemi.
Farklı düşük çözünürlüklü derinlik görüntüleri türleri için, bu makale, düşük çözünürlüklü derinlikli görüntüleri girdi olarak almak ve yüksek çözünürlüklü derin görüntülerin yüksek frekanslı bilgilerini kabadan inceye doğru kademeli olarak geri yüklemek için yinelemeli bir artık öğrenme çerçevesi kullanır; aynı zamanda kullanın Kanal geliştirme stratejisi, tüm öğrenme çerçevesinde daha fazla yüksek frekanslı bilgi içeren kanalların rolünü güçlendirir; buna ek olarak, genelden inceye süreçte elde edilen etkili bilgileri etkili bir şekilde yeniden kullanmak için çok aşamalı bir füzyon stratejisi kullanılır; son olarak, TGV aracılığıyla Kısıtlamalar ve girdi kaybı işlevleri, elde edilen yüksek çözünürlüklü derinlik görüntülerini daha da optimize eder. Bu sefer önerilen yöntem, derinlik görüntüsü süper çözünürlüğü sorununu etkili bir şekilde çözebilir Şu anda bilinen yöntemlerle karşılaştırıldığında, etki önemli ve avantajları açıktır.
5. Araç kimliği
Kağıt: İnce Taneli Nesneleri Anlamak için 3B Parça Kılavuzlu Görüntü Düzenleme
Otonom sürüş senaryosunda, aracın "özel" durumunun doğru bir şekilde algılanması sürüş güvenliği açısından önemlidir (örneğin, kapı açıldığında yolcular arabadan inebilir ve yanıp sönen arka lambalar şerit değişikliğinin yakın olduğu anlamına gelir). Bu soruna yanıt olarak, bu makale, iki boyutlu görüntüdeki aracı hizalanmış bileşen düzeyinde üç boyutlu model aracılığıyla düzenlemek ve otomatik olarak çok sayıda "özel" durum (örneğin, açık kapılar, yedekleme) oluşturmak için yeni bir veri sentezi (geliştirme) yöntemi önermektedir. Araç görüntüsünün anlamsal açıklaması ve kutu, kaput, yanıp sönen farlar ve arka lambaların anlamsal etiketlemesinin sonucu. Oluşturulan eğitim verileri için bu makale, modelin gerçek test verilerine genelleştirilebilmesi için iki yönlü bir omurga ağı tasarlar.Geleneksel model oluşturma yöntemiyle karşılaştırıldığında, bu yöntem alan farklılıkları sorununu dengeler ve daha hafif ve kullanışlıdır.
Yöntemin etkililiğini doğrulamak için, bu makale CUS (Sıradışı Durumlardaki Arabalar) veri setini oluşturur ve gerçek sokak sahnelerinde özel bir durumdaki araçların yaklaşık 1.400 görüntüsünü açıklar. Deneysel sonuçlar, bu yazıda önerilen yöntemin, otonom sürüşün emniyetle ilgili karar vermesinde büyük önem taşıyan "özel" durumlardaki araçları, tüm aracın örnek düzeyinde segmentasyonunu, bileşenlerin anlamsal segmentasyonunu ve durum açıklamasını etkili bir şekilde tespit edebildiğini göstermektedir.
6. Sinir ağı mimarisi araması
Kağıt: GP-NAS: Gauss Süreci tabanlı Sinir Mimarisi Araması
NAS (Neural Architecture Search), derin sinir ağının model yapısını otomatik olarak arayarak, çeşitli bilgisayar görme görevlerinde yapay olarak tasarlanmış model yapısının performansını aştı. Bu makale NAS'daki üç önemli sorunu çözmeyi amaçlamaktadır: (1) Model yapısı ile performansı arasındaki korelasyon nasıl ölçülür? (2) Farklı model yapıları arasındaki korelasyon nasıl değerlendirilir? (3) Bu korelasyonlar az sayıda örnekle nasıl öğrenilir? Bu amaçla, bu makale ilk olarak bu korelasyonları Bayesçi bir bakış açısıyla modellemektedir.
İlk olarak, yeni bir Gauss süreç tabanlı NAS (GP-NAS) yöntemi sunarak ve korelasyonu özelleştirilmiş bir çekirdek işlevi ve ortalama işlevi aracılığıyla modelleyerek. Ayrıca, farklı arama alanlarındaki karmaşık korelasyonların uyarlanabilir modellemesini elde etmek için hem ortalama işlev hem de çekirdek işlevi çevrimiçi olarak öğrenilebilir. Ek olarak, karşılıklı bilgiye dayalı örnekleme yöntemini birleştirerek, GP-NAS'ın ortalama işlevi ve çekirdek işlevi en az örnekleme süresiyle tahmin edilebilir / öğrenilebilir. Ortalama işlevi ve çekirdek işlevini öğrendikten sonra, GP-NAS, farklı senaryolar ve platformlar altında herhangi bir model yapısının performansını tahmin edebilir ve teorik olarak bu performansların güvenini elde edebilir. CIFAR10 ve ImageNet üzerinde yapılan çok sayıda deney, algoritmamızın etkinliğini kanıtladı ve SOTA'nın deneysel sonuçlarını elde etti.
Kağıt: BFBox: Sağlam Yüz Dedektörü için Yüze Uygun Omurga ve Özellikli Piramit Ağı Arama
Bu yazıda önerilen BFBox, sinir ağı mimarisine dayalı bir arama yöntemidir ve özellik çıkarıcıları ve yüz algılamaya uygun özellik piramitlerini arar. Motivasyon, ilginç bir fenomeni keşfetmemizdir: görüntü sınıflandırma görevleri için tasarlanan popüler özellik çıkarıcı, genel hedef algılama görevlerinde önemli uyumluluğunu doğruladı, ancak yüz algılama görevlerinde beklenen sonuçları elde edemedi. Aynı zamanda, farklı özellik çıkarıcıların ve özellik piramitlerinin kombinasyonu tamamen pozitif olarak ilişkilendirilmemiştir. Her şeyden önce, bu makale daha iyi özellik çıkarıcıları analiz eder ve insan yüzleri için uygun bir arama alanı önerir; ikincisi, özellik çıkarıcı ile özellik piramidi arasındaki bağlantıyı güçlendirmek için özellik piramidi dikkat modülünü (FPN-dikkat Modülü) önerir; Son olarak, SNAS yöntemi, özellik çıkarıcıyı eşzamanlı olarak araştırmak ve uygun yüzün piramit yapısını karakterize etmek için kullanılır. Birden çok veri kümesi üzerinde yapılan deneyler, BFBox yönteminin üstünlüğünü göstermektedir.
7. Yapısal tasarım
Bildiri: Görsel Tanıma için Geçitli Kanal Dönüşümü
Bu makale, derin evrişimli sinir ağları için geleneksel ve uygulaması kolay bir dönüşüm birimi, yani Geçitli Kanal Dönüşümü (GCT) modülü önermektedir. GCT, bir normalleştirme yöntemini ve bir dikkat mekanizmasını birleştirir ve ağ kanalları arasındaki ilişkiyi örtük olarak öğrenmek için hafif, analiz etmesi kolay değişkenler kullanır. Bu kanal düzeyindeki değişkenler, nöronlar arasındaki rekabeti veya işbirliği davranışını doğrudan etkileyebilir ve evrişimli ağın kendi ağırlık parametreleriyle birlikte eğitime kolayca katılabilir. Bir normalleştirme yöntemi sunarak, GCT modülü, SE-Nets'in SE modülünden çok daha hafiftir, bu da GCT'yi ağı fazla şişirmeden her evrişimli katmana yerleştirmeyi mümkün kılar. Bu makale, ImageNet veri setinde görüntü sınıflandırma, COCO'da hedef algılama ve örnek segmentasyon ve Kinetics'te video sınıflandırma gibi çok sayıda büyük veri setinde birkaç temel görüntü görevi için yeterli deneyler yürütür. Bu vizyon görevlerinde, GCT modüllerinin tanıtımı önemli performans iyileştirmeleri sağlayabilir. Bu büyük deneyler, GCT modülünün etkinliğini tam olarak kanıtladı.
8. Temsil öğrenme
Kağıt: Uzun Kuyruklu Görsel Tanıma için Etiketle İzole Edilmiş Bellek
Gerçek sahnedeki veriler genellikle "uzun kuyruk" dağılımını takip eder. Çok sayıda kategoride daha az veri varken birkaç kategoride yeterli veri bulunur. Sınıf dengesizliği sorununu çözmek için, bu makale uzun kuyruklu görsel tanıma için sınıf izolasyon bellek yapısını (LIM) tanıtmaktadır. Birincisi, LIM, evrişimli sinir ağlarının kuyruk kategorisi özelliklerini hızlı bir şekilde öğrenme yeteneğini geliştirir. LIM, her bir sınıfın en önemli kategori özelliklerini depolayarak ve depolama birimini bağımsız olarak güncelleyerek, sınıflandırıcı öğrenme yanlılığı olasılığını daha da azaltır. İkincisi, bu makale çok ölçekli mekansal özellik kodlaması için yeni bir bölgesel öz-dikkat mekanizması sunar. Kuyruk tanımanın çok yönlülüğünü geliştirmek için, daha ayırt edici özellikleri dahil etmek faydalıdır. Bu makale yerel özellik haritalarını birden çok ölçekte kodlamayı önerirken, arka plan bilgileri de entegre edilmiştir. LIM ve bölgesel öz-dikkat mekanizması ile donatılan bu yöntem, 5 veri setinde en iyi performansı elde etti.
Lei Feng Ağı Lei Feng Ağı Lei Feng Ağı
