CVPR 2018 Çin Kağıt Paylaşım Oturumu "İnsanlar, İnsan Yüzleri ve 3 Boyutlu Şekiller"
Leifeng.com AI teknolojisi inceleme notu: Bu makale, 11 Mayıs 2018'de Microsoft Research Asia'da düzenlenen CVPR 2018 Çin Bildiri Sunumu Semineri'ndeki "İnsan, Yüz ve 3D Şekil" oturumunun son üç oturumudur.
Şangay Jiaotong Üniversitesi'nden Lu Cewu ilk raporu verdi ve insan vücudu segmentasyonu üzerine çalışmalarını tanıttı. Ana fikir, insan vücudu segmentasyon veri setinin elde edilmesi zor olduğunda bilgi aktarımı yoluyla zayıf denetimli veya yarı denetimli insan vücudu segmentasyonu elde etmek için insan duruş veri seti + az miktarda insan vücudu segmentasyon veri setini kullanmaktır.
İkinci raporda, Pekin Posta ve Telekomünikasyon Üniversitesi'nden Zhao Kaili, yüz eylem birimi etiketleme konusundaki çalışmalarını tanıttı. Ayrıca küçük ve elde edilmesi zor veri setlerinin zorluğuyla da karşı karşıyadırlar. Ana fikir aynı zamanda zayıf denetimdir, yani çok sayıda etiketli resim, zayıf etiketlenmiş resimler ve etiketlenmemiş resimler, zayıf denetimli kümeleme yoluyla görsel özelliklerine ve zayıf etiketlenmiş özelliklere göre kümelenir ve kümeleme sonuçları yeniden etiketlenir.
Son raporda, Tsinghua Üniversitesi'nden Zizhao Zhang, 3B nesne özelliklerini çıkarma konusundaki çalışmalarını tanıttı. Bu çalışmanın temel bir düşüncesi, bir 3B nesneye farklı perspektiflerden bakılarak elde edilen görünümlerin, nesnenin ne olduğunu ayırt etmeye farklı katkıları olduğu, bu nedenle farklı ağırlıklar verilmesi gerektiğidir; karşılaştırma için, önceki tüm yöntemler Bu görüşler eşit olarak elden çıkarma hakkına sahiptir.
Lei Feng Net Notu:
CVPR 2018 Çin Bildiri Sunum Semineri, Microsoft Research Asia, Tsinghua University Media and Network Technology Ministry of Education-Microsoft Key Laboratory, SenseTime Technology, Computer Vision Special Committee of China Computer Society ve Visual Big Data Special Committee of China Graphics and Graphics tarafından organize edilmektedir. İşbirliği içinde düzenlenecek CVPR 2018'in onlarca yazarı, en son araştırmalarını ve teknik görüşlerini paylaşmak için bu forumda bildirilere yer verdi. Seminer toplamda 6 oturum (toplam 22 rapor), 1 forum ve 20'den fazla poster içerir Leifeng.com AI Technology Review sizin için ayrıntılı olarak rapor verecektir.
CVPR 2018, 18-22 Haziran tarihlerinde ABD'nin Salt Lake City şehrinde düzenlenecek. CVPR'nin resmi web sitesine göre, bu yıl konferansa 3.300'den fazla bildiri gönderildi, 979'u kabul edildi; geçen yıl 783 bildiriye kıyasla bu yıl yaklaşık% 25 arttı.
Daha fazla rapor için lütfen bkz .:
1. Oturum: GAN ve Sentez
2. Oturum: Derin Öğrenme
Oturum 3: Kişi Yeniden Tanımlama ve İzleme
4.Oturum: Vizyon ve Dil
5. Oturum: Segmentasyon, Algılama
Oturum 6: İnsan, Yüz ve 3D Şekil
1. İnsan vücudu otomatik olarak nasıl segmentlere ayrılır ve etiketlenir?
Kağıt: Poz Güdümlü Bilgi Transferi ile Zayıf ve Yarı Denetlenmiş İnsan Vücudu Parçası Ayrıştırma
Konuşmacı: Lu Cewu-Shanghai Jiao Tong Üniversitesi
Kağıt indirme adresi: https://arxiv.org/abs/1805.04310
Burada esas olarak insan vücudu görüntüsünün uzuvlarının nasıl bölümlere ayrılacağından bahsediyoruz.
1. Arkaplanİnsan davranışını daha kesin bir şekilde analiz etmek için kilit nokta, insan vücudunun çeşitli bölümlerini bölümlere ayırabilmektir. Ancak bu sorun zordur, çünkü insanlar için bu verileri etiketlemek (parça parça çizmek) çok zordur; aynı zamanda bu alandaki en büyük veri setinin şu anda eğitim için 2000'den az olmasıdır. Etiket verileri. O zaman en iyi yol, makinenin böyle bir etiketi otomatik ve etkili bir şekilde işaretlemesine izin vermektir.
2. Fikirlerİnsan Ayrıştırması sadece çok az etiketli veriye sahiptir. Öte yandan, insan vücudunun kilit noktaları (insan vücudunun duruşu) kolayca etiketlenir, bu nedenle çok sayıda etiketlenmiş veri vardır. Bu nedenle Lu Cewu ekibi, bilgi aktarımı yoluyla insan vücudunun bölümlere ayrılması ve etiketlenmesi görevini otomatik olarak tamamlamak için insan vücudu duruş verilerini kullanmanın mümkün olup olmadığını değerlendirdi.
Buradaki fikir, görüntüyü kilit noktalarla aramak ve veri setlerini anahtar noktaların benzerliği üzerinden ayrıştıran az miktarda açıklamalı insan vücudu parçası ile aramak ve daha sonra pozu, insan vücudu bölüm bölümlemesinin açıklamasını gerçekleştirmek için bilgi aktarımı için bir kılavuz olarak kullanmaktır. .
3. Yöntem
Spesifik yöntem üç adıma bölünmüştür: görüntüyü anahtar noktalarla girin + mevcut kısmi bölümleme veri seti, kilit noktalara göre ilk küme, yani giriş görüntüsüne benzer etiketli bölümleme görüntüsünü bulun; sonra hizalayın ve deforme edin , Giriş resminin segmentasyonunu tamamlamak için; şu anda sonuçta büyük bir hata var ve son adım ince ayarlamalar yapmaktır.
Poz Benzeri Kümeyi Keşfetmek
Farklı duruşlar arasındaki benzerliği ölçmek için önce tüm duruşları normalleştirmek ve hizalamak gerekir, yani yükseklik birleştirilir ve koordinat orijini olarak kalçaların kilit noktaları kullanılır. Buradan, giriş resmindeki birkaç anahtar nokta ile etiketli veri setindeki tüm resimlerin karşılık gelen anahtar noktaları arasındaki Öklid mesafesi hesaplanır ve en küçük mesafeye sahip Üst n, benzer küme olarak seçilir.
Burada ilk 1 yerine üst n'yi seçmenin nedeni, gerçek insan vücudunun garip olmasıdır (örneğin, tıkanıklıklar vardır) ve belirli bir insan vücudunun segmentasyonu başka bir insan vücuduna uygulanamayabilir, bu nedenle en benzer olanları seçin ve sonraki adımda oluşturun. Önceden parça düzeyinde ortalamayı yapın.
Parça Düzeyinde Önceki Oluşturuluyor
Yukarıda bulunan benzer kümeye göre, bilinen segmentasyon, kilit noktalara göre görüntüye eşlenebilir. Burada, kümedeki her vücut parçasının bir ikili maskesi vardır ve tüm bu parçaların, kötü parçaların ayrıştırılması için ayrı ayrı ortalamaları alınır.
Önceki İyileştirme
Geçiş yoluyla elde edilen biçimlendirilmiş parça ayrıştırma sonucu gerçek ayrıştırmadan biraz farklı olabilir ve ortalamada gölgeler olacağından, iyileştirme ağı aracılığıyla daha fazla ayar yapılır. İyileştirme Ağı, bir U-Net varyantı kullanır.
4. DeneyÖncelikle, hassaslaştırmadan ve hassaslaştırmadan sonra sonuçların karşılaştırmasına bakalım
Soldan sağa: giriş görüntüsü, tamamen evrişimli ağ tahmininin sonucu, giriş görüntüsüyle ilgili önceki kısmi seviye ve iyileştirme ağı tarafından tahmin edilen sonuç. Rafine sonucunun çok iyi bir performansa sahip olduğu görülmektedir.
Deneyler, bu yöntemin yalnızca tek kişilik görüntülerde kullanılamayacağını, aynı zamanda çok kişili görüntüleri de bölümlere ayırabileceğini doğrulamaktadır. Aşağıda gösterildiği gibi:
Kantitatif deney sonuçları için lütfen kağıda bakın. Ek olarak, Lu Cewu ekibinin kişisel ana sayfasında görülebilen dört CVPR 2018 belgesi daha var.
Referans malzemeleri:
CVPR 2018 Kağıt Notları Sütunu
Lu Cewu ekibi tarafından yayınlanan makalelerin listesi
2. Zayıf gözetim altında yüz aktivite birimleri nasıl etiketlenir?
Bildiri: Ölçeklenebilir Zayıf Denetlenen Kümeleme ile Web Görüntülerinden Yüz Eylem Birimlerini Öğrenme
Konuşmacı: Kaili Zhao-Beijing University of Post and Telecommunications
Kağıt indirme adresi: Hayır
Makalenin başlığında belirtildiği gibi, Kaili Zhao'nun ekibi tarafından yapılan çalışma, yüz aktivite birimlerini (AU'lar) öğrenmek için zayıf bir şekilde denetlenen kümeleme yöntemlerini kullanmaktır ve motivasyon, denetimli / yarı denetimli yöntemlerin çok az etiketli veri gerektirmesi ve toplanmasının zor olmasıdır. .
1. Temel kavramlarBurada önce bir kavramı açıklamamız gerekiyor, yani AU nedir?
Yüz ifadesi tanıma araştırmalarının geniş ilgi gördüğünü biliyoruz, ancak ifadelerin öznelliği ve bireyler arasındaki farklılıklar araştırmacılara büyük zorluklar ve zorluklar getirdi. Öte yandan anatomik açıdan bakıldığında, her yüz ifadesi birkaç kas çizgisini etkiler ve kaslardaki değişiklikler yüz yüzeyindeki değişiklikleri etkiler. Bu nedenle yüz kaslarının hareket ünitesini tanımlayarak yüz ifadelerini daha objektif bir şekilde tarif etme yolu sağlanabilir. Şu anda, yüz kas hareketlerini tanımlamanın daha bilimsel yolu, yüz aktivite kodlama sistemi FACS'dir. FACS, bu yüz alanı aktivitesini "AU" (Eylem Birimleri) olarak adlandırılan "Yüz Aktivite Birimi" olarak tanımlar. Temel AU birimi aşağıda gösterilmiştir:
Örneğin, AU6, göz çevresindeki kas kasılması anlamına gelir. Başka bir deyişle, deri şakaklardan gözlere doğru çekilerek alttaki üçgen alan daha yüksek hale getirilir. Ve yanakların yükselmesine neden olur. Bu durumda yüz daralır. Aynı zamanda göz altı derisinde de kırışıklıklar oluştu. AU12, ağzın köşelerinin yükseltildiği anlamına gelir. Daha zayıf bir AU12 altında yanaklar yükselecek ve göz kapağı karıklığı derinleşecektir. Güçlü bir AU12 altında göz kapakları ve yanakların kıvrımları derinleşir ve yanaklar daralır. AU14 Ağız köşeleri içe doğru hareket edecek ve ağız köşelerini daraltacak şekilde ağzın köşeleri sıkılır. Ağız köşelerinde kırışıklıklar.
FACS tanımına göre, 32 AU'nun işbirliği neredeyse tüm yüz duygularını temsil edebilir. Aşağıda gösterildiği gibi:
Bu nedenle, temel ifade tanıma veya karmaşık karışık ifadelerle karşılaştırıldığında, yüz aktivite ünitesi AU'lar, insan duygularını veya yüz hareketlerini tanımlamanın daha nesnel, daha genel ve kapsamlı bir yoludur. Bu nedenle, AU algılama, yüz ifadesi tanımada en önemli önceliktir.
2. Neden zayıf denetim?Şu anda AU tespiti için birçok yöntem bulunmaktadır. Biri tam olarak denetlenir, yani, AU dedektörü tam olarak etiketlenmiş verilere göre eğitilir; diğeri yarı denetimlidir, yani kısmen denetlenen veriler artı ek etiketlenmemiş veriler kullanılarak. AU dedektörünü eğitin.
Bununla birlikte, her iki yöntem türü de iyi etiketlenmiş veriler gerektirir. İnsan yüzlerinin AU etiketlemesi bir yana, insan yüz ifadesini etiketlemenin bile sıradan insanlar için zaten çok zor olduğunu biliyoruz. AU etiketleme verilerini toplarken bir yandan deneyimli uzmanların çok fazla enerji harcaması gerekir. Örneğin, 1 dakikalık bir videonun uzman tarafından tamamlanması 30-45 dakika gerektirir; diğer yandan AU etiketleme özneldir, bu nedenle Uzmanlar tarafından not verilen veriler bile hatalara veya yanlışlığa meyillidir.Açıklanan veriler üzerinde eğitilen sınıflandırıcı, performansı etkileyen tutarsız tahmin sonuçlarına sahip olabilir.
Bu hususlara dayanarak, Zhao Kaili ekibi AU'yu öğrenmek için zayıf denetlenen kümeleme (WSC) kullanmayı önerdi. Sözde zayıf denetim, veri setinde etiketler olduğu anlamına gelir, ancak bu etiketler güvenilir değildir, yanlış olabilir veya çoklu işaretler veya yetersiz işaretler veya kısmi işaretler olabilir. Zhao Kailinin ekibi tarafından yapılan bu çalışmanın amacı, çok sayıda ücretsiz çevrimiçi resim toplamaktır. Bu resimler, ek açıklamalar içeren önceden eğitilmiş veri kümelerinden veya çevrimiçi anahtar kelime aramasından gelebilir. Bu resimler, Yeni bir özellik alanında, benzer ifadeler daha küçük bir aralığa sahip olabilir; bu temelde, aynı tür resimleri yeniden etiketlemek için ana oylama yöntemi kullanılır; son olarak, yeniden etiketlenen yüz resimleri AU dedektörünü eğitmek için kullanılır.
3. Ölçeklenebilir zayıf denetimli kümelemeBunda iki ana adım vardır. Birincisi, zayıf denetimli spektral gömme (WSE) yoluyla bir gömme alanı bulmaktır, böylece aynı ifadeler birlikte kümelenebilir (sağda gösterildiği gibi); ikincisi, sıra sırasını kullanmaktır. Kümeleme yöntemi, gömülü alandaki resimleri yeniden etiketler.
Zayıf Denetimli Spektral Gömme
WSE'nin rolü, normal özellik alanı gibi sadece görsel benzerliği dikkate almak yerine, görsel benzerlik ve zayıf etiketlemenin tutarlılığını koruyabilen gömülü bir alan bulmaktır. Yani formül
Bunlar arasında, f (W, L) spektral kümelemeyi temsil eder ve (W, G) ise zayıf notların tutarlılığını korumak içindir.
Sıralı küme yeniden etiketleme
Önceki adımda WSE aracılığıyla yerleştirme alanını öğrendikten sonra, ikinci adım önceki zayıf notları iyileştirmektir. İşlem şu şekildedir:
İlk olarak, öğrenilen gömme alanı için yönsüz bir grafik oluşturmak için sıra sıralaması mesafesini (en yakın komşu sıralaması aracılığıyla iki örnek arasındaki mesafenin ölçülmesi) kullanın. Aynı sınıftaki örnekler genellikle benzer en yakın komşu dağılımlarına sahiptir. Daha sonra, kümeler içinde yüksek yoğunluğa ve kümeler arasında düşük yoğunluğa sahip kümeleri bulmak için en başta hiyerarşik kümeleme kullandılar. Bu iki süreç, Sıralı Kümeleme (ROC) olarak adlandırılır.
Kümeleme sonuçlarının kalitesini açıklamak için, yönlendirilmemiş grafiklere uyum sağlamak için Modülerleştirme Kalite İndeksini (MQI) değiştirdiler, bu yüzden buna "uMQI" da deniyor.
Son olarak, çoğunluk oylamasına göre, aynı kümenin görüntüleri doğrudan aynı sınıf olarak kabul edilir.
4. DeneyYukarıdaki yöntemlerle etiketlenen veriler AU dedektörünü eğitmek için kullanılırsa, daha iyi performans olacak mı? Kaili Zhaonun ekibi deneylerinde doğrulamak için EmotioNet veri setini kullandı. Bu veri seti İnternetten 1 milyon resim içeriyor ve bunların 50.000 resminde birden fazla AU etiketi var.
Deneysel doğrulama yoluyla aşağıdaki sonuçlara varılır:
1) Bu şekilde yeniden etiketlenen veriler üzerinde eğitilen model, insan etiketli veriler üzerinde eğitilen modelden daha düşük değildir ve diğer yöntemlerle eğitilen modeli aşar (zayıf etiketleme, yarı denetimli vb.):
2) Bu yöntem, aşağıdakilere benzer şekilde anormal resimleri veya gürültülü resimleri ortadan kaldırmak için sezgisel bir yol sağlar:
Referans malzemeleri:
Yüz aktivite ünitesi için yapılandırılmış çok etiketli öğrenme
https://github.com/zkl20061823
3. 3B nesne özellikleri nasıl etkili bir şekilde çıkarılır?
Kağıt: GVCNN: 3B Şekil Tanıma için Grup Görünümü Evrişimli Sinir Ağları
Konuşmacı: Zhang Zizhao-Tsinghua Üniversitesi
Kağıt indirme adresi: Hayır
Gerçek hayatta artırılmış gerçeklik ve 3B modelleme gibi çok sayıda 3B nesne uygulaması vardır.Bu nedenle, 3B nesnelerin tanıma problemini çözmek için etkili bir 3B derin öğrenme yöntemi oluşturmamız gerekiyor. Bu alanda birçok araştırma yapılmıştır.Temsilci çalışmalar şunları içerir: CVPR 2015'te yayınlanan ShapeNet, 3D modelleri voksel olarak ifade eder ve bunları sınıflandırma için özellikleri çıkarmak için ağa girer; CVPR 2017'de yayınlanan PointNet, 3D nesneleri birleştirir Üç boyutlu nesneleri, kısmi segmentasyonu ve sahne semantik segmentasyonunu temsil etmek ve sınıflandırmak için nokta bulutu verilerini kullanın; ICCV 2015'te yayınlanan MVCNN, üç boyutlu nesneleri birden çok perspektiften tasvir eder, her görünümün CNN özelliklerini çıkarır ve ardından Daha sonra havuzlama katmanı aracılığıyla, nesne özelliklerini elde etmek için çoklu görünümlerin özellikleri birleştirilir.
Temelde, Zhang Zizhaonun ekibinin çalışması, çoklu görünüm tabanlı MVCNN yönteminde bir iyileştirmedir. Başlangıç noktası şudur: 3D nesnelerin farklı bakış açılarından tanınmasının da farklı olduğunu düşünmek, bu nedenle farklı görünümlere basılmalıdır. Tanınabilirlik gruplandırılır ve farklı ağırlıklar atanır.
1. Yöntem
Geleneksel MVCNN yöntemi, görünümün ağırlığını ayırt edemeyen View Pooling yoluyla doğrudan nesne özelliklerini görünüm özelliklerinden alır. Zhang Zizhao'nun ekibinin fikri, ilk önce görünümleri, görünümlerin tanınabilirliğine göre gruplamak ve grup düzeyinde özellikler elde etmek için grup içinde Görünüm Havuzlaması gerçekleştirmek ve ardından gruplar arası füzyon yoluyla nesne özelliklerini elde etmektir. Bu tür düşüncelere dayanarak, View-Group-Shape için üç katmanlı bir ağ çerçevesi önerdiler.
Spesifik olarak, tüm ağın çerçevesi aşağıdaki gibidir:
Yukarıdaki şekilde, farklı perspektiflerin görünümleri ilk olarak ağa girilir ve farklı görünümlerin özellikleri FCN ve CNN (yani, şekildeki "son Görünüm tanımlayıcıları" adımı) yoluyla çıkarılır.
Öte yandan, FCN ve ön özellik tanımlamasından sonra, gruplama modülü aracılığıyla farklı görünümlerin ayırt edilebilirlik puanları elde edilebilir (puanları 0-1 arasında normalize edin). Burada gruplama modülünün tek işlevinin farklı görüşleri puanlamak olduğunu vurgulamakta fayda var. Beş gibi izlenme sayısına göre 5 eşit genişlikte gruba ayrılacaktır. Farklı görüşler, puanlarına göre belirli gruplara ayrılır.
Gruplama durumuna göre, bu grubun özelliklerini elde etmek için her gruptaki görüşler ortalama olarak bir araya getirilir; aynı zamanda farklı gruplardaki görüşlerin puanlarına göre gruba bir ağırlık atanabilir. Nihai nesne özelliği, grup özelliği + grup ağırlığının ağırlıklı füzyonu ile elde edilebilir.
Gruplamayı ve grup ağırlığını görüntüleyin
2. DeneyZhang Zizhao'ya göre, laboratuvarının ModelNet-40 veri seti üzerinde yaptığı test, 40 kategoride toplam yaklaşık 10.000 üç boyutlu nesne gösteriyor.
Öte yandan, 3B nesnelerin tanınmasında iki ana görev vardır: Biri, belirli bir 3B modelin kategorisini yargılamak olan sınıflandırma görevidir ve kriter olarak doğruluğu kullanırlar; diğeri ise, nesneyi bulmak olan geri alma görevidir. 3B modeller aynı türden modellerdir ve değerlendirme göstergesi olarak mAP kullanırlar.
Geçmişteki bazı modellerle karşılaştırıldığında, GVCNN'nin hem sınıflandırma görevlerinde hem de geri alma görevlerinde büyük ölçüde geliştiği; özellikle MVCNN ile karşılaştırıldığında, sınıflandırma görevlerinde yaklaşık% 3 iyileşme ve geri alma görevlerinde iyileşme sağladığı bulunmuştur. Yaklaşık% 5.
Öte yandan, pratik uygulamalarda üç boyutlu bir nesnenin sabit bir perspektifi ve sabit sayıda görünümü elde etmek zordur. Bu makalede önerilen çerçeve, sabit sayıda girdi görünümü veya görüş açısı gerektiriyor mu?
Önce 8 görünümle eğitim, ardından sırasıyla 1 görünüm, 2 görünüm, 4 görünüm, 8 görünüm ve 12 görünüm ile testler olmak üzere ilgili deneyler yaptılar.
Not: * Tablodaki *, kamera görüş açısının önceden ayarlanmadığını gösterir
Deneysel sonuçlar, görüntülemelerin sayısı arttıkça sınıflandırma doğruluğunun da arttığını göstermektedir. Öte yandan, kameranın görüş açısını önceden ayarlamazsanız, ancak test için rastgele 8/12 görüş açısı seçerseniz, çözünürlük yalnızca% 84,3 /% 85,3'dür ve bu, sabit görüş açısından çok daha düşüktür.
3. ÖzetTemel fikir, farklı tanınabilir görünümleri gruplamak ve farklı ağırlıklar atamak ve ardından bunları genel özellikleri elde etmek için birleştirmektir; geleneksel yöntemlerin aksine, tüm görünümler aynı ağırlığa sahiptir. Bu yöntemin özü, örneklerin rafine sınıflandırılması ve ağırlıklandırılmasının her zaman performans iyileştirmeleri getirebilmesidir.
Referans malzemeleri:
Doçent Gao Yue Ana Sayfası, Tsinghua Üniversitesi
Enformasyon Okulu'nun 6 bildirisi, en iyi uluslararası konferans CVPR2018 tarafından kabul edildi
3B Şekil Tanıma için Çok Görünümlü Evrişimli Sinir Ağları (MVCNN, görünüm)
3B ShapeNets: Hacimsel Şekiller için Derin Bir Temsil (ShapNet, voxel)
PointNet: Gerçek zamanlı nesne sınıfı tanıma için 3B Evrişimli Sinir Ağı (PointNet, nokta bulutu)
