CVPR 2018 Çin Kağıt Paylaşım Oturumu "İnsanlar, İnsan Yüzleri ve 3 Boyutlu Şekiller"
AI Technology Review Press: Bu makale, 11 Mayıs 2018'de Microsoft Research Asia'da düzenlenen CVPR 2018 Çin Bildiri Sunumu Sempozyumunun "İnsan, Yüz ve 3D Şekil" bölümündeki üç bildiri raporunun son oturumudur.
Şangay Jiaotong Üniversitesi'nden Lu Cewu ilk raporu verdi ve insan vücudu segmentasyonu üzerine çalışmalarını tanıttı. Ana fikir, insan vücudu bölümü bölümleme veri kümesinin elde edilmesi zor olduğunda bilgi aktarımı yoluyla zayıf denetimli veya yarı denetimli insan vücudu bölüm bölümlemesini gerçekleştirmek için insan vücudu poz veri seti + az miktarda insan vücudu bölüm bölümleme veri kümesini kullanmaktır.
İkinci raporda, Pekin Posta ve Telekomünikasyon Üniversitesi'nden Zhao Kaili, yüz eylem birimi etiketleme konusundaki çalışmalarını tanıttı. Ayrıca küçük ve elde edilmesi zor veri setlerinin zorluğuyla da karşı karşıyadırlar. Ana fikir de zayıf denetimdir, yani çok sayıda etiketli resimler, zayıf etiketlenmiş resimler ve etiketlenmemiş resimler, zayıf denetimli kümeleme yoluyla görsel özelliklerine ve zayıf etiketlenmiş özelliklere göre kümelenir ve kümeleme sonuçları yeniden etiketlenir.
Son raporda, Tsinghua Üniversitesi'nden Zizhao Zhang, 3B nesne özelliklerini ayıklama çalışmalarını tanıttı. Bu çalışmanın temel bir düşüncesi, 3B nesnelere farklı perspektiflerden bakılarak elde edilen görünümlerin, nesnenin ne olduğunu ayırt etmeye farklı katkıları olduğu, bu nedenle farklı ağırlıklar verilmesi gerektiğidir; karşılaştırma için, önceki tüm yöntemler Bu görüşler eşit olarak elden çıkarma hakkına sahiptir.
AI Teknolojisi Yorumu:
CVPR 2018 Çin Bildiri Sunum Semineri, Microsoft Research Asia, Tsinghua University Media and Network Technology Ministry of Education-Microsoft Key Laboratory, SenseTime Technology, Computer Vision Special Committee of China Computer Society ve Visual Big Data Special Committee of China Graphics and Graphics tarafından organize edilmektedir. İşbirliği ile gerçekleştirilecek CVPR 2018'de yer alan onlarca makale yazarı bu forumda en son araştırmalarını ve teknik görüşlerini paylaşacak. Seminer 6 oturum (toplam 22 rapor), 1 forum ve 20'den fazla posteri içeriyordu. AI Technology Review, sizin için ayrıntılı olarak rapor verecek.
CVPR 2018, 18-22 Haziran tarihlerinde ABD'nin Salt Lake City şehrinde yapılacak. CVPR'nin resmi web sitesine göre, bu yıl konferansa 3.300'den fazla bildiri gönderildi, 979'u kabul edildi; geçen yıl 783 bildiriye kıyasla bu yıl yaklaşık% 25 arttı.
Daha fazla rapor için lütfen bkz:
1. Oturum: GAN ve Sentez
2. Oturum: Derin Öğrenme
Oturum 3: Kişi Yeniden Tanımlama ve İzleme
4.Oturum: Vizyon ve Dil
5. Oturum: Segmentasyon, Algılama
Oturum 6: İnsan, Yüz ve 3D Şekil
1. İnsan vücudu otomatik olarak nasıl segmentlere ayrılır ve etiketlenir?
Kağıt: Poz Güdümlü Bilgi Transferi ile Zayıf ve Yarı Denetlenen İnsan Vücudu Parçası Ayrıştırma
Konuşmacı: Lu Cewu-Shanghai Jiao Tong Üniversitesi
https://arxiv.org/abs/1805.04310
Burada esas olarak insan vücudu görüntüsünün uzuvlarının nasıl bölümlere ayrılacağından bahsediyoruz.
1. Arkaplan
İnsan davranışını daha iyi analiz edebilmek için kilit nokta, insan vücudunun tüm bölümlerini bölümlere ayırabilmektir. Ancak bu sorun zordur, çünkü insanlar için bu verileri etiketlemek (parça parça) çok zordur; ve bu nedenle, bu alandaki en büyük veri seti şu anda eğitim için 2000'den azdır. Etiket verileri. O zaman en iyi yol, makinenin böyle bir etiketi otomatik ve etkili bir şekilde işaretlemesine izin vermektir.
2. Düşünme
İnsan Ayrıştırması sadece çok az etiketli veriye sahiptir. Öte yandan, insan vücudunun kilit noktaları (insan vücudunun duruşu) kolayca etiketlenir, bu nedenle çok sayıda etiketlenmiş veri vardır. Bu nedenle Lu Cewu ekibi, bilgi aktarımı yoluyla insan vücudu parçalarının segmentasyon ve etiketleme görevini otomatik olarak tamamlamaya yardımcı olmak için insan vücudu duruş verilerini kullanmanın mümkün olup olmadığını değerlendirdi.
Buradaki fikir, görüntüyü kilit noktalarla aramak ve veri setlerini anahtar noktaların benzerliği yoluyla ayrıştıran az miktarda açıklamalı insan vücudu parçası ile aramak ve ardından pozu, insan vücudu bölüm bölümlendirmesinin açıklamasını gerçekleştirmek için bilgi aktarımı için bir kılavuz olarak kullanmaktır. .
3. Yöntem
Spesifik yöntem üç adıma bölünmüştür: görüntüyü anahtar noktalarla girin + mevcut kısmi bölümleme veri seti, kilit noktalara göre ilk küme, yani giriş görüntüsüne benzer etiketli bölümleme görüntüsünü bulun; ardından hizalayın ve deforme edin , Giriş resminin segmentasyonunu tamamlamak için; şu anda sonuçta büyük bir hata var ve son adım ince ayar yapmaktır.
Poz Benzeri Kümeyi Keşfetme
Farklı duruşlar arasındaki benzerliği ölçmek için öncelikle tüm duruşları normalleştirmek ve hizalamak gerekir, yani yükseklik birleştirilir ve kalçaların temel noktaları koordinat orijini olarak kullanılır. Bundan, giriş resmindeki birkaç anahtar nokta ile etiketli veri setindeki tüm resimlerin karşılık gelen anahtar noktaları arasındaki Öklid mesafesi hesaplanır ve en küçük mesafeye sahip Üst n, benzer küme olarak seçilir.
Burada ilk 1 yerine üst n'yi seçmenin nedeni, gerçek insan vücudunun garip olmasıdır (örneğin, tıkanıklıklar vardır) Belirli bir insan vücudunun segmentasyonu başka bir insan vücuduna uygulanamayabilir, bu nedenle en benzer olanları seçin ve sonraki adımda oluşturun. Önceden parça düzeyinde ortalamayı yapın.
Parça Düzeyinde Önceki Oluşturuluyor
Yukarıda bulunan benzer kümeye dayalı olarak, bilinen segmentasyon, kilit noktalara dayalı olarak görüntüye eşlenebilir. Burada, kümedeki her vücut parçasının bir ikili maskesi vardır ve tüm bu parçaların, kötü parçaların ayrıştırılması için ayrı ayrı ortalaması alınır.
Önceki İyileştirme
Geçiş yoluyla elde edilen biçimlendirilmiş parça ayrıştırma sonucu, gerçek ayrıştırmadan biraz farklı olabilir ve ortalamada gölgeler olacağından, iyileştirme ağı aracılığıyla daha da ayarlanır. İyileştirme Ağı, U-Net'in bir çeşidini kullanır.
4. Deney
Öncelikle, hassaslaştırmadan ve hassaslaştırmadan sonra sonuçların karşılaştırmasına bakalım
Soldan sağa: giriş görüntüsü, tamamen evrişimli ağ tahmininin sonucu, giriş görüntüsüyle ilgili önceki kısmi seviye ve iyileştirme ağı tarafından tahmin edilen sonuç. Rafine işleminin sonucunun çok iyi bir performansa sahip olduğu görülebilir.
Deneyler, bu yöntemin yalnızca tek kişilik görüntülerde kullanılamayacağını, aynı zamanda birden fazla kişinin görüntülerini bölümlere ayırabileceğini doğrulamaktadır. Aşağıda gösterildiği gibi:
Kantitatif deney sonuçları için lütfen kağıda bakın. Ek olarak, Lu Cewu ekibinin kişisel ana sayfasında görülebilen dört CVPR 2018 belgesi daha var.
Referans malzemeleri:
CVPR 2018 Kağıt Notları Sütunu
Lu Cewu ekibi tarafından yayınlanan makalelerin listesi
2. Zayıf gözetim altında yüz aktivite birimleri nasıl etiketlenir?
Bildiri: Ölçeklenebilir Zayıf Denetimli Kümeleme ile Web Görüntülerinden Yüz Eylem Birimlerini Öğrenme
Konuşmacı: Kaili Zhao-Beijing University of Post and Telecommunications
Makalenin başlığında belirtildiği gibi, Kaili Zhao'nun ekibi tarafından yapılan çalışma, yüz aktivite birimlerini (AU'lar) öğrenmek için zayıf bir şekilde denetlenen kümeleme yöntemlerini kullanmaktır ve motivasyon, denetimli / yarı denetimli yöntemlerin çok az etiketli veri gerektirmesi ve toplanmasının zor olmasıdır. .
1. Temel kavramlar
Burada önce bir kavramı açıklamamız gerekiyor, yani AU nedir?
Yüz ifadesi tanıma araştırmasının şu anda yoğun ilgi gördüğünü biliyoruz, ancak ifadelerin öznelliği ve bireyler arasındaki farklılıklar araştırmacılara büyük zorluklar ve zorluklar getirdi. Öte yandan anatomik açıdan bakıldığında, her yüz ifadesi birkaç kas çizgisini etkiler ve kaslardaki değişiklikler yüz yüzeyindeki değişiklikleri etkiler. Bu nedenle yüz kaslarının hareket ünitesini tanımlayarak yüz ifadelerini daha objektif bir şekilde tarif etmek sağlanabilir. Şu anda, yüz kas hareketlerini tanımlamanın daha bilimsel yolu, yüz aktivite kodlama sistemi FACS'dir. FACS, bu yüz alanı aktivitesini "AU" (Eylem Birimleri) olarak adlandırılan "Yüz Aktivite Birimi" olarak tanımlar. Temel AU birimi aşağıda gösterilmiştir:
Örneğin, AU6, göz çevresindeki kas kasılması anlamına gelir. Başka bir deyişle, deri şakaklardan gözlere doğru çekilerek alttaki üçgen alan daha yüksek hale getirilir. Ve yanakların yükselmesine neden olur. Bu durumda yüz daralır. Aynı zamanda göz altı derisinde de kırışıklıklar oluştu. AU12, ağzın köşelerinin yükseltildiği anlamına gelir. Daha zayıf bir AU12 altında yanaklar yükselecek ve göz kapağı karıklığı derinleşecektir. Güçlü bir AU12 altında göz kapakları ve yanakların kıvrımları derinleşir ve yanaklar daralır. AU14 Ağız kenarları içe doğru hareket edecek ve ağız köşelerini daraltacak şekilde ağzın köşeleri sıkılır. Ağız köşelerinde kırışıklıklar.
FACS tanımına göre, 32 AU'nun işbirliği neredeyse tüm yüz duygularını temsil edebilir. Aşağıda gösterildiği gibi:
Bu nedenle, temel ifade tanıma veya karmaşık karışık ifadelerle karşılaştırıldığında, yüz aktivite ünitesi AU'lar, insan duygularını veya yüz hareketlerini tanımlamanın daha nesnel, daha genel ve kapsamlı bir yoludur. Bu nedenle, AU algılama, yüz ifadesi tanımada en önemli önceliktir.
2. Neden zayıf denetim
Şu anda AU tespiti için birçok yöntem bulunmaktadır. Biri tam olarak denetlenir, yani, AU dedektörü tam olarak etiketlenmiş verilere dayalı olarak eğitilir; diğeri yarı denetlenir, yani kısmen denetlenen veriler artı ek etiketlenmemiş veriler kullanılarak. AU dedektörünü eğitin.
Bununla birlikte, her iki yöntem türü de iyi etiketlenmiş veriler gerektirir. İnsan yüzlerinin AU etiketlemesi bir yana, insan yüz ifadesini etiketlemenin bile sıradan insanlar için zaten çok zor olduğunu biliyoruz. AU etiketleme verilerini toplarken bir yandan deneyimli uzmanların çok fazla enerji harcaması gerekir. Örneğin, 1 dakikalık bir videonun uzmanlar tarafından işaretlenmesi 30-45 dakika sürer; diğer yandan, AU etiketleme özneldir, bu nedenle Uzmanlar tarafından not verilen veriler bile hatalara veya yanlışlığa meyillidir.Açıklanan veriler üzerinde eğitilen sınıflandırıcı, performansı etkileyen tutarsız tahmin sonuçlarına sahip olabilir.
Bu hususlara dayanarak, Zhao Kaili ekibi AU'yu öğrenmek için zayıf denetimli kümeleme (WSC) kullanmayı önerdi. Sözde zayıf denetim, veri setinde etiketler olduğu anlamına gelir, ancak bu etiketler güvenilir değildir, yanlış olabilir veya birden fazla etiket veya yetersiz etiket veya kısmi etiket olabilir. Zhao Kailinin ekibinin yaptığı bu çalışmanın fikri, çok sayıda ücretsiz çevrimiçi resim toplamaktır. Bu resimler, ek açıklamalar içeren önceden eğitilmiş veri kümelerinden gelebilir veya çevrimiçi anahtar kelime aramalarından gelebilir. Bu resimler, zayıf bir şekilde denetlenen kümeleme içine yerleştirilmiştir. Yeni bir özellik alanında, benzer ifadeler daha küçük bir aralığa sahip olabilir; bu temelde, aynı tür resimleri yeniden etiketlemek için ana oylama yöntemi kullanılır; son olarak, yeniden etiketlenen yüz resimleri AU dedektörünü eğitmek için kullanılır.
3. Ölçeklenebilir zayıf denetimli kümeleme
Bunda iki ana adım vardır: Birincisi, zayıf denetimli spektral gömme (WSE) yoluyla bir gömme alanı bulmaktır, böylece aynı ifadeler birlikte kümelenebilir (sağda gösterildiği gibi); ikincisi, sıra sırasını kullanmaktır. Kümeleme yöntemi, gömülü alandaki resimleri yeniden etiketler.
Zayıf Denetimli Spektral Gömme
WSE'nin rolü, normal özellik alanı gibi sadece görsel benzerliği göz önünde bulundurmak yerine, görsel benzerlik ve zayıf etiketlemenin tutarlılığını koruyabilen bir gömme alanı bulmaktır. Yani formül
Bunlar arasında, f (W, L) spektral kümelemeyi temsil eder ve (W, G) ise zayıf notların tutarlılığını korumak içindir.
Sıralı küme yeniden etiketleme
Önceki adımda WSE aracılığıyla yerleştirme alanını öğrendikten sonra, ikinci adım önceki zayıf notları iyileştirmektir. Süreç aşağıdaki gibidir:
İlk olarak, öğrenilen gömme alanı için yönsüz bir grafik oluşturmak için sıra sırası mesafesini (en yakın komşu sıralaması aracılığıyla iki örnek arasındaki mesafenin ölçülmesi) kullanın. Aynı sınıftaki örnekler genellikle benzer en yakın komşu dağılımlarına sahiptir. Daha sonra, kümeler içinde yüksek yoğunluğa ve kümeler arasında düşük yoğunluğa sahip kümeleri bulmak için en geniş hiyerarşik kümelemeyi kullandılar. Bu iki işleme, Sıralı Kümeleme (ROC) adı verilir.
Kümeleme sonuçlarının kalitesini açıklamak için, yönlendirilmemiş grafiklere uyum sağlamak için Modularizasyon Kalite İndeksini (MQI) değiştirdiler, bu yüzden buna "uMQI" da deniyor.
Son olarak, çoğunluk oylamasına göre, aynı kümenin görüntüleri doğrudan aynı sınıf olarak kabul edilir.
4. Deney
Yukarıdaki yöntemle işaretlenen veriler AU dedektörünü eğitmek için kullanılırsa, daha iyi performans olacak mı? Kaili Zhaonun ekibi, deneylerinde doğrulama için EmotioNet veri kümesini kullandı. Bu veri kümesi İnternetten 1 milyon görüntü içeriyor ve bunların 50.000i birden çok AU etiketine sahip görüntülerden oluşuyor.
Deneysel doğrulama yoluyla aşağıdaki sonuçlara varılır:
1) Bu şekilde yeniden etiketlenen veriler üzerinde eğitilen model, insan etiketli veriler üzerinde eğitilen modelden daha düşük değildir ve diğer yöntemlerle eğitilen modeli aşar (zayıf etiketleme, yarı denetimli vb.):
2) Bu yöntem, aşağıdakilere benzer şekilde anormal resimleri veya gürültülü resimleri ortadan kaldırmak için sezgisel bir yol sağlar:
Referans malzemeleri:
Yüz aktivite ünitesi için yapılandırılmış çok etiketli öğrenme
https://github.com/zkl20061823
3. 3B nesne özellikleri nasıl etkili bir şekilde çıkarılır?
Kağıt: GVCNN: 3B Şekil Tanıma için Grup Görünümü Evrişimli Sinir Ağları
Konuşmacı: Zhang Zizhao-Tsinghua Üniversitesi
Gerçek hayatta, artırılmış gerçeklik ve 3B modelleme gibi çok sayıda 3B nesne uygulaması vardır.Bu nedenle, 3B nesne tanıma sorununu çözmek için etkili bir 3B derin öğrenme yöntemi oluşturmamız gerekiyor. Bu alanda birçok araştırma yapılmıştır.Temsilci çalışmalar şunları içerir: CVPR 2015'te yayınlanan ShapeNet, 3D modelleri voksel olarak temsil eder ve bunları sınıflandırma için özellikleri çıkarmak için ağa girer; CVPR 2017'de yayınlanan PointNet, 3D nesneleri birleştirir Üç boyutlu nesneleri, kısmi bölümlemeyi ve sahne anlamsal bölümlemeyi temsil etmek ve sınıflandırmak için nokta bulutu verilerini kullanın; ICCV 2015'te yayınlanan MVCNN, üç boyutlu nesneleri birden çok perspektiften tasvir eder, her görünümün CNN özelliklerini çıkarır ve ardından Ardından, nesne özelliklerini elde etmek için çoklu görünümlerin özellikleri havuzlama katmanı aracılığıyla birleştirilir.
Temelde, Zhang Zizhaonun ekibinin çalışması, çoklu görünüm tabanlı MVCNN yönteminde bir iyileştirmedir. Başlangıç noktası: 3D nesnelerin farklı bakış açılarından tanınmasının da farklı olduğunu düşünmek, bu nedenle farklı görünümlere basılmalıdır. Tanınabilirlik gruplandırılır ve farklı ağırlıklar verilir.
1. Yöntem
Geleneksel MVCNN yöntemi, görünümün ağırlığını ayırt edemeyen View Pooling aracılığıyla doğrudan nesne özelliklerini görünüm özelliklerinden alır. Zhang Zizhao'nun ekibinin fikri, ilk önce görünümleri, görünümlerin tanınabilirliğine göre gruplamak ve grup düzeyinde özellikler elde etmek için grup içinde Görünüm Havuzlaması gerçekleştirmek ve ardından gruplar arası füzyon yoluyla nesne özelliklerini elde etmektir. Bu tür düşüncelere dayanarak, View-Group-Shape için üç katmanlı bir ağ çerçevesi önerdiler.
Spesifik olarak, tüm ağın çerçevesi aşağıdaki gibidir:
Yukarıdaki şekilde, farklı perspektiflerden görünümler ilk önce ağa girilir ve farklı görünümlerin özellikleri FCN ve CNN (yani, şekildeki "son Görünüm tanımlayıcıları" adımı) aracılığıyla çıkarılır.
Öte yandan, FCN ve ön özellik tanımlamasından sonra, gruplama modülü aracılığıyla farklı görünümlerin ayırt edilebilirlik puanları elde edilebilir (puanları 0-1 arasında normalize edin). Burada gruplama modülünün tek işlevinin farklı görüşleri puanlamak olduğunu vurgulamakta fayda var. Beş gibi izlenme sayısına göre, beş eşit genişlikte gruba ayrılacaktır. Farklı görüşler, puanlarına göre belirli gruplar halinde gruplandırılır.
Gruplama durumuna göre her gruptaki görüşler bir araya toplanarak bu grubun özellikleri elde edilir; aynı zamanda farklı gruplardaki görüşlerin puanlarına göre gruba ağırlık verilebilir. Nihai nesne özelliği, grup özelliği + grup ağırlığının ağırlıklı füzyonu ile elde edilebilir.
Gruplamayı ve grup ağırlığını görüntüleyin
2. Deney
Zhang Zizhao'ya göre, laboratuvarı tarafından ModelNet-40 veri seti üzerinde yapılan test, 40 kategoride toplam yaklaşık 10.000 üç boyutlu nesne gösteriyor.
Öte yandan, 3B nesnelerin tanıma probleminin iki ana görevi vardır: Biri sınıflandırma görevidir, yani verilen bir 3B modelin kategorisini belirlemek ve kriter olarak doğruluğu kullanırlar; diğeri ise veri tabanından bulma ve verme görevi. 3B modeller aynı model türleridir ve değerlendirme göstergesi olarak mAP kullanırlar.
Geçmişteki bazı modellerle karşılaştırıldığında, GVCNN'nin hem sınıflandırma görevlerinde hem de geri alma görevlerinde büyük ölçüde geliştiği; özellikle MVCNN ile karşılaştırıldığında, sınıflandırma görevlerinde yaklaşık% 3 iyileşme ve geri alma görevlerinde iyileşme sağladığı bulunmuştur. Yaklaşık% 5.
Öte yandan, pratik uygulamalarda üç boyutlu bir nesnenin sabit bir perspektifi ve sabit sayıda görünümü elde etmek zordur. Bu makalede önerilen çerçeve, sabit sayıda girdi görünümü veya görüş açısı gerektiriyor mu?
Önce 8 görünümle eğitim, ardından sırasıyla 1 görünüm, 2 görünüm, 4 görünüm, 8 görünüm ve 12 görünüm ile testler olmak üzere ilgili deneyler yaptılar.
Not: * Tablodaki *, kamera görüş açısının önceden ayarlanmadığını gösterir
Deneysel sonuçlar, görüntülemelerin sayısı arttıkça sınıflandırma doğruluğunun da arttığını göstermektedir. Öte yandan, kameranın görüş açısını önceden ayarlamaz, ancak test için rastgele 8/12 görüş açısı seçerseniz, çözünürlük yalnızca% 84,3 /% 85,3'tür ve bu, sabit görüş açısından çok daha düşüktür.
3. Özet
Temel fikir, farklı tanınabilir görünümleri gruplamak ve farklı ağırlıklar atamak ve ardından bunları genel özellikleri elde etmek için birleştirmektir; geleneksel yöntemlerin aksine, tüm görünümler aynı ağırlığa sahiptir. Bu yöntemin özü, numunelerin rafine sınıflandırılması ve ağırlıklandırılmasının her zaman performans iyileştirmeleri getirebilmesidir.
Referans malzemeleri:
Doçent Gao Yue Ana Sayfası, Tsinghua Üniversitesi
Enformasyon Okulu'nun altı bildirisi, en iyi uluslararası konferans CVPR2018 tarafından kabul edildi
3B Şekil Tanıma için Çok Görünümlü Evrişimli Sinir Ağları (MVCNN, görünüm)
3B ShapeNets: Hacimsel Şekiller için Derin Bir Temsil (ShapNet, voxel)
PointNet: Gerçek zamanlı nesne sınıfı tanıma için 3B Evrişimli Sinir Ağı (PointNet, nokta bulutu)
Bu arada, insanları işe alıyoruz, öğrenelim mi?
BAT kıdemli algoritma mühendisleri için özel araştırma ve geliştirme kursları
Hayata ve işe en yakın eğlenceli pratik projeler
Profesyonel öğretim asistanları ile sınıf yönetimi yardımı
Bir teklif almak için öğrendiklerinizi uygulayın, öğrenmeyi bitirir bitirmez işe alınmanız tavsiye edilir.
Kodu tarayın veya öğrenmek için orijinal metni okumak için tıklayın!
( 0 ) Paylaşmaya hoş geldiniz, yarın görüşürüz!
