Sun Yat-sen Üniversitesi'nin yeni atılımı: doğru 3B vücut poz tahmini elde etmek için kendi kendini denetleyen öğrenme
Xin Zhiyuan Rehberi Sun Yat-sen Üniversitesi, üç boyutlu insan pozlarını doğru bir şekilde tahmin etmek için kendi kendini denetleyen öğrenmeyi kullanır. Yeni yöntem, 3B işaretleyici verilerine olan bağımlılığı azaltır ve ayrıca büyük miktarda mevcut 2B işaretçi verilerini kullanarak nihai tahmin sonucunu iyileştirebilir ve düşük maliyetli ve ölçeklenebilir 3B insan poz tahmininin pratik uygulamasını gerçekleştirebilir.
Makalede önerilen 3B insan pozu tahmin çerçevesi: önce 2B insan pozu özelliklerini çıkarmak ve kabaca 3B insan pozunu tahmin etmek için hafif bir CNN kullanın ve ardından 3B insan pozunun sorunsuz bir ön tahmin sonucunu elde etmek için zaman serisi korelasyonunu öğrenmek için RNN kullanın. Son olarak, kendi kendini denetleyen öğrenme rehberlik mekanizması, üç boyutlu geometrik tutarlılığa göre tahmin sonuçlarını 2D'den 3D'ye optimize etmek için kullanılır. Proje ana sayfası:
3D insan pozu tahmini güncel bir araştırma konusudur ve aynı zamanda geniş bir uygulama potansiyeline sahiptir.
Derin sinir ağları, 2B insan pozu tahmininde mükemmel sonuçlar elde etti. 3B insan pozu tahmininde aynı etkiyi elde etmek için derin öğrenmeyi kullanmak istiyorsanız, önce büyük miktarda 3B insan poz etiketi verisine ihtiyacınız vardır.
Ancak sorun, hassas işaretlere sahip büyük miktarda 3B vücut poz verisi olmamasıdır.
Yakın zamanda IEEE Proceedings of Pattern Analysis and Machine Intelligence (PAMI) 'de yayınlanan bir makalede, Sun Yat-sen Üniversitesi'nden araştırmacılar yeni bir yöntem önerdiler: Bilgisayar, video klipteki üç boyutlu vücut pozunu doğru bir şekilde tahmin etmek için kendi kendini denetleyen öğrenmeyi kullansın, böylece 3D etiketli verilere olan bağımlılığı büyük ölçüde azaltır .
"İki boyutlu uzay-zaman ilişkilerini ve üç boyutlu geometrik bilgiyi etkili bir şekilde birleştirerek, kendi kendini denetleyen öğrenmenin rehberliğinde hızlı ve doğru bir üç boyutlu insan pozu tahmin yöntemi önerdik." İlk makale şu anda Los Angeles, Kaliforniya Üniversitesi'ndeki (UCLA) Profesör Songchun Zhu'nun laboratuvarında. Doktora sonrası araştırmacı olan Dr. Wang Keze, Xin Zhiyuan'a söyledi. Wang Keze, bu tezi tamamlarken aynı zamanda Sun Yat-Sen Üniversitesi ve Hong Kong Politeknik Üniversitesi'nde doktora öğrencisiydi ve danışmanı, Sun Yat-sen Üniversitesi ve Hong Kong Politeknik Üniversitesi HCP İnsan-Makine Zekası Füzyon Laboratuvarı'nda Profesör Lin Jie (Profesör Lin de bu çalışmaya katıldı) idi. Zhang Lei.
Human3.6M benchmark testindeki yeni yöntemin bazı görselleştirme sonuçları. (a) 2B'den 2B'ye poz dönüştürme modülü tarafından tahmin edilen ara 3B insan pozudur, (b) 3B'den 2'ye poz eşleme modülü tarafından geliştirilmiş son 3B insan pozudur, (c) temel gerçek . Tahmini 3B poz resme yeniden eşlenir ve yan tarafta görüntülenir (resmin yanında). Şekilde gösterildiği gibi, (a) ile karşılaştırıldığında, (b) 'de tahmin edilen 3B poz önemli ölçüde düzeltilmiştir. Kırmızı ve yeşil, sırasıyla insan vücudunun sol ve sağ taraflarını gösterir. Kaynak: Tez "Kendi Kendini Denetleyen Öğrenim Tarafından Kılavuzluk Edilen İnsan 3D Duruşunun Tahmini"
"Bu yöntem, hesaplama miktarını etkili bir şekilde azaltan ve 3B vücut pozu açıklaması için yetersiz veri zorluğunun üstesinden gelen hafif bir sinir ağı kullanıyor. Gerçek uygulama senaryolarında 3D insan pozunu sorunsuz ve istikrarlı bir şekilde tahmin edebilir . "
Tek bir Nvidia GTX1080 GPU üzerinde çalışırken, Yeni yöntem bir görüntüyü işlemek için yalnızca 51 milisaniye sürüyor , Diğer yöntemler 880 milisaniye gerektirirken.
3B etiketli verilere olan bağımlılığı azaltmak için kendi kendini denetleyen öğrenmeyi kullanın
Bu makalenin başlığı "Kendi Kendini Denetleyen Öğrenmeye Sahip 3D İnsan Poz Makineleri" ve yazarlar Wang Keze, Lin Qi, Jiang Chenhan, Qian Chen ve Wei Pengxu'dur.
Araştırmacılar Xin Zhiyuan'a çalışmalarının arka planının renkli görüntü ve video verilerine dayanan mevcut 3D insan pozu tahmin araştırması olduğunu tanıttılar. Gerçek sahne uygulamalarında iki bariz eksiklik vardır:
- Biri gerekli hesaplama miktarıdır : Şu anda, mevcut 3B vücut poz tahmin yöntemlerinin çoğu, doğru 2B vücut pozu elde etmek için en gelişmiş 2B vücut poz tahminine dayanır ve ardından 2B'den 3B'ye insan vücudu konumunu gerçekleştirmek için bir sinir ağı oluşturur Pozların haritalanması. Benimsenen iki boyutlu insan pozu tahmin yöntemi genellikle büyük miktarda hesaplama ve ayrıca inşa edilen sinir ağının kendisinin hesaplama ek yükü gerektirdiğinden, pratik uygulamalarda üç boyutlu insan pozu tahmininin zaman gereksinimlerini karşılamak zordur;
- İkincisi, uygulama etkisi ideal değildir: Mevcut 3B insan pozu veri setlerinin tümü kontrollü bir deneysel ortamda (sabit kamera perspektifi ve tek arka plan) oluşturulmuştur ve içerilen 3B açıklama bilgileri, gerçek hayat sahnelerini tam olarak yansıtacak kadar zengin değildir ve mevcut yöntemlerin tahminlerini yapar. Üretilen üç boyutlu vücut pozlarının kalitesi düzensiz ve sağlamlığı zayıf.
Yukarıdaki problemleri çözmek için araştırmacılar derinlemesine araştırma ve analizler yaptılar, 3B ek açıklama bilgilerinin eksikliğini gidermek için devasa 2B insan pozu verilerini kullanmayı deneyin .
Aynı zamanda, iki boyutlu insan pozunun geometrik özelliği olan üç boyutlu insan pozunun geometrik özelliklerine göre iki boyutlu ve üç boyutlu uzaylar arasındaki ilişkiden ilham alırlar ve önceki kendi kendini denetleyen öğrenme çalışmasıyla birleştirilirler (Dr. Wang Keze ve diğerlerinin bir önceki makalesine bakın) , 2D'den 3D'ye dönüşüm ve 3D'den 2D'ye haritalama için kendi kendini denetleyen bir öğrenme görevi geliştirdi.
Bu anahtar 2D ve 3D karşılıklı dönüşüm kendi kendini denetleyen öğrenme modülünün mimarisi aşağıdaki gibidir:
Bu çalışmada yazar, MPII veri setini görüntülerden 2D insan pozlarını çıkarmak için kullandı. Ardından, 3B zemin gerçeği verilerini çıkarmak için "İnsan3.6M" adlı başka bir veri kümesi kullanın. Human3.6M veri seti laboratuvarda çekilmiş 3.6 milyon fotoğrafı içerir. Görevler arasında koşma, yürüme, sigara içme, yemek yeme vb.
Başlatma sonrasında, tahmin edilen 2B ve 3B insan pozlarını 2B ve 3B yer gerçeği ile değiştirdiler ve böylece modeli kendi kendine denetlenen bir öğrenme tarzında optimize ettiler.
3B'den 2B'ye insan pozu haritalama modülünün öğrenme amacı, 3B insan pozunun 2B haritalaması ile tahmini 2B insan pozu arasındaki farkı en aza indirgemek, böylece ara 3B insan pozu tahmininin çift yönlü düzeltmesini gerçekleştirmektir. (Veya arıtma).
"Model, insan vücudunun birden çok parçası arasındaki uzun vadeli zamansal tutarlılığı yakalamak için bir sıralı eğitim yöntemi kullanır ve bu tutarlılığı yeni bir kendi kendini denetleyen düzeltme mekanizmasıyla daha da geliştirir. Bu, iki ikili öğrenme görevini, yani 2D'yi içerir. Geometrik olarak tutarlı 3B poz tahminleri oluşturmak için 3B poz dönüştürme ve 3B'den 2B'ye poz eşleme. "
Kendi kendini denetleyen düzeltmeden sonraki sonuç (Bizimki), Düzeltmesiz olandan (Kendi kendini düzeltme bizimki) Yer-gerçeğine daha yakındır. Kaynak: Kağıt
Gelecek yönü: Sınırsız koşullar altında 3D insan pozu tahmini
Araştırmacılar, bu çalışmanın ana katkısının üç yönü olduğunu bildirdiler:
- Manuel olarak tanımlanan belirli vücut düzgünlüğüne veya kinematik kısıtlamalarına güvenmek yerine zengin zamansal ve uzamsal uzun menzilli bağımlılığı ve 3B geometrik kısıtlamaları entegre etmeyi öğrenebilen yeni bir model önerdi;
- 3B poz geometri bilgilerini birleştirmek için basit ve etkili, kendi kendini denetleyen bir düzeltme mekanizması geliştirdi; bu yenilikçi mekanizma, diğer 3B görme görevlerine de ilham verebilir;
- Modelin yeterli 2B insan pozu verisini kullanmasını sağlamak için kendi kendini denetleyen bir düzeltme mekanizması önerildi, bu da 3B insan pozu tahminin performansını önemli ölçüde artırıyor.
Yeni yöntem (bizimki, kırmızı bir kutuyla işaretlenmiştir) diğer benzer yöntemlerden önemli ölçüde daha iyidir Yeşil sağ eli ve ayağı temsil eder ve kırmızı solu temsil eder (aşağıda aynıdır): En sağdaki sütun Yer-gerçeğidir; İnsan3.6M veri setini kullanır.
Yeni yöntem (Bizimki), MPII veri kümesindeki ICCV-17 Microsoft Wei Yichen grubunun sonuçlarıyla karşılaştırılır. İkincisi, 2D ve 3D işaretçileri birleşik bir derin öğrenme çerçevesinde, 2D ve 3D kıyaslamalarda karıştırmak için zayıf denetimli aktarım öğrenimini kullanır İyi sonuçlar elde edildi. Yeni yöntem, 3D tahminde bir adım daha ileri gidiyor.
Kendi kendini denetleyen öğrenmenin değeri, açıkça yapay zeka araştırmasının odak noktasıdır.
Diğer yöntemler de pozları tahmin etmek ve hatta insan hareketini yakalamak için benzer "zayıf denetim" yöntemlerini kullanır. Örneğin, Berkeley'deki California Üniversitesi'nden Profesör Sergey Levine'in robotik laboratuvarı geçen yıl Ekim ayında, YouTube videolarından yalnızca etiketlenmemiş verileri kullanarak insan etkinliklerini taklit etmek için simüle edilmiş robotları eğitebileceklerini söyleyen bir makale yayınladı. Sun Yat-sen Üniversitesi'nin bu çalışması, gelecekte Berkeley'in yöntemiyle bazı kombinasyonlara ulaşabilir.
Araştırmacılar Xinzhiyuan'a şunları söyledi: "Daha sonra, gerçek kısıtlanmamış sahnelerde daha karmaşık ve değişken üç boyutlu insan pozu tahmin problemleri hakkında daha fazla araştırma yapacağız; ayrıca, yöntemimizi daha da optimize edeceğiz. Gerçek zamanlı ve doğru tahmin etkileri elde edin ".
Referanslar
https://arxiv.org/pdf/1901.03798.pdf
Laboratuvara giriş
Sun Yat-sen Üniversitesi'nin HCP İnsan-Makine-Nesne Akıllı Füzyon Laboratuvarı, "akademik zirvelere tırmanma ve zemini uygulama" çalışma felsefesi ve "yapay zeka orijinal ve en son teknolojiler" etrafında araştırma yönleri ve konuları düzenleme çalışma felsefesine sahip Sun Yat-Sen Üniversitesi Veri Bilimi ve Bilgisayar Bilimleri Fakültesi'ne güveniyor. Araştırma fonu on milyonlarca yuan'ı aşıyor, en iyi uluslararası dergilerde ve konferanslarda 200'den fazla makale yayınlandı ve endüstri ile kapsamlı işbirliği.
