Leap Motion Parmak Ucu Pozisyonuna Dayalı Hareket Ekstraksiyonu ve Tanıma Teknolojisi Araştırması
Zhou Kaidian, Xie Jun, Luo Jianxin
(Komuta Bilgi Sistemi Koleji, PLA Bilim ve Teknoloji Üniversitesi, Nanjing 210007, Jiangsu)
: Leap Motion, yakın zamanda piyasaya sürülen nispeten yeni bir el bilgisi toplama cihazıdır. El bilgilerini yüksek hassasiyet ve yüksek kare hızında izleyip yakalayabilir. Bu özelliğe dayanan bu makale, parmak ucu konumu ve yön bilgisine dayalı bir yöntemi açıklar. Hareket çıkarma ve tanıma için araştırma planı. Sıçrama Hareketi sensörü, parmak ucu koordinatlarının ve yön vektör bilgilerinin çıkarıldığı, hareket tanıma modelinin oluşturulduğu ve hareket özelliği verilerinin oluşturulduğu, hareketlerin üç boyutlu uzaysal koordinat bilgilerini toplamak için kullanılır. Özellik verilerini normalleştirdikten sonra, belirli hareketlerin tanınmasını gerçekleştirmek için eğitim için destek vektör makinesine girilir. Deneysel sonuçlar, önerilen hareket tanıma şemasının ortalama tanıma doğruluğunun, yüksek doğruluk ve sağlamlığa sahip olan% 97.33'e ulaştığını göstermektedir.
: Hareket tanıma; Sıçrama Hareketi; parmak ucu konumu; yön bilgisi; destek vektörü
: TP391.4 Belge tanımlama kodu: ADII: 10.19358 / j.issn.1674-7720.2017.02.016
Alıntı biçimi : Zhou Kaidian, Xie Jun, Luo Jianxin Leap Motion Parmak Ucu Pozisyonuna Dayalı Hareketle Çıkarma ve Tanıma Teknolojisi Araştırması J. Mikrobilgisayar ve Uygulama, 2017, 36 (2): 48-51
0 Önsöz
Son yıllarda jest tanımanın pek çok alanda (insan-bilgisayar etkileşimi, robotik uygulamalar, bilgisayar oyunları, işaret dili çevirisi vb.) Yaygın uygulaması daha fazla ilgi görmüştür. Şu anda, hareket tanıma için kullanılabilen nispeten düşük maliyetli derinlik kameraları arasında TOF kameraları ve Microsoft tarafından başlatılan Kinect cihazı bulunmaktadır. Elin derinlik bilgisi, hareket tanımanın doğruluğunu artırmak için farklı yöntemlerle elde edilir. Bu yöntemlerle sağlanan hareket tanıma çözümlerinin tümü, derinlik bilgisinden çıkarılan özellik değerleridir.Genel amaçlı bir kamera, kararlı görüntü dizileri ve hatta insan eli görüntülerinden derinlik bilgileri elde edebilmesine rağmen, çıkarılan insan eli bilgilerinin karmaşık bir görüntü işleme ve tanıma sürecinden geçmesi gerekir ki bu da zordur. İnsan eli hareketlerinin hızlı ve doğru bir şekilde tahmin edilmesini sağlayın ve yakın mesafeden yüksek hassasiyetli hareket tanıma sağlayamazlar [1]. Leap Motion sensörünün tanıtımı, hareket tanıma alanına yeni bir yol getiriyor. Kinectin görüş alanı içindeki nesneleri izleme konusundaki genel çerçeve tanımlamasından farklı olarak, Leap Motionın amacı, yalnızca rakibin el bilgilerini izlemek ve açıklamaktır. Bilgiler, parmak uçlarının, eklem noktalarının, yön vektörlerinin, normal vektörlerin vb. İnce tanımlarını içerir ve bu bilgileri, özellik çıkarımı ve hareketlerin doğru bir şekilde tanınması için kullanır [2]. Bu nedenle, bu makale parmak ucu konumu ve yön bilgisine dayalı bir jest çıkarma ve tanıma şeması önermektedir.
1Leap Motion yapı analizi
Leap Motion, bilgisayarla görme teknolojisine dayalı üç boyutlu bir veri izleme sensör cihazıdır [3]. Leap Motion'ın izleme hedefi, parmak uçlarının, eklem noktalarının vb. Konumunu ve avuç içi yön vektörü ve normal vektör bilgisini doğrudan hesaplayabilen el bilgilerinin açıklaması içindir. Aynı zamanda, Leap Motion tam bir tanıma sürecini ve yöntemini kapsadığından, Leap Motion, geliştiricilerin el noktaları ile ilgili verileri tanımlamak ve çıkarmak için bilgisayarla görme algoritmalarını kullanmasını gerektirmez. Kinect gibi derinlik kameraları ile karşılaştırıldığında, Leap Motion el verilerini 0,01 mm hassasiyetle izleyebilir, bu da küçük el hareketlerini yüksek doğrulukla izleyebileceği anlamına gelir. Donanım yapısı, Şekil 1'de gösterildiği gibi temel olarak iki yüksek kare hızlı kamera, LED ışıklar, kızılötesi filtreler ve bir USB3.0 yongasından oluşur.
İki yüksek kare hızlı yüksek çözünürlüklü kamera, stereo olarak jest görüntülerini yakalamak için dürbün vizyonunu simüle edebilir, sensörden 25 mm ile 600 mm arasındaki ters bir piramit aralığı dahilindeki bilgileri yakalayabilir ve ardından üç boyutlu koordinatlarda uzamsal el konum bilgisini bulmak için üçgenlemeyi kullanabilir Ek olarak, Leap Motion, doğal ışığı kızılötesi ışığa filtrelemek için bir filtre kullanır ve cihazın üzerinde sanal bir düzlem ışık ağı oluşturur.Hedef nesne hareket ettiğinde, kızılötesi yansımanın hedef nesnenin konumuna ve hareket yönüne dönmesine neden olur. Aynı zamanda, izlenen el hareketi verileri 100 f / s'ye kadar bir hızda kaydedilebilir.Her çerçeve, her bir elin anahtar parçalarının konum bilgilerini, avuç içi hareket hızını, avuç içi normal vektörü, parmak yönünü ve diğer bilgileri içerir. Son olarak, Leap Motion, yakalanan statik hareket konumunu, vektör bilgilerini ve dinamik hareket hareketi bilgilerini, sonraki işlem ve hareket çıkarma ve tanıma için USB arabirimi aracılığıyla bilgisayara aktarır.
2 Hareket özelliği analizi ve model yapımı
Kinect ve diğer benzer cihazlarla karşılaştırıldığında, Leap Motion tam bir izlenen derinlik haritası [4] sağlamaz ve yalnızca üç boyutlu koordinat konum bilgilerini, yön bilgilerini ve Daire, Kaydırma, Ekran Dokunma gibi elin ilgili noktalarının bazı el hareketi özelliklerini döndürür. Tuş Vuruşu gibi duruş bilgileri. Sadece bu ham verilerin kullanılması, hareket tanıma ihtiyaçlarını karşılayamaz, bu nedenle Leap Motion izleme el bilgisinin özelliklerine dayalı bir hareket çıkarma ve tanıma modeli oluşturmak gerekir. Makalede, Şekil 2'de gösterildiği gibi, hareket çıkarma ve tanıma için bir model oluşturulmuştur.
(1) Avuç içi merkez konumu C: üç boyutlu alanda avuç içi alanının kaba merkez konumunu tanımlar.
(2) Avuç içi yönü: İki birim vektöre göre, n avuç içi düzlemine dik olan ve avuç içi içini işaret eden normal vektördür ve h avuç içi merkez konumu C'nin parmak yönünü gösteren yön vektörüdür, ancak bu izleme hesaplamalarıyla elde edilen veriler çok doğru değildir. , F1, F2, F3, F4, F5 parmak dağılımına bağlıdır.
(3) Parmak ucu konumu Fi, i = 1, ..., 5, üç boyutlu uzayda tespit edilen parmak ucu konumunu tanımlar.
Leap Motion, elin görünür alandaki 3 boyutlu uzay konumunu yüksek doğrulukla takip edebilmesine rağmen, tüm parmakları izleyebildiğinden emin değildir, bunun sebebi de parmakların jest yaparken var olmasıdır. Engelleyin ve birbirinize müdahale edin. Bu soruna yanıt olarak, Leap Motion, dahili olarak oluşturulmuş el modeline dayalı olarak girişim parçasının kilit noktalarının kaba konumlarını önceden tahmin edecektir, böylece, sonraki özellik değeri çıkarma hesaplamaları için elin tüm kilit nokta bilgileri elde edilebilir.
Açılar dışındaki tüm özellik değerlerinin normalize edilmesi gerekir Yöntem, farklı kullanıcıların avuç içi boyutunu tanıma sürecini geliştirmek için avuç içi merkezi C ile orta parmak ucu S = Fmiddle-C arasındaki mesafeye bölmektir. Harika [5]. Ölçek faktörü S, kullanıcı kullanmadan önce hesaplanabilir.
Hareket tanımayı gerçekleştirmek için, aşağıdaki el verileri özelliği hesaplama formülü yukarıdaki hareket izleme modeline göre tanımlanmıştır:
Formülde Di, parmak ucu konumu Fi'den avuç içi konumu koordinatı C'ye Öklid mesafesini temsil eder; burada iki nokta arasındaki üç boyutlu mesafenin, normalleştirme için ölçek faktörü S'ye bölünmesi gerekir.
Ai = (Fpi C, h), i = 1,, 5 (2)
Formülde Ai, üç boyutlu koordinat noktası Fpi'yi bağlayan çizgi ile avuç içi merkez konumu C ve avuç içi yönü vektörü h arasındaki açıyı temsil eder ve Fpi, parmak ucu Fi'nin avuç içi normal vektörü n'ye dik bir düzlemdeki projeksiyon konumunu temsil eder.
Ei, parmak ucu konumundan avuç içi düzlemine dikey mesafeyi temsil ettiğinde, Fi parmak ucunun üç boyutlu yerel koordinat sistemindeki konumunu temsil eder ve Fpi, parmak ucu Fi'nin avuç içi normal vektör n'ye dik bir düzlemdeki projeksiyon konumunu temsil eder, burada da gereklidir. Çıkarılan özellik değeri Ei'yi normalleştirmek için ölçek faktörü S'ye bölün.
Bu makale, analiz için Şekil 3'te gösterildiği gibi altı hareket grubu (G1, G2, G3, G4, G5, G6) seçer ve ilgili hareketlerin ilgili noktalarının üç boyutlu koordinat bilgilerini ve yön bilgilerini çıkarır.
Özellik çıkarma yöntemiyle ilgili olarak, Leap Motion'dan çıkarılan her örnek hareket verisi dahil olmak üzere, karşılık gelen özellik değerleri D, A, E önceki makalede verilmiştir.Her hareket grubu için, özellik vektör seti V = (D , A, E).
Hareket tanımayı daha fazla gerçekleştirmek için, D, A ve E'nin üç özellik vektörünün, karşılık gelen hareket kitaplığına göre G kategorilerine sınıflandırılması gerekir ve sınıflandırma algoritması, destek vektör makinelerini kullanır [6]. Bu nedenle, G (G-1) / 2 SVM sınıflandırıcılarının G kategorilerinin örnekleri için tasarlanması gerekir. Bilinmeyen bir numuneyi sınıflandırırken, en çok alan sınıf, bilinmeyen numunenin sınıfıdır.
3 özellik eğitimi
Özellik eğitimi ve deneyin tanınması, destek vektör makinesi (SVM) şemasını benimser. SVM, iki sınıflı bir modeldir [7] Temel modeli, özellik uzayında en büyük aralığa sahip doğrusal sınıflandırıcı olarak tanımlanır.Öğrenme stratejisi, sonunda bir dışbükey karesel programlama probleminin çözümüne dönüştürülebilecek aralığı maksimize etmektir. Destek vektör makinelerinin küçük örnek, doğrusal olmayan ve yüksek boyutlu örüntü tanıma çözümünde birçok benzersiz avantajı vardır. Hareketlerin sınıflandırılması için, çıkarılan hareket özelliği vektörü V'nin N boyutlu uzayda bir nokta olarak görülmesi gerekir. Hareket özelliği sınıflandırıldığında, uzayda en uygun sınıflandırma düzlemini ve son olarak farklı hareket özelliği noktalarını arıyor olarak kabul edilebilir V Segmentasyondan sonra, son jest sınıflandırma etkisi elde edilir. Basit lineer problemler için, karşılık gelen segmentasyon düzlemi uzayda doğrudan kesilebilir.Ancak problemi çözerken daha fazla lineer olmayan problemle karşılaşılır.Bu makaledeki hareket özelliği sınıflandırması lineer olmayan bir problemdir, bu yüzden lineer olmayan dönüşüm ile dönüştürülmesi gerekir. İşleme için yüksek boyutlu bir alanda doğrusal bir probleme dönüştürülür.
Standart destek vektör makinesi [8] için, optimizasyon problemi ikinci dereceden bir programlama problemine indirgenebilir:
Doğrusal olmayan bir problemi yüksek boyutlu bir uzayda doğrusal bir probleme dönüştürmek, iç çarpım formülündeki K (x, xi) çekirdek işlevi aracılığıyla gerçekleştirilir.Farklı iç çarpım çekirdek işlevlerinin seçimi, farklı SVM algoritmalarına karşılık gelir, bu nedenle kullanılırken gerçekleştirilmesi gerekir. Çekirdek işlevi ve ilgili parametrelerin seçimi. K (x, xi) çekirdek fonksiyonunun seçimi, SVM'nin gerçekleştirilmesinde ve sınıflandırma sonuçlarında önemli bir rol oynar.
Çekirdek işlevinin seçimi iki bölümden oluşur: biri çekirdek işlev türünün seçimidir, diğeri çekirdek işlev türü belirlendikten sonra ilgili parametrelerin seçimidir. Bu nedenle, uygun bir çekirdek işlevinin seçilmesi, bu deneyde hareket tanımanın doğruluğu üzerinde önemli bir etkiye sahiptir. SVM'nin yaygın olarak kullanılan üç çekirdek işlevi aşağıda verilmiştir.
(1) Polinom çekirdek işlevi:
K (x, xi) = (xTxi + r) d (6)
(2) Radyal temel (RBF) çekirdek işlevi:
K (x, xi) = exp (x xi2) (7)
(3) Sigmoid çekirdek işlevi:
K (x, xi) = tanh (xTxi + r) (8)
Deneyde, yukarıda belirtilen farklı çekirdek işlevleri, hareket tanıma ve sınıflandırma için kullanılacak ve karşılaştırma yoluyla en iyi çekirdek işlevi seçilecektir. Listelenen üç çekirdek işlevi arasında, polinom çekirdek işlevindeki d parametresi, polinom çekirdek işlevinin en yüksek derecesini ayarlamak için kullanılır. Deneyde 3 ampirik değer kullanılır.Sigmoid çekirdeğinin r parametresi ve r parametresi de varsayılan ampirik değeri benimser. 0.
Sonuçta belirleyici bir rol oynayan parametreler ve ceza faktörü C'dir. Ceza faktörü C, uzay noktasındaki aykırı değerlere vurgu derecesini yansıtır. C'nin değeri ne kadar büyükse, o kadar fazla vurgu yapılır.
Yukarıda bahsedilen parametreler için C ve seçimi, K-kat çapraz doğrulama ve parametre optimizasyonu geçişi karşılaştırma ve seçim için kullanılır. K-kat çapraz doğrulama, test seti olarak bir alt küme her kullanıldığında ve kalan K-1 alt kümeleri eğitim için eğitim seti olarak kullanıldığında, toplam numuneyi K alt kümelerine bölmektir.K test süresinden sonra, sonuç olarak ortalama tanıma oranı kullanılır. En iyi parametre, parametre optimizasyonundan sonra en yüksek tanıma oranına sahip parametredir. Optimal parametreler elde edildikten sonra, uygun çekirdek işlevi, üç çekirdek işlevi karşılaştırılarak seçilebilir.
Spesifik yöntem, Leap Motion'ı kullanarak 50 grup tekli hareket, toplam 300 veri seti toplamak ve en iyi parametreleri elde etmek için üç çekirdek işlevinin ve ızgara parametresi optimizasyon yöntemlerinin 5 kat çapraz doğrulamasını gerçekleştirmektir. En iyi parametreler tekrar elde edildikten sonra Tanıma doğruluğunu doğrulamak için yeni test verileri olarak her hareketten 20 set olmak üzere 120 set hareket verisi toplayın. Farklı çekirdek fonksiyonlarının grid parametrelerinin optimizasyonu ile çapraz doğrulama ile elde edilen C ve parametreleri arasındaki ilişki Şekil 4, 5 ve 6'da gösterilmektedir.
Tablo 1, üç çekirdek işlevi çapraz doğrulama ve parametre optimizasyonundan sonra en iyi parametreleri elde ettikten sonra tanıma doğruluğunu doğrulamak için yeni test verilerinin sonuçlarının karşılaştırmasını göstermektedir.
Eğitim verilerinin çapraz doğrulama sonuçlarının kapsamlı analizi ve test verilerinin tanınma ve sınıflandırma sonuçlarının doğruluğu sayesinde, RBF Kernel seçimi daha yüksek bir tanıma doğruluğu elde edebilir.Aynı zamanda, RBF kernel fonksiyonunun daha iyi bir kararlılığa sahip olduğu Şekil 4'ten görülebilir. Daha az parametresi vardır ve hesaplanması kolaydır ve yaygın olarak kullanılır. 120 set test verisinin doğruluğuna göre, en iyi parametreler grid parametresi optimizasyonu geçişine ve 5-kat çapraz doğrulama yöntemlerine göre elde edilir: gama 0,5, ceza faktörü C 32'dir ve bu, sonraki sonuç doğrulama deneyleri için modelin en iyi parametresi olarak kullanılır. .
4 sonuç doğrulama
Yukarıdaki özellik çıkarma ve özellik eğitiminin iki bölümü, temel bir hareket tanıma modeli oluşturur. Model, aşağıdaki deneylerle doğrulanacaktır. Leap Motion sensörü, her hareket için 50 set veri, toplam 300 set test verisi toplar. Oluşturulan model, özellik vektörünü çıkarmak ve hareket sınıflandırması ve tanıma için SVM'ye girmek için kullanılır.Deneysel sonuçlar Tablo 2'de gösterilmektedir.
Tablo 2'deki sonuçların analizi ile 300 grup giriş hareketi verisi için, yapılandırılan tanıma modeli 293 grubu doğru bir şekilde tanıyabilir, tanıma doğruluk oranı% 97,33 ve yüksek bir tanıma oranına sahiptir. Ayrıca G2, G3 ve G4 hareketlerinin tanıma hataları olduğu görülebilir.Bunun nedeni deneyde yapılan G2, G3 ve G4 hareketlerinin benzer eylemlere sahip olmasıdır.Sıçrama Hareket hareketleri takip ettiğinde parmakların anlık üst üste binmesi kaçınılmaz olarak bilgi yanlış hizalamasına ve Birbirleri arasında kolayca yanlış tanımlanmaya neden olabilecek hatalar.
5. Sonuç
Bu makalede, Leap Motion sensörü kullanılarak parmak ucu konumu ve yön bilgisine dayalı bir hareket çıkarma ve tanıma modeli oluşturulmuştur.Modelin az miktarda hesaplaması ve yüksek verimlilik ve doğruluğu vardır.Sadece elin parmak ucu konumu ve yön bilgisini elde etmesi gerekir. Kullanıcı hareketlerini verimli ve doğru bir şekilde tanıyın. Deneysel sonuçlar, bu şemanın yüksek bir ortalama tanıma oranıyla belirli bir jest tanımayı tamamlayabildiğini, ancak benzer hareketlerin parmaklarının anlık olarak üst üste gelmesinden kaynaklanan ve hareket tanıma oranını azaltacak hatalar olacağını göstermektedir.
Bir sonraki adım, birden çok parmağın anlık üst üste binmesinden kaynaklanan hata için Kinect ve Leap Motion'ı birleştiren çok sensörlü bir hareket izleme çözümünü incelemek olacaktır. Kinect sensörü, uzun mesafedeki derinlik haritasına dayalı olarak elin tüm bilgilerini yakalayabilir [9], Sıçrama Hareket sensörü ise yerel el bilgisini kısa bir mesafede doğru bir şekilde tanımlayabilir.Bu nedenle, bu çoklu cihaz kombinasyon şemasının daha fazla bilgi elde etmek için önerilebilmesi beklenmektedir. İyi bir jest tanıma etkisi.
Referanslar
1 Li Yi. Kinect C kullanarak el hareketi tanıma. 2012 IEEE 3. Uluslararası Yazılım Mühendisliği ve Hizmet Bilimi Konferansı, 2012: 196-199.
2 WEICHERT F, BACHMANN D, RUADK B, ve diğerleri Sıçrama hareketi kontrolörünün doğruluğu ve sağlamlığının analizi J. Sensors, 2013, 13 (5): 6380-6393.
[3] Xu Chongbin, Zhou Mingquan, Shen Junchen ve diğerleri Leap Motion J tabanlı sezgisel bir hacim etkileşim teknolojisi. Journal of Electronics and Information, 2015, 37 (2): 353-359.
[4] Wu Caifang, Xie Jun, Zhou Kaidian Jest Tanıma Dayalı İnsan-Bilgisayar Etkileşimi Teknolojisi Araştırması J. Computer Times, 2016 (2): 29-32.
5 Pan Jiajia, Xu Kun. Leap Motion'a dayalı üç boyutlu serbest hareket işlemi J. Chinese Science and Technology Paper, 2015, 10 (2): 207-212.
6 Zhang Xuegong. İstatistiksel öğrenme teorisi ve destek vektör makineleri hakkında J. Açta Automatica Sinica, 2000, 26 (1): 3242.
7 Wang Jianzhi, Lin Zhiren LIBSVM: destek vektör makineleri için bir kütüphane J. Akıllı Sistemler ve Teknolojide ACM İşlemleri, 2011, 2 (3): 1-27.
[8] Yan Weiwu, Shao Huihe Destek vektör makinelerinin ve en küçük karelerin karşılaştırma ve uygulama araştırması vektör makinelerini destekler J Kontrol ve Karar, 2003, 18 (3): 356-360.
9 WACHS J P, KOLSCH M, STERN H, vd. Görme tabanlı el hareketi uygulamaları J. ACM İletişimi, 2011, 54 (2): 60-71.
