DTW ve K-araçlarına dayalı eylem eşleştirme ve değerlendirme
Wu Qiyun, Zhan Yinwei, Shao Yang
(Bilgisayar Okulu, Guangdong Teknoloji Üniversitesi, Guangzhou 510006, Guangdong)
Kinecrt tabanlı rehabilitasyon eğitim sisteminin ihtiyaçlarını karşılamak için, insan hareketlerini eşleştirmek ve değerlendirmek için bir yöntem önerilmiştir. Bu yöntem, kemik eklem noktalarının üç boyutlu koordinatlarını Kinect aracılığıyla gerçek zamanlı olarak çıkarır, kemik eklem noktalarının açısını hesaplar ve bir dizi eylem dizisinin uzamsal açı değişim değerini elde eder; daha sonra, geliştirilmiş DTW algoritması aracılığıyla, iki eylem dizisinin açı değerleri eşleştirilerek iki eylem dizisi elde edilir. Diziler arasındaki mesafe; son olarak, mesafenin büyüklüğü K-ortalamalar kümeleme yöntemi ile değerlendirilir. Deneyler, bu yöntemin insan vücudu eylem eşleştirme ve değerlendirmesini başarabildiğini ve iyi bir gerçek zamanlı performansa sahip olduğunu göstermektedir.Geleneksel DTW algoritması ile karşılaştırıldığında, tanıma oranı önemli ölçüde iyileştirilmiştir.
Eylem eşleştirme; Kinect sensörü; K-araçları; DTW
Rehabilitasyon eğitimi, hastanın terapötik etkiyi elde etmek için eğitim yoluyla hastalıklı uzuvların işlevini kademeli olarak eski haline getirmesi anlamına gelir. Kinect somatosensoriyel çevre birimleri, arka plandan ve ışıktan etkilenmeden insan hareketlerini izleyebilir ve son yıllarda rehabilitasyon eğitimine uygulanmıştır. Kinect ile birleştirilen literatür, tıbbi analiz için bir yürüteçteki bacak bilgilerini çıkarmak için kullanılır. Literatür, 3D insan duruşunu tanımak için derinlik görüntüleri elde etmek için Kinect'in derinlik sensörünü kullanır. Geleneksel yüz yüze rehberlik eğitim yöntemiyle karşılaştırıldığında, Kinect tabanlı rehabilitasyon eğitim sistemi yalnızca doktorların iş yükünü azaltmakla kalmaz, aynı zamanda hasta eğitiminin rahatlığını ve özerkliğini de geliştirebilir.
Rehabilitasyon sisteminin anahtarı insan hareketlerinin tanınmasıdır. Son yıllarda, insan eylemini tanıma üzerine araştırmalar çok aktif. NATARAJAN P ve diğerleri, CRF'yi insan hareketi tanımada kullandı. Shi Qinfeng ve arkadaşları, sürekli eylem dizileri için deterministik bir Markov modeli (yani HMM algoritması) önerdi. Önce CRF ve HMM algoritmalarının modellenmesi gerektiğinden, algoritma karmaşıklığı nispeten büyüktür. Bu nedenle, bu makale bir insan eylemi tanıma yöntemi önermektedir. Yöntem, kemik eklem noktalarının üç boyutlu koordinatlarını gerçek zamanlı olarak çıkarmak için Kinect'i kullanır, kemik eklem noktalarının uzamsal açısını hesaplar, uzamsal açı değişim değerine göre bir dizi eylemi tanımlar ve ardından iki eylem dizisini iyileştirilmiş DTW algoritması aracılığıyla birleştirir İki dizi arasındaki distorsiyon değerini elde etmek için açı değeri eşleştirilir ve son olarak K-ortalama kümeleme yöntemi ile eylem değerlendirme sonucu elde edilir.
Kinect sensörü, rehabilitasyon eğitim sisteminin temel veri toplama cihazıdır. Kinect, Şekil 1'de gösterildiği gibi ayakta duran bir insan iskeletini temsil etmek için 20 eklem noktası kullanır.
Şekil 1 İnsan iskelet eklem noktaları
Bir eklem ve ona bitişik iki eklem bir açı oluşturur. Şekil 2'de gösterildiği gibi, dirsek eklemi E, bilek eklemi W ve omuz eklemi J, tepe noktası olarak E ile bir açı oluşturur.
Şekil 2 İnsan eklem açısı
Eklem açısını hesaplamak için kosinüs yasasını kullanın:
Kinect kullanarak bir dizi hareket eklem noktası koordinatı elde etmek, her karedeki eklem noktasının uzay açısı değerini hesaplamak ve iki hareket kümesinin benzerliğini belirlemek, iki açı dizisi arasındaki benzerliği belirlemektir. İki açı serisinin benzerliğinin belirlenmesi, iki zaman serisi arasındaki mesafenin bir ölçümü olarak kabul edilebilir.
2 Eylem eşleştirme
Rehabilitasyon eğitiminde, eğitmen standart hareketleri taklit etmeye çalışacak, ancak zamanlamada yine de büyük farklılıklar olacaktır. Bu nedenle, eylem sırasını düzenlemek ve mesafe ölçüm sürecindeki zaman ekseni farkını çözmek için dinamik zaman atlama algoritması DTW'yi kullanmak gereklidir.
2.1 Dinamik zaman atlama algoritması DTW
X ve Y sırasıyla m ve n uzunluk dizileri olsun:
Xm ve yn arasındaki mesafeyi d (xm, yn) olarak hatırlayın, d (m, n), 1mM, 1nN olarak kısaltılır.
İki sıra arasındaki eşleşen mesafe, dk (m, n) mesafesinin ağırlıklı toplamıdır:
Elde edilen yol A'nın global optimal bir düzenli yol olmasını sağlamak için kısıtlamalar vardır: yol (1, 1) 'den sona (M, N) başlamalıdır; yol, zaman dizisini monoton tutar ve azalmaz; m ve n yalnızca sıralı olarak artabilir 0 veya 1, yani (m, n) 'den sonraki nokta (m + 1, n), (m, n + 1) veya (m + 1, n + 1) olmalıdır; yolun eğimi çok küçük veya çok büyük olamaz Eğim, 0,5 ~ 2 aralığında sınırlandırılabilir.
En küçük kümülatif mesafeye sahip yol, optimal düzenlenmiş yoldur.Tek ve sadece bir tane vardır. Formül (5) ve kısıtlama koşullarına göre, DTW mesafesinin özyinelemeli formülü elde edilebilir:
2.2 Genel DTW iyileştirme yöntemleri
DTW algoritması mesafe ölçümünde yüksek doğruluğa sahip olmasına rağmen, büyük miktarda hesaplamaya sahiptir ve hem zaman karmaşıklığı hem de uzay karmaşıklığı O (M × N) 'dir. Son yıllarda, DTW algoritmasının en gelişmiş yöntemleri şunlardır: küresel yol sınırlaması ve uç nokta hizalama iyileştirme yöntemlerinin gevşetilmesi.
Literatürdeki global yol kısıtlama yöntemi, yolun eğimini 1/3 ile 3 arasında sınırlandırmaktır. Bu yöntem DTW hesaplamalarının miktarını azaltır, ancak doğruluk azalacaktır.
Pratik uygulamalarda ortam gibi çeşitli faktörlerin etkisiyle başlangıç noktası ve bitiş noktası değişerek hatalara neden olacaktır.Bu nedenle bitiş noktası hizalamasını gevşetme yöntemi (1, 1), (1, 2), (2, 1), (1) 'den başlamaktır. , 3), (3, 1) vb., Gevşeme başlangıç noktası olarak minimum bir değer seçin ve bitiş noktası (N, M), (N-1, M), (N, M-1), (N-2, M) Gevşeme bitiş noktası olarak minimum bir değer seçin. Bu yöntem hesaplama miktarını azaltmaz, ancak doğruluğu artırır ve hataları azaltır.
2.3 Bu yazıda geliştirilmiş DTW algoritması
Şu anda, genel DTW iyileştirilmiş algoritma, aynı anda hesaplama doğruluğunu ve miktarını karşılayamamaktadır.Bu makale, doğruluğu sağlarken algoritma karmaşıklığını artırmak için geliştirilmiş bir DTW yöntemi önermektedir.
Bu makalenin deneyinde, nihayet elde edilmesi gereken, optimal düzenlenmiş yolun kümülatif mesafe değeridir, her yinelemenin yalnızca bir hizalama zaman çifti (xm, yn), (m, n) olarak kısaltılmış olarak saklanmalıdır. Bu nedenle, tüm zaman çiftlerini saklamak için bir matris kullanmak gerekli değildir.Sadece 2 sütunu saklamak için değiştirebilirsiniz.Sırasıyla 2 × n saklama mesafesi ve zaman çiftleri olan dist ve pos dizileri.İki sütun, işaretçi cur olan pre ve cur ile temsil edilir. Şekil 3'te gösterildiği gibi, her zaman geçerli zaman noktası bilgisine işaret eder, iki dizinin geçerli zamanını ve mesafesini döndürür ve önceki geçerli zamanı gösterir.
Şekil 3 Veri saklama
Bu nedenle, DTW algoritma formülü (6) şu şekilde değiştirilebilir:
M, X dizisindeki cur ile gösterilen zamandaki noktadır ve yukarıda saklanan, elde edilen optimal yolun global mesafesidir. Benzer şekilde, optimal yol pos tarafından saklanır:
Dist ve pos dizilerinin iki sütunu vardır: Tablo 1'de gösterildiği gibi, dizide hareket sağlamak ve dizi öğelerinin işlem süresini azaltmak için işlemleri belirtmek için pre ve cur işaretçileri döngüsü.
Bu makaledeki geliştirilmiş DTW iki dizi dist ve pos içerdiğinden, her dizinin boyutu 2 × N'dir ve her zaman noktasında yalnızca iki dizinin çalıştırılması gerekir, bu nedenle zaman karmaşıklığı ve uzay karmaşıklığının her ikisi de O (N) olur. Geleneksel DTW O (M × N) ile karşılaştırıldığında, hız önemli ölçüde iyileştirilmiştir.
3 Eylem değerlendirmesi
Sürekli bir eyleme dahil olan birden fazla eklem açısı değişim dizisi vardır.İki eylemdeki tüm eklem açısı değişim dizilerinin mesafesi, geliştirilmiş DTW algoritması ile elde edildikten sonra ortalama değer alınır ve değerlendirme sonucunu elde etmek için mesafenin ortalama değeri analiz edilir.
Deneysel örnekler yapmak için mükemmel, iyi ve niteliklere göre her eylem için 5 kişi seçin ve bu makaledeki geliştirilmiş DTW aracılığıyla standart eylem dizisinden mesafeyi hesaplayın. "Nitelikli" nin alt sınırı D olarak en uzun mesafeyi seçin. 0 D'yi 3 kısma bölün, W-0 = Q-W = D-Q, W ve Q'yu iyi ve nitelikli başlangıç merkez noktaları olarak alın ve mükemmel merkez noktası her zaman 0'dır.
Parametrelerin yalnızca W ve Q olmak üzere iki segmentasyon noktasına sahip olması nedeniyle, Kortalama algoritması, her bölgeyi kümelemek için K = 2'yi alacak şekilde seçilir. Numune noktası R ve 0, W ve Q arasındaki mesafeyi hesaplayın ve üç nokta arasındaki en küçük mesafeyi numune noktası alanı olarak alın.
İyi ve nitelikli tüm numune noktalarının merkezlerini hesaplayın:
Bunlar arasında C, iyi alanın ağırlık merkezidir, M, alana dağılmış örnek noktalarının sayısıdır ve dcw, örnek noktasından M'ye olan mesafedir.
Alan K ortalamalarına bölünürken, iyi ve nitelikli beklentiler hesaplanmıştır.Her bir alanın beklenen varyansının Gauss dağılımına uygun olduğu varsayılarak, her alanın beklenen ve varyansı maksimum olasılık tahmini ile elde edilebilir:
Sırasıyla toplamı türettikten sonra, toplam çözülür:
Burada xk, k'inci numune ile standart numune arasındaki mesafeyi temsil eder ve N, toplam eleman sayısını temsil eder. Üyelik işlevi normalleştirmeden sonra elde edilir:
Test eyleminin açı sırası ve standart eylem, geliştirilmiş DTW algoritması ile hesaplandıktan sonra, eylemin değerlendirme sonucu üyelik fonksiyonu tarafından belirlenir.
4 Deneysel analiz
Deney, bir rehabilitasyon eğitim sisteminde gerçekleştirildi. Deneyci, hareket etmek için standart eylemi simüle etmek üzere sanal karakteri kontrol etmek için Kinect'i kullanır Deneycinin eylemini standart eylemle eşleştirdikten sonra eylem değerlendirme sonucu elde edilir. Deneyde, 4 set egzersiz eğitimi için her biri 10'ar egzersiz olmak üzere 10 kişi seçildi. Şekil 4 eğitim egzersizlerini göstermektedir: dirsek uzatma yan kaldırma (1-2-1), dirsek fleksiyon yan kaldırma (1-3-4-1), baş ve omuzlar (1-5-6-7-1) Ve karmaşık eylemler (1-2-3-4-5-6-7-8).
Şekil 4 Eylem şeması
Deneyde, DTW algoritması, HMM algoritması, genel geliştirilmiş DTW algoritması ve bu makaledeki geliştirilmiş DTW algoritması sırasıyla eylemleri eşleştirmek için kullanılmıştır.Deneysel sonuçlar, karşılaştırma standardı olarak başarılı tanımlama sayısını ve oranı (birim: s / zaman) kullanır, Tablo 2'ye bakınız.
5. Sonuç
Deneyler, bu makaledeki geliştirilmiş DTW yönteminin insan hareketlerini doğru ve etkili bir şekilde tanıyabildiğini göstermektedir.Geleneksel DTW algoritması, genel geliştirilmiş DTW algoritması ve HMM algoritması ile karşılaştırıldığında, eşleştirme oranı, doğruluğu etkilemeden önemli ölçüde iyileştirilmiştir. Eylem ne kadar karmaşıksa, süre o kadar uzun olur. Hız artışı etkisi o kadar iyi olur. Bir sonraki çalışmada, rehabilitasyon eğitim sisteminin arayüz tasarımı daha ayrıntılı incelenecektir.
Referanslar
HU R Z L, HARTFIEL A, TUNG J, ve diğerleri Hareketli bir platform üzerinde yapılandırılmış ışıklı bir kamera ile yürüteç kullanıcılarının alt uzuvlarının 3D poz takibi Bilgisayar Görme ve Desen Tanıma Atölyeleri, 2011: 29-36.
Zheng Xiao, Fu Mengyin, Yang Yi ve diğerleri Kinect kullanarak 3D İnsan duruş tanıma.20124. Uluslararası Akıllı İnsan-Makine Sistemleri ve Sibernetik Konferansı (IHMSC), 2012: 344-347.
NATARAJAN P, NEVATIA R. Multiview şekil akış modellerini kullanarak değişmez eylem tanımayı görüntüleyin ve ölçeklendirin IEEE Uluslararası Bilgisayar Görüsü ve Örüntü Tanıma Konferansı Bildirileri, Alaska, ABD, 2008: 1-8.
Shi Qinfeng, Cheng Li, Wang Li, vd.Ayrımcı yarıMarkov modellerini kullanarak insan eylemi segmentasyonu ve tanıma. International Journal of Computer Vision, 2011, 93 (1): 22-32.
Huang Tianyu, Shi Chongde, Li Fengxia vb. Ayrımcı rastgele alan modeline dayalı bir çevrimiçi davranış tanıma yöntemi. Chinese Journal of Computers, 2009, 32 (2): 275-281.
KRUSKALL J, LIBERMAN M. Simetrik zaman atlama problemi: süreklilikten ayrıklığa Zaman Bükülmelerinde, Sicim Düzenlemeleri ve Makromoleküller: Dizi Karşılaştırma Teorisi ve Uygulaması Addison-Wesley, 1983, 23 (5): 125-161.
ABID H, HARUNUR R. Hızlandırılmış DTW ile kullanıcıdan bağımsız el hareketi tanıma. Bilişim Elektroniği ve Görme (ICIEV), 2012 Uluslararası Konferansı, 2012: 1033-1037.
HSU Y L, CHU C L. El yazısı ve hareket tanıma için dinamik zaman atlatma tanıyıcıya sahip bir eylemsiz kalem IEEE Sensors Journal, 2015, 15 (2): 154-163.
KAPRYKOWSKY H, RODET X. Ses hizalamasına puan vermek için küresel olarak en uygun kısa süreli dinamik zaman atlama uygulaması ICASSP 2006 Proceedings. 2006.
AET üyeleri için yıl sonu avantajları!
