Kinect'e dayalı sanal kültürel kalıntılar etkileşimli görüntüleme sisteminin tasarımı ve uygulaması
Wang Xiangqiang, Huang Jun, Zhang Zuoyun
(Chongqing Sinyal ve Bilgi İşleme Anahtar Laboratuvarı, Chongqing Posta ve Telekomünikasyon Üniversitesi, Chongqing 400065)
: İnsan vücudu verilerini, renk verilerini ve derinlik verilerini yakalamak, toplanan verileri analiz etmek, elin ana hatlarını çizmek ve derinlik bilgisine göre hareketin anlamını tanımak için Kinect'in yerel kemik izleme teknolojisini kullanma. Mantıksal işlemden sonra, Kinect cihazı Bilgiler, işlem komutları oluşturmak için bilgisayara gönderilir ve sanal kültürel kalıntılarla eşlenir ve sanal kültürel kalıntılar, taşıma, yakınlaştırma ve döndürme gibi ilgili eylemleri gerçekleştirir. Test sonuçları, sistemin istikrarlı ve güvenilir bir şekilde çalıştığını ve deneycilerin somatosensoriyel etkileşim teknolojisi aracılığıyla sanal kültürel kalıntıları daha iyi kontrol edebildiğini gösteriyor. Sanal kültürel kalıntılar etkileşimli görüntüleme sistemi, kültürel kalıntıların geleneksel gösterimini kırar ve izleyicinin sergiye aktif olarak katılmasını sağlar.
: Kinect; kemik izleme; hareket tanıma
: TP391 Belge tanımlama kodu: ADII: 10.19358 / j.issn.1674-7720.2017.02.014
Alıntı biçimi : Wang Xiangqiang, Huang Jun, Zhang Zuoyun Kinect sanal kültürel kalıntılar etkileşimli görüntüleme sisteminin [J] tasarımı ve uygulaması. Mikrobilgisayar ve Uygulama, 2017, 36 (2): 41-43, 47.
0 Önsöz
Bill Gates 2008 yılında "doğal kullanıcı arayüzü" kavramını önerdi ve insan-bilgisayar etkileşiminin önümüzdeki birkaç yıl içinde büyük ölçüde değişeceğini öngördü.Klavyenin ve farenin kademeli olarak daha doğal dokunuş, görsel ve sesle kontrol edileceğini tahmin etti. Arayüz değiştirilir. Kinect, bir hareket yakalama cihazıdır. Kinect ve kullanıcının birleşimi eksiksiz bir kontrol sistemi oluşturur.
Şu anda ülkemizde birçok müzenin kurduğu sanal müzelerin çoğu modelleme için VRML dilini kullanıyor ve WRL dosya tarayıcı eklentisi yardımıyla IE'ye dayalı gezinti yaparak kullanıcıların rahat ve hızlı bir şekilde gezinebilmesini sağlıyor. Bununla birlikte, VRML, ilgili olaylar için sınırlı işleme kapasitesine sahip olan, kullanıcılarla zayıf etkileşime sahip olan ve veri tabanına bağlanamayan tarayıcı tabanlı bir betik dilidir. Sanal sergi salonunun inşası sırasında kültürel kalıntı modellerinin manuel olarak eklenmesi gerekir [1] .
Yukarıdaki sorunlara yanıt olarak, bu makalede tasarlanan sanal kültürel kalıntılar etkileşimli görüntüleme sistemi, kültürel kalıntıların ayrıntılı bilgilerini depolamak için MySQL veritabanını kullanır; 3D model dosyalarını depolamak ve bunları sistem tarafından almak için FTP sunucusunu kullanır; kullanıcıları kültürel kalıntı modellerinden uzak tutmak için Kinect jest tanıma teknolojisini kullanır. Zayıf etkileşim yeteneği sorununu etkili bir şekilde çözen etkileşim. Bu makale ayrıca el simgelerinin titreme problemini etkili bir şekilde çözmek için K-Means algoritmasını önermektedir.
Bir müzede, izleyicinin ilgilendiğiniz kültürel kalıntıları seçmek için yalnızca jestlerle sanal bir düğmeye dokunması ve kültürel kalıntıları taşımak, büyütmek ve döndürmek için yalnızca jestleri değiştirmesi gerektiği düşünülebilir. Sanal kültürel kalıntıların ziyaretçilerle etkileşim biçimi, sergiyi daha çekici hale getiriyor.
1 Sistem tanıtımı
Kinect tabanlı sanal kültürel kalıntılar etkileşimli görüntüleme sisteminin yapısı temel olarak bir görüntüleme modülü, bir kültürel kalıntı kontrol modülü, bir UI etkileşim modülü, bir kültürel kalıntı depolama modülü ve bir hareket yakalama ve tanıma modülünden oluşur.Çeşitli modüller, eksiksiz işlevlere sahip bir sanal kültürel kalıntı görüntüleme sistemi oluşturmak için birlikte çalışır. , Şekil 1'de gösterildiği gibi.
Şekil 1 Sistem yapısı şeması (1) Görüntü modülü: Sahnedeki kullanıcı görüntülerini elde etmekten ve sanal kültürel kalıntı modellerini ve kullanıcı görüntülerini birleştirip görüntülemekten sorumludur.
(2) Kültürel kalıntı kontrol modülü: Sanal kültürel kalıntı modelinin konumunu, boyutunu ve açısını ayarlamaktan ve hareket yakalama ve tanıma modülü tarafından gönderilen kontrol bilgilerini almaktan ve ilgili değişiklikleri yapmaktan sorumludur.
(3) UI etkileşim modülü: Arayüz kontrolünün konumunu elde etmekten ve buna göre yanıt vermek için kullanıcının elinin konumunu karşılaştırmaktan sorumludur.
(4) Hareket yakalama ve tanıma modülü: Kullanıcının elinin kilit noktalarını yakalamak ve elin derinlik bilgisini elde etmek ve ardından bilgileri işlemek, kullanıcının hareketinin anlamını tanımlamak ve kültürel kalıntı kontrol modülüne talimatlar göndermekle sorumludur.
(5) Kültürel kalıntı depolama modülü: Sistem, MySQL veritabanı ve FTP sunucusunu içerir. Sanal eserlerin sayısı, hanedanı ve diğer ayrıntılı bilgileri MySQL veritabanında saklanacaktır. Sanal kültürel kalıntı modeli nispeten geniş bir alan kapladığından, model FTP sunucusuna yerleştirilir ve doğrudan yazılım tarafından çağrılır.
Kinect tabanlı sanal kültürel kalıntılar etkileşimli görüntüleme sisteminin yapılandırılmış tasarımı, sistemin esnekliğini artırır ve modüller arasındaki bağlantıyı azaltır.Farklı modüller, her modülün işlevlerini bağımsız ve verimli bir şekilde tamamlayabilmesi için arayüzler aracılığıyla iletişim kurar.
2Kinect tanıtımı
Kinect somatosensoriyel ekipman temel olarak renkli kamera, derinlik kamerası ve kızılötesi projektörden oluşur. Kinect cihazı ile sıradan kamera arasındaki fark, kızılötesi yayma ve kızılötesi alım işlevleridir Bu işlev aracılığıyla Kinect, sahnenin derinlik bilgilerini elde edebilir. Kinect'in temel prensibi şudur: kızılötesi projektör, kızılötesi spektrumu aktif olarak yansıtır.Kaba nesneleri ışınladıktan veya buzlu cama nüfuz ettikten sonra, spektrum bozulur ve daha sonra kızılötesi kamera tarafından okunan rastgele yansıma noktaları, yani benekler oluşur. Bu benekler oldukça rastgeledir ve mesafe değiştikçe benekler de değişir ve aynı uzaydaki farklı benek desenleri farklıdır [2]. Bu nedenle, benek alanı kodlamak için kullanıldığı sürece, bir nesne uzaya girdiğinde yeri belirlenebilir.
3 sistem yazılım tasarımı
Sanal kültürel kalıntılar etkileşimli görüntüleme platformu yazılımı WPF kullanılarak geliştirilmiştir. WPF, Microsoft tarafından başlatılan Windows Vista'nın kullanıcı arabirimi çerçevesidir. Birleşik bir programlama modeli, dili ve çerçevesi sağlar ve arayüz tasarımcıları ile geliştiricilerin çalışmalarını gerçek anlamda ayırır.Aynı zamanda yepyeni bir multimedya etkileşimli kullanıcı grafik arayüzü sağlar. WPF'nin en önemli özelliği, 3B modelleri desteklemesi ve modeller için tıklama olaylarıdır. Tüm sanal kültürel kalıntı görüntüleme sistemi yazılım tasarımı, Kinect somato-duyusal ekipmanı ve WPF çerçevesini ve diğer teknik araçları kullanır; bunlar arasında hareket tanıma, UI etkileşimi, kültürel kalıntı görüntüleme ve aktif seçim, iyi etkileşimli deneyim ve sanal kültürel kalıntı görüntüleme için operasyonu gerçekleştiren kültürel kalıntı depolama akıllı etkileşimli görüntüleme sistemi bulunur. Uygun hedef. Sanal kültürel kalıntıların etkileşimli görüntüsünün ana işlevsel modülleri Şekil 2'de gösterilmektedir.
3.1 GUI tasarımı
Ana arayüz, insan vücudunun makul çalışma mesafesine göre tasarlanmış farklı işlevlere sahip dört hareketli düğme içerir. Bu dört hareketli düğmenin işlevleri sanal kültürel kalıntı görüntüleme, sanal kültürel kalıntı ayrıntıları, müze videosu tanıtımı ve çıkıştır. Bu projenin tasarımında en önemli şey sanal kültürel kalıntı görüntüleme işlevidir. Kullanıcı sanal kültürel kalıntı görüntüleme yüzen düğmesini seçtiğinde, yazılım başka bir pencere açacaktır.Kullanıcı, kültürel kalıntıları farklı hareketlere göre hareket ettirme, yakınlaştırma, uzaklaştırma ve döndürme gibi kendi ilgi alanlarına ve hobilerine göre kontrol etmek için farklı hanedanların kültürel kalıntılarını seçebilir.
3.2 Yüzer düğme
Yüzer düğmenin kontrol akışı Şekil 3'te gösterilmektedir. Yüzen düğme aslında ortak bir kontroldür Üç durum vardır: geçme, basma ve çıkma, yanlışlıkla [3] 'e tıklama sorununu etkili bir şekilde çözebilir. Kinect SDK, önce kullanıcının sol elini mi yoksa sağ elini mi kaldırdığını algılar ve ardından sol veya sağ elin üç boyutlu koordinat verilerini alır ve ardından arayüzde bir el simgesini etkinleştirir ve tutamacın üç boyutlu koordinatlarını iki boyutlu koordinatlara dönüştürmek için koordinat eşleme yöntemini kullanır , Dönüştürülen iki boyutlu koordinatlar el simgesine eşlenir, böylece arabirimdeki el simgesi, arabirimdeki kullanıcının eli ile hareket eder. Kullanıcının el simgesi yüzen düğmeye dokunmadığında değişmez. El simgesi düğme alanına hareket ettiğinde, el simgesinin etrafında bir ilerleme çubuğu kontrolü görünecektir. Süre 2 saniyeyi aştığında, yüzen düğme OnClick olayı tetiklenecektir. El simgesi düğme alanında olmadığında, yüzen düğme başlangıç durumuna dönecektir.
3.3 El simgesi titreme sorununu çözün
Şekil 4 İki boyutlu koordinat noktası grubu Kinect, her saniye 30 kare derinlik / RGB verisi toplar.Her çerçevede elde edilen kemiklerin üç boyutlu koordinatları farklıdır ve iki boyutlu koordinatlara dönüştürme de farklıdır, bu nedenle iki boyutlu Koordinatlar el simgesi ile eşleştirilir ve el simgesi titrer. Yazılım programlamada, Şekil 4'te gösterildiği gibi 30 kare iki boyutlu koordinat verisi alın.
Bu makalenin tasarımı seğirme problemini hesaba katar ve K-Means algoritmasını [4] kullanarak bir çözüm önerir. Temel yöntem: önce yazılımdaki kemik 3D verisinin en son 6 çerçevesini çıkarın ve sonra bunu 2D koordinatlara dönüştürün veri. Daha sonra, grafikteki K tohum noktalarını rastgele seçmek için K-Ortalamaları algoritmasını kullanın ve ardından tüm noktalar için K tohum noktalarına olan mesafeyi hesaplayın.Pi noktası, tohum noktasına en yakınsa, pi si noktası grubuna aittir. Ardından, çekirdek noktasını kendisine ait olan nokta grubunun merkezine taşıyın. Ardından, tohum noktası hareket etmeyene kadar yukarıdaki adımları tekrarlayın. Son olarak, her noktanın X / Y koordinatlarının ortalaması kullanılarak, nokta grubunun merkezinin koordinatları hesaplanır. İki boyutlu koordinatların 6 karesinden oluşan nokta grubunun merkez koordinatlarını el şeklindeki simgeye eşlemek, titreşim problemini etkili bir şekilde çözebilir. Spesifik algoritma akışı Şekil 5'te gösterilmektedir.
3.4 Kültürel kalıntı seçimi ve kontrolü
Sistem ilk olarak, Tablo 1 ve Tablo 2'de gösterildiği gibi müşterilerin [5] ihtiyaçlarına göre kullanıcının hareket davranışı için standart bir protokol yaptı. Kullanıcının hareketi sözleşmede belirtilmediği taktirde sistem herhangi bir yanıt vermeyecektir.
Sanal kültürel kalıntıyı çalıştıran kullanıcının akışı Şekil 6'da gösterilmektedir. Kullanıcılar, hangi hanedanın kültürel kalıntılarının görüntüleneceğini seçmek için sol ve sağ ellerini kullanabilirler, sadece ellerini 2 saniye boyunca simge düğmesinin üzerine koyun. Kullanıcı Qing Hanedanı'nın bir kültürel kalıntısını seçtiğinde, arayüzün sağ tarafında kültürel kalıntının iki boyutlu bir resmi görünecek ve kullanıcı belirli kültürel kalıntıları seçmeye devam edebilecek. Kullanıcı daha çok ilgilendiği bir kültürel kalıntı seçtiğinde, arayüzde bir 3B kültürel kalıntı modeli görünecek ve kullanıcı modeli döndürme ve yakınlaştırma gibi hareket protokolüne göre işleyebilecektir. Kullanıcılar diğer kültürel kalıntıları görmek istediklerinde, yalnızca mevcut kültürel kalıntıları iptal etmeleri gerekir. Kullanıcı mevcut kültürel kalıntı modeli ile fotoğraf çekmek istediğinde, elini kamera düğmesine koyması yeterlidir ve sistem resmi bir klasöre kaydedecektir.
4 deneysel sonuç
Sistemin güvenilirliğini ve yanıt süresini doğrulamak için aşağıdaki saha testleri yapılmıştır. Test ortamı Windows SDK 1.8 için Win10 + WPF + Kinect'tir. Test cihazı Kinect'in önünde durdu ve farklı hareket tanımanın doğruluğunu onaylamak için farklı hareketler yaptı.
Deneysel sonuçlar, Kinect kullanımının kullanıcı hareketlerinin anlamını doğru bir şekilde belirleyebileceğini göstermektedir.Uygun algoritma ve el şeklindeki simgelerin titreme probleminin çözümü aracılığıyla, sanal kültürel kalıntıların konumu, açısı ve duruşu kontrol edilir ve bu da Kinect'e dayalı sanal eserleri tamamen doğrular. Kültürel kalıntıların interaktif görüntüleme sisteminin fizibilitesi.
5 sonuç açıklaması
Kinect'e dayalı sanal kültürel kalıntılar etkileşimli görüntüleme sistemi yeni ve anlamlı bir konudur. Bu makale, Kinect ve WPF'yi, iyi bir kullanıcı deneyimi ve eksiksiz işlevlerle bir dizi kullanıcı-sanal kültürel kalıntı etkileşim sistemini tamamlamak için kullanır. Sistem, verilerin analizi ve kullanıcının vücut dilini kapsamlı bir şekilde tanımlayarak insan iskeleti koordinat verilerini elde etmek için Kinect'i kullanır ve ardından kullanıcı ile 3B kültürel kalıntılar arasındaki etkileşimi gerçekleştirmek için bunu 3B kültürel kalıntılarla eşleştirir. Bu makale ayrıca, kullanıcıların daha iyi bir deneyim yaşamaları için ekrandaki el şeklindeki simgelerin titreme problemini çözmek için K-Means algoritmasının kullanımını önermektedir. Bir sonraki araştırma yönü, mobil Uygulama ve Unity3D geliştirme yöntemlerini kullanmaktır.Örneğin, kültürel kalıntı resimlerini tarayarak, cep telefonu ekranında 3B kültürel kalıntı modelleri belirir ve kullanıcılar ekrana dokunarak 3B kültürel kalıntılarla etkileşim kurabilir. Bu, birden fazla kullanıcının sorununu etkili bir şekilde çözebilir, böylece her kullanıcı müze sergisine aktif olarak katılabilir.
Referanslar
1 Liu Pengfei Sanal Müze Sisteminin Tasarımı ve Uygulanması D Changchun: Jilin Üniversitesi, 2011.
2 Ma Yuansi Kinect D tabanlı içerik görüntüleme sisteminin tasarımı ve uygulaması Zhengzhou: Zhengzhou Üniversitesi, 2014.
3 Han Na, Chen Dongwei, Zhong Dancheng, vb. Kinect J on tabanlı sanal bağlantı sisteminin tasarımı ve uygulaması. Bilgi Teknolojisi, 2015 (7): 59-61.
[4] Chen Hao. K-algoritması [DB / OL] anlamına gelir. (2013-11-28) [20160825]
[5] Hu Yan Kinect D 'ya dayalı sanal bağlantı sisteminin tasarımı ve gerçekleştirilmesi Wuhan: Huazhong Bilim ve Teknoloji Üniversitesi, 2013.
