Kinect'e dayalı ev asistanı robot sisteminin tasarımı ve uygulaması
Dang Hongshe, Hou Jinliang, Zhang Chao
(Elektrik ve Bilgi Mühendisliği Okulu, Shaanxi Bilim ve Teknoloji Üniversitesi, Xi'an, Shaanxi 710021)
Evde yalnız çocuklara, yaşlılara ve hareket kabiliyeti kısıtlı hastalara daha iyi bakabilmek için Kinect tabanlı bir ev asistanı robot sistemi tasarlandı. Sistem, tek sunuculu çok istemcili bir modeli benimser ve Kinect ve akıllı telefonlar, istemci olarak sunucuya bağlanır. Yardımcı robot tasarlanıp üretilmiştir, kafa web kamerası, kol direksiyon dişli yapısı ve bacak tekerlek yapısıdır. Robotun somatosensoriyel kontrolünü gerçekleştirmek için Kinect tabanlı geliştirilmiş bir hareket tanıma algoritması önerildi; bu, yaşlıların ve hastaların nesneleri kavramasına yardımcı olabilir. Bir cep telefonu APP, dışarıdaki aile üyelerinin iç mekan koşullarını uzaktan izleyebilmesi ve evde yaşlılar ve hastalarla görüntülü görüşmeler yapabilmesi için tasarlanmıştır.
Kinect; robot; hareket tanıma algoritması; APP
Çin Kütüphanesi Sınıflandırma Numarası: TP242.6
Belge tanımlama kodu: Bir
DOI: 10.16157 / j.issn.0258-7998.2017.03.017
Çince alıntı biçimi: Dang Hongshe, Hou Jinliang, Zhang Chao.Kinect'e dayalı ev asistanı robot sisteminin tasarımı ve uygulaması.Elektronik Teknoloji Uygulaması, 2017, 43 (3): 70-72, 76.
İngilizce alıntı biçimi: Dang Hongshe, Hou Jinliang, Zhang Chao. Kinect'e dayalı ev asistanı robot sisteminin tasarımı ve uygulaması. Application of Electronic Technique, 2017, 43 (3): 70-72, 76.
0 Önsöz
Yaşlanan toplum programın ilerisine doğru geliyor, "boş yuva aileleri" gün geçtikçe artıyor ve giderek daha fazla yaşlı insan "bakımdan yoksun". Çocuklar işe gider ve ebeveynlerine refakat edemezler Zayıf olan ve kendilerine bakamayan bazı yaşlılar iyi bakılamaz. Yaşlılara evde yalnızken bazı kazalar olursa, tehlike sinyalini hızlı bir şekilde gönderemezler ve bu da ciddi sonuçlara neden olabilir. Aile üyeleri işte meşguller ve hareketlilik veya yaşamın zorlukları nedeniyle hasta veya engelli olan bazı insanlar su bardağı, ilaç vb. Ebeveynler dışarı çıkıyor ve çocukları evde yalnız kalıyor.Çocuklar yaramazlık ve oyunbazlık nedeniyle balkon gibi tehlikeli alanlara koşacaklar.Gerçek zamanlı denetim eksikliği kazalara neden oluyor. Modern gençlerin iş baskısı ve yaşam baskısı arttı.Çalışanlar sürekli iş başında, genellikle ev işlerini ihmal ediyorlar, ışıkları kapatmayı unutuyorlar, klimayı kapatıyorlar; evde gaz kaçağı ve su borusu sızıntısı gibi tehlikeli durumlar, onlarla zamanında başa çıkamamaktan kaynaklanıyor Kaza meydana gelmesi; bir hırsız eve girdiğinde zamanında polise rapor verememekte ve değerli eşyaların çalınmasıyla sonuçlanmaktadır.
Yukarıdaki problemleri çözmek için Kinect'e dayalı bir ev asistanı robot sistemi tasarlandı. Kinect, robotu belirlenen bir yere hareket edecek ve Kinect somato-duyusal kontrolü aracılığıyla nesneleri yakalayacak şekilde kontrol edebilir veya iç mekan koşullarını gerçek zamanlı olarak izlemek için robotu uzaktan kontrol etmek için bir cep telefonu uygulaması kullanabilir.
1 Sistem donanımı tasarımı
Sistem, Java tabanlı tek sunuculu çoklu istemci modelini kullanır ve Kinect ve akıllı telefonlar, istemci olarak bilgisayarda çalışan sunucuya bağlanır. Kinect bilgisayara USB üzerinden bağlanır ve toplanan verileri sunucuya gerçek zamanlı olarak göndermek için seri iletişimi kullanır. Akıllı telefon, sunucuya WiFi üzerinden bağlanır ve mobil uygulama, kontrol sinyalini sunucuya gönderir. Sunucu, müşteri tarafından gönderilen verileri gerçek zamanlı olarak toplayıp analiz eder ve robota kontrol sinyalleri gönderir. Sistemin genel yapısı Şekil 1'de gösterilmektedir.
Robotun donanım bileşimi Şekil 2'de gösterilmektedir. Robotun başı bir IP Kameradır ve temel işlevleri şunlardır: uzaktan video izleme, uzaktan görüntülü arama ve akıllı alarm. Robot kolu, toplam 8 derece serbestliğe sahip dijital bir direksiyon dişli yapısı olup, robot kolunun ucu kavrayıcı bir yapıdır. Mekanik kol, insan kollarının hareketini simüle edebilir ve nesneleri kavrayıcılarla kavrayabilir. Robotun ayağı, içeride daha hızlı ve esnek hareket etmesini sağlayan tekerlekli bir yapıdır.
Robotun ana kontrol çipi, kredi kartı boyutunda kart tipi bir bilgisayar olan Raspberry Pi'dir. Depolama ortamı olarak SD kartlı 1.24 GHz 4 çekirdekli ARM mimarili Cortex-A53 işlemci ile donatılmıştır.Anakart çevresinde USB portu kullanılarak doğrudan Arduino'ya bağlanabilen 4 adet USB portu ve bir ağ portu bulunmaktadır. Raspberry Pi, sunucu ile kablosuz olarak iletişim kurabilen yerleşik bir kablosuz WiFi modülüne sahiptir. Raspberry Pi'nin sınırlı PWM çıkış kapasitesi vardır ve 8 PWM kontrol kolunun 8 servosunu birlikte üretmek için iki Arduino kullanılır. Arduino kullanışlı, esnek ve kullanımı kolay bir açık kaynak elektronik prototip platformudur.Atmel ATmega328 işlemci ile donatılmıştır ve 14 adet dijital giriş ve çıkış portuna sahiptir. Bir Arduino aynı anda 6 PWM sinyali üretebilir ve Arduino geliştirme yazılımı, Raspberry Pi ile doğrudan iletişim kurabilen standart bir seri iletişim protokolü sağlar. Raspberry Pi, USB üzerinden Arduino'ya bağlanır ve her servo kontrol sinyali Arduino'ya seri haberleşme ile gönderilir. Dijital direksiyon dişlisi, 0 ° 180 ° 'lik hassas kontrol elde etmek için PWM sinyaline göre döner. Ayrıca robot, ev ortamını gerçek zamanlı olarak izleyebilen ve bir gaz sızıntısı veya yangın meydana geldiğinde otomatik olarak alarm verebilen duman, sıcaklık ve nem sensörleriyle donatılmıştır.
Kinect, insan kemiği verilerinin toplanmasını tamamlamak için USB aracılığıyla sunucuya bağlanır. Windows için Kinect'i kullanan çalışma prensibi, sensörün görünür ışıklı RGB kamera ve sensör üzerindeki 2 kızılötesi kamera aracılığıyla renkli görüntüleri ve 3B derinlikli görüntüleri toplamasını sağlamaktır. Kinect sensörü, görüntüleri toplarken, kızılötesi lazer nokta matrisi aracılığıyla görüntü bilgilerini iki kızılötesi kameraya geri gönderir ve operatörün X, Y ve Z koordinatlarının 3D taramasını ve konumlandırmasını gerçekleştirir. Ek olarak, görünür ışıklı RGB kamera tarafından yakalanan VGA seviyeli görüntü, insanları tanımlamak için kullanılabilir. Kinect verileri bilgisayara bir USB kablosuyla aktarılır.Bilgisayardaki Kinect veri toplama kitaplığı, sensörden gelen üç farklı veriyi seri olarak bağlar, renkli görüntüyü ve 3D derinlik görüntüsünü tek bir veri akışında birleştirir ve son olarak veri akışı Çıktı. Bu tasarım, insan hareketlerini tanımak için veri akışındaki 20 anahtar noktanın üç boyutlu koordinatlarını kullanır.
2 Sistem yazılım tasarımı
2.1 Kinect eylem tanıma algoritması
Literatürdeki insan eylemi tanıma algoritması gibi kontur ve özellik eşleştirmeye dayalı hedef izleme algoritmaları, doğruluk iyi olmasına rağmen, algoritma çok karmaşıktır, şablon eşleştirme hesaplaması çok büyüktür, paralel işleme için çok sayıda ekipman gerekir ve nispeten üst düzey bir işlemci gereklidir. . Literatürde insan eylemi tanımayı gerçekleştirmek için önerilen Kalman filtreleme algoritması gibi filtreleme tahmin izleme algoritmalarına dayanarak, veri titremesi ortadan kaldırılmış olsa da, algoritma sağlam değildir ve ışık ve arka plandaki değişikliklere çok duyarlıdır. Bu makale, insan vücudu eklemlerini işlemek için üst ve alt gövdeye ayıran, yalnızca kol kontrol robotunun gerçek zamanlı performansını sağlamakla kalmayan, aynı zamanda iki bacaklı kontrol robotunun doğruluğunu da sağlayan, geliştirilmiş bir Kinect hareket tanıma algoritması önermektedir.
2.1.1 Koordinat edinimi
Kinect, Microsoft tarafından 2011 yılında başlatılan ve esas olarak kızılötesi verici, RGB kamera ve kızılötesi derinlik kamerasından oluşan somatosensoriyel bir çevre birimidir. Gerçek zamanlı tüm vücut kemik izleme, hareket yakalama ve mikrofon girişi işlevlerine sahiptir ve bir dizi insan hareketini tanıyabilir. Bu makaledeki algoritma, operatörün 20 kilit noktasının üç boyutlu koordinatlarını elde etmek için Kinect kemik izleme teknolojisini kullanır ve bu noktaların konumlarını gerçek zamanlı olarak takip edebilir. Şekil 3, insan vücudunun kilit noktalarının şematik bir diyagramıdır.
Doğrudan alınan koordinatlar derinlik görüntüsü koordinatları olduğundan, gerçek koordinatlara dönüştürülürler. (ximage, yimage, zimage) to (xworld, yworld, zworld) dönüşüm formülü:
2.1.2 Özellik çıkarma
Kinect'in kalibre edilmemesi durumunda, insan vücudu tanınır ve operatörün konumu herhangi bir zamanda değişebilir, bu nedenle algoritma yüksek sağlamlık gerektirir. Bu yazıda algoritma tarafından çıkarılan özellik, kemik anahtar noktası koordinatlarının göreceli konumu, yani anahtar nokta koordinat vektörü tarafından oluşturulan açı özelliğidir. Kinect saniyede 30 kare görüntü elde eder, yani anahtar noktaların koordinatları saniyede 30 kez yenilenir, artı insan vücudunun sallanması, toplanan anahtar nokta koordinatları dalgalanır. Ağırlıklı yinelemeli ortalama filtreleme yöntemi koordinatları filtrelemek için kullanılır. Bir sıra olarak ardışık N örnekleme değerleriyle ilgili olarak, her yeni veri örneklendiğinde ve sıranın sonuna yerleştirildiğinde sıranın uzunluğu N olarak sabitlenir ve sıranın başındaki orijinal veriler atılır (ilk giren ilk çıkar ilkesi). Ardından farklı anlar için farklı ağırlıklar kullanın ve son olarak yeni bir filtreleme sonucu elde etmek için kuyruktaki N verisi üzerinde aritmetik ortalama işlemi gerçekleştirin. Formül aşağıdaki gibidir:
ij açısı, mevcut insan dirseğinin açı özelliğidir. Benzer şekilde, insan vücudunun tüm eklemlerinin açı özellikleri elde edilebilir. Çıkarılan açı özelliği göreceli bir özelliktir ve iyi bir sağlamlığa sahiptir.Sadece kilit noktaların göreceli konumuyla ilgilidir ve ışık, arka plan, operatör ve operatörün konumu ile hiçbir ilgisi yoktur.
2.1.3 Özellik eşleştirme
Robotun robotik kolu, operatörün çift kollu somatosensorisi tarafından kontrol edilir ve çıkarılan açı özelliği, tam olarak her bir eklem noktasının göreceli açısıdır, bu nedenle açı özelliği, direksiyon dişlisinin dönüşünü kontrol etmek için doğrudan çıkarılabilir. Alt gövde için, özellik eşleştirme yoluyla operatörün eylemlerini daha doğru bir şekilde belirlemek gerekir. Kinect, geliştirme ve Java dili programlaması için İşleme'yi kullandığından, hesaplanan eylem şablonu TXT metnine kaydedilir. Alt gövdenin bu tasarımda tanınması gereken eylemleri şunları içerir: bir vites ileri, iki vites ileri, üç vites ileri, bir vites geri, iki vites geri, üç vites geri, durdurma ve robot tutucuyu açma ve kapama. Alt vücut kemiği verilerinin açı özelliği ile eylem şablonunun açı özelliği karşılaştırılarak, insan vücudu eyleminin tanınmasını gerçekleştirmek için eşleştirme yüzdesi elde edilebilir.
2.2 Robot yazılım programlama
Robotun yazılım kısmının tamamladığı ana görevler şunlardır: sunucudan kontrol sinyalleri almak ve sinyallere göre direksiyon dişlisini ve motorları kontrol etmek. Robotun kontrol çipi Raspberry Pi, Raspberry Pi işletim sistemi ise Python dilinde programlanmış açık kaynaklı bir Linux sistemidir. Öncelikle, Raspberry Pi'yi sunucuya bir istemci olarak bağlamak için Soket kablosuz iletişimini kullanın, istemciyi açın ve sunucunun IP adresine ve bağlantı noktası numarasına bağlayın ve sunucu verilerini alın. Ardından verileri iletişim protokolüne göre ayrıştırın ve son olarak kontrol servo ve motor verilerini Arduino'ya göndermek için Firmata protokolünü kullanın. Alınan verilere göre Arduino, servo ve motorun dönüşünü kontrol etmek için farklı görev döngülerine sahip PWM sinyalleri üretmek için karşılık gelen pinleri kontrol eder. Raspberry Pi, duman sensörünün ve sıcaklık ve nem sensörünün geri bildirim değerini alır ve alarm verilip verilmeyeceğini belirlemek için ayarlanan eşikle karşılaştırılır.
Bu tasarım, dışarıdaki aile üyelerinin robot aracılığıyla gerçek zamanlı olarak evde durumu kontrol etmesine ve evde acil durumları zamanında keşfetmesine olanak tanıyan bir cep telefonu APP geliştirmek için Android'i kullanıyor. Şekil 4 cep telefonu APP arayüzünü gösterir, bağlan düğmesine tıklayın, cep telefonu APP otomatik olarak sunucuya giriş yapacaktır. Solda 360 ° dönen izleme, fotoğraf çekme ve video kaydı yapabilen gerçek zamanlı video gözetim arayüzü var.Ayrıca interkom işlevi ile evde yaşlılar ve hastalarla görüntülü görüşme yapabiliyor; sağda robotu ön ve arka ve sol ve sağ düğmelerle kontrol eden robot kontrol arayüzü. Hareket, böylece geleneksel sabit kamera gözetlemesinden farklı olan iç mekan mobil video gözetim işlevini gerçekleştirir.
3 işlev gerçekleştirme
İşleme programı Kinect derinlik verilerini toplar, verileri işlemek için yukarıdaki hareket tanıma algoritmasını kullanır ve kontrol sinyalini robota iletir. Operatör mekanik kolu her iki kolun somatosensoriyeliyle kontrol edebilir ve gerçek zamanlı performans çok iyidir; bacakların ileri ve geri hareketi robotun ileri ve geri hareketini kontrol etmek için kullanılabilir ve hız ayarlanabilir; mekanik tutucunun açılıp kapanmasını kontrol etmek için bacakların ayrılma derecesi kullanılabilir . Deneyler, bu algoritmanın yüksek bir eylem tanıma doğruluğuna sahip olduğunu ve aydınlatma, arka plan, operatör ve operatör konumundaki değişikliklerin algoritma üzerinde çok az etkisi olduğunu göstermektedir. Test sonuçları Şekil 5 ve Şekil 6'da gösterilmektedir. Sistem, robotun somatosensoriyel kontrolünü gerçekleştirebilir ve yaşlıların ve hastaların evdeki nesneleri yakalamasına yardımcı olabilir.
4. Sonuç
Robotun somatosensoriyel kontrolü sayesinde yaşlıların ve evde bakılmayan hastaların nesneleri kavramasına yardımcı olabilecek Kinect tabanlı bir ev asistanı robot sistemi tasarlandı ve üretti. Dışarıdaki aile üyeleri, iç ortam koşullarını uzaktan izleyebilir ve mobil uygulamalar aracılığıyla görüntülü görüşme yapabilir, böylece yaşlılara ve hastalara daha iyi bakılabilir. Deneysel testler sayesinde sistem normal şekilde çalışır ve yukarıdaki işlevleri gerçekleştirebilir.
Referanslar
Ma Xiang.Java Diline Dayalı Web Geliştirme Bilgisi Tartışması Bilgi Teknolojileri ve Bilişim, 2015, 13 (15): 169-171.
Su Xianglin, Chen Wenyi, Yan Sasa. Raspberry Pi Elektronik Teknolojisine dayalı Nesnelerin İnterneti'nin açık platformu, 2015, 28 (9): 35-37.
Cui Yang, Zhang Weihua.Arduino tabanlı akıllı bir ev kontrol sistemi Bilgisayar Teknolojisi ve Uygulaması, 2014, 40 (4): 123-125.
PANSARE J R, Windows uygulamalarını kontrol etmek için gizli markov modelini kullanarak dinamik el hareketlerini tanımak için BANSAL M.A sistemi International Journal of Computer Applications, 2013, 62 (15): 169-171.
SU C J, CHIANG C Y. Dinamik zaman atlama ve bulanık mantık kullanan Kinect etkin ev tabanlı rehabilitasyon sistemi Applied Soft Computing, 2014 (22): 652-666.
FABRIZIO P, SERGIO B. Kinect kullanarak el pozu ve hareket tanıma için açık kaynaklı bir çerçeve Görsel Bilgisayar, 2014 (30): 1107-1122.
Zhu Guogang, Cao Lin. Kinect sensörünün iskelet bilgisine dayalı insan eylemi tanıma Bilgisayar simülasyonu, 2014, 31 (12): 329-333.
Wang Mei, Lu Xichang. İnsan hareket tanımasına dayalı servis robot kolu hareket kontrolü Endüstriyel Kontrol Bilgisayarı, 2015, 28 (9): 59-62.
Zhan Yinwei, Yu Zhizhi. Kinect açı ölçümüne dayalı hareket tanıma algoritması. Sensörler ve Mikrosistemler, 2014, 33 (7): 129-132.
Chen Hanxiong, Huang Yayun, Liu Yu, ve diğerleri Kinect'e dayalı hava hareketi izleme ve tanımanın araştırılması ve uygulanması. Television Technology, 2015, 39 (21): 91-94.
Cai Jing, Cheng Lei, Wang Hongxia Kinect'e Dayalı Yorgunluk Sürüşü için Kapsamlı İzleme Sistemi Araştırması Bilgisayar Mühendisliği ve Bilimi, 2015, 37 (12): 2380-2385.
Xue Liang, Zhang Jifei. IOS tabanlı akıllı ev güvenlik sistemi mobil terminal tasarımı Bilgisayar Teknolojisi ve Otomasyon, 2016, 35 (2): 89-92.
