VR Etkileşim Görevi: Ne tür bir el etkileşimine ihtiyacımız var? Zor Açık Sınıf Oluşturma
Gerçek dünya ile etkileşim kurmamızın ana yolu elle yapmaktır ve aynı şey VR dünyasıyla etkileşimimiz için de geçerlidir.
Yalnızca birkaç sabit hareketi olan Inmeji ve HoloLens gibi hareket etkileşiminin başlangıç seviyesinden, kullanıcının parmak eklem hareketini izleyen ve sanal alanda bir tutamaçla etkileşim kurmak için tüm eli sanal bir alanda simüle eden Leap Motion ve uSens'e kadar. Vive kolu ve Touch'ın yanı sıra Dexmo ve Microsoft tarafından geliştirilen kuvvet geri bildirimi gibi daha etkileşimli boyutlar ekleyen ürünler.
Hemen hemen tüm VR şirketleri, kullanıcının VR dünyası ile el etkileşimi ile uğraşmak zorundadır Mevcut el etkileşimiyle ilgili sorunlar nelerdir? VR dünyasıyla etkileşimimizi nasıl daha gerçek ve doğal hale getirebiliriz?
Bu açık sınıfta, VR alanında teknik bir uzman olan Zhang Menghan'ı bu konuları herkes için yorumlaması için davet ettik.
Konuk tanıtımı
Zhang Menghan, erkek, teknik uzman ve sanal gerçeklik alanında kıdemli mühendis. 2012'den bu yana, VR / AR alanında teknoloji araştırma ve geliştirme ile uğraşmaktadır ve şu anda VR / AR etkileşimi alanında teknik keşif ve araştırmalara odaklanmaktadır.
Aşağıdaki içerik, açık sınıftan düzenlenmiştir.
Mevcut ana akım VR etkileşim yöntemi
Bu soruyu cevaplamadan önce, ARVR'deki etkileşimin anlamını açıklamak istiyorum.
Mevcut VR ürünlerinin ürün formları kademeli olarak birbirine yaklaşıyor ve dünyada nitelikli ekranlar, optikler, yongalar ve diğer önemli bileşenleri ve malzemeleri sağlayabilen sadece birkaç şirket var.Büyük üreticilerin tanıtımından sonra, giderek daha fazla referans tasarım var. VR kaskları Gelecek, ekran üretimi işidir ve giderek daha az farklılaşma noktası vardır.
Microsoft Kinect
Şu anda, herkes sanal gerçeklik etkileşimi üzerinde çok çalışıyor.Kısa vadede bu, ürünün kendisinin farklılaşmış talebidir.Bu sadece kullanıcı deneyimi ile değil, aynı zamanda içerik ekolojisinin kendisiyle de ilgilidir. Microsoft Kinect'i örnek olarak alırsak, somatosensoriyel etkileşim tasarımına dayalı olarak geliştirilen oyunlar, fiili platforma özel oyunlar haline geldi ve birçok kişinin Xbox satın almasının temel nedeni haline geldi.
Uzun vadede, VR ve AR cihazları etkileşim alanında birbirine bağlıdır ve Şu anki aşama sadece öncü bir dönem: işletim arayüzü iki boyutlu bir düzlemden üç boyutlu bir alana değişiyor, ancak henüz PC çağındaki fare ve klavye arayüzüne benzer evrensel olarak tanınan bir etkileşimli paradigma oluşturmadı.Bu tür fırsatların tüm insanlar için olduğu söylenmelidir. Bir ömür boyu bilgisayar etkileşiminde bulunan profesyoneller için nadir bir fırsat.
Bu arka plana karşı, VRAR etkileşiminin kapsamını genişletme eğilimindeyim:
Biri, genellikle herkesin ilgisini çeken kişiler tarafından başlatılan etkileşimli eylemlerdir. , El etkileşimi, somatosensoriyel etkileşim vb. Gibi, bu tür etkileşimler genellikle belirli belirli hedeflere doğru bir şekilde ulaşılmasını gerektiren deterministik komut mesajları gönderir ve en fazla enerjiyi ve fiziksel gücü tüketir.
Makine tarafından başlatılan etkileşimli bir eylem de vardır. , Göz takibi, elektroensefalografi, baş pozisyon takibi, yüz ifadesi tanıma vb. Gibi, bu tür bir etkileşim, kullanıcının etkileşim durumunu algılaması için makinedir, çoğu zaman kullanıcının çok fazla enerji harcamasına gerek kalmaz.
Göz ardı edilemeyecek bir diğer kategori de makinenin çevreye olan algısı ve etkileşimidir. , Üç boyutlu yeniden yapılandırma, sahne algılama, nesne bölümleme ve tanıma, vb. Gibi. Çoğu durumda, özellikle AR'de, insanlar ve makineler arasındaki etkileşim ancak dış çevre iyi algılanırsa pürüzsüz olabilir.
Anladığım etkileşim kategorisi bu, şapka biraz büyük ve pek çok şeyi kapsıyor, ancak bugün hala tek bir kilit noktaya, yani el etkileşimine odaklanıyoruz.
VR el etkileşiminin önemi
Elin sizin için ne kadar önemli olduğu, el etkileşimi de aynı derecede önemlidir.
Ağza ek olarak, el insanlar için en sık kullanılan bilgi çıkış organı olmalıdır.Geleneksel interaktif arayüzlerin çoğu aynı zamanda insan eli etrafında yüksek kesinlik ve iyi uyumluluk ile tasarlanmıştır.
PC çağında pek çok etkileşimli paradigma var ve son olarak fare ve klavye el ile ilgili.
Tabii ki, sadece el etkileşiminin VRAR'ın geleceği olduğunu söyleyemeyiz.İyi bir etkileşim işi yapmak her zaman kapsamlı bir yönetim sürecidir.
Ve AI'nın gelişmesiyle birlikte, makineler tarafından başlatılan etkileşimler, belirleyici talimat kararlarını kademeli olarak gerçekleştirebilir, bu nedenle el etkileşimlerinin önemi zayıflayabilir.
Çavuşun doğrudan beyin çipinde bulunan yapay zeka ile etkileşime girebildiği oyunun "hale" resmi, bu daha ideal bir durumdur.
Ancak uzun bir süre sonra, el etkileşimi hala insan-bilgisayar etkileşimini kontrol etmenin en olgun yolu ve deneyim mükemmel olmaktan uzak, mükemmelliğe yatırım yapmaya değer.
VR el girişi yöntemlerinin türleri
Benim ayrımıma göre, farklı ürün formlarına ve teknik prensiplere göre alt gruplara ayrılabilen iki tür çıplak el ve çıplak olmayan eller vardır.
Google Project Soil çıplak elle etkileşim
Çıplak eller, herhangi bir medya gerektirmeyen el etkileşimleridir Örneğin, Leap Motion bilgisayar görüşüne dayanır, Google Soli milimetre dalga radarına dayanır ve ultrason ve kızılötesine dayalı bazı çözümler vardır.Genel olarak, görsel görüntü işlemenin gelişimi en olgun olanıdır ve etki şu anda en iyisidir.
Oculus Touch
Çıplak olmayan eller, belirli bir ortam gerektiren el etkileşimleridir , Yaygın olanlar, Daydream Controller ve Oculus Touch gibi 3DoF veya 6DoF tutamaçlarıdır ve daha fazlası, genel olarak görme, atalet, bükme sensörleri vb. Temelli çeşitli veri eldivenleridir, tutamaç hala en kabul edilebilir olanıdır. Ancak şu anki eğilim, kolların ve eldivenlerin kademeli olarak bir araya gelerek yeni bir insan-bilgisayar etkileşim ortamı biçimi oluşturmasıdır.
Noiton tam vücut hareket yakalama takımı
Sanal gerçeklikte, hem çıplak eller hem de çıplak olmayan eller aslında yaygın olarak kullanılmaktadır ve nispeten konuşursak, çıplak olmayan ellerin bazı avantajları vardır: Sanal gerçeklikte, insanlar esas olarak sanal nesneler ve çevre ile etkileşimde bulunur ve etkileşimin gerçekçiliği belirli bir ortam aracılığıyla geliştirilebilir.
AR'de, insanlar yalnızca sanal nesnelerle etkileşimde bulunmakla kalmayıp aynı zamanda gerçek sahneleri ve nesneleri gördüklerinden, AR'de daha fazla çıplak el durumu vardır.
Farklı el giriş yöntemlerinin avantajları ve dezavantajları
Belirli bir teknolojinin avantajlarını ve dezavantajlarını değerlendirmenin birden fazla boyutu vardır.Ürün açısından maliyet ve güç tüketimi çoğu etkileşimli çözümü öldürebilir.Elbette, yine de deneyim açısından analiz etmeyi umuyoruz.
Çıplak ellerin artıları ve eksileri
Sınıflandırma yöntemime göre, çıplak ellerin artıları ve eksileri hakkında konuşalım:
Rahattır, her gün elinize eldiven takmanıza veya tutacağı etrafa bakmak için kask takmanıza gerek yoktur;
Bağımsız bir modül satın almamak (telefondaki kamerayı kullanarak) veya yüksek bir yetkilendirme ücreti ödemek değilse, çıplak elle daha ucuza gelir;
Pek çok insanın çıplak elle etkileşimin daha doğal olduğunu ve insanların alışkanlıklarına daha uygun olduğunu söylediklerine gelince, VR ile aynı fikirde değilim, ancak AR veya MR'da çoğu şey doğrudur.
Dezavantajı ise doğruluğun standartlara uygun olmaması ve VR ortamında kullanıldığında eksik olan birçok unsurun bulunmasıdır.Bu konuyu daha sonra açıklayacağım.
Çıplak olmayan ellerin artıları ve eksileri
Doğruluk iyidir, sadece bir veya iki kez tıklarsanız, çoğu zaman yazım hataları konusunda endişelenmenize gerek kalmaz;
Geri bildirim sağlamak için ortama güvenerek, bu VR için çok önemlidir;
Dezavantajları: Rahatsız edici, nereye giderseniz gidin onu götürmeyi düşünmelisiniz; öğrenme maliyetleri vardır, elbette, UX tasarımının kalitesine de bağlıdır; AR ve MR ortamında, insanlar ve en ölümcül olan gerçeklik arasındaki etkileşimi engelleyecektir.
Genel olarak çıplak ellerin ve çıplak olmayan ellerin avantaj ve dezavantajları birbirini tamamlayıcı niteliktedir, bu nedenle sanal gerçeklik ortamında bu iki tür el etkileşimi aynı anda var olacaktır.Uzun vadede AR / MR dönemi giderek çıplak ellerin ana akımı haline gelecektir. Ya da bir entegrasyon planı bulabiliriz, şahsen bunun herkesin çabasına layık bir yön olduğunu düşünüyorum.
Neden çıplak elle etkileşim ana akım haline gelmedi?
Maliyet ve güç tüketimi ne olursa olsun (aslında bu ikisi en ölümcül olanıdır), tecrübe açısından, yukarıda söylediğim avantaj ve dezavantajları değerlendirerek de sorunun özünü öğrenebilirsiniz.
PC'ye uygulanan Leap Motion
Leap Motion gibi el takip çözümleri PC çağının sonunda ortaya çıktı.Amaç fare ve klavyeyi değiştirmekti.Sonuç olarak, bunu herkes gördü, çünkü PC'nin altındaki fare ve klavye aslında tanınmış bir paradigma ve kullanım sırasında herkes buna sahip değil. Çok fazla rahatsızlık olduğunu hissediyorum, sakıncalı olsa bile buna alıştım Bu, çoğu insanın yeni bir PC etkileşimi talebini kabul etmemesine neden oldu ve ürün üretenlerin hiçbir talebin ne anlama geldiğini bilmesine neden oldu.
VR etkileşimi için Leap Motion
Sanal gerçekliğin yükselişinden sonra, çıplak el etkileşimi sonunda bir fırsat yarattı, çünkü sanal gerçeklik altında fare ve klavyenin kullanımı kolay değil. Şimdi nihayet çıplak elle etkileşim için bir talep var mı? Aslında, mutlu olmak için biraz erkendi, çünkü şu anda çıplak elle rekabet eden çıplak olmayan kulplar ve dokunmatik yüzeyler var (bkz. EPSON BT200).
EPSON BT200
Huawei VR kulaklığın dokunmatik versiyonu
Bu etkileşimli cihazlarla karşılaştırıldığında, çıplak elle etkileşimin avantajları açık değildir: Doğru girdi öncülüğünde çıplak el etkileşimi, eski düşük onaylama problemi aslında çözülmemiştir.% 95 onay oranıyla bile, oyunu oynarken 20 atış ve bir tekleme vardır ve tutamaç doğru şekilde girilir. Onay oranı şüphesiz% 100'e yakın.
Bu tek başına çıplak ellerin tutamaçlar gibi etkileşimli cihazları değiştirmesini engelleyerek Daha kritik bir soru daha: Çıplak elle etkileşim için gerekli ve yeterli senaryolar nerede? Bu aynı zamanda hareket etkileşimi yapan birçok arkadaşımla tartıştığım bir soru.
Yeterince olgun ve ucuz olmayan bir teknolojinin, geniş kabul görmesi için bir ön şartı olmalıdır, bunun için yeterli ve gerekli bir sahne bulmalıyız.Bu sahnede çıplak eller dışında yeri doldurulamaz. Diğer etkileşimler daha iyisini yapabilir ve bu sahne katı bir sahne ise, o zaman olgunlaşmamış bile tolere edilebilir.
Bununla birlikte, VR altında çıplak elle etkileşim sahnesi bulunamamıştır.Birçok yerli üretici, ilerleme çubuğunu çalıştırmak, oynatmayı duraklatmak vb. İçin çıplak elle etkileşim kullanır, bu tür işlemler kask üzerindeki tutamaç veya dokunmatik yüzey kullanılarak daha kolay çözülebilir; ve Araç içi evler gibi senaryolarda çıplak elle etkileşimi tarif etmek de sorunludur.Bu senaryolarda ses daha avantajlı olabilir (özellikle ellerin direksiyondan çıkamadığı sürüş sırasında).
Cep telefonu çağından VR'ye kadar, bence çıplak elle etkileşim çok acı verici, çünkü gerçek bir katı talep yok, kullanıcılar ve geliştiriciler genellikle Leap Motion'ın soğukluğundan etkileniyor, ancak bu dürtüsel coşku Çıplak ellerin birçok sorunu yüzünden çabucak yok oldum, bu yüzden kişisel olarak en acil şeyin çıplak ellerin varlığı için yeterli ve gerekli bir sahne bulmak olduğunu düşünüyorum, böylece herkes hayatta kalabilir.
Sanal gerçeklikten AR / MR'ye kadar, çıplak elle etkileşimin gerekliliği gittikçe daha önemli hale gelecektir. (Tabii ki, etkileşim tasarımı da vurgulanmalıdır. Hololens'in jestleri çok kördür ve açıkça zorlanır). Kişisel olarak düşünüyorum Bu türden yeterli ve gerekli sahne bu zaman diliminde ortaya çıkacak ve hala biraz erken.
Sanal Gerçeklik'teki birçok el neden sahte görünüyor?
Her şeyden önce, yanlış kötü anlamına gelmez, ancak bir kişi bir şeyin yanlış olduğunu düşündüğünde, o zaman bir şeyin yanlış olduğu anlamına gelmemelidir.
Her şeyden önce, VR el etkileşiminde, bazı senaryolarda tutamaç daha gerçekçidir.Birçok birinci şahıs tasarım oyun karakterinin kendisinde her zaman silah vardır.Bu senaryoda, bir kolu tutmak çıplak elden daha gerçekçi olacaktır. Şu anda, Ayrıca, çekimin salınımını ve geri tepmesini simüle etmek için kesme kuvvetine dayanan bazı çözümler de vardır.Birçok şey tutamaç aracıyla yapılabilir ve bu da deneyimi geliştirmeyi kolaylaştırır.
Ve sanal gerçeklik interaktif ortamında çıplak elle çalışmak istiyorsak, o zaman sahte görünen daha fazla durumla karşılaşacağız. Vurgulanması gereken ilk şey, VR'nin ihtiyaç duyduğu şeyin jest tanıma (Hareket Tanıma) değil, el izleme (El İzleme) olmasıdır. Hareket tanıma ve el takibinin iki farklı şey olduğu tahmin edilmektedir.Günlük hayatımızda jest kullandığımız tek sahne işaret dilidir, bu nedenle bir VR ortamında çalışmak için hareketleri kullanabilirsiniz. Rahatsız, bu aynı zamanda en yaygın yanlış anlamadır.
El İzleme, insanların günlük etkileşim alışkanlıklarıyla daha uyumlu olsa da, tüm el modelini görebilir ve gerçek zamanlı olarak izleyebilirim (ister Bone ister sadece İpuçları ve Palm ile olsun), yine de yanlış görünen birçok durum var: Tahmin etmek kolay değil Titreyen, üst üste binen ellerin kaybedilmesi kolaydır, görüşe göre yapılırsa görme aralığını aşarsa kaybolur vb.
Bu sadece el sahtesi, VR ortamınızdaki tüm nesneler ve sahneler sahtedir, bu da ünlü "hayalet el" fenomenine yol açacaktır. Eliniz sanal bir nesneyi kavramak, sanal bir duvara veya masaya dokunmak istiyor, kavrayamayacağınızı, dokunamayacağınızı ve görsel geri bildirimin kolay olmadığını göreceksiniz, bu nedenle elinizi herhangi bir nesneden geçecek şekilde tasarlamanız gerekir. Böyle bir sahnede elbette sahte kadar hayaletimsi bir varoluşsun.
Jobs Simulator'da el tasarımı
Dolayısıyla, "yanlış" ın gerçek nedenlerinin nispeten kapsamlı olduğunu görebilirsiniz.Kısa vadede bunu tamamen çözmek zordur. UI tasarımı da dahil olmak üzere iyi görsel geri bildirim, Leap Motion gibi çözümlerin şu andaki odak noktasıdır. Ayrıca pek çok sonucu var. Kullanıcı sahte olduğunu düşünse de, daha rahatsız hissetmez ve bazen bunu tamamen gerçek yapamazsanız sahte olmak iyidir. Herhangi bir simülasyon tekinsiz vadide bir sorundur.
Leap Motion'ın bir resmi, sadece ellerin değil, aynı zamanda önkolun takibinin de olduğunu görebilirsiniz.
Ayrıca, El kısmının özgünlüğünün yanı sıra pek çok geliştiricinin Kol kısmının önemini aslında görmezden geldiği vurgulanmalıdır.Sadece havada bir çift el gösterirlerse çok sahte olur Leap Motion bunu dikkate alır ve ayrıca Arm Bunu dahil etmek aslında sadece algoritma için sağlam değil, aynı zamanda uygulayıcının deneyimini iyileştirmeye de çok yardımcı oluyor.
"Sanal eller" için rahatlık gerçeklikten daha önemlidir
Sadece VR el etkileşiminde tutacağı kullanmanın daha gerçekçi olacağını söyledim, çünkü elde gerçek zamanlı bir geri bildirim var. Ve sizin (sunucu) sanal kullanıcının elinin davranışı Oculus Touch'a atıfta bulunmalıdır, çünkü başka hiçbir tutamaç gerçek bir eli simüle etme yeteneğine sahip değildir. Birçoğumuz Oculus Touch'ı deneyimledik ve hepimiz aynı prensibi biliyoruz. Bu, eldeki bazı ince değişiklikleri gerçekten simüle edebilen birkaç noktadan yakınlık ışığı sensörüne dayanır ve tasarım çok akıllıdır.
Ama söylediğin şey doğal, sanal gerçeklikte var olduğunu sanmıyorum. Bu aslında her zaman vurgulamak istediğim bir şey. Doğa, sanal gerçeklik sahnesinde mutlaka takip edilmesi gereken bir şey değildir, çünkü nesne sanaldır ve elleriniz simülasyonla tahmin edilir.Bu doğal değildir. Daha çok akıcılık, hız ve minimum enerji tüketiminin peşindeyiz. Etkileşimi tamamlamak zaman ve çaba gerektirir ve bunlar bazen doğa ile çatışır.
Örneğin, pek çok etkileşim tasarımı kasıtlı olarak gerçek sahne ile tamamen tutarlı olacak şekilde yapılır, örneğin bazı ince parçaları kapmak ve uzun bir mesafeden bir çekmeceyi çıkarmak gibi. Oldukça havalı görünüyor, ancak kimse uzun bir süre sonra ona dayanamayacak, tıpkı Pandomim yaparken hiçbir şey yokmuş gibi hareket etmeliyiz ve bu tür bir koordinasyonsuzluk insanların yorgunluğunu ve rahatsızlığını artıracaktır.
Bu nedenle, çoğu durumda, sanal gerçeklikte etkileşimi bu kadar gerçek hale getirmenin bir yolu olmadığından, etkileşimi nasıl daha kolay hale getirebileceğimiz hakkında daha fazla düşünebiliriz, örneğin etkileşimli kontrolleri büyütmek ve uzaktaki nesneleri çalıştırmak için raycast kullanmak, ki bu gerçek değildir. , Ancak basit, etkili, zaman kazandıran ve emek tasarrufu sağlayan, ancak tüketiciler tarafından daha çok talep edilmektedir.
Her ne pahasına olursa olsun gerçekliğin peşinde koşuyorsa, maliyete duyarlı olmayan bazı dikey endüstrilerin bir simülasyon senaryosu olmadığı sürece, tamamen başka bir düşünme biçimidir ve VR'nin bu kadar ileri gitmesi gerektiğini düşünmüyorum.
Çıplak el etkileşimi nasıl daha popüler hale getirilir?
Görsel temelli çıplak el etkileşiminin sorunları şu şekilde özetlenebilir: Doğru girdi altında doğrulama oranı zayıf, sağlamlık da zayıf, geri bildirim eksikliği, etkileşim aralığı nispeten dar (görüş hattının ötesinde kaybolacak) ve yorulması kolay (daha çok Gerçek etkileşimin yan etkileri, tekinsiz vadi etkisi). Bu sorunların her biri korkunçtur ve kapsamlı bir yönetim ve çözüm gerektirir.
İlk birkaç iyileştirme algoritmadan daha zordur.Model tahminleriniz ne kadar doğru olursa ve gerçek zamanlı performans o kadar iyi olur.Ancak bunu mükemmel yapsanız bile, sonraki geribildirim problemleri ve etkileşim yorgunluğu problemleri çözülemez. Yani iki bölüm aynı anda gerçekleştirilmelidir.
Bazı tasarımlar işlem arayüzü olarak insan eli kullanır, diğer eli ise etkileşimi tamamlamak için sanal menüye tıklamak için kullanır.Birbiriyle örtüşen izleme kaybı gibi sorunlarla karşılaşacak olsa da geri bildirim sağlamak yine de iyi bir fikirdir.
Dar etkileşim aralığı sorunu, İçten Dışa sahnesinde daha ciddidir.Sıçrama Hareketinin Çift Balıkgözü Kamera kullanmasının ana nedeni, etkileşim aralığını olabildiğince genişletmektir.FoV ve yapılandırılmış ışık ve ToF çözünürlüğü Çelişki, cihazın özelliklerinin geliştirilmesini gerektiren bir kusurdur.
Kullanıcıları ve geliştiricileri daha popüler hale getirmek için nasıl tasarım yapılacağına gelince, Hala birkaç noktayı vurguluyorum: sözde doğayı unutun ve pürüzsüzlüğü, hızı, zamanı ve çabayı vurgulayın. En önemli şey, ancak çıplak elle etkileşimle yapılabilecek en iyi, en rahat ve gerekli sahneyi bulmaktır.Bu sahne, tüm çıplak el etkileşimi geliştiricilerinin kutsal kasesi haline gelmelidir ve onu bulursa herkes yaşayabilir. İyi.
Kuvvet geri bildirim eldivenlerinin sorunları ve sınırlamaları
Geri bildirimin önemi ile ilgili olarak, daha önce hayalet eller sorununu çözmek için bir geri bildirim mekanizması eklemenin gerekli olduğunu söylemiştim. Ancak, maliyet ve maliyet ne olursa olsun, kuvvet geri bildirim eldivenlerinin hala birçok sorunu vardır.
Her şeyden önce, tüm veri eldivenlerinin iyi çözemediği tek şey, tüketici düzeyinde pazara girişini kısıtlayan en büyük faktör olan kullanım rahatlığı ve rahatlığıdır. Birçok veri eldiveni, el pozisyonunu izlemek ve yakalamak için birden fazla IMU füzyonu kullanır, ancak doğru olması için, her sensörün kondil üzerine doğru bir şekilde yerleştirilmesi gerekir ve ilk kalibrasyon kaçınılmazdır ve bu, tüketici düzeyinde bir ürün için kabul edilemez.
Ek olarak, geri bildirim ekleme yöntemiyle ilgili birçok sorun vardır.Geribildirim, kapsamlı bir şekilde daha iyi bir HAPICS deneyimi oluşturan kuvvet geri bildirimi / titreşim geri bildirimi / dokunsal geri bildirim olarak bölünmüştür, ancak şu anda kuvvet geri bildirimi alanında küçük bir mekanik yapı ile yeterli sönümlemeyi sağlamak zordur. Ek olarak, mekanik yapının kendisi hızlanma riskine sahiptir ve bu da kolaylıkla insan kasına zarar verebilir.
Diğer geri bildirim mekanizmalarının da, kendisi çevreden büyük ölçüde etkilenen non-invazif dokunsal geribildirim gibi birçok kusuru vardır ve geri bildirim etkisi, el terlenir ve elektrot implantasyonunun daldırma çözeltisi açıkça etkilenmez. Tüketiciler tarafından kabul edildi.
Geri bildirim açısından birçok konu var. Veri eldivenleri için, herkesin yaptığı şey hala görece erken ve yalnızca yüksek hassasiyet gerektiren endüstriyel sahneler var.Medikal sahnelerde ve tasarım sahnelerinde tüketici seviyesinden uzak net ihtiyaçlar olacaktır. Pazar çok uzakta. Ayrıca birçok şirketin sistemi basitleştirmeye ve nispeten düşük bir fiyatla tüketici alanına girmeye çalıştığını gördük, ancak yine de kullanım ve kullanım kolaylığı sorununu çözebileceklerini ve diğerinin nasıl kullanılacağını çözebileceklerini umuyorum.
El etkileşiminin geleceği
Ayrı olarak, sap eldivenin çıplak elle olmayan etkileşimi uzun süre var olmaya devam edecek ve herkes bu konuda iyileştirmeler yapıyor. Oculus Touch'tan gelecek nesil Vive kontrol cihazlarına kadar hepimiz bilebiliriz Bu eğilimi görünce daha fazla fonksiyon eklendi, el şekline daha uygun, 6DoF takibi, titreşim ve kuvvet geribildirimi vs. yapılabilir.Bunların hepsi ortama dayalı el etkileşiminin avantajlarıdır.Hiç şüphe yok ki ilerlemek için yollar bulmalıyız. .
Kısa vadede çıplak elle etkileşim hala zor olabilir Neyse ki, AR / MR çağında herkes çıplak elle etkileşimin gerekliliğini açıkça görüyor, bu nedenle algoritmanın kararlılığını iyileştirmenin yanı sıra gelişmeye devam edecek. , Deneyimi geliştirebilen bazı UX tasarımları, deneyimi artırabilir ve herkesin AR'nin yükselişinde hayatta kalmasını destekleyebilir. Buna ek olarak, kutsal kaseyi bulmanın: çıplak el etkileşiminin gerekli sahnesi en önemli şey olduğunu hala vurgulamalıyım, diğer her şey hakkında konuşmanın kolay olduğunu düşünüyorum.
QA bağlantısı
1. HoloLens'in hareket etkileşimi nasıl değerlendirilir Bu programın hareket etkileşimi günlük kullanım için bir ürün olarak kullanılabilir mi?
Zhang Menghan: Her şeyden önce Hololens'i deneyimlemiş birçok arkadaş olmalı ve herkes bu konuda hisleri olduğuna inanıyor.
Bu bir tür "hareket tanıma", bir tür "el takibi" değil. Size görsel bir geri bildirim yok. Mevcut durumumun etkili etkileşim aralığında olup olmadığını yargılamak bile sizin için zor.
Bu durumda, etkileşimin verimliliği doğal olarak büyük ölçüde azalır ve ayrıca bir sorun vardır.Sistemim bir bütün olarak etkileşim hedefini seçmek için bir nişangah kullandığından, dokunmak için bundan daha basit bir dokunmatik yüzey kullanacak mıyım? Güvenilmez iki parmakla kıstırma, doğrulama için daha uygundur.
En azından şimdilik, kişisel olarak Hololens'in ana odağının jestler değil, sadece bir etkileşim yolu olduğunu düşünüyorum. Hatta bu interaktif yöntemin ancak donanım tamamlandıktan sonra gerçekleştirilebileceğini düşünüyorum, bu yüzden görsel sistemle bir jest yaptım, hatta yan tarafa bir touchpad eklemenin daha iyi olacağını düşünüyorum.
Hololens'in tasarımından bağımsız olarak, AR cihazlarında çıplak elle etkileşim kesinlikle gerekli olduğunu düşünüyorum. Ancak buna karşılık gelen etkileşim tasarımı işbirliği olmalıdır. Örneğin, AR altında, çoğu zaman hedef etkileşimli nesnem gerçek bir nesne üzerinde konumlandırılır ve hatta sanal bir nesnenin hareketi bile gerçek nesne ile etkileşime girer.Bu zamanda, çıplak elle etkileşim açıkça en iyi seçimdir.
Hololens'e geri dönersek, etkileşimli arayüzünden jest kullanmanın gerekliliğini gerçekten görmedim, bu da bahsettiğim Kutsal Kase'yi bulamadıkları anlamına geliyor.
2. 3B hareket etkileşimi açısından, daha fazla teknik sorun veya tasarım sorunları var mı? 3B etkileşimi teknik olarak çözmek için daha iyi yön nedir? Olgunluktan ne kadar uzakta?
Zhang Menghan: Pek çok teknik ve tasarım problemi var ve en büyük problem gerekli ve yeterli sahnenin bulunamaması, bunu defalarca vurguladım.
Teknik olarak, sadece doğruluğu ve hassasiyeti iyileştirmenin derin el takibinin uygulama sorunlarını tamamen çözemeyeceğini hissediyorum.Tabii ki, çıplak el etkileşimli çözüm sağlayıcıları objektif göstergeleri geliştirmeye devam edecek, ancak yavaş yavaş birçok objektif göstergenin iyileştirildiğini göreceğiz. Bunu deneyimle göstermek zor.
Özellikle Tersyüz senaryosunda, doğruluk oranı ne kadar yüksek olursa olsun, yorgunluk ve dar etkileşim aralığı sorunu çözülemez.Son ikisini çözmek sadece teknik bir problem değil, aynı zamanda bir tasarım problemidir, bu yüzden daha önce entegre etmemiz gerektiğini söyledim. Yönetim.
Hareket etkileşimi için gerekli sahneleri bulmadan önce, kullanıcıları elde tutmak ve kullanıcıların derin jestler kullanmasına izin vermek istiyorum.Bence anahtar, kullanıcılara olabildiğince net onay bilgileri sağlamak ve kullanıcıları olabildiğince çok yapmak için görsel akustik gibi kapsamlı geri bildirimler kullanmaktır. Kol, ne zaman seçildiğini bilir.
Ancak bu tür bir onay tutamaç seviyesine yakın olduğunda çıplak el hareketlerinin rahatlığı tam olarak gösterilebilir, eğer pahalı değilse, belki kullanmak isterim. Diğer şeylere gelince, bu küçük hedefe ulaşılana kadar bekleyeceğimi düşünüyorum.
Ya da Kutsal Kase'yi doğrudan onarabiliriz ve sadece çıplak elle yapılabilecek bir iş senaryosu bulabiliriz.O zaman, ne kadar sorun olursa olsun, onu kullanmaya ve geliştirmenizi beklerim. Kullanıcıların başka seçeneği olmasın, yenilmez olabilirsiniz.
3. Hareket tanıma veya hareket izleme, esas olarak makine görmesine veya bazı sensör füzyonlarına dayalı olarak şu anda daha fazla kullanılmaktadır ve daha sağlam teknolojiler nelerdir?
Zhang Menghan: Sağlamlık sorunu aslında tasarımla ilgilidir.Küçük cihazları ve büyük düğmeleri aynı doğrulukta çalıştırırken hata olasılığı kesinlikle farklıdır. Çoklu sensör füzyonuna dayalı olarak, trans-horizon altında etkileşim problemini çözebilir.Ayrıca cepte de takip edilebilir.Bu, vizyona dayalı el takibinin çözemediği bir problemdir.
Ancak bu durumda jiroskobun uzun süreli birikmiş kayması gibi sorunlar da ortaya çıkacak ve başlatılması gerekecek.Bu açıdan her zaman kontrol ve kalibre edebilen görme çözümünün bir başka avantajı daha var. Son zamanlarda sağlamlıklarını vurgulayan birçok çözüm olmuştur.Örneğin 60GHz tabanlı birçok milimetre dalga radarı, özellikle dış ortamlarda, görsel çözümlere göre parazitlere karşı daha dirençlidir.
Görme ilkesine dayalı olsa bile, farklı cihaz şemalarının da bir etkisi vardır RGB Çift Kamera, dış mekandaki yapılandırılmış ışıktan daha güçlü anti-infrared parazit yeteneğine sahip olacak, ancak karanlık ışık ortamında tersine dönecektir.
Hiçbir dezavantajı olmayan çözüm henüz ortaya çıkmadı Şu anda Çift Kamera daha çok kullanılıyor çünkü FoV daha büyük yapılabilir ve etkileşim aralığının boyutu sağlamlıktan daha önemlidir.
