Görme takibi için en basit donanım tasarımı! Nvidia, LED'li hafif VR kulaklıklar için yeni bir yol açıyor
Akıllı şeyler (genel hesap: zhidxcom) düzenlendi | Dong Wenshu
Akıllı şeyler 26 Mart'ta Nvidia'nın, hem ışık yayan hem de ışığı algılayan ve belirlemeyi basitleştiren ışık yayan diyotların (LED'ler) özelliklerini kullanan yeni bir hafif sanal gerçeklik (VR) görüş hattı izleme sistemi geliştirdiğini bildirdi. Ekrana göre gözün pozisyonunun süreci.
Makaleye göre, LED'lerin bakış izleme sistemlerinin ışıldaması ve algılanması için ilk kez kullanıldığı bu çözüm, mevcut başa takılan ekranlar (HMD) arasında en basit, daha az donanım ve daha düşük maliyetli bakış izleme sistemidir.
Araştırmacılar, "Donanımımızın ultra düşük maliyetli görüş hattı izleyicileri alanında lider konumda olduğuna inanıyoruz." Dedi.
Aynı zamanda, bakış izleme sistemi doğruluğu ve örnekleme oranını hesaba katar ve kişisel bilgisayarlar ve akıllı telefonlar gibi geleneksel mobil platformlarda yeterince hızlı çalışabilir.
Bu araştırma akademik web sitesi arXiv'de yayınlandı, makalenin başlığı "Başa Takılan Ekranlar için Bakış Algılayan LED'ler".
Makaleye bağlantı: https://arxiv.org/abs/2003.08499
"Görüş izleme, gelecek nesil VR donanımının temeli olacak", dünyanın önde gelen VR kulaklık üreticilerinin fikir birliğidir, ancak mevcut görüş izleme donanımı genellikle pahalı ve hantaldır ve NVIDIA araştırmacıları tarafından önerilen bu yeni çözüm, Tüketici pazarında HMD'nin yaygınlaşmasını teşvik etmesi bekleniyor.
1. Geleneksel bakış izleme teknolojisi üç büyük zorlukla karşı karşıyadır
Nvidia araştırmacıları, geleneksel görüş izleme sistemlerinin hala birçok zorlukla karşı karşıya olduğuna inanıyor.
Birincisi, geleneksel bakış izleme sistemleri, yüksek güç gerektiren ve düşük güçlü mobil çözümler için uygun olmayabilen görüntüleme teknolojisine dayanır.
İkinci olarak, görüntüleme ekipmanı genellikle yazılımı daha karmaşık hale getirir ve boru hattına ek görüntü işleme modüllerinin eklenmesini gerektirir.
Ek olarak, geleneksel bakış izleme sistemleri yüksek boyutlu girdilerle (yüksek çözünürlüklü görüntüler) kullanılır, bu nedenle gecikmeler birden çok aşamada ortaya çıkar.
Bu sorunlara yanıt olarak Nvidia araştırmacıları, donanım ve yazılımın karmaşıklığını azaltarak daha basit, yüksek kaliteli bir bakış izleme çözümü bulmayı umuyor.
2. Görme takibi için şimdiye kadarki en basit donanım tasarımı
Yeni araştırmada NVIDIA, görüş izleme donanım tasarımının çekirdeği olarak LED'i kullanıyor.
LED'ler hem ışığı hem de ışığı yayabilir ve ucuzdur, aynı fiziksel konumdan ışık yayabilir ve algılayabilir ve özel bir devre olmadan kolayca kontrol edilebilir. Bu nedenle LED, bir donanım çözümü olarak iyi bir seçimdir.
Makaleye göre, Nvidia araştırmacılarının bildiği kadarıyla, tasarımı açık ara en basit göz izleme elektronik tasarımıdır.Çok düşük maliyetlidir ve doğruluğu ve örnekleme oranı mevcut ekipmanla eşleşebilir.
HMD sistem ortamında görsel kestirim için kullanıcının gözü önüne ledler yerleştirilerek HMD önüne yerleştirilen bir çift büyüteç kullanılarak kullanıcının önünde belirli bir mesafede sanal bir görüntü oluşturulur.
Kullanıcı sanal görüntüyü gözlemledikten sonra sistem, kullanıcının gözlerini farklı açılardan kızılötesi (IR) ışıkla aydınlatmak için zaman bölmeli çoklama kullanır ve yüksek yenileme hızı ile farklı açılardan gözlerden yansıyan kızılötesi ışık yoğunluğu verilerini toplar. Ardından dijitale geçin.
Veri toplama donanımı, veri toplama vektörlerini PC'lere, akıllı telefonlara ve diğer ana bilgisayarlara aktaran ve kullanıcının sanal görüntü üzerindeki odak konumunu doğru bir şekilde tahmin etmek için denetimli uyarlanabilir model tanıma algoritmalarını kullanan sabit sayıda LED içerir.
Test sonuçları, bu yöntemin az miktarda hesaplamaya sahip olduğunu, geleneksel mobil platformlarda hızlı çalıştığını ve diğer yaygın yöntemlerle aynı hatta daha iyi doğruluğu elde etmek için daha basit donanımlar kullanabileceğini göstermektedir.
Araştırmacılar, iki hazır HMD ürününü farklı eksiksiz özelleştirilmiş HMD sistem prototiplerine dönüştürdü ve göz izleme gösterileri ve öznel testler gerçekleştirdi.
İlk HMD prototipi
İlk prototip bir akıllı telefon, bir kontrol cihazı ve bir VR başlığı içerir. Bakış izleme algoritması akıllı telefonda çalışır. Her gözde yerleşik bir mikrodenetleyici ve 9 LED vardır, bunlardan 3'ü ışık kaynağı olarak ve 6 LED'i ışık sensörü olarak kullanılır.
Yukarıdaki şekilden de görebileceğiniz gibi, prototipin üstten görünümünün büyütülmüş alanında bir mikrodenetleyici ve ana görünümün büyütülmüş alanında 3 adet LED bulunmaktadır.Işık yayma modu ortada ve algılama modu her iki tarafta.Bu prototipteki tüm LED'ler değiştirilebilir. İki mod.
İkinci HMD prototipi
İkinci prototipte, 2K çözünürlüklü ekranı destekleyen bir HDMI, bir denetleyici ve bir VR başlığı var ve bakış izleme algoritması bir masaüstü bilgisayarda çalışıyor. Her göz bir mikro denetleyici ve 6 LED (yukarıdaki ana görünümde genişletilmiş alan) kullanır ve her LED hem bir sensör hem de bir ışık kaynağı olarak işlev görür.
Üç, daha küçük boyut, daha düşük maliyet, daha düşük gecikme
Kamera kullanan geleneksel çözümlerle karşılaştırıldığında, bu yeni çözüm aşağıdaki avantajlara sahiptir:
(1) LED'ler kameralardan daha küçük ve daha hafiftir ve kullanılan donanım tasarımı daha küçüktür ve ağırlığı daha düşüktür;
(2) LED, kameranın neden olabileceği ısı dağılımı sorunlarını önlemek için düşük güç tüketir;
(3) Gerekli kamera sayısı azaltılır ve ilgili görüntü işleme modülü çıkarılabilir;
(4) Yalnızca az sayıda sensör kullanılır, donanım ve yazılımdaki gecikme azalır ve gerçek zamanlı performans daha iyidir;
(5) Benimsenen görüş hattı tahmin yöntemi hafif hesaplamadır ve pillerle çalışan uygulamalar için uygundur (akıllı telefonlar gibi);
(6) İyi doğruluk elde etmek için daha basit donanım cihazlarına dayanan deneyler, ortalama açı hatasının 1,1 derece kadar düşük olabileceğini ve ortalama açı hatasının 0,7 derece olduğunu göstermiştir.
Toplanan veriler kullanılarak elde edilen her kullanıcının ortalama, medyan ve standart sapma değerleri
Nvidianın görüş hattı izleme sistemi tipik VR uygulamaları için yeterli olsa da, araştırmacılar ayrıca LED'lerin algılama özelliklerinin fotodiyotlardan daha kötü olması nedeniyle özellikle yüksek doğruluk gereksinimleri için uygun olmayabileceklerini belirttiler (hata < 0.5 derece) psikoloji, nöroloji veya okuma araştırması gibi uygulamalar.
Geleneksel kamera tabanlı görsel izleme sistemi ile karşılaştırıldığında, bu yeni çözüm daha fazla kalibrasyon verisi gerektirir, bu nedenle kalibrasyonun ilk aşaması nispeten uzundur, yani kullanıcının sistem talimatlarını birçok kez izlemesi gerekir, "Buraya, buraya, buraya, buraya bakın ve Burada "ekipmanı kalibre etmek için.
Ek olarak, kullanıcının yüzü algılama donanımına göre hareket ederse, yeniden kalibre edilmesi gerekir.
Denekler tarafından bildirilen yaygın bir sorun, göz kırpmanın görüş hattı tahmininde değişikliklere neden olacağıdır.Gelecekte, araştırmacılar bu sorunu çözmek için LED sinyalinin titremesini tespit etmeyi ve göz kapaklarının durumunu tahmin etmeyi planlamaktadır.
Sonuç: Daha küçük HMD ekipmanlarını gerçekleştirmenin etkili bir yolu
Şu anda piyasadaki benzer ürünler arasında Tobii tarafından başlatılan SDK göz izleme sistemi, Pico tarafından piyasaya sürülen Neo 2 Eye kablosuz VR kulaklık ve Nreal ile 7invensun arasındaki işbirliği yer alıyor. Işık sistemi vb.
Nvidia'nın LED görüş hattı izleme sistemi hala prototip aşamasında olduğundan, bunları karşılaştırmak geçici olarak imkansızdır.
Günümüzde, HMD üreticileri daha küçük HMD cihazları geliştirmek için yarışıyorlar ve her bir bileşenin hacmini azaltmak, açıkça bu hedefe ulaşmanın etkili bir yolu.
Araştırmacılar kalibrasyon süresini kısaltabilirse, NVIDIAnın LED bakış izleme teknolojisi büyük olasılıkla yeni nesil VR kulaklıklar alanında bir yere sahip olacak ve VR kullanıcılarını daha da geliştirmek için bir dizi hafif, uygun fiyatlı ve üstün performanslı yeni VR kulaklıklar geliştirecektir. Sanal dünyada sürükleyici bir deneyim.
Makale kaynağı: VentureBeat, arXiv
Okuduğunuz için teşekkürler. Gemide takip etmek ve sizi teknolojide ön plana çıkarmak için tıklayın ~
