Nvidia'nın sanal gerçeklik keşfine giden yolu: görüntü işleme (2. bölüm)
Lei Feng'e göre: Bu makalenin yazarı, NVIADIA AR ve VR araştırma grubundan bir bilim insanı olan Morgan McGuire'dir.Bu makalede, filmlerin ve oyunların görüntü işlemesini, mevcut VR görüntü işlemeden farklarını ve görüntü işlemede VR'nin yüzünü ayrıntılı olarak tanıtmaktadır. Zorluklar. Aynı zamanda, Nvidia'nın bu sorunları GPU ve ilgili yazılımlar aracılığıyla nasıl çözdüğünü de anlattı. Bu, Leifengnet tarafından aşağıdaki gibi derlenen makalenin ikinci bölümüdür.
yazar hakkında : Dr. Morgan McGuire, NVIADIA AR ve VR araştırma grubunda bir bilim insanıdır. Activision ve THQ'nun Skylanders, Call of Duty, Marvel Ultimate Alliance ve Titan Quest oyunlarının yapımına katkıda bulunmuştur. Morgan ayrıca Graphics Codex ve Computer Graphics: Principles and Practice kitabının ortak yazarıdır. Aynı zamanda Waterloo Üniversitesi ve Williams Koleji'nde fakülte pozisyonlarında bulundu.
Gelecekteki VR sistemini yeniden şekillendirin
VR olmayan normları insan algısının sınırlarından türetiyoruz. Bunları ölçmenin birçok yolu vardır, ancak mükemmel bir görüntü oluşturmak için 240 Hz güncelleme hızına sahip yaklaşık 200 HDTV'ye ihtiyacınız vardır. Bu yaklaşık olarak saniyede 100.000 piksellik bir görüntü işleme hızına eşittir.
Bugün sanal gerçekliğin görüntü veriminin saniyede yaklaşık 4,5 milyon piksel olduğunu hatırlayın. Bu, gelecekteki VR'nin performansı 200 kat artırması gerektiği anlamına geliyor. Bununla birlikte, yüksek dinamik aralık, değişken odak ve görsel kalite ve ışık gereksinimleri için mevcut film standartları nedeniyle, daha gerçekçi bir performans gereksinimi 10.000 kat artış demektir. Ve sadece 1ms gecikmeye ihtiyacımız var.
Teoride, bu hedefe hesaplama gücünü artırarak ulaşabiliriz, ancak bu tür kaba kuvvet ne verimli ne de ekonomiktir ve kaba kuvvet VR kullanımını yaygınlaştırmayacaktır. Peki bu hedefe ulaşmak için hangi teknolojiyi kullanabiliriz?
Oluşturma algoritması
-
Foveated Rendering
Performansı iyileştirmek için ilk yöntemimiz odak oluşturma - kullanıcının çevresel görüşünde görüntü kalitesini düşürmek ve merkezi perspektifte görüntü kalitesini iyileştirmektir.İnsan görsel algısının doğal özelliklerini kullanır ve algılanmayan kısımda kaliteyi atar. Genel VR performansını iyileştirin.
Gözün kendisi, yalnızca görüş alanınızın odaklandığı yerde yüksek bir çözünürlüğe sahip olduğundan, VR sistemi, görüş alanının merkezi alanı dışındaki çevredeki piksellerin çözünürlüğünü fark edilmeden atabilir ve böylece genel performansı artırır. Ancak, düşük çözünürlükte işlenemez. Yukarıdaki görüntü, küçültülmüş ölçekte görüntülenen geniş alanlı bir 2D görüntüdür. Sanal gerçeklikte saate bakarsanız, soldaki ilan panosu merkezi görüş alanınızın hemen dışındadır. En üstteki görüntüde çözünürlükten vazgeçerseniz, blok grafikler ve görsel kontrastta değişiklikler hemen gerçekleşecektir. Gözleriniz bu değişiklikleri algılayacak ve gözünüzün köşesindeki görüntünün değiştiğini veya bulanıklaştığını hissedeceksiniz. Amacımız, düşük çözünürlüklü görüntüler oluşturmak için gereken hassas optimizasyonu hesaplamak ve çevresel düşük çözünürlüklü bulanık görüntülerin insan görüşüne tam olarak uymasını sağlamaktır, böylece kullanıcının VR görüş alanı gerçek görüş alanı kadar mükemmel olur.
-
Işık Alanları
Gerçekçi VR görüntülerinin VR ile oluşturulmasını hızlandırmak için, ilkelleri üçgen ağın dışında oluşturmayı düşünüyoruz. McGill Üniversitesi ve Stanford Üniversitesi ile işbirliği içinde, aydınlatma hesaplamalarını hızlandırmak için ışık alanlarını kullanıyoruz. Sadece nesnenin yüzey aydınlatmasını gösteren mevcut 2D ışık haritasından farklı olarak, ışık sahnesi, uzaydaki ışığın tüm olası yönlerini ve açılarını saklayabilen 4D bir veri yapısıdır.
Işık alanı, dinamik karakterler dahil olmak üzere sahnedeki tüm yüzeylerde yansımalar ve gölgeler oluşturabilir. Bu aynı zamanda ışın izleme kalitesini ve ortam dedektörleri ve ışık haritalarının performansını birleştirmek için bir sonraki adımın temelini oluşturur.
-
Gerçek Zamanlı Işın İzleme
Peki çalışma zamanında ışın izleme nedir? NVIDIA Volta GPU şu anda dünyadaki en hızlı ışın izleme işlemcisidir ve NVIDIA Pascal GPU serisi, tüketici sınıfının en hızlısıdır. Pascal'ın hızı saniyede yaklaşık 1 milyar kezdir ve bu, mevcut VR ana rasterleştiricisinin veya gölge haritasının tamamen yerini alabilir. Öyleyse bu teknoloji boru hattının kilidini açmak için kullanılırsa ışın izleme VR'nin geleceğine ne getirebilir?
Cevap şudur: ışın izleme, sanal gerçekliğin birçok şeyi yapmasına yardımcı olabilir. Işın izleme yaparken, bir gölge haritası kullanmanıza gerek kalmaz, böylece doğrudan bir gecikme bariyerini ortadan kaldırırsınız. Işın izlemenin kendisi kırmızı, yeşil ve maviyi ayrı ayrı oluşturabilir ve doğrudan lensdeki namlu bozulma görüntüsünü oluşturabilir. Bu nedenle, lens distorsiyonuyla uğraşmasına gerek yoktur ve bu nedenle karşılık gelen gecikmeyi azaltır.
Aslında, ışın izleme gerçekleştirirken, piksellerin ayrı ayrı çerçevelerinin oluşturulmasındaki gecikme tamamen ortadan kaldırılabilir Bu nedenle, burada aslında tipik bir "kare hızı" kavramı yoktur. GPU tarafından üretilen her pikseli doğrudan ekrana gönderebiliriz Bu yönteme "ışın Yarışı" adı verilir ve bu da ekran senkronizasyonunu ortadan kaldırır. Bu sayede grafik sistemindeki yüksek gecikme engeli sıfıra indirilecektir.
Rasterleştirmedeki gibi düz bir projeksiyon olmadığından ışın izleme teknolojisi, VR görüş alanı sorununu da çözer. Rasterleştirme, 3B ila 2B görüntüde tutulan düz çizgilere (üçgenlerin kenarları gibi) bağlıdır. Bununla birlikte, VR daha geniş bir görüş alanı gerektirir ve 3B görüntüyü 2B ekrana bükmek için bir balık gözü projeksiyonu gerektirir. Rasterleştirici, 3B görüntüyü simülasyon için birden çok düzleme ayrıştırır. Ve ışın izleme teknolojisini kullanıyorsanız, 360 derecelik tam bir görüş alanı görüntüsünü doğrudan küresel ekrana aktarabilirsiniz. Işın izlemenin kendisi aynı zamanda karışık ilkelleri de destekler: üçgenler, ışık alanları, noktalar, 3B pikseller ve hatta metin, böylece içerik optimizasyonunda daha fazla esneklik sağlar. Şimdi, tüm bu işleme hızlarını geleneksel VR'den nasıl daha hızlı hale getireceğimizi araştırıyoruz.
Işın izleme, VR oluşturma gecikmesini azaltmaya ve verimi artırmaya ek olarak, görüntü kalitesini artırabilecek başka bir özelliğe sahiptir. Bu makalenin başında bahsedilenleri hatırlatarak, film oluşturmanın görüntü kalitesi, aslında ışın izlemenin bir uzantısı olan "yol izleme" görüntü algoritmasına bağlıdır. Onu ışın dökümüne dayalı bir oluşturucuya dönüştürürsek, VR görüntülerinin kalitesi yeni bir seviyeye yükselecektir.
Gerçek Zamanlı Yol İzleme
Artık gerçek zamanlı ışın izleme gerçekleştirebiliyor olsak da, yolun gerçek zamanlı izlenmesi hala büyük bir zorluktur. Çünkü yol izlemenin hesaplama yoğunluğu, ışın izlemenin yaklaşık 10.000 katıdır. Bu nedenle, filmin her karesinin oluşturulması milisaniyeler yerine dakikalar sürüyor.
Yol izleme altında, sistem önce nesnenin görünür yüzeyini bulmak için kameradan gelen ışığı izler. Ardından, yüzeyin gölgede olup olmadığını kontrol etmek için güneş yönüne başka bir ışık tutun. Ancak sahnedeki ışık doğrudan güneşten gelmiyor. Yerden veya diğer yüzeylerden yansıyan ışık gibi bazı ışık dolaylıdır. Bu nedenle, yol izleyici rastgele olarak yinelemeli olarak yansıtır ve dolaylı aydınlatmayı örnek alır. Aynı zamanda bu noktada bir gölge ışını dökümüne ve kendi rasgele dolaylı ışın dökümüne de ihtiyacı var ... Bu süreç, izleyici her bir yolda yaklaşık 10 ışın izleyene kadar devam edecek.
Ancak, bir pikselin yalnızca bir veya iki yolu varsa, rastgele örnekleme işlemi nedeniyle görüntüde çok fazla gürültü olacaktır. Şöyle görünüyor:
Film görüntüleri, her pikselde binlerce yolu izleyerek bu sorunu çözer. Her yolda on ışınla on binlerce yol vardır, bu nedenle yol izleme, tek başına ışın izlemeden 10.000 kat daha pahalıdır.
VR yolu izleme görüntülerinin kalitesini iyileştirmek için, rastgele örnekleme gürültüsünden kaçınırken her piksel için yalnızca birkaç yolu örneklemek için bir yönteme ihtiyacımız var. Yenilikçi odak oluşturma teknolojisi sayesinde, bu hedefe yakında ulaşılacağını düşünüyoruz. Odak oluşturma yalnızca görüntü merkezinin yolunun ayrıntılı bir analizini gerektirir ve görüntü denoising, daha fazla ışık izlemeden gerçekleştirilebilir, yani grenli görüntü doğrudan net bir görüntüye dönüştürülür.
Bu yıl McGill Üniversitesi, Montreal Üniversitesi, Dartmouth Koleji, Williams Koleji, Stanford Üniversitesi ve Karlsruhe Teknoloji Enstitüsü ile işbirliği içinde, tümü gürültü azaltma sorununu çözen üç araştırma makalesi yayınladık. Bu yöntemler, aşağıdaki şekilde gösterildiği gibi gürültülü bir gerçek zamanlı yol izleme görüntüsünü net bir görüntüye dönüştürebilir:
Yalnızca birkaç milisaniye hesaplama gerektirir ve ek ışık yoktur.Bu yöntemlerin her ikisi de GPU'nun görüntü işleme özelliklerini kullanır. Biri, yeni bir yapay zeka işleme özelliği olan NVIDIA GPU'yu kullanıyor. Sinir ağı için birkaç gündür denoising eğitimi yürüttük ve şimdi onlarca milisaniye içinde otomatik olarak görüntü denoising işlemini gerçekleştirebiliyor. Bu teknolojinin karmaşıklığını artırıyoruz ve maliyetleri düşürmek için ağı sürekli eğitiyoruz. Bu yöntem heyecan verici çünkü son zamanlarda keşfettiğimiz birkaç yeni yöntemden biri - beklenmedik bir şekilde, bilgisayar grafiklerinin kalitesini iyileştirmek ve VR dünyası için yeni 3D animasyon içeriği oluşturmak için yapay zeka kullanıyor. Popülaritesine katkıda bulunun
Hesaplama ekranı
Mevcut VR kulaklıklarındaki ekranlar nispeten basit çıktı cihazlarıdır. Monitörün kendisi neredeyse hiç işlem yapmaz, sadece çıktı verilerini görüntüler. Bu tür ekranlar TV'ler, gözetleme ve akıllı telefonlar için yeterli olsa da, ekranın kendisi hala VR deneyimini iyileştirmek için büyük bir potansiyele sahiptir: ekran, yalnızca içeriği değil, aynı zamanda kullanıcının durumunu da görüntüleyerek daha akıllı olabilir. Sanal gerçekliğin sınırlarını daha da zorlamak amacıyla, head-up ekranlar için çeşitli hesaplama yöntemleri araştırılmaktadır.
Görsel yakınsama ayarlama çakışması sorununu çözün (Vergence-Accommodation Disconnect)
VR ekranların karşılaştığı ilk zorluk, görsel yakınsama çatışması olarak adlandırılan odak problemidir. Şu anda, piyasadaki tüm VR veya AR cihazları, kullanıcının görsel odağını 1,5 metre uzakta olmaya zorluyor. Bunun iki dezavantajı var:
1. VR'de uzak veya yakın nesnelere baktığınızda, iki gözünüzün görsel yakınsaması ve görsel odak uyuşmayacaktır. Böyle bir uyumsuzluk, kullanıcıları rahatsız edecek ve bu da günümüzün VR ürünlerinin en büyük sorunlarından biridir.
2. AR'yi kullanırken, gerçek dünyaya gerçek derinlikle bakacaksınız. Sanal görüntülerin görsel odak noktanıza uyması gerekir, aksi takdirde bulanıklaşırlar. Örneğin, sürüş sırasında 20 metre öteden izleyen sizler, 1,5 metre ötede AR harita göstergesini göremezsiniz.
Çok açılı ışık gösterimi aracılığıyla herhangi bir derinliğe odaklanmanıza olanak tanıyan hesaplamalı bir ışık alanı görüntüleme prototipi oluşturduk. Bu ekran, önceki teknolojide önemli bir gelişmedir, çünkü hesaplama işlemi doğrudan ekranda gerçekleştirilir. Ekrana basit görüntüler göndermiyoruz, ona karmaşık veriler gönderiyoruz ve verileri doğrudan önünüzdeki görüntüye dönüştürmek ekran sorumlu. Yukarıdaki resimde, böceklerin gözünde biraz dünyaya benzeyen bu küçük ızgaralar, ekrana aktarılmadan önce özel olarak işlenmelidir.Bu, birini doğru bir şekilde sunmak için özel bir optik kombinasyonu, yani bir mikrolens dizisi gerektirir. Doğal dünya.
İlk ışık alanı ekranının geliştirilmesine 2013 yılında başlandı. Önümüzdeki hafta, ACM AIGGRAPH Asia 2018 konferansında, ışığın girişim dalga yüzeyinde bir ışık alanı oluşturmak için lazer ışığı ve yoğun hesaplamalar kullanan yeni bir holografik ekran göstereceğiz. Bu makale alanla sınırlıdır ve karmaşık çalışma mekanizmasını göstermek zordur ancak temel prensibi aynıdır ve daha kaliteli görüntüler üretebilir.
Bu ekran içi hesaplamanın gelecekte anahtar bir teknoloji olduğuna kesinlikle inanıyoruz. Ancak ışık alanı, odak problemini çözmek için hesaplama yöntemlerini kullanabilmemizin tek yolu değildir. Ayrıca, iki farklı değişken odak biçimi (veya yakınlaştırma optiği) oluşturduk.
Aşağıda gösterilen ekran prototipi, bir görüntüyü dağınık bir holograma yansıtmak için lazer ışığı kullanır. Doğrudan holograma baktığınızda, kavisli bir camdan yansır, bu yüzden ona uzaktan bakıyormuşsunuz gibi görünür.
Görüntünün mesafesini kontrol etmek için hologramı veya güneş gözlüğü reflektörünü hareket ettirmek için küçük bir motor kullanıyoruz. Bu sayede sanal nesnenin mesafesini kullanıcının gerçek dünyasının görüş mesafesi ile eşleştirebiliriz ve kullanıcı VR kullanırken doğal ve mükemmel bir şekilde odaklanabilir.
Bu yöntem, ekranda iki hesaplama gerektirir: biri, kullanıcının göz hareketi durumunu izlemek, diğeri ise önceden bozulmuş bir dinamik görüntüyü oluşturmak için doğru optik değişikliği hesaplamaktır. Prototiplerimizin çoğu gibi, bu araştırma versiyonu da son üründen çok daha büyük. Çünkü araştırma ve inşaat için büyük parçalar kullanmamız gerekiyor. Ancak monitörün gerçek optimize edilmiş versiyonu daha çok güneş gözlüğü gibi görünecek.
Aşağıda, Kuzey Carolina Üniversitesi, Max Planck Enstitüsü ve Saarland Üniversitesi'ndeki araştırmacılarla birlikte icat ettiğimiz başka bir yakınlaştırma prototipi var. Bu esnek bir lens filmidir. Görüntü her zaman doğru konumda olacak şekilde, kullanıcının odak değişimine göre lensin odak uzunluğunu değiştirmek için bilgisayar kontrollü pnömatik bir cihaz kullanıyoruz.
Hibrit bulut oluşturma
VR gecikmesi sorununu çözmek için birden fazla yolumuz var. Bunlardan biri, geniş çapta dağıtılan GPU teknolojimizden tam olarak yararlanan Williams College ile yapılan işbirliğinin sonucudur. Oluşturma sırasındaki gecikmeyi azaltmak için, GPU'yu ekrana olabildiğince yakın bir yere taşımak istiyoruz. Tegra mobil GPU ile GPU'yu kullanıcıya bile yerleştirebiliriz. Ancak mobil GPU'nun işlem gücü masaüstü GPU kadar iyi değil ve mevcut oyun VR'nin görüntü kalitesini iyileştirmek istiyoruz, bu nedenle Tegra için ayrı bir GeForce GPU veya gereksinimler daha yüksekse bulut Tesla'yı yapılandırmak için kablosuz bir bağlantı kullanıyoruz. GPU.
Bu şekilde, güçlü bir GPU aydınlatma bilgilerini hesaplayabilir ve ardından son görüntüyü oluşturmak için bunları vücudunuzdaki Tegra'ya iletebilir. Bu yöntemin avantajı, yalnızca gecikmeyi azaltmakla kalmaz, aynı zamanda bilgi işlem gücü gereksinimlerini azaltırken gerçek görüntünün kalitesini de geliştirmesidir.
Daha düşük gecikme karşılaştırması
Elbette gecikmenin kare hızının altına düşmesine izin veremezsiniz. Ekranın güncelleme hızı 90 fps ise, gecikme en kötü durumda 11 ms'den düşük olmayacaktır çünkü bu tam olarak ekranın iki kare arasında beklediği süredir. Peki görüntüleme hızını ne kadar hızlı artırabiliriz?
Saniyede 16.000 ikili kare hızında çalışan bir ekran oluşturmak için Kuzey Carolina Üniversitesi'ndeki bilim insanlarıyla birlikte çalıştık. Aşağıdaki şekil, kafa döndürüldüğünde bu ekranın durumunu gösteren bir dijital osiloskobun diyagramıdır. Başınızı çevirdiğinizde, ekran güncellemesindeki gecikme hareket hastalığına neden olabilir.
Yukarıdaki şekilde, apsis, zaman çizgisidir; üstteki yeşil çizgi, ekranı takan kullanıcının başını çevirdiğini gösterir; sarı çizgi, ekranın güncelliğini gösterir ve dalgalanmaları, ekrandaki yeni görüntünün yalnızca 0,08 ms'de güncellenebileceğini gösterir. . Bu, piyasadaki en kötü tüketici sanal gerçekliğinin yaklaşık 500 katı hızdır.
Oluşturucu, 16.000 fps hızına ulaşamaz, bu nedenle bu tür bir ekranın, geçerli kafa konumuna uyması için Zaman Bükme'nin en son grafik yöntemini kullanması gerekir. Doğrudan kulaklıkta çalışmasına izin verdik, bu da zaman atlama sürecini hızlandırabilir. Aşağıdaki şekil, özel kulaklığımızdaki işlemcinin prototipini göstermektedir:
2D görüntüleri çarpıtan geleneksel zaman atlamasının veya 2D görüntüleri çarpıtan daha gelişmiş uzay çarpıtmasının aksine, yöntemimiz tam 3D veri setlerine uygulanabilir. Yukarıdaki şeklin en sağında, gerçek bir 3B sahnedeki distorsiyonun bir örneği gösterilmektedir.Bu sistemde, sahnede hareket ettiğinizde, görüntü oluşturucu ile bağlantısı geçici olarak kesildiğinde bile otomatik olarak güncellenmeye devam edebilir. Güncelleme. Bu, oluşturucuyu güç tasarrufu sağlamak veya görüntü kalitesini iyileştirmek için daha düşük bir hızda çalıştırmamızı sağlar.Aynı zamanda, ağdaki kablosuz bağlantı yavaş olsa bile düşük gecikmeli grafikler oluşturabilir.
sonuç olarak
İlk bölümde, mevcut VR başlıklarının render hattını açıkladık:
Yukarıdaki tüm teknolojileri birleştirerek, sadece tek bir yenilikçi ürünü tanımlayamayız, daha da önemlisi, yeni bir VR sistemi vizyonunun ana hatlarını çizebiliriz. Bu resim neredeyse tüm senkronizasyon engellerini ortadan kaldırır ve bilgi işlemi buluta ve doğrudan başa takılan ekrana doğru genişletir. Gecikme süresi 50-100 kat kısaltıldı ve görüntünün film kalitesi var. Çözünürlük, elbette yalnızca görsel odağınızdaki grafik pikseller olmak üzere 100 kat artırılır. Ek olarak, doğal olarak farklı derinliklere odaklanabilirsiniz.
Kullanıcılara gerçek ve sanal deneyimi yaşatmak için ikili görüntülerin ekranda görüntülenmesini hızlandırıyoruz. Sistem, rahat ve şık bir günlük ürün olabilen uygun odak ayarına, geniş görüş alanına, hafifliğe ve düşük gecikmeye sahiptir.
NVIDIA Research, hesaplamalı ekranlar, yakınlaştırma optiği, odak oluşturma, grafik gürültü azaltma, ışık alanları, ikili çerçeveler ve diğer alanlardaki atılımlarla yeni bir sanal deneyim sistemi için yenilikler yapıyor. Sistem daha rahat, daha ucuz ve uygun maliyetli hale geldikçe, bu herkesin kullanabileceği yeni bir bilgi işlem arabirimi haline gelecektir.
Herkesi bugün piyasadaki modern VR sistemini deneyimlemeye teşvik ediyorum. Ayrıca sizi aramıza katılmanızı ve gelecekte AR / VR / MR'nin popülerleşmesini ve bu teknolojiler tarafından tetiklenecek VR devrimini sabırsızlıkla bekliyorum.
roadtovr.com aracılığıyla Lei Feng net derlemesi
