Ayrıcalıklı virtual Sanal gerçeklik teknolojisinin vizyonda uygulama ilkesini anlamak için bir makale
Bu makale var 4140 kelime , Tam metni okumak için gerekli 12 dakika
Bu makale sanal gerçeklik teknolojisinin vizyondaki uygulamasını açıklamaktadır.
Sanal gerçekliğe gelince birçok kişi 2016'nın sanal gerçekliğin ilk yılı olduğunu söylüyor aslında sanal gerçekliğin 50 yılı aşkın bir geçmişi var.Önce çok kısa bir inceleme yapalım ve geçtiğimiz 20 yıla bakalım. O zamanki en harika sanal gerçeklik teknolojisinin adı QuickTimeVR idi. Bu teknoloji çok basitti. Artık bu işlevi iPhone'unuzda gerçekleştirebilirsiniz: Telefonunuzla bir daire çizin ve fotoğrafları 360 derecelik bir fotoğrafa dikin. Pek çok insan bunun sanal bir gerçeklik olduğunu söylerken, diğerleri bunun olmadığını söylüyor.
O nasıl çalışır? Cep telefonuyla çekilen fotoğraf çemberi, farklı görüş alanlarına göre bir silindire yansıtılır.Elin açısı çekim sırasında değişeceğinden, bu fotoğraflar çok doğru bir şekilde birleştirilemez.Şu anda iki yerleştirmek için bir bilgisayar algoritması kullanılır. Fotoğraflar arasındaki en iyi dikişi bulun Bu dikişe göre, kesilen sol resim sola, sağdaki resim sağa aittir ve dikişlerin ortası birbiriyle sürekli olup 360 derecelik 3D dikiş efekti oluşturur. Piyasada sanal gerçeklik yapan birçok şirket şu anda bu teknolojiyi kullanıyor: 1996 teknolojisi.
Yu Jingyi ve ortakları, Las Vegas'taki otelleri çekmek için 360 derece dairesel çekim teknolojisini kullanmak üzere küçük bir şirket kurdular.Las Vegas'ta turistlerin ilgisini çekmeyi ümit eden birçok kumarhane var. Bu teknolojiyi 2000 yılında Las Vegas kumarhaneleri ile işbirliği yapmak için kullandılar, ancak başarısız oldular. Sanal gerçeklik, sanal ve gerçeklik olmak üzere iki bölümden oluşur. O zamanki sanal gerçeklik gerçekte gerçek kısmı anlamadı ve yapılan şeyler oldukça sanaldı, bu da insan gözünün 3B veya özel beyin işlevlerini tatmin edemiyordu. Ancak bugün, sanal gerçeklikte birçok teknoloji yavaş yavaş olgunlaştı ve insanlar nihayet gördüklerinin inandırıcı olduğunu görebiliyor.
Sanal gerçekliğin "görmek inanmaktır" kısmı aynı zamanda akıllı görme olarak da adlandırılır. İnsan gözü dünyadaki en sihirli sistemdir. Esas olarak üç ana bileşenden oluşur: Birinci kısım, bir ışın izleyici olan insan korneasıdır. Işık toplanabilir; ikinci kısım, odaklayıcı bir lens gibi lens; üçüncü kısım, toplanan ışığı elektrik sinyallerine dönüştüren ve beyne ileten bir sensör gibi retinadır.
Ama aslında insan gözü üç boyutluluğun ne olduğunu bilmiyor Üç boyutluluk, beyin tarafından üretilen bir paradigmadır. İnsan gözleri üç boyutlu dünyadan ışık topladığında, her ışığa bağlı olan enerjiyi kaydeder. 1996 yılında Stanford bilim adamlarının önerdiği ışık alanı kavramına göre uzayda iki sabit düzlem vardır.Her ışığın iki düzleminin iki odak noktası vardır.Her odak noktasının sabitlendiği düzlem iki boyutludur. İki boyutlu üst üste binme, dört boyutlu ışık alanı adı verilen dört boyutlu hale gelir.
Peki, insan gözü gibi AR / VR elde etmek için ışık alanı kavramı nasıl kullanılır?
İnsanların iki gözü olduğunu biliyoruz ve hepsi önlerinde, bu yüzden iki gözün örtüşen alanı çok büyük. Örtüşen alanda, sol göz ve sağ göz aynı şeyleri görür, bu nedenle dinamik bir görüş alanı vardır. Bir şey ne kadar yakınsa, ne kadar büyük hareket eder ve ne kadar uzaksa o kadar küçük hareket eder. Bu, insanların 3B tanımasıdır. Yukarıda bahsedilen 360 derecelik daire çekimi aslında iyi bir fikir değildir, çünkü böyle bir yanılsamaya ulaşamaz, öyleyse 3D vizyon oluşturmak için paralaks nasıl kullanılır? En kolay yol, her biri bir balık gözü merceğe, yani geniş açılı bir merceğe sahip iki kamera almaktır. Ama bu sorunlu.Bir balık gözü merceğin etkisiyle, dümdüz karşıya baktığınızda gerçekten 3 boyutlu hissedebilirsiniz, ancak başınızı biraz çevirdiğiniz sürece, aynı üç boyutlu noktanın ikiye yatırıldığını göreceksiniz. Kameranın içinde sadece yatay hareket etmekle kalmaz, aynı zamanda dikey yönde üç boyutlu bir görüş üretir ve insan gözünün ona çapraz bakması imkansızdır, bu da dönerken büyük baş dönmesine neden olur.
Bu problem nasıl çözülür? 1999'da İsrailli bilim adamları, halka atış yapmak için kamera kullanan bir teknik icat ettiler. Yüzük atışından sonra her görüntü kesilir. Örneğin, her görüntü soldan sağa doğru sayılır ve beşincisi kırmızıdır ve 360 Sağdan sola mavi olan derece çemberi de 360 derecelik bir çember halinde birleştirilmiştir ve görsel bir fark yoktur. Bu, GoogleJump gibi mevcut evrensel halka atış teknolojisinin uygulama ilkesidir. Bu teknik, çekim yaparken seyrek dizi kamera kullanır, görüntüyü ikiye böler, soldaki tüm görüntüleri 1995 yöntemini kullanarak birleştirir ve ardından sağdaki olanı bir halka halinde birleştirir. Bu şema kulağa mantıklı geliyor, ancak bir sorun var.Soldaki yazım çok düzgün ve sağdaki yazım da çok düzgün.Sol ve sağa birlikte baktığınızda, uyuşmayacaktır, çünkü solu hecelediğinizde sağ dikkate alınmaz. Bu problemi çöz? Geçen yıl, Şangay Bilim ve Teknoloji Üniversitesi'nde bir dürbün sistemi konseptini tanıttık. Aslen halka kombinasyonu olan kamera, ikiye iki kombinasyonlu bir sisteme dönüştürüldü, çünkü her kameranın kendisi, en azından çapraz kamera teknolojisiyle birbirine dikilmiş mükemmel bir görüntü. Her açıdan çok iyi görünmesi garanti edilebilir, ancak bu teknolojinin zorluğu iki kamera arasındaki dikiştir.
Geçen yıl, Yu Jingyi'nin ekibi bir dizi 360 derece 3B gerçek zamanlı canlı yayın teknolojisi başlattı. Ning Zetao'yu takip ettiyseniz, bu yıl ona peynirle ilgili, bulutta çapraz kamera dikişi yapmak için böyle bir mimari kullanarak, cep telefonundan veya 360 derece görüntüleme için kulaklık takarak izlenebilen bir video yaptık.
Aynı dönemde çok ünlü bir sahne oyunu olan "Savaş Atı" nın prodüksiyonuna katıldık.Şangay Kültür Meydanı'nda çekim yaparken, canlı yayın için sanatçılar ve seyirciler arasında 360 derecelik bir 3D kamera sistemi kuruldu, insanlar evde takıyor. Kask takılıyken, seyircinin tepkisini ve sahne performansını aynı anda görebilirsiniz.
Ancak insan gözü sadece binoküler görüşe sahip değil, aynı zamanda monoküler odaklanma da var Burada bir risk var. Bu odadaki kaç kişi Billy'nin en son teknoloji, 4K Ultra HD çekim ve 2D çekim kullanılarak çekilmiş "Midfield Warrior" ı gördü bilmiyorum. Bu tür bir çekimin harika olması gerektiği mantıklıdır, ancak bu filmi izledikten sonra, diğerleri de dahil olmak üzere, resim çok net olduğu için bir gün başım ağrıyordu. Diğer bir deyişle, kaliteli bir görüntü olduğunu düşündüğünüz şey mutlaka iyi değildir. Çok net bir resim, gözlerinizi bu düzleme odaklayacaktır, çünkü insan gözleri doğal olarak en net resme odaklanmayı bilir, ancak bakarsanız İki saat hareket etmeden bu resme dayanamadım. Günlük hayatta insan gözü dış dünyayı gözlemlerken odak uzaklığını sürekli değiştirir, bu nedenle baş ağrısı olmaz. VR'de odak sorununun nasıl çözüleceğine dair iyi bir çözüm yok.
İçerik oluşturma perspektifinden, dinamik saf odak nasıl elde edilir? Burada ışık alanı kavramı kullanılacaktır. Tüm ışığı toplamak ve koleksiyondan sonra boşluğa yerleştirmek için bir grup kamera alın. Belirli bir düzleme odaklandığını varsayın ve sonra bu düzleme bir ışık çekin, bu da gözlerimin bu uçağı görmesi anlamına gelir. Işın, örneklenen kameraya kadar geri izlenir ve ikisi, dinamik ve saf bir odak elde etmek için üst üste bindirilir.Bu çok ilginç bir tekniktir.Işık alanı nasıl toplanır? En kolay yol kamera almaktır. 2006'da dünyanın en büyük kamera odaklama sistemine katıldım. Bu kamera o sırada 500.000 ABD dolarına mal oldu, ancak şimdi daha ucuza geliyor. Örneğin, şimdi bir 800 yuan alabilirsiniz. Tek parça bir araya getirilerek kameralar oluşturulur ve örneklendikten sonra tekrar dinamikler yapabilirsiniz.
Öyleyse panoramik fotoğraflar için 360 derecelik saf bir odak sistemi oluşturmak için böyle bir sistemi kullanabilir miyiz? Sadece bir kask takmanız gerekir ve gözlerinizin gördüğü her yere odaklanabilirsiniz, bu da baş dönmesini büyük ölçüde azaltabilir.
Daha önce iki bölümden bahsetmiştik: İlk bölüm binoküler görüş ve ikinci bölüm dinamik odaklanma, bu AR / VR'ye bir çift göz vermeye eşdeğerdir.Bu gözler binoküler görüş ve odak yapabilir. Ama yine de bir beyne sahip değiliz, bu yüzden şimdi beyni artırılmış sanal gerçeklik işlevine nasıl ekleyeceğimiz hakkında konuşacağım.
Bu teknoloji seti 2005 yılında geliştirilmiştir. 1995'te, 360 derecelik halka çekim teknolojisi henüz olgunlaşmamıştı, ancak şimdi 3D gözlük taktığınızda 3D hissedebilirsiniz. Neden? İnsan beyni pek çok şey gördüğü ve zengin deneyime sahip olduğu için, 3 boyutlu bir his edinecek. Öyleyse beynin düşünme şeklini taklit edebilir ve iki boyutlu halka atışını otomatik olarak 3D halka çekime dönüştürebilir miyiz? Kısaca derin öğrenme yöntemlerini kullanmak mümkündür. Gelecekte, derin öğrenme yavaş yavaş sanal gerçekliğe girecek çünkü geleneksel AR / VR teknolojisi yeterli değil ve bunu telafi etmek için insan beyni kullanılmalı. Geometrik bilgileri, uzamsal çizgileri ve paralel çizgileri tek bir noktada birleştiriyoruz ve yalnızca bir 360 derecelik dairesel fotoğrafla 360 derecelik bir 3D efekti oluşturmak için tüm alanın bilgilerini kullanıyoruz.
Bir kamera ve iki kamera ile çekim yapma durumundan bahsetmiştim, çok kamerayla çekim yapabilir miyim? o da iyi. Çin'in en büyük 360 derece dahili ring atış sistemini kurduk. 140 kameradan oluşuyor ve 8 metre yüksekliğindedir.Herhangi bir insan vücudunu veya nesneyi her açıdan çalabilir ve ring çekiminin etkisi her açıdan izlenebilir. Bu resim, çekimden sonra bilgisayar görüşü ile oluşturulan üç boyutlu bir görüntüdür. Herkes hayal eder: Gerçekte gerçek bir benliği görmek ne kadar uzaktır? Aslında çok yakın, kendiniz çok çok gerçekçi yaratabilirsiniz. The Matrix'te bir mermi sahnesi var. Levi's, üç boyutlu bir sunum yapmak için 120 kamera ile çevrili çelik bir telle asılır. Seyirci bunu her açıdan izleyebilir. Ancak, o zamanki teknolojiye yaklaşılamadı ve çok uzakta, ancak şimdi teknoloji sunulabilir.
Bir grup kamera ile çekim yaparken en büyük sorunlardan biri tıkanmadır.Bazı kameralar sadece önümü görebilir ama arkamı göremez.Bu yüzden 140 kamera bir kişinin yuvarlak fotoğrafını çekse bile hepsini göstermek yeterli değildir. Bu problem nasıl çözülür? Yine de bilgisayar vizyonuna ve derin öğrenme yöntemlerine güvenmek zorundasınız. İnsanlar her zaman hareket ediyor Her karenin uzay-zaman bilgisi burada toplanırsa, çok iyi bir 3D yeniden üretim efekti üretilebilir ve farklı kareler sonunda tek bir karede birleştirilir. İşte demo videosu, baştan sona farklı kareler kullanıyor ve son olarak bu kareleri bir araya getirerek dinamik, deliksiz, tıkanma deneyimi yok.
Bazı uygulamalarına bakalım. Bu filme aldığımız bir Pekin opera karakteri, Lan Lan adında çok ünlü bir eski öğrenci. 360 derece halka atış teknolojisini kullanarak Huang Zhong'u oynadı, performansını her açıdan izleyebilirsiniz; aşağıdaki biz ve Merkez Müzik Konservatuarı Yaptığımız sanal gerçeklik konseri için üç icracı çektik: davulcu, kemancı ve müzisyen Bu dinamik bir çekim.Bu insanları üç boyutlu bir alanda dilediğiniz gibi birleştirebilir, kask takabilirsiniz. Buradan karşıya geçip onlarla performans sergileyebilirsiniz; herkes ileride bir ünlüyü görmek istiyor, kask taksın ve karşınıza çıksın, bu tür sanal karakter sunumu artık mümkün. Gelecekte bunun daha çok örneğinin olacağına inanıyorum, karakter röportajları ve spor yayınları bu şekilde sunulabilir.
Bahsetmek istediğim son kısım biraz daha profesyonel ... Daha önce 3 boyutlu bir model oluştururken insan gözünün sadece geometriyi değil aynı zamanda malzemeyi de görebildiğinden bahsetmiştim. Bu bir boyalı ahşap, yani bir halı, malzeme bilgisi geometrinin ötesinde. Buradaki prensip hala ışık alanıdır. İnsanların materyali yargılayabilmesinin sebebi, baş ve gözlerin çevrildiğinde cismin üzerindeki ışığın değişmesi ve ışığın bilgisinin materyalin bilgisini içermesidir. Peki 3B rekonstrüksiyon için malzeme bilgileri nasıl kullanılır? Bu bizi özellikle ilginç derin öğrenmeye geri getiriyor. İlk başta insanlar bunun boyalı bir zemin olduğunu ve bunun bir halı olduğunu bilmiyorlardı, sadece öğrenme yoluyla oldu. Bu öğrenme yöntemini taklit ederek çok sayıda örnek alabilir ve materyallerin sunumunu derin öğrenme yoluyla öğrenebiliriz. İşte bazı demolar. Geçen sene Double Eleven'da Alibaba ile yarattığımız sanal gerçeklik alışverişi. Bu Tang Sancai'nin bir modelidir. Üzerinde bir sır tabakası olduğu ve ışık alanının gerçeğe yakın üretmek için kullanıldığı görülebilir. Deneyim.
2005 yılında, Başkan Xinin çağrısına cevap verdi ve Diejing Digital Technology adlı bir şirket kurdu ve geçen yıl 45 milyon yuan değerinde bir melek tur yatırımı aldı. Böyle bir LV çanta yaptılar, gözlüğünüzü taktığınızda parlaklığını ve malzemesini görebilirsiniz ve önünüzde canlı bir şekilde sergilenecek. Nesnelerin sergilenmesinin yanı sıra bir diğer ilginç şey de karakterlerin sergilenmesidir.Bu benim eski doktora öğrencim. Aşağıdaki tüm sahneler sahte.Sadece bu kişi gerçek. Bunu ring çekim teknolojisi ile çektik. Millet, onu herhangi bir yönden izlemek için kask takabilirsiniz.
Sonunda Yu Jingyi konuşmasını "Batı Dünyası" ndan bir cümle ile bitirdi: Beni dağlarla denizin buluştuğu yere götür.
