[Film ve televizyon araçları] BebyFace teknolojisi mevcut gelişim ilerlemesi ve gelecekteki gelişim yönü analizi
Geçen yıl Los Angeles, ABD'den Kite Lightning Gerçek Zamanlı Canlı yayındaydı! Sergi 2018 SIGGRAPH En İyi Gerçek Zamanlı Grafik ve Etkileşim Ödülü'nü kazandı. Bu ödülü evlerinde kazanmak için bir grup etkileyici yarışmacıyı yendiler. Onların "Demokratikleştiren Mocap: Gerçek Zamanlı Tam Performanslı Hareket Yakalamayı Gerçekleştirmek için iPhone X, Xsens, IKINEMA ve Unreal Engine Kullanımı", UE4'te vücut ve yüz yakalama kombinasyonu tarafından yönlendirilen gerçek zamanlı bir karakter "Beby" gösterdi.
En İyi Gerçek Zamanlı Grafik ve Etkileşim Ödülü'nü kazandıkları Bebylon demosu, canlı performanslar tarafından yönlendirilen, tamamen ifade edici gerçek zamanlı bir CG karakteridir ve hazır teknolojinin ustaca kombinasyonunun oyunu yaratıcı bir şekilde dengeleyip eğlence efektleri üretebileceğini kanıtlar.
SIGGRAPH 2018'den bu yana, ekip "Babylon: Holy War (Bebylon Battle Royale)" oyunu üzerinde çalışıyor ve şu anda bir kısa film yapıyor.
Cory Strassburger ve Ikrima Elhassan, Kite Lightning'i kurdu. Kısa süre önce Strassburger ile röportaj yaptık ve kendisi bizimle Bebyface'in gelişim sürecini ve "Bebylon Battle Royale" oyununu paylaştı.
"Bebylon" Real-Time Live! Demosu için ilham kaynağıdır. "Oyundaki Beby karakterini hayata geçirmenin bir yolunu bulmaya hevesliyiz. Yüz yakalama büyük bir engel ... Apple'ın o sırada masaüstünde yüz yakalamayı popüler hale getiren Faceshift adlı bir şirket satın aldığını biliyorum. . İPhoneX ve ARKit'e uygulanabilecek kaç teknolojiye sahip olduklarını merak ediyorum. İlk testim, yüz yakalama teknolojisinin tüm özünü iPhoneX'e başarıyla uyguladıklarını gösterdi ki bu gerçekten heyecan verici. "
Strassburger, SIGGRAPH konferansına on beş yıldır katılmış olmasına rağmen, Gerçek Zamanlı Canlı olaydan haberdar değil. "Bu olayı bir teknik meslektaşımdan (Xsens'ten Chris) öğrendim. Takım elbise üzerinde çalışıyordum ve bana" Gerçek Zamanlı Canlı bir demo yapabilirsiniz "dedi. Ne olduğunu bilmiyordum ama Bizim için yaptıkları her şey için minnettarım ve bu teknolojilerin nasıl çalıştığını göstermelerine yardımcı olmaktan çok mutluyum. "Strassburger bunu daha ayrıntılı olarak incelediğinde, SIGGRAPH konferansındaki Real-TimeLive'ın ölçeği ve etkisi karşısında şok oldu. "Gerçek Zamanlı Canlıyı gerçekten öğrendiğimde biraz korktum, özellikle de etkinlikte sergilenen çok sayıda mükemmel eser gördüğümde, bu duygu daha da kötüydü."
Başlangıçta Kite ve Lightning, gerçek zamanlı teknoloji geliştirmeye odaklanmadı, bunun yerine oyunlar için hareket yakalama teknolojisi geliştirdi. Ancak Strassburger ve Elhassan, Unreal'de tüm görevleri tamamlamaya başladı ve bu sırada orijinal yan proje şirketin ana geliştirme projesi oldu.
Yeni teknoloji SIGGRAPH konferansında gösterilmiş olsa da, ekip oyun projelerini geliştirmeye devam ediyor. Başka bir deyişle, Strassburger her zaman SIGGRAPH demo içeriği üretmektedir.
Şimdiye kadar teknoloji ve geliştirme ilerleme.
Strassburger, bu teknolojiyi geliştirmeye çalışanlar için "24 saat çalışın ... Teknik olarak konuşursak, kullanıcıların benim yaptıklarımı düşünmelerine gerek yok. Örnek projelerini doğrudan indirebilirler" dedi. Geçen yıl bu zamanla karşılaştırıldığında, yüz yakalamayı destekleyen AR Kit teknolojilerinin% 90'ı Unreal'den indirilen örneklerden elde edilebilir. Strassburge geçen yıl iPhone'u UE4'e nasıl bağlayacağını incelediğinde durum böyle değildi. "Şimdi odak noktası sanattır" dedi. "Anahtar, malzemenin kendisidir. Örnek malzemeyi kullanabilirsiniz. Birlik biraz tembel, bu çok kötü. Ama Unreal'ın örnek sahnenin kahramanı olarak bir Uçurtma çocuğu var ki bu gerçekten harika. Artık herkes yazılıma girebilir, tüm işlemleri anlayabilir ve ardından karakterin hareketini yönlendiren ifadeler oluşturabilir ". Şimdi herkesin örnek projeyi indirip çalıştırabileceğini belirtti, "Bir iPhone 10 ve AppleDeveloper hesabınız varsa ... projeyi doğrudan indirebilir, iPhone'a ekleyebilir ve iPhone'da bir APP oluşturabilirsiniz." APP oluşturma süreci basit değildir, ancak basit APP'leri kullanabilen kişiler için çok kolaydır. Strassburger'in önerisi, "Verileri yalnızca talimatlara göre eklemeniz gerekir. İPhone'da Unreal sahnesini oluşturmak ve örnek Kite karakterini çalıştırmak yaklaşık yarım saat sürer".
Bahsettiği sanat, örnek yüzden yaptığı Bebyface karakterine sanatsal geçiş. "Materyal yaratma sürecinde, nesneleri daha güzel göstermek ve karışık şekiller kullanmak kesinlikle bir sanattır."
Orijinal bebyface yüz bağlama, Polywink bağlamasına göre oluşturuldu. Polywink, gerektiğinde yüz donanımı sağlar ve 236'ya kadar karışık şekle sahip FACS yüz donanımını otomatik olarak oluşturur. Taranmış kafalar, gerçek 3B modeller veya çizgi film karakterleri dahil olmak üzere 3B karakterlere uygun belirli topolojiler ve şekiller için bağlar sağlarlar. Yüz donanımları Maya, Unity ve Unreal ile uyumludur. Ekip, BebyFace FACS'ı bağlamak için başlangıçta bu hizmeti uyguladı, 3D modellerini yükledi ve bağlı yüzü indirdi.
Uçurtma ve Yıldırım şirketleri, bu bağlamayı Autodesk Maya yazılımında oluşturdukları kendi bağlarıyla değiştirdiler. İPhone piyasaya sürüldükten sonra, ekip Apple'ın resmi karma şekiller koleksiyonuna erişebilir, "koleksiyondaki ciltleme daha kesin ve doğaldır". Strassburger, işleme sırasında, bebek karakterinin doğal ifadesinin orijinal sette eksik olduğunu fark etti. "Kayıp ifadeyi şimdi geri ekleyeceğim. Bu sanattır."
İPhone yakalama işleminin genellikle gözden kaçan önemli bir yönü, iPhone'un kararlılığı ve takibidir. Çoğu HMC ekipmanı, kameranın başın üzerinde sallanmaması için sağlam bir kask üzerine monte edilmiştir. İPhone bu açıdan iyi bir performans sergiliyor ve hatta elde taşınabiliyor. Kite demo videosu sadece UE4'teki yüz ifadelerini değil, aynı zamanda başın eğimini de gösterir. Bebyface için bu, Strassburger'ın kafanın merkezini diğer iPhone verilerinden ayırması gerektiği anlamına geliyor çünkü bir Xsens kıyafeti giyiyor ve elbette baş ve vücut hareketlerine ihtiyaç duyuyor, bu nedenle iPhone verilerinin yüz problemlerini çözmek için ayrılması gerekiyor. Bu, Uçurtma çözümlerinin gevşek kafa cihazlarında, ucuz göğüs desteklerinde ve hatta el cihazlarında kullanılabileceği anlamına gelir.
Kite and Lightning, Xsens paketini ve iPhone veri akışını UE4'te birleştirir. Sonunda, üçüncü veri akışı el veya eldiven sensörü tarafından katlanacaktır. 2018 Siggraph konferansında ekip eldiven veya el verilerini birleştirmedi, ancak şu anda bu sorunu düşünüyorlar.
SIGGRAPH konferansı sırasında Strassburger, UE4'e bağlı IKINEMA RunTime ara yazılımını da inceliyordu. Ikinema ekibi, Xsens'in UE4'te çalıştırılmasının ilk çalışmalarında çok yardımcı oldu. Ancak Kite ve Lightning ekibi bir zamanlar AutodeskMotion Builder'ı kullandı ve son dört ayda yeni XsensLIVE LINK eklentisini kullanmaya başladılar. Strassburger, mevcut Xsens HD boru hattının iyi olduğuna inanıyor, ancak iç vücut hareketlerini izleyememe gibi bazı "modifikasyonlardan" yoksun. Strassburger, Ikinema aracını boru hattına yeniden eklemeyi ve aynı anda bazı yeni şeyler denemeyi umuyor, ancak bunun gerçek zamanlı ardışık düzenlerle sınırlı olduğunu belirtti. Bu halihazırda vücudun iç hareketini düzeltmediği için, Strassburger çekim yaparken buna dikkat etmeye çalışıyor. Ancak kolunu gerçekten indirirse, son sunumdan önce genellikle kolunu yukarı doğru döndürür. "Bu iyi bir çözüm değil," yorumunu yaptı, ancak bebekler için işe yarıyor çünkü onları gösteriyor Daha güçlü, kolları her zaman gerilmiş durumda. Ama yine de "Bu sorunu gerçek zamanlı olarak çözmek için Ikinema aracını" araştırıyorum. Bebyface, seyircilerin önünde daha fazla canlı performans sergileyebilirse, kol çaprazlama daha ciddi bir sorun haline gelecektir. Kite and Lightning ekibi ayrıca Unreal yazılımında kendi penetrasyon düzeltme araçlarını yazmayı düşünüyor.
Bentley Sahne-01.jpg (242.84 KB, İndirmeler: 0)
Ekleri indirin
Yarım saat önce yüklendi
