AI, VR film üretimi için güçlü bir araç haline geldi: Facebook'un filmlere özel efektler eklemek için stil aktarımını nasıl kullandığını görün
Li Lin derleyin ve organize edin
Qubit Raporu | Genel Hesap QbitAI
Bir VR sürükleyici film yaparken yapay zeka hangi rolü oynayabilir?
Facebook, yüzleşme oluşturma ağı (GAN) ve stil aktarımı gibi yöntemlere dayanan görüntü oluşturma ve işleme teknolojilerini filmin sonraki aşamasına uygulamak için bazı girişimlerde bulundu.
Ve bu bir VR filmi.
Paris'teki Facebook AI Araştırma Enstitüsü, kısa süre önce film prodüksiyon şirketi OKIO Studio, Saint George VFX Studio ve yönetmen Jérôme Blanquet ile yeni bir VR filmi olan "Alteration" ı tamamlamak için işbirliği yaptı.
Yapay zeka araştırmacıları ve film yapım ekipleri öncelikle en temel sorunlardan birini çözmelidir: film yapım ekibine yapay zekanın neler yapabileceğini açıkça gösterin. Bu şekilde, film yapım ekibi, filmde yapay zekanın nasıl ve nerede kullanılacağına karar verebilir.
GAN tabanlı otomatik kodlayıcı ve stil aktarımına dayalı iki özel efekt yöntemi denediler ve ardından stil aktarımını seçtiler.
Facebook araştırma ekibi dün yayınlanan bir blog gönderisinde, GAN otomatik kodlayıcının bilimsel bir araştırma ortamında iyi performans göstermesine rağmen, üretilen özel efektlerin film yapım ekibinin beklentilerini karşılamadığını söyledi.
"Stil transferi" terimine aşina değilseniz, aşağıdaki resme bakın ve anlayacaksınız:
Tarz aktarımı son iki yılda çok sıcaktı.Araştırma topluluğu, stil aktarımını daha gerçekçi ve yaratıcı kılan kağıtlar ve kodlar üretiyor ve görüntüleri ve videoları işlemek için stil aktarımını kullanan çeşitli uygulamalar sonsuz bir şekilde ortaya çıkıyor.
VR filmlerine stil aktarımı uygulamada iki büyük zorluk vardır:
Birincisi, teknik açıdan bakıldığında, VR filmleri yüksek çözünürlüklü 360 derecelik stereo görüntülerdir.Bu tür görüntüler, stil aktarımı için depolama ve işleme süresi kısıtlamaları getirir ve stil aktarımının 3B görüntüler üzerindeki etkisi de bilinmemektedir;
İkincisi, teknik ekibin algoritmayı optimize etmesinin temeli artık ölçülebilir bir dizin değil, yönetmenin estetik zevki.
Facebook'un Paris'teki AI Araştırma Enstitüsü'nün teknik ekibi, bu zorluğu üç açıdan ele alıyor.
İlk olarak, Julien Drevelle'in filmdeki kareleri değiştirmek için bir sinir ağı eğitme çalışmasından türetilen 17 hedef stil seçtiler.
Başlangıçta, göç sinir ağını eğitmek için kullandıkları görüntüler yalnızca 128 × 128 piksel çözünürlüğe sahipti, ancak sinir ağı VR filmlerine uygulandığında, işlenmiş görüntü boyutunun çok büyük olduğunu gördüler. Bu nedenle, Facebook ekibi daha sonra sinir ağını 768 × 768 görüntülerle yeniden eğitti.
Eğitimden sonra, her hedef stili tek bir çerçeveye uygulayarak yüksek çözünürlüklü test görüntüleri oluşturdular ve ardından 25 farklı yüksek çözünürlüklü çıktı çerçevesi oluşturmak için stil efektinin yoğunluğunu ayarladılar. Bu süreç yönetmenin hangi stili seçmesi açısından oldukça etkilidir ve aynı zamanda FUAR, video profesyoneli açısından da iyi bir stil aktarımı belirleyebilir.
Stil aktarımının etkisini görmek için bazı örnekler.
Son olarak modelin belirli bir sahnenin video karelerine uygulanması gerekir. Her bir GPU'da, bu modeller yaklaşık 100 GB video belleği gerektirir, bu nedenle bunun yerine CPU kullanırlar. Tüm kareleri kodlamak için toplam 550 CPU saati kullanılır. Tabii ki, gözünüzün gördüğü üç boyutlu etkinin tutarlı olduğundan emin olmalısınız.
Bu filmde, sanal gerçekliğe stil aktarımı ilk kez gerçekleştiriliyor ve bu da yapay zekanın artık film yapımcıları için yaratıcı bir araç olarak kullanılabilecek kadar olgunlaştığını gösteriyor.
Video dün Oculus mağazasındaydı ve hem Oculus Rift hem de Samsung GearVR'de görüntülenebilir:
https://www.oculus.com/experiences/rift/1514447601900695/
Bir VR cihazınız yoksa, izlemek için yukarıdaki bağlantıdaki çiçeklerin normal versiyonu vardır.
Bitiş
