Google, dinamik karakter videolarının derinlik bilgilerini derin öğrenme ile yeniden oluşturabilir
Google, en son bilgisayar görüşü araştırmasını yayınladı. Artık derin öğrenmeyi genel videolardaki karakterlerin ve sahnelerin derinlik bilgilerini iyi bir şekilde çıkarmak için kullanabilirler ve bu derinlik bilgisi, odaklanmamış videolar oluşturmak için bileşik videolara daha da uygulanabilir veya Dönen lens gibi özel efektler eklendi. Google, daha önce video sahnelerinin derinliğini tahmin eden başka çalışmalar olmasına rağmen, bu çalışmanın kamera ve nesnelerin aynı anda hareket ettiği videoları işleyebilen ilk çalışma olduğunu belirtti.
İnsan gözleri ve beyinleri, 3B dünyayı 2B projeksiyonlardan geri itebilir. Birden fazla hareketli nesnenin sahnelerinde bile, nesne geometrisindeki ve derinlik sıralamasındaki (Derinlik Sıralaması) değişiklikleri anlayabilirler. Geçmişte, bilgisayar vizyonunun geliştirilmesinde, insanlar 2B görüntü verileri, bilgisayarın aynı yeteneğe sahip olmasını sağlamaya çalışarak 3B sahne geometrisini yeniden yapılandırır, ancak bazı durumlarda yeterince kararlı sonuçlar elde etmenin hala zor olduğunu, Google'ın özellikle de sahne nesnelerinin ve kameraların hareket ettiğini belirtti. Bazen, bilgisayarların derinliği doğru hesaplaması özellikle zordur.
Üçgenleştirmeye dayalı 3B yeniden yapılandırma algoritmasının öncülünden dolayı, aynı nesnenin en az iki farklı bakış açısı tarafından gözlemlenmesi gerekir.Bu koşulu karşılamak için bir kamera dizisi kullanmanız gerekir. Çekim için yalnızca tek bir kamera kullanıyorsanız, yalnızca kamerayı hareket ettirmeniz gerekir. Ve diğer sahne nesnelerini sabit tutun. Ancak hangi yöntem olursa olsun mevcut algoritmalar sahnedeki hareketli nesneleri iyi idare edemez.
Google'ın en son araştırma sonuçlarıyla ilgili özel olan şey, modelin insan pozlarını ve şekillerini öğrenmesine izin vermek için derin öğrenmeyi kullanmalarıdır. Model, kişinin alanının derinlik değerini doldurarak, doğrudan 3D üçgenlemeden kaçınır ve yanlış sonuçlara neden olur. Google, bunu söyledi, Bu makalenin insan araştırmalarına odaklanmasının nedeni, insanların gerçekliğin ve 3B resimlerin etkilerini geliştirmek için önemli bir konu olmasıdır.
Araştırmacılar, YouTube videolarını kullandılar, çeşitli statik pozlarda insanların videolarını çekmek, giysi mankenlerini taklit etmek için iki bin el kamerası buldular ve modellerin, insanların çeşitli statik doğal pozlarını öğrenmek için denetimli öğrenme gerçekleştirmesine izin verdiler. Ve tüm sahne hareketsiz olduğundan, yalnızca kamera hareket ediyor, böylece Google karakterler dahil tüm sahnenin doğru derinlik bilgilerini elde edebilir.
Google, denetimli bir şekilde derin bir model yetiştirmek için model sahne videoları ve doğru derinlik haritalarının (Derinlik Haritası) sağlanması gerektiğini, doğal insan davranışını elde etmenin yanı sıra gerçek sahneyi de dikkate almak ve sanal modelleme kullanmak gerektiğini belirtti. Büyük miktarda eğitim verisi elde etmek için sonradan oluşturma zordur ve Kinect gibi RGBD sensörlerinin kullanımı genellikle iç mekan sahneleriyle sınırlıdır ve bu alanda çözülmesi gereken başka 3B yeniden yapılandırma zorlukları vardır, bu nedenle Google sonunda YouTube'u kullanmayı düşünür. video.
Eğitim verilerinin derinlik bilgisinin hesaplanması iki adımdan oluşur: önce statik derinliği bulun ve ardından dinamik kısmı hesaplayın. Google, derinlik bilgilerini elde etmek için iki bakış açısından tek bir statik nesneyi gözlemlemek için hareket paralaksını kullanır. Google, iki kare pikselin farklı zamanlarda yer değiştirmesini hesaplar (2D Optik Akış) ve yer değiştirmeyi belirleyen değişken, sahnenin derinliğidir. , Ve kameranın göreceli konumu ve kamera konumu bilinen bilgi olduğundan, model ilk derinlik haritasını hesaplayabilir.
İlk derinlik haritası yalnızca statik kısmı içerir. Videodaki hareketli karakterleri işlemek için, Google ilk olarak giriş bilgilerinin bir parçası olarak başlangıç derinlik haritasındaki karakterleri maskeleyecek ve RGB görüntüleri dahil olmak üzere dönüş ağının verilerini girecektir. , Karakter maskesi ve maske ile işlenen paralaks derinlik haritası ve regresyon ağının işi, karakter alanının derinlik değerini onarmaktır. Google, karakterlerin benzer şekil ve boyutlara sahip olması nedeniyle ağın örneklerden geçtiğini belirtti. Öğrendikten sonra, karakterlerin derinlik bilgisini çıkarabilirsin.
Eğitimden sonra model, kameranın videosunu ve rastgele hareket eden karakterleri işleyebilir ve karakterlerin ve sahnenin derinlik değerini bulabilir, videoya alan derinliği ekleme, odak dışı bırakma efektlerini sentezleme gibi videoya 3B algılama özel efektleri ekleyebilirsiniz ve ayrıca Üç boyutlu bir videoya daha fazla sıfırlayın veya videoya bir CG nesnesi koyun ve farklı karelerin görüntü bilgilerini birleştirin, ayrıca bir hareketli kamera işlevi de yapabilirsiniz (aşağıda).
