CVPR 2019 | Video içeriği ortadan kaldırmada yeni bir atılım - "Derin Akış Kılavuzlu" (açık kaynak kodu dahil)
Leifeng.com AI teknolojisi inceleme basını: Video içeriğinin ortadan kaldırılmasının anahtarı videonun eksik alanlarını doldurmaktır.Ancak videonun resimlerden daha fazla zaman boyutu olduğundan video içeriğinin yer ve zaman tutarlılığını korumak zordur. Mevcut teknoloji hala son derece zorludur. Ancak bu makale, Hong Kong Çin Üniversitesi'nden Zhou Bolei gibi araştırmacılar tarafından video içeriğini ortadan kaldırmak için önerilen yeni bir Derin Akış Kılavuzlu yöntemi gösterecek. Bu teknoloji artık her karenin RGB piksellerini doğrudan doldurmuyor, ancak bunu bir piksel genişletme problemine dönüştürüyor.Bu araştırma sonucu bir CVPR 2019 kağıdı olarak seçildi.
Şekil 1 Video içeriğinin kaldırılması
Spesifik uygulama adımları
İlk adım, yeni tasarlanmış derin optik akış alanı sentezi sinir ağını (DFC-Net) kullanarak, video karesindeki uzay ve zaman arasındaki ilişkiyi, yani her pikselin tüm video görüntüsündeki zaman içindeki hareketini temsil eden optik akış alanını sentezlemek; daha sonra Bu optik akış alanını, videodaki eksik alanları doğru şekilde doldurmak için piksel genişletme kılavuzu olarak kullanın. Optik akış alanını sentezleme sürecinde, DFC-Net, kabadan ince arıtma ilkesini takip eder.Optik akışın zor numune madenciliği ile birleştiğinde, tüm sinir ağının kalitesi daha da iyileştirilmiştir.
Son olarak, sentetik optik akış alanı, eksik video alanını doğru bir şekilde doldurmak için bir kılavuz olarak kullanılabilir. Bu yöntem niteliksel ve niceliksel olarak DAVIS ve YouTube-VOS veri setlerinde değerlendirilir ve sonuçlar, çalışma kalitesi ve hızının olağanüstü bir teknik seviye gösterdiğini göstermektedir.
Çerçeve
Şekil 2 Akış Kılavuzlu Çerçeve Boyama
Bu yöntemin çerçevesi iki adımdan oluşur - ilk adım eksik optik akış alanını sentezlemek ve ikinci adım piksel noktalarını sentetik optik akış alanına göre genişletmektir.
İlk adımda, DFC-Net optik akış alanını kabadan inceye sentezlemek için kullanılır. DFC-Net, DFC-S adlı üç benzer alt ağdan oluşur; ilk alt ağ, optik akışı nispeten kaba bir ölçekte tahmin eder ve daha fazla iyileştirme için bunları ikinci ve üçüncü alt ağlara geri besler. Sentezlenen optik akış alanı tarafından yönlendirilen ikinci adımda, bilinen alandaki pikseller, eksik alanların çoğunu doldurmak için farklı çerçevelerin optik akışı ile genişletilir. Daha sonra, videonun tamamında kalan bazı ayrıntı alanlarını doldurmak için geleneksel görüntü restorasyon sinir ağı kullanılır.
Kesin olarak, bu yöntem ilk adımda optik akışı daha doğru tahmin ettiğinden, video içeriğinin bir kısmı elimine edildikten sonra tutarlı bir tam video elde etmek kolaydır.
Eliminasyon sonucu
Şekil 3 Video eleme işlemi ekranı
Şekil 3, video içeriğini ortadan kaldırmak için Derin Akış Kılavuzlu kullanma sürecini göstermektedir. Her bir girdi dizisi için (tek sayılı satırlar), resim, eksik alan kapsama maskesine sahip temsili bir çerçeve gösterir; çift sayılı satırlarda, nihai eleme sonucu gösterilir.
Şekil 4 Sonuçların diğer yöntemlerle karşılaştırılması
Şekil 4 bize video içeriği eleme sonrası Deep Flow-Guided yöntemi ile Huang ve arkadaşlarının yönteminin sonuçlarının karşılaştırmasını göstermektedir.Bu yöntemin eleme sonucunun daha doğru ve eleme kısmının bağlantısının daha doğal olduğu görülebilmektedir.
Daha fazla içerik için, Leifeng.com AI Technology Review aşağıdaki gibi düzenler:
Orijinal bağlantı
https://nbei.github.io/video-inpainting.html
Kağıt adresi
https://arxiv.org/abs/1905.02884?context=cs
Github açık kaynak adresi
https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting
Leifeng.com AI Teknolojisi İncelemesi
