Tüm filmleri ve animasyonları ipeksi pürüzsüz, 480 kareyi gecikmeden yapın, Jiaotong Üniversitesi doktora öğrencileri açık kaynak çerçeve ekleme yazılımı
İçbükey tapınaktan Xiaocha
Qubit Raporu | Genel Hesap QbitAI
Cep telefonları bile 120 çerçeveli ekranları kullanmaya başladı, ancak İnternet'teki videoların çoğu hala 30 çerçeveli.
Videonun kare hızı, insanların ihtiyaçlarının çok gerisinde olduğundan pek çok kişi sıradan bir videoyu nasıl yüksek kare hızlı videoya dönüştürebileceğini araştırıyor.
Geçen yıl, NVIDIA açık kaynaklı Süper SloMo , 30 fps'den 240 fps'ye kadar yüksek kare hızlı resimler üretmek için sıradan video "beyin takviyesi" nden, 8 kat yavaşlatılsa bile, sıkışmış hissetmez.
Son zamanlarda, Şanghay Jiaotong Üniversitesi'nden yeni bir çerçeve enterpolasyon algoritması DAIN Açık kaynak. Nvidia'nın algoritmasından daha net bir etkiye ve daha yüksek bir kare hızına sahiptir.30 fps'den 480 fps'ye kadar birçok cep telefonunun ağır çekim video kare hızını aşan kare ekleyebilir.
Daha da önemlisi, Nvidianın Süper SloMo'su yalnızca gerçek videolarda kullanılıyor, ancak bu araştırma herhangi bir yaygın video türüne genişletilebilir: filmler, hareketli durdurma animasyonları, çizgi filmler vb.
Yukarıdaki etkinin yeterince açık olmadığını düşünüyorsanız, başka bir göz atabilirsiniz.
Tüylerin sallanması daha yumuşak ve daha doğal hale geldi mi?
Gelecekte animasyon üretimi için DAIN kullanılırsa, yalnızca düşük çerçeveli animasyonun ipeksi efektler üretebileceği ve bunun da illüstratörlerin işini büyük ölçüde azaltabileceği düşünülebilir.
DAIN'in kodu açık kaynaklıdır ve araştırmacılar bile bir kopyasını paketlemiştir Windows yükleyici , AI temeli olmayan kullanıcılar bile doğrudan kullanabilir.
Kurulum
Windows kullanıcılarının yüklemeleri için hazır bir exe dosyası vardır (makalenin sonundaki adrese bakın), ancak bu hala Alpha aşamasındadır ve yazılım kararsız olabilir.
Diğer platformların kullanıcılarının kurulumu karmaşık değildir.
Öncelikle PyTorch sürümünüzün 1.0.0'dan düşük olmadığından emin olun, projeyi yerel olarak klonlayın:
gitclonehttps: //github.com/baowenbo/DAIN.gitPyTorch'un çeşitli uzantı paketlerini kurun:
cdDAINcdmy_package./build.shAyrıca NVIDIA Predictive Optical Flow Network PWCNet yazılım paketini kurun:
cd ../ PWCNet /koration_package_pytorch1_0. / build.shYazar önceden eğitilmiş bir model sağladığından, çok fazla çaba harcamak zorunda değiliz. Model_weights dizini oluşturun ve önceden eğitilmiş modelin ağırlıklarını ilgili klasöre indirin:
cdmodel_weightswgethttp: //vllab1.ucmerced.edu/~wenbobao/DAIN/best.pthVideoya çerçeve eklemeye başlamak için aşağıdaki komutu çalıştırın!
CUDA_VISIBLE_DEVICES = 0pythondemo_MiddleBury_slowmotion.py netNameDAIN_slowmotion time_step0.25- time_step'ten sonraki parametre videonun yavaşlama katıdır, 0.25, video kare hızının orijinalin 4 katına genişletildiği anlamına gelir. 8x ve 10x ağır çekim oluşturmak istiyorsanız, parametreleri 0,125 ve 0,1 olarak değiştirin, vb.
Derinlik ve optik akış, görüntü daha net
Daha önce videodaki karelerin enterpolasyonuna yönelik birçok algoritma vardı DAIN bunlardan nasıl farklıdır?
DAIN'in tam adı Derinliğe Duyarlı Video Karesi Enterpolasyonu, yani derinlik algısı video karesi enterpolasyonudur.
Video karesi enterpolasyonunun amacı, orijinal kareler arasında var olmayan kareleri sentezlemektir. Bununla birlikte, büyük nesne hareketi veya tıkanma nedeniyle, eklenen çerçevenin kalitesi genellikle daha düşüktür.
Bu çalışmada, araştırmacılar derinlik bilgilerini keşfederek tıkanıklığı tespit etmek için bir yöntem önerdiler.
Yazar, özellikle uzaktaki nesneleri örnekleyen ara akışı sentezlemek için derinliği algılayan bir optik akış projeksiyon katmanı geliştirdi. Ek olarak, katmanlama işlevi, komşu piksellerden bağlamsal bilgi toplamak için öğrenilir.
Yukarıdaki şekil DAIN'in mimarisidir: iki anda iki giriş çerçevesi verildiğinde, önce optik akışı ve derinlik haritasını tahmin edin ve ardından ara akışı oluşturmak için önerilen derinlik algılama akış projeksiyon katmanını kullanın.
Daha sonra model, optik akış ve yerel enterpolasyon çekirdeğine dayalı olarak girdi çerçevesini, derinlik haritasını ve bağlam özelliklerini bozar ve çıktı çerçevesini sentezler.
Bu model kompakt, verimli ve tamamen farklılaştırılabilir. Nicel ve nitel sonuçlar, DAIN'in çeşitli veri setlerinde en son çerçeve enterpolasyon yönteminden daha üstün olduğunu göstermektedir.
Yazar
Bu makalenin ilk yazarı Bao Wenbo, Şangay Jiaotong Üniversitesi Elektronik Bilgi ve Elektrik Mühendisliği Fakültesi'nde doktora öğrencisidir.
Mevcut araştırma alanları görüntü / video işleme, bilgisayarla görme ve makine öğrenimine odaklanmaktadır. Ayrıca donanım tasarımı, gömülü sistemler ve paralel programlama konularında deneyime sahiptir.
Portal
Kağıt adresi: https://sites.google.com/view/wenbobao/dain
Proje adresi: https://github.com/baowenbo/DAIN
Windows sürümü yazılım indirmesi: https://drive.google.com/file/d/1uuDkF4j4H1AI1ot88XdqzwMdvAPhxKN8/view
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojiden haberdar olun
