g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Senaryoyu yazarsınız, AI videoyu otomatik olarak keser: editörün 7 saatlik yaratımını tamamlamak için 13 dakika | Tsinghua Beihang

Aufei Tapınağı'ndan Balık ve Koyun Qubit Raporu | Genel Hesap QbitAI

Kamera geçişi doğaldır ve ritim hızlı ve yavaştır Bu kadar yüksek kaliteli bir video oluşturmak için ne tür profesyonel düzenleme becerileri gereklidir?

Cevap, kesmeye gerek yok, sadece yazın.

Örneğin, bir zürafa ile ilgili bir klibi düzenlemek için yapay zekaya sadece şunları söylemeniz gerekir:

Zürafa dünyanın en uzun hayvanıdır ve uzun bacakları ve boynu ile ünlüdür.

Zürafa dünyadaki en uzun hayvandır ve uzun bacakları ve uzun boynu ile ünlüdür.

Boynunda kahverengi bir yelesi vardır ve başının iki kıllı boynuzu vardır.

Boynunda kahverengi yelesi ve başında iki tüylü boynuz vardır.

AI, böyle bir resmi otomatik olarak düzenleyebilir ve tamamlayabilir:

Önce zürafa sürüsünün bütün resmini gösterin. Ardından kamera, uzun bacaklarını ve uzun boynunu göstermek için koşan bir zürafayı keser. Talimatları izleyin ve yeleyi ve boynuzları yakından çekin. Haydi yaşayalım!

Evet, artık malzemeyi kare kare ileri geri seçmeye gerek yok:

Düzenleme gerçekten fiziksel bir iştir

Sadece zihninizdeki fikirleri kısa kelimelere çevirin, buna Video Yaz Yapay zeka, malzeme seçiminden düzenlemeye, tek elden oluşturmaya kadar kalbinizi okuyabilir.

Bu, Beihang Üniversitesi, Tsinghua Üniversitesi, Harvard ve İsrail'deki Herzliya Disiplinlerarası Araştırma Merkezi'nden bilim adamları tarafından ortaklaşa oluşturulan en son yapay zeka eseri. Bir video oluşturmak için yalnızca tema senaryosuna ihtiyacı var.

Metin içeren video oluşturun

Şimdi materyal hazır, Yaz-Yaz-Video'nun bir videoyu nasıl "yazdığına" bir göz atalım.

Tüm süreç üç adıma bölünmüştür.

ilk adım , Kullanıcı metin biçiminde girdi sağlar. Bir Video Yaz, cümledeki anahtar kelimeleri seçecektir.

İkinci adım , Write-A-Video, materyal kitaplığında kendisiyle eşleşen aday klipleri seçmek için anahtar sözcükler kullanır.

Metin ve çekim arasındaki görsel anlamsal eşleştirme temel olarak iki adımı içerir: anahtar kelime eşleştirme ve görsel anlamsal yerleştirme.

İlk olarak, AI, komut dosyasına göre malzeme kitaplığından anahtar sözcük etiketleriyle tüm video çekimlerini alacaktır.

Materyal kitaplığındaki tüm videolar, anlamsal eşleştirmeyi kolaylaştırmak için anlık görüntülere bölünmüştür ve kullanıcılar, video bir sonraki adımda resmi olarak düzenlendiğinde AI oluşturmaya rehberlik etmek için film terimlerini kullanabilir.

Pekin Havacılık ve Uzay Bilimleri Üniversitesi'nden Write-A-Video'nun yazarı Bay Wang Miao, Write-A-Video'nun kullanıcıların, filmin ritmini ayarlamak gibi her sahnenin farklı görsel stillerini keşfetmek için giriş metninde film terimlerini kullanmalarına izin verdiğini söyledi. Ekranın aktarılması vb.

Buna ek olarak, histogram tabanlı bir bölümleme algoritması kullanarak, kareler arasındaki HSV renk gamındaki histogram% 80'den fazla farklılık gösteriyorsa ve izlenen SURF anahtar noktaları% 80'den fazla eşleşmiyorsa, algoritma bu iki kareyi kullanacaktır. Dünya, atışı böl.

Çok uzun ( > 30sn) veya çok kısa ( < 2s) lensler de atılacaktır çünkü kısa lensler kötü görünürken uzun lensler verimliliği ve değişkenliği azaltacaktır

Ardından, görsel anlamsal yerleştirme teknolojisi, alınan her atış için eşleşme puanını hesaplayacak ve en yüksek sıralamaya sahip atış aday atış olarak seçilecektir.

Burada kullanılan yöntem VSE ++ (Makalenin adresi için makalenin sonuna bakın). Bu yöntem, çapraz model içeriğini, metin ve çekimleri birbirine bağlamak gibi ortak bir özellik alanına kodlayabilir.

Gömme alanında, çekimdeki her on kareden bir kare çıkarılır, metinle arasındaki kosinüs benzerliği hesaplanır ve son olarak ortalama değer alınır; bu, çekimin seçilip seçilemeyeceğine karar vermek için son puandır.

üçüncü adım , Video düzenlemeyi tamamlamak için bu çekimleri bir araya getirmektir.

Bu adım aslında Write-A-Video'nun lensin hibrit optimizasyonudur. Ayrıca kendi estetik standartlarına da sahiptir.

İlk olarak, resim parlak ve canlı olmalıdır.

İkincisi, lens çok fazla sallanamaz.

Son olarak, tutarsız atlama kesimlerinden kaçının ve kamera hareketlerini tersine çevirin.

Yazma-Video'nun çok kullanıcı dostu olduğunu belirtmekte fayda var.

Yeni metin ekleyin ve ilgili materyal otomatik olarak yenilenecektir

İlgili çekimi bulun, kesin, yeniden düzenleyin, metin ekleme, silme ve cümle taşıma gibi metin düzenleme biçimlerini kullanabilirsiniz. Kodlamayı bırakın, düzenleme becerilerinde ustalaşmanıza gerek yok.

Sadece bu değil, daktilo edilen metin, filmin atmosferini geliştirmek için bir dublaj anlatımına da dönüştürülebilir.

Üstelik anlatım ve video tamamen senkronize ve yazışmalar çok doğal. Buckingham Sarayı'na gelince kamera doğal olarak Buckingham Sarayı'nın ön tarafına dönüyor. Kraliyet Muhafızları söz konusu olduğunda, resim performans olarak Kraliyet Muhafızlarına verilir.

Araştırma ekibi, kare kare işleyen ticari video editörlerine kıyasla yazmanın Video Yazma ile çok daha hızlı olduğunu söyledi.

Bir Video Yaz ile acemiler bile çok daha hızlı yapabilir (13 dakika: 7 saat) Profesyonel editörlerin çok gerisinde olmayan bir kalitede video düzenleme görevini tamamlamak.

Editörler için Pr, acemiler için Bir Video Yazın

Yeni tamamlanan SIGGRAPH Asia 2019 konferansında araştırma ekibi, uluslararası meslektaşlar tarafından geniş çapta tanınan Write-A-Video'nun sonucunu bildirdi ve gösterdi.

Beihang Tsinghua ekibi tarafından üretildi

Write-A-Video'nun ilk yazarı olan Dr. Wang Miao, şu anda Beihang Üniversitesi, Sanal Gerçeklik Teknolojisi ve Sistemleri Eyalet Anahtar Laboratuvarı'nda yardımcı araştırmacı ve bir yüksek lisans süpervizörüdür.

Wang Miao

Xidian Üniversitesi'nden lisans derecesi ile mezun oldu ve ardından 2016 yılında Tsinghua Üniversitesi'nden doktora derecesi aldı. Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nden Profesör Hu Shimin tezin yazarı olarak çalıştı.

Tezin yazarlarından biri olan Yang Guowei, projeye katıldığında sadece bir lisans öğrencisiydi ve şu anda Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nde doktora yapıyor.

Diğer iki yazar Fields Madalyası sahibi, Harvard Üniversitesi profesörü, Çinli-Amerikalı matematikçi Qiu Chengtong ve İsrail'deki Herzliya Disiplinlerarası Araştırma Merkezi dekanı Ariel Shamir.