Sadece 996 komut dosyası öğrenin! Disney, animasyonları otomatik olarak oluşturmak için AI kullanıyor
Akıllı şeyler (genel hesap: zhidxcom) düzenlendi | Wang Ying
Lider: Son zamanlarda Disney, animasyonları otomatik olarak oluşturmak için yapay zekanın kullanımı üzerinde çalışıyor. Bu sefer yeni geliştirilen sistemleri çok fazla veri eğitimi gerektirmiyor ve sanatçıların daha verimli çalışmasını sağlayabilir.
Kısa süre önce, Disney Araştırma Enstitüsü ve Rutgers Üniversitesi'nden bilim adamları, yapay zeka ile oluşturulan metinle oluşturulan animasyon modelleri hakkında ortaklaşa bir makale yayınladılar.
Araştırmacılar, bu algoritmanın yalnızca girdi metnindeki belirli etkinlikleri tanımlaması gerektiğini ve animasyon oluşturmak için açıklamalı veriler ve çok fazla eğitim gerektirmediğini söyledi.
Bu makalede, araştırmacılar ayrıca, film senaryosundaki metni tasvir etmek için kaba bir hikaye versiyonu ve film senaryosu videosu oluşturabilen uçtan uca bir model önerdiler. Ek olarak, bu sistem aynı zamanda uçtan uca sinir sistemini eğitmek için eğitim verileri oluşturmak için de kullanılabilir.
Disney Rutgers University'nin AI metin oluşturma animasyon modeli hakkındaki makalesi
Disney, AI alanındaki ilerlemeye yakın ilgi gösteriyor. Uzun yıllar boyunca AI teknolojisini çeşitli endüstrilerine entegre etmeye çalıştı.Ayrıca bir dizi eğitim modeli geliştirmek için üniversiteler ve diğer araştırma kurumlarıyla işbirliği yaptı. Bu kez Disney, modelin otomatik olarak animasyon oluşturmasını sağlamak için metinden videoya teknolojisini daha da güçlendirdi.
1. Daha karmaşık metinleri animasyona nasıl dönüştürebilirim?
Disney'in metni, animasyonlu bir AI sistem şemasına dönüştürülür
Metni animasyona dönüştürmek basit bir iş değildir.Metni videoya dönüştüren çoğu araç, giriş cümlesinin ve çıktı animasyonunun sabit bir yapısı olmadığından karmaşık cümleleri işleyemez. Bu sorunun üstesinden gelmek için, makalenin iki yazarı, birden çok bileşen modülüyle birlikte bir sinir ağı kurdu.
Bu ağ birkaç bölümden oluşur: metni senaryo açıklamasından otomatik olarak izole edebilen bir komut dosyası ayrıştırma modülü ve doğal bir dil işleme modülü (karmaşık cümleleri basitleştirmek için bir dizi dil kuralı kullanarak ve bunları ön öğeye dönüştürmek için basitleştirilmiş cümlelerden bilgi ayıklama) Tanımlanmış eylem gösterimi) ve gösterimi bir animasyon dizisine dönüştüren üretken bir model.
Disney AI sisteminin metin sadeleştirme aşaması
Basitleştirilmiş yöntem, senaryodaki temel bilgileri daha kolay çıkarabilir ve yeni geliştirilen sistem, karmaşık cümleleri özerk olarak bölebilir ve daha basit cümleler halinde bir araya getirebilir ve daha fazla basitleştirme imkansız olana kadar bunları yinelemeli olarak işleyebilir.
Daha sonra, sistem aynı sözdizimsel ilişki ve aynı işleve sahip cümleleri "koordine edecek". Son olarak, kelime azaltıcı, cümledeki eylemleri önceden tanımlanmış kitaplıktaki 52 animasyonla eşleşecek şekilde basitleştirecek (eşanlamlılar sözlüğü aracılığıyla 92'ye genişletildi).
Ardından, eylemleri Cardinal adlı bir ardışık düzene girin ve popüler bir video oyun motoru olan Unreal'da bir ön görselleştirme oluşturun. Son olarak, önceden tanımlanmış bir animasyon kitaplığı, önceden yüklenmiş nesneler ve karakterler oluşturmak için kullanılabilen modeller kullanarak, bu sistem bir 3D animasyon videosu oluşturabilir.
Bu sistemi eğitmek için araştırmacılar, IMSDb, SimplyScripts ve ScriptORama5 gibi ücretsiz olarak kullanılabilen film komut dosyası veritabanlarından 1.000'den fazla senaryo topladı ve bunlardan 996'sını bir sahne açıklaması korpusu yazmak için seçti. Bu külliyat 525.708 açıklamadan oluşur ve 1.402.864 cümle içerir; bunlardan 920.817'si (% 40'ın üzerinde) en az bir eylem fiiline sahiptir.
2. Animasyon mantığı% 68'e ulaşır ve araştırmacılar sistemi daha da optimize edecek
Niteliksel bir testte 22 katılımcı, sistem tarafından oluşturulan 20 animasyonu 5 puanlık bir ölçekte değerlendirdi (örneğin, görüntülenen video metin için makul bir animasyonsa, videoda ne kadar metin tasvir ediliyor? , Ve metinde ne kadar bilgi var), katılımcıların% 68'i sistemin senaryoya girerek "makul" bir animasyon oluşturduğuna inanıyordu.
Araştırmacılar, sistemin kendisinin sınırlamalarına ek olarak, oluşturulan animasyonun "irrasyonel" bileşeninin de metindeki eylemin belirsizliği ile ilgili olduğuna inanıyorlar. Bu sistemin mükemmel olmadığını ve eylemleri ve nesneleri listesinin kapsamlı olmadığını kabul ediyorlar. Bazen, kelime dağarcığının basitleştirilmesi fiilleri ("izlemek" gibi) benzer animasyonlara ("bak") eşleyemez veya orijinal cümlede birçok özne içeren fiiller için yalnızca birkaç basitleştirilmiş cümle oluşturabilir.
İç değerlendirme ve dış değerlendirme, sistem performansının rasyonelliğini gösterir. Araştırmacılar, gelecekteki çalışmalarda metindeki belirsizlik sorununu çözmek için sistemin metinde açıklanan söylem bilgisini tam olarak nasıl kullanacağına odaklanmayı planlıyor.
3. Disney'in AI araştırma geçmişi
Teknik açıdan bakıldığında Disney, yapay zeka araştırmalarına büyük önem veriyor gibi görünüyor ve birçok girişimde bulundu.
Disney, Ağustos 2017'de resimleri ve sesleri birbirine bağlayan bir makine öğrenimi sistemi geliştirmek için ETH Zurich ile işbirliği yaptı. Bu sistem, video içeriğinin daha tutarlı görünmesini sağlamak için ses ve resimleri birleştirebilir.
Araştırmacılar, modeli eğitmek için gürültü ve saf olmayan arka plan sesleri içeren bir dizi video giriş sistemi kullandılar. Eğitimli sistem, resim bilgisini ses bilgisi ile ilişkilendirebilir. Örneğin, kapıyı kapatma eylemi ilerledikçe, insanlar belirli bir kapı kapanma sesi "hayal edecekler". Esasında insanlar kapının kapatılmasıyla ilgili görsel bilgileri ses bilgisi ile ilişkilendirirler.
Bu araştırmanın yapmak istediği şey, AI sisteminin bu alaka düzeyini geliştirmek. Eğittikleri AI sistemi, kapanan kapıların, kupa çarpışmalarının ve yolda araba sürüşünün sesiyle başarılı bir şekilde eşleşti. Bu aynı zamanda video editörlerinin daha iyi çalışmasına yardımcı olacaktır.
Disney, AR görüntülerinin ve gerçek nesnelerin etkileşimli resimlerini yayınlar
Ocak 2018'de Disney araştırmacıları, animasyonlu AR karakterlerinin gerçek nesnelerle etkileşime girmesine izin veren siyah bir teknoloji yayınladı.
Örneğin, evde oturma odasının zemininde bir 3D çizgi film karakteri haritalandığında, sanal görüntü basamakların üzerinden atlayacak veya engellerin etrafından dolanacak ve hatta bir evcil köpek koştuğunda ona çarpabilir.
Bu araştırma, artırılmış gerçeklik deneyimi ile gerçeklik arasındaki etkileşimi sağlayarak animasyonu daha eğlenceli hale getirdi. Belki ileride animasyondaki karakterlerle de etkileşim kurabiliriz.
Eylül 2018'de Disney AI Araştırma Merkezi, robotların süper kahramanlar gibi gösteriler yapmasını sağlamaya çalıştı. Disney'in dublör deneyleri, robotun sinir ağının, robotu gökyüzüne gitmek, sürünmek ve kürek çekmek gibi eylemleri tamamlaması için eğitmesini içerir. İnsanların yapabildiğini yapabilir ve insanların yapamadığını da yapabilir.
Dördüncüsü, metin dönüştürme video teknolojisi uzun süredir uygulanıyor
Aslında, metin parçalarından orijinal klipler oluşturan AI, en son araştırma bulgusu değil.
Nisan 2016'da Tayvanlı girişim şirketi GliaCloud, metin mesajlarının ana içeriğini videolar biçiminde görüntülemek için AI teknolojisini kullandı. Bu AI video prodüksiyon şirketi, 48 küresel Google bulut teknolojisi uzmanından biri olan David Chen ve reklamcılık alanında 20 yıllık iş geliştirme deneyimine sahip Dominique Tu tarafından 2015 yılında Tayvan'da ortak kuruldu. GliaStudio belirtilen metnin içeriğini analiz edip özetledikten sonra, çıkarılan içeriğe dayalı bir film oluşturmak için kendi veri tabanından veya kamu kaynaklarından ilgili fotoğrafları, video klipleri ve hatta seslendirmeleri arar.
Geçen yıl, bazı araştırmacılar, biyolojik nöronları taklit etmek için sinir ağlarını kullanan bir sistemi ayrıntılı olarak tanıttı.Bu sistem, 6464 piksel ile 32 kare video üretebiliyor. Araştırmacılar, bu sistemin iki aşamada video oluşturduğunu söyledi: İlk aşama, videonun ana noktalarını oluşturmak için metin kullanıyor, genellikle arka plan renginin ve nesne düzeninin bulanık bir görüntüsü. İkinci aşamada metnin ana noktaları ve diğer içerikleri aynı anda ele alınır ve ardından ana noktalar metin içeriği ile birleştirilerek bir video oluşturulur.
Örneğin, çimlerde golf oynayan insanların videosunu oluşturmak için "çimde golf oynama" ifadesi kullanılır.
Doğal dil metninden otomatik animasyon oluşturma, film komut dosyası oluşturma, video öğretme ve kamu güvenliği gibi birçok alanda uygulamaya sahiptir.
Bu AI algoritma sistemleri, içerik oluşturuculara daha hızlı yinelemeler, prototip oluşturma ve kavram kanıtı sağlayabilir ve komut dosyası yazmanın verimliliğini artırmaya yardımcı olabilir.
Sonuç: AI tarafından oluşturulan animasyon daha geniş bir pazara sahip olabilir
Araştırmacılar, Disney'in yapay zeka ile otomatik olarak oluşturulan animasyon üzerine yaptığı araştırmanın, senaryo yazarlarının ve sanatçıların işlerinin yerini almak için değil, hantal çalışma prosedürlerinin verimliliğini artırmak olduğunu söyledi.
Mevcut araştırma sonuçları mükemmel olmasa ve animasyon sistemi metin içeriğini% 100 animasyona dönüştüremese de, bu araştırma aynı zamanda metinden videoya teknolojisi için anlamlı bir girişimdir.
Disney animasyonu, klasik animasyon görüntülerini birbiri ardına şekillendiren, tüm dünyada çok geniş bir etkiye sahiptir. Bugün, yapay zeka otomatik animasyon üretimi üzerine yaptıkları araştırmaların, tüm animasyon filmi üretim pazarını etkilemesi muhtemeldir ve yapay zeka üretiminin yolu, gelecekteki animasyon filmi üretimi için yeni bir yön haline gelebilir.
Kağıt bağlantısı: https://arxiv.org/pdf/1904.05440.pdf
Orijinal: VentureBeat
