Gerçekten korkunç! Nvidia MIT, Ma Liang'ın sihirli kalemini yaptı
Aufei Tapınağı'ndan Geng Guo Yipu'ya sordu
Qubit Raporu | Genel Hesap QbitAI
Sihirli kalem Ma Liang'ın hikayesini hatırlıyor musunuz?
Sihirli kalem sahibi olan Ma Liang nesneler, hayvanlar ve yiyecekler çizebildiği gibi bu resimler bir saniyede ekrandan çıkıp gerçek dünyada var olan şeyler haline gelebiliyor.
Bu sadece bir peri masalı olsa da, Nvidia ve MIT tarafından ortaklaşa yürütülen son araştırma, Ma Liang'ın "sihirli kaleminin" temelde ayrılmaz olduğunu gösteriyor.
Nvidia ve MIT'den araştırma ekipleri yakın zamanda bugüne kadarki en güçlü yüksek tanımlı video oluşturma yapay zekasını üretti. Bu takımda Nvidia'dan Ting-Chun Wang ve Ming-Yu Liu ve MIT'den Jun-Yan Zhu yer alıyor.
Sonuçları ne kadar güçlü ve korkunç? Hadi birlikte görelim.
Dinamik bir semantik harita olduğu sürece, gerçek dünya ile neredeyse aynı videoyu elde edebilirsiniz. Başka bir deyişle, zihninizde sahneyi ana hatlarıyla belirlediğiniz sürece onu çekmenize gerek yoktur ve aşağıdaki gibi film düzeyinde video otomatik olarak P out olabilir:
Bu bir video değil. Sokak görünümündeki yollar, araçlar, binalar ve yeşil bitkiler otomatik olarak oluşturulur. Başlangıçta, sahnenin ana hatlarını basitçe çizen anlamsal bir bölümleme haritasıydı, ancak gerçek bir sokak sahnesine dönüştü.
Gerçek biraz fazla.
Ayrıca, çeşitli farklı video stilleri de oluşturabilirsiniz:
Sokak görünümünü bile değiştirebilir. Örneğin, yolun her iki yanındaki binaları ağaca çevirmek ve aniden bir orman parkında araba sürüyormuş hissi uyandırıyor:
Veya sokak ağaçlarını binalara çevirin, ancak bu binalar eski görünüyor:
Rastgele üretim ve değişiklikler, Harry Potter'ın asasını çalmak gibidir.Bu sahnedeki tüm unsurları büyü yapmadan değiştirebilirsiniz.
Harika da var.
Basit bir taslak aracılığıyla, zengin ayrıntılara ve yumuşak hareketlere sahip yüksek çözünürlüklü bir yüz oluşturabilirsiniz:
İnsan yüzünün ana hatlarına göre, sistem otomatik olarak konuşan bir yüz oluşturur.Yüz şekli, yüz özellikleri, saç modeli ve takıların tümü oluşturulabilir.
Hatta yüzler için arka plan çizme görevini üstlenme girişiminde bulundu.
Buna ek olarak, yüzün yüz rengi ve saç rengi de özelleştirilebilir. Cilt koyu veya açık ve saç rengi siyah veya beyazdır, tümü doğal olarak basınç olmadan oluşturulur:
Kırmızı ten rengi
Soluk stil
Solgun yüz
Neredeyse aynı kişi saçını boyayıp üç kez okşadı Böylesine gerçekçi bir etkiyle, gerçekten korkuyorum ki bir gün arkadaş çevresi içindeki üç kozmetik mikro-iş adamı onu insanları aldatmak için kullanacak. (Tabii kaşlara dikkatlice bakın, hala bazı kusurlar var)
Sadece yüz değil, tüm vücut ele alınabilir:
Soldaki manken, sağdaki canlı aksiyon videosunda sürekli olarak hareket ettikçe, kayarken ve değiştikçe, kahramanı da onunla dans ediyor.İstediğiniz duruş ne olursa olsun, daha uzun, daha kısa, daha şişman veya daha ince hale geliyor. Sadece soldaki mankeni ayarlayın ve sağdaki canlı çekim videosu sizi dinleyecektir.
Önceki araştırmaya kıyasla, Nvidia'nın vid2vid'inin etkisinin nasıl olduğunu bir bakışta anlayabilirsiniz.
COVST'nin 2017'de ICCV üzerindeki etkisi şu şekildedir:
Pix2pixHD'nin 2018'de CVPR üzerindeki etkisi şu şekildedir:
Son etki şudur:
Bulanıklık yok, bozulma yok, anormal titreme yok, resim pürüzsüz ve pürüzsüz ve ton yumuşak. Video prodüksiyonuna uygulandığında ise yılda 10.000 film çekmek neredeyse hiç sorun değil.
Son olarak, net etki, herkesi görüntülemek için videoyu tıklamaya davet ediyor:
