Görüntü stilizasyonu, müreffeh bir güzellik yaratmanıza yardımcı olur
Belki belli bir anda Van Gogh ve Monet'nin resimlerini kıskandınız; belki belli bir yaşta ikinci boyutta bir anime karakteri olmanın hayalini kurmuşsunuzdur; belki de eski zamanlara geri dönüp kendinizi eski kostümler içinde hayal etmişsinizdir. Şimdi, "görüntü stilizasyonu" hayallerinizi gerçeğe dönüştürebilir.
Belki "görüntü stilizasyon" terimini duymamışsınızdır, o zaman aşağıdaki resimlere bir göz atın:
İlkel sanat tarzı görüntü
+
Sıradan görüntü
Orijinal sanatsal stilin sıradan imajla birleştirilmesinin sonucu
Doğru, bu görüntü stilizasyon sürecidir!
Görüntü stilizasyonu: "Çekime" sanatsal bir hava katın
Görüntü stilizasyonuna stil aktarımı da denilebilir, yani sanatsal özelliklere sahip bir görüntünün stilini sıradan bir görüntüye aktarır, böylece orijinal görüntü orijinal içeriği korur ve çizgi film ve çizgi roman gibi benzersiz bir sanatsal tarza sahip olur. , Yağlı boya, sulu boya, mürekkep vb.
Bu özellik uzun zamandır beklenen özellik mi? Ama bizler bir sanat dalı olarak doğmadık, Çektiğimiz manzara fotoğraflarını nasıl çok sanatsal hale getirebiliriz, fotoğraflarımızı bir eskiz veya karikatüre dönüştürebiliriz? İnternette zaten doğrudan oluşturulabilen birçok benzer Meitu yazılımı olduğunu düşünebilirsiniz, ancak ya bu görüntü işleme yöntemlerinde beğendiğiniz bir stil yoksa? Şu anda, DIY görüntü stilizasyon teknolojisi bize yardımcı olabilir.
Elbette mükemmel teknolojinin geliştirme süreci her zaman uzun ve zordur. Fotogerçekçi olmayan ikonografi alanında, görüntü sanatı üç yönteme ayrılmıştır:
-
Stroke-based Rendering: Yani, stil resimlerinde kontur bilgilerini öğrenmek için, ancak bu yöntem, kullanımını büyük ölçüde kısıtlayan diğer stilleri aktarmak için basitçe genişletilemez.
-
Görüntü Analojisi: Çok sayıda orijinal görüntü çiftine ve stil sonuç görüntülerine ihtiyacınız var.
-
Görüntü Filtreleme: Hızlıdır ve endüstriyel dünyanın ihtiyaçlarını karşılayabilir, ancak bu yöntem karmaşık stil geçişleri yapmak için çok basittir.
Bununla birlikte, mevcut görüntü stilizasyon yöntemi yukarıdaki sorunların üstesinden gelmiştir ve bir "tek tıklamayla oluşturma aracı" sağlayabilir, istediğiniz görüntü efektini hızlı bir şekilde oluşturmak için profesyonel görüntü işleme teknolojisinde uzmanlaşmaya gerek yoktur.
İki klasik görüntü stilizasyon işleme tekniği
Son yıllarda yapay zeka hızla gelişti ve derin öğrenme araştırma noktalarından biri haline geldi. Görüntü işleme alanında derin öğrenmenin gelişmesiyle birlikte, derin öğrenmeye dayalı hızlı bir görüntü stilizasyonu ortaya çıkmıştır. Bu görüntü stilizasyon yöntemi, görüntü oluşturma hızını büyük ölçüde artırır ve oluşturulan görüntülerin daha iyi görsel efektlere sahip olmasını sağlar.
1 , CNN tabanlı görüntü stilizasyon
Görüntü stilizasyon aktarımı alanının öncüsü olan Gatys, önce NIPS hakkında bir makale yayınladı ve görüntünün doku bilgisini temsil etmek için elde edilen Gram matrisini kullanan Evrişimli Sinir Ağlarını Kullanarak Yeni bir CNN tabanlı doku modelleme yöntemi olan TextureSynthesis'ü önerdi. Ve 2015 yılında stilizasyon için CNN kullanılması önerildi.
Bu makalenin temel bulgusu, evrişimli sinir ağındaki stil ve içeriğin ifadesinin ayrılabileceği ve farklı seviyelerde ifade edilen bilginin farklı olduğudur (daha yüksek katmanlar içerik bilgisini temsil eder ve daha düşük katmanlar stil bilgisini temsil eder).
Farklı seviyelerde CNN özellik çıkarımının şematik diyagramı
Gatys, orijinal resmi, stil resmini ve ilklendirme resmini evrişimli sinir ağına girer ve başlangıç resmi ile orijinal resim arasındaki içerik farkını ve bir kayıp fonksiyonu ile ifade edilen evrişimli katmandaki stil resmi ile stil resmi arasındaki stil farkını hesaplar. Hatanın geri yayılması yoluyla, gradyan iniş yöntemi, tatmin edici bir sonuç elde edilene kadar başlatma resmini sürekli olarak güncellemek için kullanılır.
Ancak bu yöntemin ürün indirme talebini karşılaması çok uzun sürüyor.
Yapay zeka alanında seçkin bir kadın bilim adamı olan Li Feifei 2016 yılında hızlı bir stilizasyon yöntemi önerdi. Çalışmalarındaki en büyük atılım, resim oluşturma süresini büyük ölçüde kısaltmaktır. GPU'da bir resim oluşturmak yalnızca saniyenin onda biri kadar sürer!
Li Feifei tarafından önerilen ağ yapısı, görüntü dönüştürme ağını ve kayıp ağını içerir. Görüntü dönüştürme ağı derin bir artık evrişimli ağdır ve kayıp ağı önceden eğitilmiş bir VGG16 ağ yapısı kullanır.
Sistem iki aşama içerir:
(1) Eğitim modeli aşaması.
Ağda eğitilecek modelin parametreleri, görüntü dönüştürme ağının parametreleridir. Eğitim seti görüntüsünü girin ve giriş görüntüsü x'i bir dönüştürme işlevi aracılığıyla bir stil görüntüsüne dönüştürün.
Oluşturulan resimler, stil resimleri ve içerik resimleri kayıp ağına girer ve çıkar ve görüntü dönüştürme ağından gelen stilize sonuç resmi çıktısı ile içerik resmi (dönüştürülecek resim) ve stil resmi (hedef stil resmi) arasındaki farkı hesaplar. Kayıp fonksiyonu şeklinde ifade edilir ve görüntü dönüştürme ağına geçirilir.Toplam kaybı en aza indirerek, ideal modele ulaşılana kadar görüntü dönüştürme ağının parametreleri güncellenir.
(2) Görüntü oluşturma aşaması.
Şu anda, sadece orijinal bir görüntü girin, stilize sonucu elde edebilirsiniz, bu çok uygun ve efekt çok iyi.
2 , GAN tabanlı görüntü stilizasyon
Stilizasyon son zamanlarda çok sıcak, GAN eğlenceye nasıl katılmıyor? GAN, bir yüzleşme ağı oluşturmaktır. Ana fikir, oyun teorisinin Nash dengesinden türetilmiştir, yani bir tarafın kazanması varken diğer tarafın kaybetmesi gerekir.
GAN, bir ayırıcı ve bir jeneratör olmak üzere iki bölümden oluşur. Jeneratörün amacı, gerçek veri dağılımını öğrenmek ve gerçek veri dağılımına yakın örnekler oluşturmaktır; ayırıcının amacı, giriş verilerinin gerçek verilerden mi yoksa jeneratörden mi geldiğini ayırt etmektir. Jeneratörü ve ayırıcıyı sürekli optimize ederek, her ikisinin de sonuçları optimize edilir.
GAN algoritması çerçevesi
2017'de Zhu Junyan'ın ekibi etkileyici sonuçlar üretmek için GAN'ın fikirlerini kullandı. Etki aşağıdaki şekilde gösterilmektedir. Şaşırtıcı olup olmadığına bakın! Yeterince, GAN görüntü oluşturma görevlerini yerine getiriyor.Eğitim zorluğunun yanı sıra söylenecek başka bir şey yok!
CycleGan tarafından oluşturulan sonuçların şematik diyagramı
Zhu Junyan ekibi CycleGAN'ın yapısını önerdi. Fotoğrafları sanatsal tablolara dönüştürmek gibi görüntü stilleri arasındaki dönüşümü tamamlamakla kalmaz, aynı zamanda resimlerin mevsimsel göçünü, yazdan kışa, tür göçünü, zebraları atlara vb.
CycleGAN, esas olarak bir halka ağı oluşturan iki ayna simetrik GAN'dır. Üreteçlerden biri X alanındaki resmi Y alanındaki bir resme dönüştürür ve diğeri Y alanındaki resmi X alanındaki bir resme dönüştürür İki ayırıcı sırasıyla resmin gerçek bir resim alanı mı yoksa üretilmiş bir resim mi olduğunu belirler.
Görüntü stilizasyonunun uygulama senaryoları
Tabii ki, görüntü stilizasyon işi artık görüntü sanatı ile sınırlı değil, aşağıdaki genişletilmiş uygulamalara bakın, kendinizi harika hissediyor musunuz?
-
Araba modelini değiştirmek sorun değil (anlamsal stil aktarımı)
-
Bazen büyük bir sanatçı kurun (grafiti yağlı boya haline gelir)
-
Sanatsal avatar değişikliği (portre stili geçişi)
-
Tembelim ve elle boyamak istemiyorum (örneği boyamak)
-
Sektörde hala bazı ürünler var
Otomasyon Enstitüsü'nün araştırma sonuçları
Böylesine ilginç ve pratik bir alan, doğal olarak Çin Bilimler Akademisi Otomasyon Enstitüsü'nden araştırmacıların katılımını gerektirir. Dünya Kupası sırasında değiştirdiğiniz avatarı hatırlıyor musunuz? Evet, Otomasyon Enstitüsü'nün araştırma sonuçlarından biridir!
ZHANG, Yong, Weiming DONG ve diğerleri "Veriye dayalı yüz çizgi film stilizasyonu." SIGGRAPH ASIA Technical Briefs (2014).
Böylesine ilginç bir şey araştırmanın hızını durduramaz. En güzeli yok, sadece daha güzel!
ZHANG, Yong, Weiming DONG ve diğerleri.Farklı Tarzlar Kullanan Karikatür Yüzlerin Veriye Dayalı Sentezi. In: IEEE İşlemleri on görüntü işleme2017. 26 (1), sayfa 464-478
Elbette bilgisayarla görme alanında her yıl bu tür senaryolar için sonsuz optimizasyon yöntemleri vardır. Kendin yapabilirsen, çok tatmin edici olacak!
