Gelişmiş CycleGAN! Jia Jiaya ve diğerleri, boyut duvarını aşarak bir çizgi film ve yüz dönüştürme modeli öne sürdüler
Bronz ruh, içbükey tapınaktan gelir
Qubit Üretildi | Genel Hesap QbitAI
Bu sefer, tanrıçanız nihayet boyut duvarını aşabilir.
Hong Kong Chinese, Harbin Institute of Technology ve Tencent Youtu tarafından yapılan yeni bir çalışma, yüz fotoğraflarını elle çizilmiş bir versiyona benzeyen çizgi film resimlerine dönüştürebilir ve hatta iki boyutlu çizgi film resimlerini gerçekte mümkün olana dönüştürebilir.
Gerçek yüz fotoğraflarını çizgi film resimlerine dönüştürün, efekt CycleGAN'ı aşıyor.
Aynı zamanda tutkulu bir gençlik nefesi ile Japon çizgi roman stiline de dönüştürülebilir.
Daha büyülü şeylere bir göz atalım.Çizgi romanlardaki karakterlerin boyutsal duvarı aştıklarında ne hale geldiklerini görmek istiyorum Bu algoritmayı tek seferde kullanabilirsiniz.
Gözlüklü böyle şirin bir kız gerçek bir insan olur ...
Hazır mısınız ...
Kısa kızıl saçlı kız, Qiang Qiang Qiang'ı dönüştürüyor:
Dönüştürdükten sonra:
Dönüşmeden önce çizgi film yay giyen kız:
Dönüştürdükten sonra:
Boyutsal duvarı kırmanın sırrı bir kağıdın içindedir.
Dönüşüm hileleri
Bu kağıt, Cartoon Face Generation için Landmark Assisted CycleGAN olarak adlandırılmıştır.
Araştırmacılar, gerçek ve karikatür yüzler arasında eşleştirilmemiş eğitim verileri kullanarak insanların çizgi film resimlerini oluşturmanın dikkat ettikleri bir alan olduğunu söyledi.
Ancak bu görevden önce şu büyük zorluklar vardı:
Gerçek ve karikatür yüzlerin yapısı iki farklı alana aittir ve görünüşleri oldukça farklıdır. Net bir yazışma yoksa, temel yüz özelliklerini yakalamak ve yüksek kaliteli çizgi film resimleri oluşturmak zordur.
Bu sorunu çözmek için, araştırmacılar, CycleGAN'da tutarlılık kaybını tanımlamak ve yerel ayrımcıların eğitimine rehberlik etmek için yüz dönüm noktası özelliklerini kullanan Landmark Assisted CycleGAN'ı önerdi.
Tüm modelin mimarisine bir göz atın:
Yukarıdaki mimaride, araştırmacılar sadece yüzden karikatüre çeviri sürecini gösterdiler, ancak çizgi filmden yüze dönüştürme süreci benzer.
Genel olarak, bu dönüştürme süreci 3 adıma bölünmüştür.
İlk olarak, jeneratör önce CycleGAN'a dayalı kaba bir çizgi film yüzü oluşturur.
Ardından model, yüzün işaretini tahmin etmek ve yüzün kilit noktalarını işaretlemek için ilk adımda oluşturulan görüntüye dayalı olarak bir eğitim öncesi regresör üretir.
Son olarak, yerel ve küresel ayrımcılar aracılığıyla araştırmacılar, çizgi film görüntüsündeki ve karşılık gelen gerçek görüntüdeki yüz özelliklerini iyileştiriyor. Bu aşamada, yer işaretlerinin tutarlılığı vurgulanır, böylece üretilen nihai sonuçlar gerçekçi ve tanınabilir olur.
İki tür ayrımcının farklı iş bölümleri vardır ve kendi işlevlerini yerine getirirler.
Araştırmacılar, dönüm noktası tutarlılık kaybının tasarlandığını ve eşleştirildiğini söyledi. Küresel ayrımcı , Yüz yapısının benzerliğini arttırın.
Açık yapı, iki alandaki görüntüleri sınırlayarak gözler, burun ve ağız gibi anlamsal niteliklerin eşleştirilmiş eğitim verileri durumunda bile doğru şekilde eşleştirilebilmesini sağlar.
Ek olarak, yüzdeki yer işareti tanımlamak için kullanılabilir. Yerel ayrımcı , Jeneratöre eğitim sürecinde önemli yüz özelliklerine daha fazla dikkat etmesi talimatını vermek.
Araştırmacılar, bu iki farklı karikatür tarzı görseli 2.125 "bitmoji" tarzı görseller ve 17.920 anime tarzı görsel içeren yepyeni bir avatar veri seti oluşturmak için kullandıklarını ve bu görsellerin hepsinin etiketlendiğini söyledi. nın-nin.
bitmoji stili (resmi web sitesinden alınan resim)
Nihai görüntü oluşturma etkisi, orijinal CycleGAN efektinden daha yüksektir.Farklı yöntem ve bileşenlerin nicel karşılaştırma sonuçları şekilde gösterilmiştir:
Diğer yöntemlerle karşılaştırıldığında Landmark Assisted CycleGAN'ın FID (Fréchet Inception Distance) değeri 1988.50'dir ve diğer yöntemlerden daha küçüktür.
Son olarak, araştırmacılar, belirli bir yüz tanıma derecesi olup olmadığı, sonucun doğru olup olmadığı ve genel değerlendirme gibi üç yönden kullanıcı araştırması yaptılar.
48 set bitmoji rüzgar üretimi haritası ve puanlamak için 59 gönüllü seçtiler ve Landmark Assisted CycleGAN yukarıdaki üç göstergede ilk sırada yer aldı.
Jia Jiaya ekibi
Bu makale, Hong Kong Çin Üniversitesi'nden Ruizheng Wu, Harbin Teknoloji Enstitüsü'nden Xiaodong Gu, Xin Tao, Xiaoyong Shen, Yu-Wing Tai ve Tencent Youtu Lab'den Jia Jiaya'dan alınmıştır.
Yerli CV araştırmacıları için Jia Jiaya garip bir isim değil:
Hong Kong Çin Üniversitesi'nde yaşam boyu profesör, Tencent Youtu Lab'ın seçkin bilim adamı, IEEE akademisyeni Jia Jiaya.
Hong Kong Bilim ve Teknoloji Üniversitesi ve Microsoft Research Asia tarafından ortaklaşa geliştirilen bir doktora derecesidir. Mezun olduktan sonra Hong Kong Çin Üniversitesi'nde yardımcı doçent olarak başlayan Jia Jiaya, 2010 yılında doçentliğe ve 2015 yılında profesörlüğe terfi etti.
Bilgisayarla görme TPAMI ve IJCV'nin en iyi akademik dergilerinin editörlüğünü yapmış ve bilgisayarla görme CVPR ve ICCV'nin en iyi akademik konferanslarının alan başkanı (bölge başkanı) olarak görev yapmıştır.
Mayıs 2017'de Jia Jiaya, Tencent Youtu Lab'a olağanüstü bir bilim adamı olarak katıldı.
Portal
Tezin adresi Landmark Assisted CycleGAN for Cartoon Face Generation:
https://arxiv.org/abs/1907.01424
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzündeki "işe alma" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri izleme
