Çin Bilimler Akademisi Otomasyon Enstitüsü: Büyük Ölçekli Yüz Görüntüsü Düzenleme Teorisi, Yöntemi ve Uygulaması
Leifeng.com AI Teknolojisi Yorumu: 14-15 Nisan 2018 tarihleri arasında Çin Görüntü ve Grafik Topluluğu, Çin Bilimler Akademisi Otomasyon Enstitüsü'nde "Biyometrik Tanıma" temalı dördüncü "CSIG Frontiers Workshop on Image and Graphics" düzenledi. .
Biyometri (BIOMETRICS) teknolojisi, bilgisayar aracılığıyla kişisel tanımlama yapmak için insan vücudunun doğal fizyolojik özelliklerinin (parmak izleri, iris, yüz özellikleri, DNA, vb.) Veya davranış özelliklerinin (yürüyüş, tuş vuruşu alışkanlıkları vb.) Kullanımını ifade eder.
Bu atölye çalışmasında, aralarında Megvii Technology'nin baş bilim adamı Sun Jian, Sun Zhenan, Wang Liang ve Çin Bilimler Akademisi Otomasyon Enstitüsü araştırmacıları, Çin Bilimler Akademisi Hesaplama Teknolojisi Enstitüsü araştırmacısı Shan Shiguang, Feng Jianjiang ve Sun Jianjiang ve Sun-Mingxing, Tsinghua Üniversitesi'nde doçent profesör olan Zhengishi Sun Jian'ın da aralarında bulunduğu sekiz bilim insanı davet edildi. Yüz, iris, parmak izleri, yürüyüş ve ton baskısı gibi insan özelliklerinin mevcut araştırma durumu hakkında ayrıntılı bir rapor hazırlandı. Leifeng.com AI Technology Review, ortak bir medya olarak konferans hakkında rapor veriyor. Konferansın genel içeriği için lütfen Leifeng.com'un raporuna bakın:
CSIG Frontiers Workshop on Image and Graphics, Megvii ve Chinese Academy of Sciences biyometrik tanıma üzerine harika bir rapor getiriyor (1)
CSIG Advanced Workshop on Image and Graphics'te Shan Shiguang dahil dört bilim insanı biyometrik tanıma üzerine harika raporlar getirdi (2)
Bu makale atölye raporunun üçüncüsüdür.Çin Bilimler Akademisi Otomasyon Enstitüsü'nden bir araştırmacı tarafından açıklanmıştır.Raporun konusu: Büyük ölçekli yüz görüntü düzenleme teorisi, yöntemleri ve uygulamaları.
Harika: 2009 yılında Çin Bilimler Akademisi Otomasyon Enstitüsü'nden doktora derecesiyle mezun oldu. Çin Bilimler Akademisi, Otomasyon Enstitüsü, Devlet Anahtar Laboratuvarı'nda araştırmacı ve Çin Bilimler Akademisi Beyin Bilimi ve Kalıp Teknolojisi Mükemmeliyet Merkezi'nin genç omurgası. 2017 yılından bu yana, Çin Bilimler Akademisi Üniversitesi Yapay Zeka Teknolojisi Okulu Örüntü Tanıma Öğretim ve Araştırma Ofisi müdür yardımcısı olarak görev yapmaktadır. Örüntü tanıma uygulamasının temel teorisi üzerine araştırma yapan ve bunu biyometrik tanıma ve akıllı video gözetime uyguladı ve akıllı şehir denetim gereksinimleri platformunda başarılı bir uygulama elde etti ve bazı ekonomik faydalar elde etti. Yakın gelecekte, esas olarak üretken derin öğrenmede ve büyük ölçekli görüntü düzenlemede karşılaşılan darboğazlara odaklanır ve temel görüntü deseni analizi teorisini genişletir. Bilgi teorisi çalışması üzerine 1 monografi yayınladı, IEEE TPAMI, TIP, TIFS, TNNLS, TKDE gibi yetkili uluslararası dergilerde 120 makale ve NIPS, ICCV, CVPR, IJCAI, AAAI, SIGIR, ACM MM gibi yetkili konferanslarda yayınladı ve ulusal araştırma çalışması kazandı Çin Doğa Bilimleri Vakfı'nın Üstün Gençlik Bilim Vakfı tarafından desteklenmektedir.
Etkileyici:
Herkese iyi günler, benim adım He Ran. Bugünün teması "Büyük Ölçekli Yüz Resmi Düzenleme" dir. Burada iki ana nokta var, biri büyük ölçekli ve diğeri yüz görüntülerini düzenlemektir. Sözde yüz görüntüsü düzenleme, giriş yüzü görüntüsü üzerinde bir dizi işlem gerçekleştirmek, görüntüyü içerik ve görünümde yeniden düzenlemek ve düzenlemek ve ardından tamamen farklı bir yüz görüntüsü oluşturmaktır. Makinenin mevcut görüntüleri otomatik olarak işleyebileceğini ve bazı yeni görüntüler alabileceğini umuyoruz ve bu yeni görüntülerin aynı anda insan bilişini ve özel ihtiyaçları karşılaması gerekiyor. Bu sorun şu anda makine öğrenimi ve bilgisayarla görmenin önemli araştırma içeriklerinden biridir ve etkileşimli eğlence, sağlık hizmetleri ve kamu güvenliği alanlarında çok çeşitli uygulama senaryolarına sahiptir. Bugün tanıtılan içerik iki bölüme ayrılmıştır: ilk bölüm görüntü düzenlemeyle ilgili teorik temeli tanıtır ve ikinci bölüm yöntemlerini ve uygulamalarını tanıtır.
1. Temel teori
1. Tam ışıklı yüz analiziGörüntülerin bilgisayarla işlenmesi sürecinde temel bir kavram söz konusudur Plenoptik işlev . Spektral bilgi, zaman bilgisi, uzamsal bilgi, derinlik bilgisi, parlaklık bilgisi ve yön bilgisi dahil olmak üzere uzaydaki ışığın şeklini belirleyen faktörlerin bir fonksiyonudur. Dalga boyu sabit ise gri tonlamalı bir görüntüdür, birden fazla dalga boyu varsa o zaman renkli bir görüntüdür; zamanda bir değişiklik varsa o zaman videodur; doğal olarak uzamsal bilginin söylenmesine gerek yoktur; derinlik bilgisi dikkate alınırsa, görüntüleme sırasında ölçülecek olan derinlik görüntülemedir. Görüntünün derinlik bilgisi; parlaklık bilgisi dikkate alınırsa yüksek dinamik bir görüntüdür; ışık yönü dikkate alınırsa bir ışık alan kamerasıdır. Bunların hepsi plenoptik bir işlev oluşturur.Yüz tanımada, gerçek dünya ile daha uyumlu bir görüntü elde etmek için bu işlevi anlamamız gerekir. Şu anda, Akıllı Algılama ve Hesaplama Araştırma Merkezimiz, Çin'in en önemli enstrüman projesinin Ulusal Doğa Bilimleri Vakfı'na ve Huawei'nin tam ışıklı bir yüz edinim sistemi ve derin dijital yakınlaştırma görüntü analiz ekipmanı tasarlamak ve inşa etmek için işbirliği projesine güveniyor. Çalışmanın bu kısmı esas olarak merkezden Zhang Kunbo ve Hu Tanhao tarafından yapıldı.
Görüntü düzenlemenin temel araştırma amacı, üretilen / sentezlenen görüntünün insan görsel algısı ile uyumlu olduğunu ummaktır Genel olarak, gözlemcinin görüntünün gerçek mi yoksa bilgisayar tarafından mı oluşturulmuş olduğunu belirleyememesini sağlamaktır. Bu düşüncelerden yola çıkarak, Çin Bilimler Akademisi'nden Akademisyen Chen Lin, Önce görsel topoloji İnsanların topolojik bilgilerdeki değişiklikleri algılamasının, yüzleri tanırken diğer bilgilere göre önceliğe sahip olduğuna inanıyor. Aslında, topolojik yapıdaki değişikliklere duyarlılık biyolojik algılama sistemlerinde temel bir özelliktir.Örneğin, arılar içi boş ve içi dolu çemberlerin topolojik yapısındaki değişikliklere çok duyarlıdır. İlgili sonuçlar "Science" dergisinde yayınlandı. Görsel topoloji öncelik mekanizmasının matematiksel modellemesi her zaman zor bir problem olmuştur.Çin'in anahtar fon projelerinin Ulusal Doğa Bilimi Vakfı'nın desteğiyle merkezimiz, küresel ve yerel yapılar, dalgacık ayrışımı gibi görsel topoloji önceliğinin çeşitli matematiksel ifadeleri üzerinde derinlemesine araştırmalar yürütmüştür. Isı haritası ve yüz analizi haritası vb. Topolojik dönüşümün doğasına göre, ilgili yüz görüntüsü düzenleme görevleri topolojik değişmez görevlere ve topolojik dönüşüm görevlerine bölünebilir.
Burada yer alan en yaygın kullanılan modeller Üretken model Yani, verilerin dağılımını istatistiksel bir bakış açısıyla temsil edebilen ve benzer verilerin kendi benzerliğini yansıtabilen ortak olasılık yoğunluk dağılımını öğrenmek. Üretken modelin iki ana işlevi vardır: biri yoğunluğu tahmin etmek, diğeri ise örnek oluşturmaktır. Bir insan yüzü üretilirken / sentezlenirken tek gereken, üretilen / sentezlenen insan yüzünün gerçek insan yüzüne benzer olmasıdır. Üretken modelde, üretici bir yüzleşme ağı olan GAN'a herkes daha aşinadır. Herkes buna aşinadır, bu yüzden burada ayrıntılı olarak tanıtmayacağım. Ek olarak, yeni üretken modelleri incelemek için değişken otomatik kodlayıcıları ve kapsül modellerini de birleştiriyoruz.
4. Kimlik tutma yapısıHerkesin kendi kimlik bilgileri vardır. Yüz oluşturma / sentez görevi doğal olarak bu kimlik bilgilerini korumayı umuyor. Kimlik koruma açısından, araştırmamız görsel bilişteki en temel kavramlara, yani, Sıra Ölçüleri (OM) . Bu temel bir ölçüdür. İnsanlar tarafından kullanılan ölçüm yöntemleri esas olarak aşağıdaki dördü içerir.
Hayatta, sıralı ölçüm fikri her yerde görülebilir. Örneğin, sadece basketbolun futboldan daha ağır olduğunu bilmemiz gerekiyor, çoğu durumda kaç gram ağırlığını bilmek gereksiz. OM kavramına göre, Çin Bilimler Akademisi'nden Akademisyen Tan Tieniu, basit ve kullanımı kolay bir yöntem önerdi, yani bilgisayar görüşündeki karmaşık özelliklerin basit boyut karşılaştırması yoluyla çıkarılmasını gerçekleştirdi. Başlangıçta, bu araştırma çalışması, irislerin aynı kişiye ait olup olmadığını belirlemek için iris tanımaya uygulandı. Temel fikir, boyutu karşılaştırarak bir özellik kodu elde etmektir ve ardından bu özellik kodu ile sınıflandırma yapılabilir. Şu anda, bu fikir bilgisayarla görmede yaygın olarak kullanılmaktadır.
Bu sıralı ölçüm yöntemini, evrişimli sinir ağının aktivasyon işlevine dahil ediyoruz. Yaygın olarak kullanılan iki etkinleştirme işlevi vardır: ReLU ve Maxout. Genel olarak Maxout'un ReLU'ya yaklaşmak için iki düz hatta ihtiyaç duyduğuna inanılır, Maxout ağı genellikle ReLU ağının iki katından daha büyüktür. Metodumuz tarafından kullanılan sıralama ölçümü çok basittir, yani değerden daha küçük bir değere sahip olan kişi bastırılır, böylece nispeten küçük bir evrişimli sinir ağı elde edilebilir.
Önceki yöntemlerden farklı olarak, nörolojideki temel bir kavramdan öğreniyoruz: lateral inhibisyon. Bu, komşu nöronların aktivasyonunu azaltmak için kontrast mekanizma yoluyla nöronların aktivasyon mekanizmasıdır ve aynı zamanda nöronlar bazı sinir sinyallerinin yayılmasını engelleyebilir.Bu yöntem sinir sinyallerinin netliğini artırabilir. Bu konsepti ödünç alarak ağa yanal bir bastırma mekanizması ekledik.Kaş bölgesini örnek alarak komşu yatay pozisyonu etkinleştirildi ve bitişik dikey pozisyon bastırılacak. Yukarıdaki kavramları tanıttıktan sonra, Çin Ulusal Doğa Bilimleri Vakfı'nın temel projelerine dayanarak, merkezimizden Wu Xiang ve diğerleri, yüksek incelik ve küçük alan işgal özelliklerine sahip hafif bir sinir ağı Light CNN tasarladı. Yüz tanıma ve araç tanımada iyi sonuçlar elde etti. Bu ağın küçük yapısı ve yüksek çözünürlüğü, yüz görüntüsü düzenleme sürecinde kimliği belirlememize yardımcı olabilir. Bu çalışma IEEE TIFS, 2018'de yayınlandı. Şu anda, bu araştırma çalışması yerli ve yabancı araştırmacıların büyük ilgisini çekmiştir.İlgili kod github'da yayınlanmıştır.Ağ katmanlarının sayısına göre LightCNN9 ve LightCNN29 olmak üzere iki versiyona ayrılmıştır.
Yukarıdaki dört bölüm, yüz görüntülerini inceleme sürecinde karşılaştığımız temel problemlerdir. İlk önce yapmanız gereken Hafif yapı Daha iyi bir anlayış, yalnızca ışık bilgisinin anlaşılması daha iyi bir görüntüleme etkisine sahip olabilir; ikincisi, görüntü insanların görmesi için olduğundan, oluşturulan görüntünün İnsan algısı doğrultusunda Ayrıca temel bir ağ yapısı yani Üretken yüzleşme ağı , Yüz görüntülerinin düzenlenmesine rehberlik etmek için; son olarak Kimlik kaybı Amaç, sentezlenen yüz görüntüsünün orijinal kimlik bilgilerini muhafaza etmesini ummaktır. Bu dört bölüm, görüntü düzenlemenin ana temel bölümünü oluşturur, elbette başka bölümleri de vardır.
2. Yöntem uygulaması
Daha sonra, yakın zamanda merkezimiz tarafından yapılan bazı ilgili araştırma içeriğini tanıtacağız.Zaman kısıtlamaları nedeniyle, esas olarak yedi ana bölümden oluşmaktadır. Her bölüm bilgisayarla görmede bağımsız bir daldır ve finans, insanların geçimi veya kamu güvenliği alanlarında çok önemli uygulamaları vardır.
1. Süper çözünürlükBirincisi, düşük çözünürlüklü (LR) girdi verildiğinde yüksek çözünürlüklü (HR) görüntüleri tahmin etme sorunu olan görüntü süper çözünürlüğüdür. Örneğin, kamera tarafından toplanan görüntünün genellikle nispeten düşük bir çözünürlüğü vardır, net bir görüntü elde etmek ve kimlik bilgilerini korumak için onu nasıl süper bölerek çalışıyoruz.
Süper bölümleme algoritmaları genellikle iki kategoriye ayrılabilir.Bir tür, enterpolasyon tabanlı yöntemler, görüntü istatistiği tabanlı yöntemler veya sözlük öğrenme yöntemleri gibi genel amaçlı süper bölümleme algoritmalarına aittir. Bu tür algoritma, tüm görüntü üst bölümleme problemleri için uygundur. . Öncül istatistiklere dayalı bir yöntem gibi belirli bir alana ait olan başka bir süper skor algoritması türü, artık üretken bir modele dayalı bir yönteme ve bir algısal kayıp işlevine dayalı bir yönteme de sahiptir.
Merkezimizden Huang Huaibo, süper bölünme sürecinde dalgacık ayrıştırma teknolojisini kullanmayı önerdi. Süper bölme görüntüsünün her konumunun, üst bölme sırasında orijinal görüntünün karşılık gelen yerine bağlı olduğu varsayılır, böylece süper bölme algoritmamız küresel bilgiyi yok etmez. Genellikle süper çözünürlük problemi bir olasılık problemi olarak modellenir. Bu modelde, girdi görüntüsü verildiğinde, görüntünün tamamı doğrudan tahmin edilir.Bu tahmin sürecinin sabit olacağı garanti edilemez. Bundan farklı olarak, eğitim sırasında yüksek çözünürlüklü bir görüntü giriyor ve ardından dalgacık ayrıştırma yapıyoruz, sırasıyla ayrıştırılmış görüntüleri tahmin ediyoruz ve ardından tam bir yüksek çözünürlüklü görüntü sentezliyoruz, böylece elde edilen sonuçlar mümkün olduğunca sapmayı önleyebilir.
2. Perspektif döndürmeArtık büyük şirketlerin daha çok ilgilendiği bir diğer önemli uygulama, normalleştirilmiş yüzü herhangi bir poza döndürmektir. Örneğin, bir ön yüz görüntüsünden bir yan yüz görüntüsü oluşturulur veya bunun tersi, genellikle kamu güvenliği alanında gerekli olan, toplanmış bir yan yüzden bir ön yüz görüntüsü geri kazanılır.
Açı döndürmenin üç yönü vardır: x, y ve z ve şu anda yalnızca sol ve sağ sapmayı dikkate alıyoruz. Tek bir görüntüden döndürmek istiyorsanız, bunun "yoktan yapılması" gerekir, çünkü bazı bilgiler eksiktir, bu nedenle döndürme sırasında sonuçta bir sapma olur. Yüz döndürme üzerine iki bölüm araştırma vardır, biri 2D model ve diğeri 3D modeldir.
Görüntü sentezi zor olduğundan ve doğrudan tahmin edilemediğinden, kısmi yüz bilgisinin sentezinden sorumlu olacak birkaç yerel kanal sunuyoruz Bu çalışma ICCV 2017'de yayınlandı. Yüz özelliklerine göre, küresel ve yerel topolojileri değiştirmeden korurken, dört yerel yolun yanı sıra küresel bir yol sunuyoruz. Yerel dört parça ayrı ayrı sentezlenir ve son olarak bir ön yüz elde etmek için küresel olanla birleştirilir. Merkezimizin bu konudaki takip çalışmalarının sonuçları CVPR2018'de yayınlandı.
Daha çok yaptığım bir diğer şey de makyaj yapmak. "Makyaj uygulamak" doğal olarak çekimden sonra yüzün güzelleşmesini, makyajın çıkarılması ise görüntüdeki makyajın kaldırılarak düz bir yüz haline gelmesini umuyor. Ayrı bir araştırma sorusu olarak 2009'dan beri makyaj yapmak ve makyajı kaldırmak araştırmacıların ilgisini çekiyor. 2018 yılında, merkezimizden Li Yi, makyaj temizlemeyi tamamlamak için üretici ağı kullanmayı önerdi ve AAAI2018'de yayınladı. Esas olarak, cep telefonu kullanıcıları için makyajı çıkardıktan sonra daha iyi görsel sonuçlar alabileceğimizi umuyoruz. Önceki yönteme benzer şekilde, buradaki topolojik yapıyı hala korumamız gerekiyor.Aynı zamanda, iki ayırıcı kullanan, biri kimlik bilgisi ve diğeri gerçek görüntüler için olan iki katmanlı bir düşman ağı öneriyoruz.
En son otomatik makyaj uygulaması, 2018 yılında Amerika Birleşik Devletleri'nde Adobe tarafından önerilen bir modeldir. Bu yöntem, gözlere, dudaklara ve diğer yüz derilerine makyaj uygulamak ve ardından makyajın orijinal yüze uygulanmasının sonuçlarını uygulamak için cycleGAN modeline dayanmaktadır. Bu yöntem, tam yüz makyajı efektini sentezlerken görüntü çarpıtma yöntemini kullandığından, yöntem aslında yarı üretken bir model kullanır.
İfade düzenleme iki konuyu içerir, biri ifade sentezi ve diğeri ifade kaldırmadır. 2018'de, merkezimizden Song Lingxiao, aşağıdaki temel bölümleri içeren yeni bir ifade sentezi / kaldırma algoritması önerdi: 1. Topolojik yapı değişir, çünkü göz kırpıldığında topolojik yapı değişir, bu yüzden bu bilgiyi ifadelerin değişmesine rehberlik etmek için kullanmayı umuyorum ; İkincisi, kimlik korunur, ifadeler ekledikten sonra başka bir kişi olmak istemiyoruz. Çalışmamızın iki özelliği vardır; biri gerçek bir görüntü elde etme yeteneği, diğeri ise kimlik bilgilerini tanımlama becerisidir.
Aşağıdaki, yöntemimizle elde edilen sentez etkisidir.
Eğlence alanında, yüz yaşının değişimini tahmin etmek önemli bir uygulamadır ve temel görevi yüz görüntülerinin nasıl yaşlandırılacağı / gençleştirileceğidir.
Yaş değişimi filmlerde yaygın olarak kullanılıyor.Örneğin, genç oyuncular filmlerde yaşlanıyor veya yaşlı oyuncular gençleri canlandırmaya ihtiyaç duyuyor. Kamu güvenliği alanında da yıllardır kaybolan çocukları bulmak gibi uygulamalar var; elbette mahremiyetin önlenmesi veya can eğlencesi konusunda da pek çok uygulama var.
Bilgisayarla görmenin bir dal sorunu olarak yaş sentezi 1994'te başladı. 2018'de merkezimizden Peipei Li, küresel ve yerel bir üretim yöntemi önerdi. Yaş sentezi yaparken genellikle alnın, gözlerin ve ağzın köşelerinin çok değiştiğini biliyoruz. Bu nedenle, küresel bir kanal oluşturmanın yanı sıra, model özetine üç ek yerel kanal ekledik ve ardından üç yerel kanalı birleştirdik ve ardından bunları küresel kanalla birleştirdik. Aynı zamanda, sentezlenen sonucun görsel etkisini sağlamak için çoklu ayırıcılar da kullanıyoruz. Elimizdeki deneysel sonuç şudur:
Bir sonraki iş yüzü, yani tıkalı yüzü tamamlamaktır. Resim düzenlemede de önemli bir rol oynar. Mevcut yöntemler üç kategoride özetlenebilir: yama tabanlı yöntemlerin erken kullanımı, yani eksik içeriğin bağlam bilgisini gözlemleyerek, aynı görüntüden veya harici görüntü veritabanından benzer yamaları araştırarak; ikincisi, difüzyon denklemine dayalı yöntem, yani difüzyon kullanarak Denklem, düşük seviyeli özellikleri sınır boyunca bağlam alanından eksik alana yinelemeli olarak yayar; üçüncü yöntem seyrek gösterime dayanır, yani belirli bir alan eksikse, orijinal görüntü kodlama veya kod çözme ile desteklenir. 2017 yılında, yabancı bilim adamları, amacı oluşturulan topolojiyi gerçek topoloji ile tutarlı tutmak olan üretici modele dayalı yüz ekini daha da incelediler.
Görüntü algılamada, topolojik yapı diğer yapılardan önce gelir, bu nedenle topolojik yapıyı bir ön koşul olarak ele alıyoruz. Bu düşünceye dayanarak, Song Linsen ve merkezimizdeki diğerleri, ilk önce eksik parçaları tahmin eden ve ardından gerçek bir görüntü oluşturmak için bu topolojiyi orijinal görüntü ile birlikte giren yeni bir yöntem (Geometriye Duyarlı Yüz Tamamlama ve Düzenleme) önerdiler.
Sözde çapraz spektral sentez, belirli bir spektrumun / modalitenin yüz görüntülerine dayalı olarak diğer spektrumların / modalitelerin yüz görüntülerini doğrudan sentezleme teknolojisine karşılık gelir. Bu teknoloji, aşağıdaki şekilde görünür ışık görüntüsü ile yakın kızılötesi görüntü arasındaki yüz tanıma gibi heterojen yüz tanımada yaygın olarak kullanılmaktadır. Bu problemin zorluğu ışıkla ilgilidir Bir yandan farklı görüntüler arasındaki ışık farkı nispeten büyüktür, diğer yandan çapraz spektral eğitim için kullanılabilecek görüntü veri seti nispeten küçüktür. Ancak, bu alanda sözlük öğrenmeye dayalı yöntemler, yama eşleştirmeye dayalı yöntemler ve üretici modellere dayalı yöntemler dahil olmak üzere birçok araştırma vardır.
Çalışmamız AAAI 2018'de yayınlanan üretici model yöntemine dayanmaktadır, bu GAN modelini kullanan ilk çapraz spektral sentez yöntemi olmalıdır. Üretken bir çatışmacı heterojen yüz tanıma modeli (AD-HFR) oluşturduk, küresel ve yerel yapılar kullandık.Yüzün tamamını oluşturmanın yanı sıra, gözleri özel olarak işledik ve kimlik koruma işlevini dahil ettik. .
Üç, özet
Bu rapor, esas olarak yüz görüntüsü düzenlemede yer alan temel teorileri ve uygulama yöntemlerini tanıtmaktadır. Zaman ilişkisi nedeniyle, temel teori kısmının hala derinlemesine tanıtılmamış kısımları var; ve uygulama kısmında, bugün esas olarak süper çözünürlükten bahsediyoruz, ancak yüz oluşturma gibi dahil olmayan birçok uygulama var.
Aslında, yüz görüntüsü düzenleme, bilgisayarla görmede uzun vadeli bir araştırma hedefidir ve hala çözülmemiş birçok sorun vardır. Örneğin, halihazırda çalışılan yüz görüntülerinin çözünürlüğü çoğunlukla 128 × 128'dir. Cep telefonlarının geliştirilmesiyle çözünürlük yükselecek, bu nedenle daha yüksek çözünürlüklü görüntüler nasıl düzenlenir? Aynı zamanda, birçok sahnede doğruluk talebi gittikçe artmaktadır.Örneğin, 3B rekonstrüksiyonda, tıbbi alan yüzün derinlik bilgisi doğruluğunun 0,1 cm'den 0,05 mm'ye çıkarılabileceğini ve böylece yüz hareketi ve kimliğinin doğru bir şekilde tahmin edilebileceğini ummaktadır. bilgi. Ek olarak, bazı özel uygulama senaryoları, yüz binlerce hatta yüz milyonlarca insanın yüz verilerinin oluşturulmasını gerektirir. Öte yandan, yüz görüntüsü düzenleme de makine öğreniminin önemli bir araştırma içeriğidir.Teorik öğrenme yöntemleri, donanımı ve yazılımı, insan görsel algısına uygun sonuçlar elde etmek için daha büyük atılımlara ihtiyaç duyar.
Merkez Zhang Kunbo, Song Lingxiao, Wu Xiang, Li Yi, Hu Tanhao, Huang Huaibo, Li Zhihang, Li Peipei, Hu Yibo, Song Linsen ve diğerlerinin bu rapora yardımları ve destekleri için teşekkürler. hepinize teşekkür ederim.
Referanslar
Karmaşık sahnelerde çok modlu biyolojik özellik edinme ekipmanı Çin Ulusal Doğa Bilimleri Vakfı'nın önemli bir enstrüman projesi.
Sıralı ölçüme dayalı nesne tanıma teorisi ve yöntemi Çin Ulusal Doğa Bilimleri Vakfı'nın anahtar projesi.
Avrupa dışı alana dayalı görsel hesaplama teorisi ve yöntemi Çin Ulusal Doğa Bilimleri Vakfı'nın anahtar projesi.
Derin öğrenmeye dayalı yüz süper çözünürlük teknolojisi işbirliği projesi, Huawei.
Çoklu görünüm yüz görüntüsü sentez teknolojisi işbirliği projesi, Huawei.
Xiang Wu, Ran He, Zhenan Sun, Tieniu Tan. Gürültülü Etiketlerle Derin Yüz Temsili için Hafif Bir CNN. IEEE Trans. Bilgi Adli Tıp ve Güvenlik (2018).
Shu Zhang, Ran He, Zhenan Sun, Tieniu Tan.DeMeshNet: Derin MeshFace Doğrulaması için Kör Yüz Boyaması IEEE Trans. Bilgi Adli Tıp ve Güvenlik 13 (3): 637-647 (2018).
Ran He, Wei-Shi Zheng, Tieniu Tan, Zhenan Sun. Sağlam Seyrek Gösterim için Yarı Karesel Tabanlı Yinelemeli Minimizasyon. IEEE Trans. Pattern Anal. Mach. Intell.36 (2): 261-275 (2014).
Yibo Hu, Xiang Wu, Bing Yu, Ran He ve Zhenan Sun.Pose-Guided Photorealistic Face Rotation. CVPR 2018.
Lingxiao Song, Man Zhang, Xiang Wu, Ran He. Tartışmalı Ayrımcı Heterojen Yüz Tanıma, AAAI 2018.
Yi Li, Lingxiao Song, Xiang Wu, Ran He, Tieniu Tan. Anti-Makeup: Makyajla Değişmeyen Yüz Doğrulaması için İki Seviyeli Tartışmalı Ağ Öğrenme, AAAI 2018.
Peipei Li, Yibo Hu, Qi Li, Ran He, Zhenan Sun.Küresel ve Yerel Tutarlı Yaş Üreten Tartışmalı Ağlar. ICPR 2018.
Huaibo Huang, Ran He, Zhenan Sun, Tieniu Tan. Wavelet-SRNet: Çok Ölçekli Yüz Süper Çözünürlüğü için Dalgacık Tabanlı Bir CNN. ICCV 2017: 1698-1706.
Lingxiao Song, Zhihe Lu, Ran He, Zhenan Sun, Tieniu Tan. Geometri Güdümlü Olumsuz Yüz İfadesi Sentezi. CoRR abs / 1712.03474 (2018).
Rui Huang, Shu Zhang, Tianyu Li, Ran He. Yüz döndürmenin ötesinde: Fotogerçekçi ve kimliği koruyan önden görünüm sentezi için küresel ve yerel algı gan. ICCV 2017.
