Microsoft Peking Üniversitesi, yapay zeka yüz değiştiren FaceShifter ve sahte yüz algılama Yüz Röntgeni (bağlantı) öneriyor
Kaynak: Xinzhiyuan
Bu makale hakkında 2400 kelime , Okumanız tavsiye edilir 7 dakika
Yüz tanımanın "mızrak ve kalkanı" aynı anda serbest bırakılır!
En gelişmiş yapay zeka ve makine öğrenimi algoritmaları, konumların ve nesnelerin yalnızca gerçekçi görüntülerini oluşturmakla kalmaz, aynı zamanda yüz avatarlarını bir kişiden diğerine değiştirmede de iyidir. Öte yandan, araştırmacılar sürekli olarak sahte derin sahte görüntüleri tespit edebilen tanıma araçları geliştiriyorlar. Makine öğrenimi görüntü tanıma alanındaki bu "mızrak ve kalkan" savaşı yoğunlaştı.
son, Microsoft Research ve Pekin Üniversitesi'nin araştırma ekipleri aynı anda bir çift "mızrak" ve "kalkan" oluşturdular. Sırasıyla FaceShifter ve Face X-Ray-eski yüksek sadakatli önerileri olan iki makale yayınladılar. , Oklüzyonu algılayabilen bir yüz değiştirme aracı ve ikincisi, sahte yüz görüntülerini algılayabilen bir araçtır.
Araştırmacılar, mevcut çoklu temel yöntemlerle karşılaştırıldığında, her iki yöntemin de performanstan ödün vermeden endüstri lideri sonuçlar elde edebileceğini ve önceki yöntemlerden çok daha az veri gerektirdiğini söyledi.
Sharp Spear: FaceShifter, aslına sadık bir yüz değiştirme aracı
Bu yeni araç, iki katmanlı bir çerçeve yapısı kullanır. Geçmişte, yüzü değiştiren uygulamalardaki temel zorluk, yüz özelliklerini çıkarmak ve ardından iki görüntünün özelliklerini ve niteliklerini tek bir görüntüde birleştirmekti. Son zamanlarda, GAN tabanlı çalışma önemli ilerleme kaydetti, ancak yüksek hassasiyetli, gerçek görüntü sonuçlarını sentezlemede hala zorluklarla karşılaşıyor.
Araştırmacılar, yüksek hassasiyetli ve kapalı koşullar altında yüz değiştirmeyi gerçekleştirebilen FaceShifter adlı yeni bir iki parçalı mimari önerdiler. İlk bölüm, yüksek çözünürlüklü yüzü değiştiren resimler oluşturmak için hedef nitelikleri tamamen ve uyarlanabilir bir şekilde benimsemek ve entegre etmektir. Yeni öznitelik kodlayıcı, çok seviyeli hedeflerin yüz özniteliklerini çıkarmak için kullanılır ve uyarlanabilir dikkat denormalizasyon (AAD) katmanının yeni oluşturucusu, yüz bileşik resminin özelliklerini ve özniteliklerini entegre etmek için kullanılır.
Mimarinin ikinci bölümü esas olarak yüz kapanması sorununu çözer Bu bölüm yeni bir sezgisel hata doğrulama iyileştirme ağı (HEAR-Net) içerir. Eğitimden sonra, görüntünün anormal bölgeleri, herhangi bir manuel açıklama olmadan kendi kendine denetlenen bir şekilde kurtarılabilir. Yeni yüz görüntüleri üzerinde yapılan çok sayıda deney, diğer yöntemlerle karşılaştırıldığında, bu model tarafından oluşturulan yüz değiştiren görüntülerin sonuçlarının yalnızca daha gerçekçi ve çekici olmadığını, aynı zamanda orijinal görüntünün daha fazla özelliğini koruduğunu göstermektedir.
İlk etabın AEI-Net yapısı. AEI-Net, kimlik kodlayıcı, çok seviyeli öznitelik kodlayıcı ve AAD oluşturucudan oluşur. AAD oluşturucu, görüntü özelliklerini ve öznitelik bilgilerini birden çok işlevsel düzeyde entegre etmek için AAD katmanına yerleştirilmiş basamaklı AAD ResBlk'yi kullanır.
HEAR-Net ve ikinci aşamanın etkisi
FaceSwap, Nirkin, FaceForensics ++, DeepFake, IPGAN ve diğer model oluşturma efektleriyle karşılaştırma. Modelimiz, kaynak görüntünün yüz şeklini daha iyi korur ve hedef niteliklere (aydınlatma, görüntü çözünürlüğü) daha sadıktır.
Diğer mevcut yüzü değiştiren modellerle performans karşılaştırması
Güçlü kalkan: Yüz röntgeni, sahte bir görüntü algılama aracı
Tipik bir yüz değiştiren sentez yöntemi üç aşama içerir: 1) Yüz alanını tespit edin; 2) İstenilen hedef yüzü sentezleyin 3) Hedef yüzü orijinal görüntüye birleştirin. Sentetik yüz görüntülerinin mevcut tespiti genellikle ikinci aşamaya bakar ve veri setine dayalı olarak çerçeve başına denetimli bir ikili sınıflandırıcı eğitir. Bu yöntem, test veri setinde neredeyse mükemmel algılama doğruluğu sağlayabilir.Eğitim sırasında görülmemiş sahte görüntülerle karşılaşırsanız, performans önemli ölçüde azalacaktır.
Mevcut yöntemlerin aksine, Face X-Ray'in çalıştırma yöntemini veya manuel denetimi önceden bilmesine gerek yoktur, ancak belirli bir giriş görüntüsünün farklı kaynaklardan iki görüntünün bir karışımına ayrıştırılıp ayrıştırılamayacağını göstermek için gri tonlamalı görüntüler oluşturur. Araştırmacılar, bu yöntemin uygulanabilir olduğunu iddia ediyor çünkü çoğu yöntem, değişen yüzü mevcut arka plan görüntüsüyle harmanlama sürecinde aynı adıma sahip. Her görüntü, donanımdan (sensörler ve lensler gibi) veya yazılımdan (sıkıştırma ve sentez algoritmaları gibi) kendi benzersiz işaretleyicilerini sunacaktır ve bu işaretler, görüntünün tamamında benzer olma eğilimindedir.
Face X-Ray'in belirli yüz manipülasyon teknikleriyle ilgili yapay bilgiye güvenmesi gerekmez ve onu destekleyen algoritmalar, sahte görüntüler oluşturmak için herhangi bir yöntem kullanılmadan eğitilebilir.
Bir dizi deneyde, araştırmacılar Face Forensics ++ (en son teknolojiye sahip dört yüz manipülasyon yöntemiyle manipüle edilmiş 1.000'den fazla orijinal klip içeren büyük bir video korpusu) ve gerçek görüntülerden oluşturulmuş karma görüntüler içeren başka bir eğitim veri setini kullandı. Yüz Röntgeni eğitimi aldı. FaceX-Ray'in dört veri seti kullanarak genelleme yeteneğini değerlendirdiler:
Yukarıda bahsedilen FaceForensics ++ korpusunun bir alt kümesi; Google tarafından yayınlanan binlerce görsel derin sahte videodan oluşan bir koleksiyon, derin sahte algılama meydan okumasının görüntüleri ve azaltılmış görsel eserler içeren 408 gerçek video ve 795 sentetik video içeren bir külliyat olan Celeb-DF.
Araştırma sonuçları, Face X-Ray'in tespit edilmeyen sahte görüntüleri etkili bir şekilde tanımlayabildiğini ve karışık alanları güvenilir bir şekilde tahmin edebildiğini göstermektedir. Araştırmacılar, bu yöntemin bir karıştırma aşamasına dayandığını, bu nedenle tamamen sentezlenmiş görüntüler için uygun olmayabileceğini ve rakip örnekler tarafından kandırılabileceğini belirtti. Bununla birlikte, bu gerçekten de genelleştirilmiş yüz sahte görüntü algılama araçlarına yönelik umut verici bir adımdır.
yazar hakkında
Bu iki makalenin yazarları Microsoft Research Asia'nın (MSRA) görsel hesaplama ekibindendir.Ekip üyelerinin çoğu Çin Bilim ve Teknoloji Üniversitesi ve Peking Üniversitesi gibi prestijli yurtiçi üniversitelerden mezun olmuştur. Ayrıca MSRA'da staj tecrübesi de olmuş ve birçoğu Fellowship ödülü kazanmıştır. İnternette yayınlanan bilgilere dayanarak bu iki makalenin yazarlarını tanıtacağım.
Li Lingzhi
Pekin Üniversitesi yüksek lisans öğrencisi, Pekin Jiaotong Üniversitesi İşletme Bölümü mezunu. Geçen yıl MSRA'nın görsel hesaplama ekibinde araştırma stajyeri olarak çalıştım. Araştırma ilgi alanları bilgisayarla görme, makine öğrenimi ve derin öğrenmedir. Özellikle üretici modeller ve derin sahte algılama alanıyla ilgileniyor.
Bao Jianmin
MSRA Görsel Hesaplama Ekibi Araştırmacısı. Bundan önce, Profesör Luo Jiebo ve Profesör Li Houqiang'ın gözetiminde, 2014 ve 2019'da Çin Bilim ve Teknoloji Üniversitesi'nden Lisans ve Doktora derecelerini aldı. Araştırma ilgi alanları bilgisayarla görme ve makine öğrenimidir. Özellikle yüz algılama, tanıma, sentez ve GAN alanlarıyla ilgileniyor.
Zhang Ting
MSRA görsel hesaplama ekibinin kıdemli araştırmacısı. Temmuz 2017'de MSRA'ya katılmadan önce, sırasıyla 2012 ve 2017'de Çin Bilim ve Teknoloji Üniversitesi'nden lisans ve doktora derecesi aldı. 2013'ten 2017'ye kadar MSRA'da staj yaptı ve 2015'te MSRA Bursunu kazandı. Güncel araştırma ilgi alanları bilgisayarla görmede derin öğrenmeye odaklanmıştır.
Yang Hao
2017'nin sonunda MSRA görsel hesaplama ekibine katıldı. Bundan önce lisans ve doktora derecelerini Tsinghua Üniversitesi, Yazılım Okulu'ndan aldı. Araştırma ilgi alanları arasında, bunlarla sınırlı olmamak üzere, yüzlerin, portrelerin ve 3D görüntülerin anlaşılması ve sentezi yer alır.
Chen Dong
Temmuz 2015'te MSRA görsel hesaplama ekibine katıldı. Bundan önce, sırasıyla 2010 ve 2015 yıllarında Çin Bilim ve Teknoloji Üniversitesi'nden lisans ve doktora derecesi aldı. 2010'dan 2015'e kadar MSRA'da staj yaptı ve 2013'te MSRA Bursunu kazandı.
Wen Fang
MSRA'nın görsel hesaplama ekibinin baş araştırmacısı.
Guo Baining
Microsoft Asya Araştırma Araştırma Başkan Yardımcısı, grafik ve görüntüler alanındaki araştırmalardan sorumlu. Dr. Guo, Cornell Üniversitesi'nden yüksek lisans ve doktora derecesine ve Pekin Üniversitesi'nden lisans derecesine sahiptir. Aynı zamanda Elektrik ve Elektronik Mühendisleri Enstitüsü (IEEE Fellow) Üyesi ve American Computer Society (ACM Fellow) Üyesidir. Araştırma ilgi alanları arasında bilgisayar grafikleri, bilgisayar görselleştirme, doğal kullanıcı arayüzü ve istatistiksel öğrenme yer alır. Doku haritalama modellemesi, gerçek zamanlı işleme ve geometrik modelleme alanlarında elde edilen araştırma sonuçları özellikle göze çarpmaktadır.
Referans bağlantısı:
https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/
Kağıt bağlantısı:
https://arxiv.org/pdf/1912.13457.pdf
https://arxiv.org/pdf/1912.13458.pdf
Editör: Wang Jing
Redaksiyon: Lin Yilin
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
