Microsoft ve Pekin Üniversitesi ortaklaşa "mızrak ve kalkan" ın gerçekçi versiyonunu yorumlamak için yüzü değiştiren bir yapay zeka ve yüz sahteciliği dedektörü önerdi.
Leifeng.com AI geliştiricisinin notu: Son zamanlarda, Microsoft Research ve Peking Üniversitesi'nden bir araştırma ekibi ortaklaşa yeni bir yapay zeka yüz değiştirme çerçevesi olan FaceShifter'ı ve sahte yüz görüntülerini tespit etmek için bir yöntem olan FaceX-Ray'i önerdi. Birincisi, yüz değiştirmenin yüksek sadakatini büyük ölçüde artırabilirken, ikincisi karmaşık sahte yüz görüntülerini tespit etmek için kullanılır.
Biri sahteciliğe adanmıştır, diğeri ise sahtecilikle mücadeleye adanmıştır; sadece söyleyerek, "mızrak" ve "kalkan" hikayesini düşünmeden yardım edemezsiniz. Yani, hangisi daha iyi? VB tarafından yayınlanan ilgili içerik bu iki sonucu tanıtır ve Leifeng.com'un AI geliştiricileri bunları aşağıdaki gibi düzenler ve derler.
Resim kaynağı: 360 resim
Yüz teknolojisinin araştırma geçmişi
Şu anda, en gelişmiş makine öğrenimi algoritmaları yalnızca görüntü değişikliğini ve yerlerin veya nesnelerin oluşturulmasını tamamlamakla kalmaz, aynı zamanda Deepfake tarafından temsil edilen yapay zeka yüz değiştirme teknolojisi, sahte yüzlerle değişen yüzlerin etkisine bile ulaşabilir; ancak yüz değiştirme teknolojisinin kötüye kullanılması nedeniyle, Toplum bir dizi kötü etki yaratıyor ve araştırmacılar sürekli olarak bu teknolojinin ilkelerini araştırıyor ve bu sorunu çözmeyi umuyor.
Kısa süre önce, bu teknoloji yeni bir ilerleme kaydetti. Microsoft Research ve Peking Üniversitesi araştırma grupları tarafından yayınlanan iki akademik makalede, sırasıyla yüksek doğruluk ve tıkanma algısı-FaceShifter oluşturmak için bir yüz takas çerçevesi ve sahte yüz görüntülerini tespit etmek için bir yöntem önerdiler. FaceX-Ray yöntemi.
Mevcut yöntemlerle karşılaştırıldığında, Microsoft araştırmasının yüz dönüşümü
Resim kaynağı: Microsoft Research
İlgili araştırmacılara göre, bu iki yöntem, mevcut çoklu temel yöntemlere kıyasla performanstan ödün vermeden daha iyi sonuçlar elde edebilir ve önceki yöntemlerden çok daha az veri gerektirir.
FaceShifter eğitimi olmadan yüzü değiştirme
İlgili bilgilerden FaceShifter'ın hedef görüntüdeki kişiyi kaynak görüntüdeki başka bir kişiyle değiştirebilirken baş duruşunu, yüz ifadelerini, ışıklandırmasını, rengini, yoğunluğunu, arka planını ve diğer özelliklerini koruyabileceği görülebilir.
Reflect ve FaceSwap gibi uygulamalar bunu oldukça doğru bir şekilde yapabildiklerini iddia etseler de Microsoft makalesinin ortak yazarı FaceShifter'ın poz ve perspektifteki değişikliklere daha duyarlı olduğunu belirtti.
Hedef görüntüdeki yüzü değiştirmek için kaynak görüntüdeki yüzü alın ve yüz değişikliğinin sonucu sağda görüntülenir
Resim kaynağı: FaceShifter kağıdı (https://arxiv.org/pdf/1912.13457.pdf)
FaceShifter, yüz değiştirmenin doğruluğunu iyileştirmek için üretken bir yüzleşme ağı (GAN) kullanır ve esas olarak iki parçalı bir mimariden oluşur. İlk kısım, yüz kompozit görüntüsünün özelliklerini ve niteliklerini entegre etmek için temel olarak adaptif dikkat normalizasyon dışı (AAD) katmanının yeni oluşturucusunu kullanır.Bu katman, entegre yüz niteliklerinin konumunu uyarlamalı olarak öğrenebilir; ikinci kısım yüze odaklanır Tıkanma sorunları için bu bölüm, tıkanıklığı tanımlamak için yeniden yapılandırılmış görüntü ile girdisi arasındaki farkı kullanabilen yeni bir sezgisel hata doğrulama iyileştirme ağı (HEAR-Net) içerir.
FaceShifter'dan daha fazla örnek
Resim kaynağı: Microsoft Research
Araştırma ekibi, "Çerçeve, belirli bir eğitim olmadan yüz değiştirilen görüntülere göre herhangi bir gerçek görüntü oluştururken üstün performans gösterir. Çok sayıda deney, çerçevenin önceki yüz değiştirme yöntemlerinden önemli ölçüde daha iyi olduğunu göstermiştir." Dedi.
Niteliksel bir testte FaceShifter'ın insan yüzünün şeklini koruduğu ve yüz değiştiren görüntünün ışık ve görüntü çözünürlüğüne otomatik olarak uyum sağladığı görülebilir. Buna ek olarak, İnternet'ten "vahşi yüzler" alınmış olsa bile çerçeve, gözlükler, gölgeler ve yansıma efektleri ve diğer olağandışı tıkanmalar dahil, manuel açıklama verilerine güvenmeden anormal alanları kurtarabilir.
Gri tonlamalı sahte olmayan FaceX-Ray
FaceX-Ray, FaceShifter ile karşılaştırıldığında sahte avatarların düşmanıdır. Araştırmacıların ilgili makalede belirttiği gibi, sahte görüntülerin kötüye kullanılmasını önlemek için gerçekten bu tür araçlara ihtiyacımız var.
Haziran 2019'da yayınlanan bir rapor, bir casusun LinkedIn kişilerini kandırmak için yapay zeka tarafından oluşturulan profil resimlerini kullandığını ortaya koydu; ve geçen yılın Aralık ayında Facebook, yüzlerce hesabın sahte yapay zeka sentezlediğini keşfetti. Yüz görüntüsü, profil fotoğrafı olarak kullanılır.
Kendi kendine denetlenen hibrit görüntüler dahil olmak üzere çeşitli yüz manipülasyon yöntemlerinin görsel sonuçları
Resim kaynağı: Yüz Röntgeni kağıdı (https://arxiv.org/pdf/1912.13458.pdf)
Yüz X-Ray algılama teknolojisi hakkında konuşursak, mevcut yöntemden farklıdır, işlem yöntemini veya manuel denetimi önceden bilmesine gerek yoktur; aksine, belirli bir giriş görüntüsünün farklı kaynaklara ayrıştırılıp ayrıştırılamayacağını göstermek için gri tonlamalı bir görüntü oluşturacaktır. İki görüntünün karışımı.
Araştırmacılar, bu fikrin uygulanabilir olduğunu, çünkü yüz değişikliğini çalıştırmanın çoğu yönteminin "değişen yüzü mevcut arka plan görüntüsüyle karıştırma" adımına sahip olacağını söylediler. Ancak her görüntünün, donanımdan (algılayıcılar ve lensler gibi) veya yazılım bileşenlerinden (sıkıştırma ve sentez algoritmaları gibi) getirilen kendi benzersiz işaretleri vardır ve bu işaretler genellikle görüntü boyunca benzer bir şekilde sunulur.
Eğitim örnekleri oluşturmaya genel bakış
Görüntü kaynağı: Yüz röntgeni kağıdı
Bu nedenle, Face X-Ray'in belirli yüz manipülasyon teknikleriyle ilişkili yapay nesnelerin bilgisine güvenmesi gerekmez ve onu destekleyen algoritmalar, sahte görüntüler oluşturmak için herhangi bir yöntem kullanılmadan eğitilebilir.
Bir dizi deneyde, araştırmacılar FaceForensics ++ (son teknoloji ürünü dört yüz değiştirme yöntemi kullanılarak oluşturulmuş 1.000'den fazla orijinal klip içeren büyük bir video korpusu) ve gerçek görüntülerden oluşturulmuş karma görüntüleri içeren başka bir eğitim verisi kullandılar. Face X-Ray sette eğitildi.
FaceX-Rayin aşağıdakiler dahil dört veri kümesi kullanarak genelleme yeteneğini değerlendirdiler:
-
Yukarıda bahsedilen FaceForensics ++ külliyatının bir alt kümesi;
-
Google tarafından yayınlanan binlerce derin sahte video koleksiyonu, derin sahte algılama meydan okumalarının görüntüleri;
-
Celeb DF, 408 veri seti gerçek video ve azaltılmış görsel eserler içeren 795 sentetik video içeren bir külliyattır.
Sonuçlar, Face X-Ray'in tespit edilmeyen sahte görüntüleri etkili bir şekilde tanımlayabildiğini ve füzyon alanını güvenilir bir şekilde tahmin edebildiğini gösteriyor. Araştırmacılar, bu yöntemin bir karıştırma aşamasının varlığına dayandığını, bu nedenle tamamen sentetik görüntüler için uygun olmayabileceğini ve karşıt örneklerin gerçekliğini başarılı bir şekilde tespit edemeyebileceğini belirtti. Ancak bu noktayı bir kenara bırakırsak, bu, genelleştirilmiş yüz sahteciliği görüntü algılama araçlarına yönelik umut verici bir adım olarak kabul edilebilir.
Orijinal adres:
https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/
FaceShifter kağıdının adresi:
https://arxiv.org/pdf/1912.13457.pdf
FaceX-Ray kağıt adresi:
https://arxiv.org/pdf/1912.13458.pdf
Leifeng.com AI Geliştiricisi
