Eski zamanlarda sihirli bir ayna vardı ve şimdi bir yüz tanıma makinesi, Microsoft CVPR 2020 başyapıtı var, böylece sahte yüzlerin saklanacak hiçbir yeri yok
Yazar | Jiang Baoshang Editör | Jia Wei
Birkaç gün önce, Deepfake teknolojisi Hindistan seçimlerinde ortaya çıktı ve adaylar tarafından kampanya tanıtım malzemelerinde kullanıldı. Bu aday feci bir yenilgiyle sonuçlansa da, Deepfake tarafından tutuşturulan AI yüz değiştiren ateşin yavaş yavaş ısındığı anlamına geliyor.
Gittikçe daha yoğun hale gelmesine rağmen, ilgili Deepfake karşıtı teknoloji nispeten eksikti. Son zamanlarda, Microsoft Research Asia, yüzü değiştiren görüntüleri tespit etmek için bir yöntem önerdi: Yüz X-Ray.
Bu teknoloji, "Daha Genel Yüz Sahteciliği Tespiti için Yüz Röntgeni" adlı makalede yayınlandı.İlgili makaledeki araştırmacılara göre, bu tür araçlar yüz değiştiren görüntülerin kötüye kullanılmasını önlemeye yardımcı oluyor.
Bu teknoloji, "bilinmeyen" görüntüleri doğru bir şekilde tespit edebilmesi, yani hangi algoritmanın sentezlendiğine bakılmaksızın, belirli bir eğitim olmadan da tespit edilebilmesi açısından mevcut yöntemlerden farklıdır.
Eğitim örnekleri oluşturmaya genel bakış
Daha spesifik olarak, belirli bir girdi görüntüsünün farklı kaynaklardan gelen iki görüntünün bir karışımına ayrıştırılıp ayrıştırılamayacağını gösteren gri tonlamalı bir görüntü oluşturacaktır. Sonuçta, yüz değiştirme yöntemlerinin çoğu, oluşturulan resimleri mevcut resimlerle birleştirmektir.
Bu, Yüz Röntgeni'nin yalnızca kompozit bir resim olup olmadığını yargılayamayacağı, aynı zamanda hangi yerin kompozit olduğunu, yani Hem tanıma hem de yorumlama işlevlerine sahiptir.
Yukarıdaki gibi, aşağıdaki resim açıkça bileşiktir.
Algoritmanın temel fikri, her görüntünün benzersiz işaretini belirlemektir. Algoritmalar gibi yazılım faktörlerinden veya sensörler gibi donanım faktörlerinden gelebilecek bu işaretlerin birçok nedeni vardır.
Piyasadaki bazı iki kategorili yüz değiştiren algılama algoritmaları ile karşılaştırıldığında, Face X-Ray, keşfedilmemiş yüzü değiştiren görüntüleri daha etkili bir şekilde tanımlayabilir ve karışık alanı güvenilir bir şekilde tahmin edebilir.
İki sınıflı dedektör deneyi ile karşılaştırma sonucu
Ancak makale ayrıca, bu yöntemin bir karıştırma aşamasına dayandığına, bu nedenle tamamen sentezlenmiş görüntüler için uygun olmayabileceğine ve rakip örnekler tarafından yanıltılabileceğine de işaret etti.
1. İlgili çalışma
Sahte yüz teknolojisi her geçen gün değişiyor.Birçok algoritma resimleri sentezleyebiliyor ve sentezlenen resimler gittikçe daha gerçekçi hale geliyor.Bu, sahte resimlerin kötüye kullanılabileceği anlamına geliyor, bu yüzden yüz değiştiren algılama teknolojisini incelemek çok önemli.
Bu tür bir algılama teknolojisi akademik alanda çalışılmıştır, ancak bunların çoğu "iki sınıflandırma" algılama yöntemidir.% 98'lik bir doğruluğa ulaşabildikleri halde, bu algılama yöntemleri genellikle geçiş eşleştirmesinden etkilenir, bu da işlemede farklı oldukları anlamına gelir. Resim türleri, algılama yönteminin performansı önemli ölçüde azalacaktır.
Daha spesifik olmak gerekirse, gerçek kişilerle fotoğrafları ayırt edebilen teknolojiye canlılık tespiti denir ve Çince'de "canlı adli tıp" denir. Mevcut teknoloji esas olarak çözünürlüğe, üç boyutlu bilgilere, göz hareketine vb. Dayanmaktadır, çünkü çoğaltılan fotoğrafın çözünürlüğü kalite ve çözünürlük açısından doğrudan gerçek kişiden toplanan fotoğraftan farklıdır.
Video aldatma için, üç boyutlu bilgilere, ışığa vb. Göre ayırt edilir.
Belirli uygulamalar için, Google bir zamanlar Assembler adında, 5'i Amerika Birleşik Devletleri ve İtalya'daki üniversitelerin araştırma ekipleri tarafından geliştirilen ve farklı türden teknolojiler tarafından işlenen fotoğrafları tespit etmekten sorumlu olan 7 dedektörlü bir foto-sahte eser başlattı. Bileşik, silme vb. Fotoğraflar
Diğer iki dedektör Jigsaw'un kendi ekibi tarafından geliştirildi.Bunlardan biri, son iki yılda hararetle tartışılan yapay zeka yüz değişikliği olan deepfake'i tanımak için tasarlandı.Bu dedektör, StyleGAN teknolojisi tarafından üretilen gerçek hayat görüntüleri ile deepfake arasında ayrım yapmak için makine öğrenimini kullanıyor.
Sahte resimler için, eklenebilecek alanları işaretleyin.
Yüz Röntgeni yöntemi, sentezlenmiş resimlerin ortak yönünü ele alabilir: resim birleştirme, yani bir resim başka bir resimle karıştırılır. Resmin olası karışık alanını tespit edin, farkı analiz edin, resim işaretini bulun ve kompozit resim olup olmadığına karar verin.
İki, Yüzlü X-Ray algoritması ayrıntıları
Tipik bir yüz değiştiren sentez yöntemi üç aşama içerir:
1. Yüz bölgesini tespit edin;
2. İstenen hedef yüzü sentezleyin;
3. Hedef yüzü orijinal görüntüye birleştirin.
Sentetik yüz görüntülerinin mevcut tespiti genellikle ikinci aşamaya bakar ve veri setine dayalı olarak çerçeve başına denetimli bir ikili sınıflandırıcı eğitir. Bu yöntem, test veri setinde neredeyse mükemmel algılama doğruluğu sağlayabilir.Eğitim sırasında görmediğiniz yüzü değiştiren bir görüntüyle karşılaşırsanız, performans önemli ölçüde azalacaktır.
Face X-Ray'in anahtar adımı, görüntülerden etiketli veriler elde etmek ve ardından çerçeveyi "kendi kendine denetlenen" bir şekilde eğitmektir. Burada kendi kendini denetlemenin geleneksel öz denetim tanımından farklı olarak alıntı yapıldığını belirtmekte fayda var Buradaki denetimsiz, algoritmanın yüz değiştiren veritabanından eğitilmediği anlamına gelir.
Daha önce de belirtildiği gibi, resimlerin işaretlenmesi esas olarak iki yönden gelir: donanım ve yazılım. Normal görüntülerde, donanım ve yazılım tarafından oluşturulan işaretler genellikle "periyodik" veya tek tiptir. Görüntü değiştirildikten sonra, bu tekdüzelik bozulur, bu nedenle işaret, bunun kompozit bir görüntü olup olmadığını belirlemek için kullanılabilir.
Özellikle algoritma düzeyinde, bileşik görüntü aşağıdaki gibi tanımlanır:
Formül 1
, öğenin öğeyle çarpılması anlamına gelir, IF, yüz nitelikleri sağlayan bir görüntü anlamına gelir; IB, arka plan sağlayan görüntü anlamına gelir, M, işlenen bölgeyi sınırlayan maskedir ve her pikselin gri değeridir 0.0 ile 1.0 arasında.
Formül 2
Yüz Röntgenini yukarıdaki gibi B görüntüsü olarak tanımlayın ve sonra giriş bir kompozit görüntü ise, o zaman B karışık alanı gösterecektir, eğer giriş gerçek bir görüntü ise, o zaman B tüm pikseller için 0 olacaktır.
Esasen, Yüz Röntgeninin amacı bir görüntüyü farklı kaynaklardan iki görüntüye ayırmaktır Sonuçta, farklı kaynaklardan gelen görüntülerde insan gözünün algılayamadığı ancak bilgisayarların algılayabileceği bazı ince farklılıklar vardır.
Başka bir deyişle, Face X-Ray, görüntülerde farklılıklar bulan hesaplamalı bir temsildir ve sadece harmanlama sınırlarını önemsemektedir.
Ardından "kendi kendini denetleyen" öğrenme modülü geldi. Bu bölümdeki zorluk, yalnızca gerçek resimler kullanılarak ilgili eğitim verilerinin nasıl elde edileceğini çözmektir. Temelde 3 bölüme ayrılmıştır.
1. Gerçek bir görüntü verildiğinde, gerçek görüntünün bir varyantı olarak başka bir görüntü arayın. Eşleştirme kriteri olarak yüz işaretlerini kullanın ve Öklid mesafesine göre arama yapın.
2. "Sahtecilik" alanını sınırlandırmak için bir maske oluşturun.
3. Yukarıdaki ilk formülle karışık görüntüyü elde edin ve ardından ikinci formüle göre karışık sınırı elde edin
Uygulamada, eğitim süreci ilerledikçe etiket verileri dinamik olarak oluşturulacak ve çerçeve, kendi kendini denetleyen bir şekilde eğitilecektir. Bu nedenle, yalnızca gerçek görüntü düzeyinde çalışmak büyük miktarda eğitim verisi oluşturabilir.
Eğitim sürecinde, derin öğrenmenin güçlü bir temsil öğrenme yeteneğine sahip olması nedeniyle, araştırmacılar evrişimli sinir ağlarına dayalı bir çerçeve benimsemişlerdir. Girdi bir görüntüdür ve çıktı Yüz Röntgeni'dir ve daha sonra tahmin edilen Yüz Röntgenine dayalı olarak, bir görüntünün doğru olup olmadığına dair karışık olasılık çıktıdır.
Ek olarak, tahmin için yaygın olarak kullanılan bir kayıp işlevi kullanılır. Yüz X-Ray için çapraz entropi kaybı, tahminin doğruluğunu ölçmek için kullanılır.
Genel olarak, Face X-Ray'in belirli yüz manipülasyon teknikleriyle ilgili yapay nesnelerin bilgisine güvenmesi gerekmez ve onu destekleyen algoritmalar, sahte görüntüler oluşturmak için herhangi bir yöntem kullanılmadan eğitilebilir.
Üç, deney
Deneysel bölümde, araştırmacılar Face Forensics ++ üzerinde Yüz Röntgeni ve gerçek görüntülerden oluşturulmuş karma görüntüler içeren başka bir eğitim veri setini eğitmişlerdir.Eğitim, veri tabanındaki yalnızca "gerçek görüntüleri" kullanır ve sahte görüntüler kullanmaz. Bunların arasında Face Forensics ++, DeepFake, Face2Face, Face Swap ve NeuralTextures dahil olmak üzere en gelişmiş dört yüz manipülasyon yöntemiyle çalıştırılan 1.000'den fazla orijinal klibi içeren büyük ölçekli bir video topluluğudur.
Test bölümünde dört veri seti kullanılarak Yüz Röntgeninin genelleme yeteneği değerlendirilir. Bu dört veri seti şunları içerir: Face Forensics ++, Deepfakedetection, Deepfake Detection Challenge, celeb-DF.
Genelleme yeteneği değerlendirmesi
İlk olarak, Yüz X-Ray algılama modelini değerlendirmek için Xception ile aynı eğitim setini ve eğitim stratejisini kullanın. Doğru bir Yüz X-Ray görüntüsü elde etmek için, gerçek görüntüyü arka plan olarak ve yüzü değiştiren görüntüyü ön plan olarak kullanın, bir çift gerçek ve sahte görüntü verin. Adil bir karşılaştırma için ikili sınıfın sonuçları da verilmiştir. Sonuç aşağıda gösterilmiştir:
Genelleme yeteneği değerlendirmesi, bilinmeyen yüz değişikliği tespitinde sadece sınıflandırıcıyı kullanmak performansın düşmesine neden olacaktır.
Ek olarak, genelleme yeteneği de geliştirildi İyileştirme esas olarak iki bölümden kaynaklanmaktadır: 1. Belirli artefaktları çalıştırmak yerine Yüz Röntgenini tespit etmeniz önerilir. 2. Gerçek görüntülerden çok sayıda eğitim örneği oluşturun. Sonuçlar, yalnızca kendi kendini denetleyen verilerin kullanılmasının yüksek algılama doğruluğu sağlayabileceğini göstermektedir.
Bilinmeyen veri kümeleri için karşılaştırma sonuçları
Yakın zamanda yayımlanan büyük ölçekli veri kümesinden test edin ve ardından AUC, AP ve EER'nin üç yönünün sonuçlarını verin. Aşağıdaki şekilde gösterildiği gibi, çerçeve kıyaslamadan daha iyi performans gösteriyor. Diğer yüz değiştiren görüntüleri kullanırsanız, dağıtım test setinden farklı olsa bile performans iyileştirilecektir.
Aşağıdaki şekil, çeşitli yüz değiştiren görüntü türlerinin görsel örneklerini göstermektedir.Temel gerçekler, sözde yüz ile gerçek görüntü arasındaki farkın hesaplanması ve ardından normalleştirildikten sonra gri tonlamaya dönüştürülmesiyle elde edilmiştir. Aşağıdaki şekilde görüldüğü gibi, Yüz Röntgeninin gerçekleri daha iyi yansıtabileceği tahmin edilmektedir.
Algoritma tarafından tahmin edilen füzyon sınırı
Mevcut çalışmayla karşılaştır
Son zamanlarda yapılan ilgili bazı çalışmalar da genelleme problemini fark etmiş ve bu problemi bir ölçüde çözmeye çalışmıştır. FWA ayrıca gerçek görüntülerden negatif örnekler oluşturmak için kendi kendini denetleyen bir yaklaşım kullanır. Bununla birlikte, amacı yalnızca DeepFake tarafından oluşturulan videolarda bulunan yüz bozulma eserlerini tanımlamaktır.
Table3 ~ Table5 simgelerdir, lütfen Table6'yı otomatik olarak dikkate almayın
Yukarıdaki tablodaki diğer çalışmaların tümü, doğal gösterimleri öğrenmeye ve aynı anda MTDS öğrenme algılama ve konumlandırma gerçekleştirmeye çalışır. Buna karşılık, Yüz X-ray mevcut SOTA'yı aştı.
Önerilen çerçevenin analizi
Kendi kendini denetleyen veri üretiminde veri geliştirmenin genel amacı, modelin çeşitli kurcalanmış görüntüleri algılama yeteneğine sahip olması için çok sayıda farklı türde karışık görüntü sağlamaktır.
Yazar, bu bölümde iki önemli geliştirme stratejisini inceledi: a) Yüz X-Ray'inin şeklinde daha büyük değişiklikler getirmeyi amaçlayan maske deformasyonu; b) Daha gerçekçi karışık görüntüler üretmek için renk düzeltme. Bu iki strateji, ağ eğitimine de yardımcı olan, çeşitli ve son derece doğru veri örnekleri oluşturmak için gereklidir.
Ek olarak, kendi kendini denetleyen veri oluşturma sürecinde, bir faz karıştırma yöntemi kullanılır, test verilerini oluşturmak için farklı karıştırma türleri kullanılır ve eğitim verilerini oluşturmak için alfa karıştırma kullanılırken model değerlendirilir. Sonuç aşağıda gösterilmiştir
Bir şey daha
Yüz röntgeni "yarı sentetik" görüntüler için mucizevi etkilere sahiptir, ancak aynı zamanda iki sınırlaması vardır: Birincisi, tamamen sentetik görüntüler için, işaret etkili bir şekilde tanımlanamadığı için FaceX-Ray bunun üstesinden gelemez. Daha önce söylediğim şey şuydu: "Bu yöntem bir harmanlama adımına dayanır, bu nedenle tamamen sentezlenmiş görüntüler için uygun olmayabilir."
İkinci sınırlama, birisi özellikle bu algoritma için rakip numuneleri eğitirse, Yüz Röntgeninin de başarısız olabileceğidir.
Ek olarak, diğer yüz değiştiren algılama teknolojileri gibi, bu teknoloji de görüntü çözünürlüğüne duyarlıdır.Görüntü çözünürlüğü düşükse, Yüz X-Ray algılama oranı da düşük olacaktır.
Solda: Guo Baining. Sağda: Chen Dong
Bu araştırmayı amaçlayan AI Technology Review, Microsoft Research Asia başkan yardımcısı Guo Baining ve Microsoft Research Asia'nın kıdemli araştırmacısı Chen Dong ile de röportaj yaptı.
Sor: Tamamen sentezlenmiş görüntüler ve rakip numunelerin yanlış tanınması için çözüm nedir? Yüz X-Ray? Cevap : Hala araştırıyoruz ve arka plan ayrıntılarının tespiti için çok çalışmayı planlıyoruz, çünkü sentezlenen resimler genellikle arka plandaki kaba işler. Diğer bir fikir, algoritmayı gerçek resimleri sahte resimlerle karşılaştırarak eğitmektir, çünkü genellikle ünlüler veya diğer yüz resimleri benzersiz öznitelik kimliklerine sahiptir ve bu benzersiz öznitelik kimliğini veri olarak eğitmek de algoritmayı geliştirebilir. Sor: Face X-Ray, fotoğraf düzenleme araçlarıyla değiştirilen yüz fotoğraflarını tanıyabilir mi? Cevap: Face X-Ray'in çalışmasının odak noktası, orijinal görüntü olup olmadığına karar vermek değil, onu "doğru" ve "yanlış" arasında ölçmektir Sonuçta, sahte videolar ve görüntüler toplum üzerinde daha büyük bir olumsuz etkiye sahiptir. Sor: Algoritma nasıl uygulanır? Uygulamaya ne zaman entegre edilebilir? Cevap: Algoritma atılımımız yalnızca kaydedilen bir ilerlemedir ve belirli uygulamaların inmesi biraz zaman alacaktır.
