Bir model 12 çeşit AI dolandırıcılığını yendi ve çeşitli GAN'lar ve Deepfake'ler öldürüldü
Aufei Tapınağı'ndan Kestane Xiaocha Qubit Raporu | Genel Hesap QbitAI
AI tarafından oluşturulan sahte resimler, AI tarafından pek aldanmayabilir.
NVIDIA tarafından bu ay başlatılan StyleGAN2 bile ihlal edildi. İnsan gözü sahte yüz resmini ayırt edemese bile, yine de AI tarafından doğru bir şekilde tanımlanabilir.
En son araştırma, yapay zekanın belirli bir GAN tarafından oluşturulan sahte resimleri tanımlamayı öğrendiği sürece, çeşitli sahte resimleri tanımlama yeteneğine sahip olduğunu buldu.
İster GAN, Deepfake, süper çözünürlük tarafından üretilsin ya da nasıl elde edildiğine bakılmaksızın, bir AI kompozit görüntü olduğu sürece, genel bir model tarafından tespit edilebilir.
Çeşitli CNN'lerin ilkesi ve mimarisi tamamen farklı olsa da, dedektörün sahtekarlığı tespit ettiği ortak sorunu etkilemez.
Uygun ön işleme ve sonradan işleme ve uygun veri büyütme, eğitim setinde bir yapay zeka çalışması olup olmadığına bakılmaksızın resmin doğru olup olmadığını belirleyebilir.
Bu, Adobe ve UC Berkeley'den bilim adamları tarafından yayınlanan yeni sonuçtur.
Bazı netizenler, bu araştırmayı Kaggle'nin sahte yüz tanıma yarışmasına katılmak için kullanırlarsa, 500.000 ABD dolarına kadar para ödülü almanın mümkün olacağını söyledi.
Ancak bunu yapmadılar, bunun yerine önce ArXiv'de bir ön baskı yayınladılar ve CVPR 2020'ye de dahil edildi.
Son zamanlarda, kağıt kodunu GitHub'da açtılar ve okuyucuların indirmesi için eğitimden sonra ağırlıkları sağladılar.
70.000'den fazla sahte resim oluşturdu
Makalenin ilk yazarı ve Berkeley'den bir öğrenci olan Wang Sheng-Yu, yapay zekanın sahte ürünleri tanımlama yeteneğini test etmek için çeşitli CNN mimarilerini, veri setlerini ve kayıpları kapsayan 11 model kullanarak farklı resimler üretti.
Tüm bu modeller, bir dizi evrişim işlemi ve büyütme işlemi yoluyla görüntü üreten bir yukarı örnekleme evrişim yapısına sahiptir.Bu, CNN'nin görüntü oluşturması için en yaygın tasarımdır.
ProGAN, StyleGAN, BigGAN, BigGAN, GauGAN vb. Vardır, bu GAN'ların kendine has özellikleri vardır.
ProGAN ve StyleGAN, her kategori için farklı ağlar eğitir; StyleGAN, yüksek frekanslı ayrıntıları tanıtmak için modele daha büyük piksel gürültüsü enjekte eder; BigGAN genel bir sınıf koşul yapısına sahiptir; görüntü dönüştürme için GauGAN, CycleGAN ve StarGAN.
GAN'a ek olarak, resimleri işleyen başka sinir ağları da vardır:
- Yüzleşme eğitiminin kademeli iyileştirme ağı (CRN) olmadan algı kaybını doğrudan optimize edin;
- Koşullu görüntü dönüştürme modeli örtük maksimum olabilirlik tahmini (IMLE);
- Düşük ışıkta az pozlama için SITD modelini iyileştirin;
- Süper çözünürlük modeli, ikinci derece dikkat ağı (SAN);
- Açık kaynak DeepFake aracı, yüz değiştirme için yüz değiştirme.
Ana akım görüntü işleme CNN modeli her şeye sahiptir. Toplamda 70.000'den fazla "sahte resim" oluşturdular.
Bu resimleri oluşturmak için kullanılan algoritmalar ve stiller oldukça farklı olsa da, her zaman bazı içsel eksiklikler vardır: Hem CNN'in kendi sorunları hem de GAN'ın sınırlamaları vardır.
Bunun nedeni, ortak CNN tarafından üretilen içeriğin resmin karakterizasyon yeteneğini azaltması ve bu çalışmaların çoğunun ağın yukarı örnekleme ve alt örnekleme yapma biçimine odaklanmasıdır. Altörnekleme, görüntüyü sıkıştırmaktır ve yukarı örnekleme, görüntüyü daha büyük bir çözünürlüğe enterpolasyon yapmaktır.
Azulay ve Weiss ve diğerleri tarafından yapılan önceki çalışmalar, evrişimli ağın klasik örnekleme teoremini göz ardı ettiğini ve basamaklı evrişim işleminin öteleme değişmezliğini azalttığını ve bunun da son derece yüksek çıktıya neden olabilecek küçük bir kayma ile sonuçlandığını gösterdi. Büyük dalgalanmalar.
Ayrıca Zhu Junyan'ın ekibi tarafından ICCV 2019'da yayınlanan makale, GAN'ın sınırlı üretim yeteneklerine sahip olduğunu ve GAN ön eğitimi ile oluşturulamayan görüntü yapısını analiz ettiğini gösteriyor.
Bu yılın Temmuz ayında, Columbia Üniversitesi'nden Zhang Xu ve diğerleri, GAN'ın "ortak sorununu" daha da keşfettiler ve GAN'da bulunan yüksek örnekleme bileşenlerinin artefaktlara neden olabileceği yaygın bir durumdur.
Teorik olarak, bu eserlerin, spektrogramda çok açık olan frekans alanındaki spektrumun bir kopyası olarak göründüğünü kanıtladılar.
Örneğin, aynı zamanda bir atın resmidir.Gerçek fotoğrafın sinyali esas olarak merkezi alanda yoğunlaşırken, GAN tarafından oluşturulan görüntünün spektrogramda dört küçük noktası vardır.
Bu nedenle, sahte görüntüleri ayırt etmede en gelişmiş performansı elde eden piksel yerine spektruma dayalı bir sınıflandırıcı model önerdiler.
Öğrenci Wang, yalnızca GAN'ın değil, diğer CNN'lerin de görüntü üretirken spektrogramdaki periyodik kalıpları gözlemlediğini keşfetti.
Özgünlüğü ayırt etmek için AI eğitimi
Yeni oluşturulan veri seti 11 model tarafından oluşturulmuş sahte görüntüleri içermektedir.
Ancak, doğru ve yanlış sınıflandırıcılar bu geniş koleksiyonla eğitilmemiştir.
Gerçek eğitim setinde sadece Nvidia ProGAN Bu model çalışıyor, anahtar bu.
Ekip, eğitim için yalnızca bir modelin seçildiğini çünkü bu yaklaşımın gerçek dünyadaki görevler için daha uygun olduğunu söyledi:
Gerçek dünyada, veri çeşitliliği her zaman bilinmez ve eğittiğiniz yapay zekanın ne tür verileri genellemesi gerektiğini bilemezsiniz. Bu nedenle, yapay zekanın genelleme yeteneklerini geliştirmesine yardımcı olmaya odaklanarak, eğitim için bir model tarafından oluşturulan görüntüleri kullanın.
Diğer modellerin ürettiği çalışmalar genelleme yeteneklerini test etmek için kullanılır.
(Eğitmek için birçok modelin sahte görüntülerini kullanırsanız, genelleme görevi basitleşir ve genelleme yeteneğinin ne kadar güçlü olduğunu gözlemlemek zordur.)
Özellikle doğru ve yanlış sınıflandırıcı, ImageNet üzerinde önceden eğitilmiş ve ardından ProGAN'ın iki sınıflı eğitim için çalışmasını kullanan ResNet-50 tabanlı bir ağdır.
ProGAN prensibi
fakat, Eğitim Seti ProGAN çalışması değil. Ekip, her biri LSUN veri setinde bir kategori oluşturmaktan sorumlu 20 ProGAN kullandı. Bir ProGAN, yarısı sahte görüntüler ve yarısı gerçek görüntüler olmak üzere 36.000 eğitim görüntüsü ve 200 doğrulama görüntüsü alır.
20 ProGAN'ın sonuçlarını toplayın, eğitim seti 720.000 sayfa , Doğrulama kümesinde 4000 yaprak .
Tek bir veri kümesinin eğitim sonuçlarını diğer veri kümelerine genişletmek için ekip kendi yöntemini kullandı:
En önemli şey Veri büyütme . Önce tüm görüntüleri sola ve sağa çevirin ve ardından görüntüyü işlemek için Gauss bulanıklığı, JPEG sıkıştırması ve bulanıklık + JPEG kullanın.
Amplifikasyon yöntemi özel değildir, önemli olan verilerin Rötuş Form belirir. Ekip, bu yaklaşımın şaşırtıcı genelleme etkileri getirdiğini söyledi (ayrıntılar için aşağıya bakın).
Eğitimden sonra sonuçlara bir göz atalım.
Orijinalliği tanımlayın
Araştırmacılar, sınıflandırıcının performansını ölçmek için çoğunlukla Ortalama Hassasiyeti (Ortalama Hassasiyet) kullanır.
Birden fazla farklı CNN modeli tarafından oluşturulan görüntü setlerinde, ProGAN tarafından eğitilen sınıflandırıcılar oldukça genelleştirilmiştir:
Hemen hemen tüm test setlerinin AP puanı 90'ın üzerindedir. Sadece StyleGAN'ın puanı 88.2 ile biraz daha düşük.
İster bir GAN, ister yüzleşme eğitimi gerektirmeyen bir model olsun, yalnızca algısal kaybı optimize eder, veya bir süper çözünürlük modeli veya Deepfake'in çalışması, tümü genelleştirilebilir.
Ekip ayrıca farklı faktörlerin genelleme yeteneği üzerindeki etkisini de test etti:
Birincisi, veri büyütmenin gelişmiş genelleme yeteneklerine sahip olmasıdır. Örneğin, StyleGAN 96,3'ten 99,6'ya, BigGAN 72,2'den 88,2'ye, GauGAN 67,0'dan 98,1'e yükseldi vb. Solda büyütme olmadan daha sezgisel bir tablo aşağıdaki gibidir:
Ek olarak, veri artırma, sınıflandırıcıyı daha sağlam hale getirir.
İkinci olarak, veri çeşitliliği aynı zamanda genelleme yeteneklerini de geliştirir. ProGAN'ın o sırada LSUN veri setinde 20 kategoride resim oluşturduğunu unutmayın. Genel olarak konuşursak, eğitim için ne kadar fazla görüntü kategorisi kullanılırsa, sonuçlar o kadar iyi olacaktır:
O zaman tekrar düşünelim, şu anda aniden yeni bir model geliştirilirse yapay zeka da uyum sağlayabilir mi?
Burada ekip, yeni piyasaya sürülen Nvidia'yı kullandı. StilGAN2 , Sınıflandırıcının yine de iyi genelleştirebildiği bulundu:
Son olarak bir soru daha var.
Yapay zekanın sahte görüntüleri tanıdığı mekanizma, insanların çıplak gözle yargılamasıyla aynı mı?
Ekip, bir resmin yapay zekanın gözünde ne kadar sahte olduğunu belirtmek için bir "Sahte" puanı kullandı. Yapay zeka ne kadar yanlış hissederse, puan o kadar yüksek olur.
Deneyin sonucu, veri setlerinin çoğunda, YZ'nin gözlerindeki yanlışlık ile insanların gözlerindeki yanlışlık arasında açık bir ilişki olmadığıdır.
Yalnızca BigGAN ve StarGAN iki veri kümesinde, yanlış derece puanı ne kadar yüksekse, daha belirgin kusurlar görülebilir.
Daha fazla veri kümesinde böyle bir performans yoktur, bu da sınıflandırıcının öğrenmeye daha yatkın olduğunu gösterir. Alt düzey Çıplak gözle görülen kusurlar ve kusurlar daha önyargılı olabilir. Yüksek seviye .
Kurun ve kullanın
Makale hakkında konuştuktan sonra bu modelin gücünü deneyimlemek için GitHub'a geçelim.
Makalenin kaynak kodu PyTorch çerçevesine dayalıdır ve proje CUDA'ya dayandığından NVIDIA GPU'nun çalışmasını gerektirir.
Önce projeyi yerel olarak klonlayın ve bağımlılıkları kurun.
pip kurulum -r gereksinimleri.txtYazar, eğitimin muazzam maliyetini göz önünde bulundurarak, ağırlıklar ve test seti indirmeleri de sağlar.Bu dosyalar Dropbox'ta saklandığından, yerli kullanıcıların indirmesi uygun değildir. Resmi hesabımızda yanıtlayın. CNN Yurtiçi web disk adresini alabilirsiniz.
İndirdikten sonra, bu iki dosyayı ağırlıklar dizinine taşıyın.
Ardından, görüntünün doğru ve yanlışını belirlemek için kullanabiliriz:
# Model ağırlıklarının indirilmesi gerekiyor. python demo.py örnekleri / real.png ağırlıkları / blur_jpg_prob0.1.pth python demo.py örnekleri / fake.png ağırlıkları / blur_jpg_prob0.1.pthKendi GAN'ınızı oluşturma yeteneğiniz varsa, bunu modelinizin sahte yeteneğini tespit etmek için de kullanabilirsiniz.
# Değerlendirme komut dosyasını çalıştırın. Model ağırlıklarının indirilmesi gerekiyor. python eval.pyYazar, 13 CNN modeliyle yapılan resimleri tanımlamak için kullandı ve genelleme yeteneğini kanıtladı.
Işıltılı Yazarlar Grubu
Bu makalenin ilk yazarı California Üniversitesi, Berkeley'dendir. Wang Sheng-Yu , Berkeley Yapay Zeka Araştırma Laboratuvarı'nda (BAIR) yüksek lisans öğrencisi ve sahte görüntüleri tanımlamada başarılı.
Bu yıl, o ve Adobe, fotoğrafın PS yüz kaldırma ve güzelleştirme işlemlerinden geçirilip geçirilmediğini öğrenmek için Photoshop'lu Yüzleri Scripting ile Algılama adlı başka bir makale ile işbirliği yaptı ve ayrıca "photoshop" öncesi görünümü geri yükleyebilir.
Bu makalenin diğer yazarı Richard Zhang ve Wang da yukarıdaki makalede işbirliği yaptı. 2018'den önce Berkeley'de doktora yapıyordu ve mezun olduktan sonra Adobe'ye katıldı.
Bu makalenin ilgili yazarı, eskiden Zhu Junyan'ın akıl hocası olan Alexei Efros'tur.Bu makalede bahsedilen CycleGAN, Dr. Zhu Junyan tarafından oluşturulmuştur. Alexei şu anda Berkeley Kaliforniya Üniversitesi Bilgisayar Bilimleri Bölümü'nde profesördür ve daha önce CMU Robotik Enstitüsünde 9 yıldır ders vermiştir.
Portal
Kağıt adresi: https://arxiv.org/abs/1912.11035
Kaynak kodu: https://github.com/peterwang512/CNNDetection
- Bitiş -
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
