Hinton, tüfek olarak tanınan kaplumbağayı kurtarmak için Google Brain'de yeni bir araştırmaya liderlik ediyor
Kestane anne derleme
Qubit Üretildi | Genel Hesap QbitAI
Son zamanlarda, derin öğrenmenin babası Geoffrey Hinton liderliğindeki Google Brain ekibi, bir savunma Karşı atak Yeni yöntem.
DARCCC adlı bir teknoloji, yeniden oluşturulmuş görüntüyü giriş görüntüsü ile karşılaştırabilir, ardından sayaç görüntüsünü belirleyebilir ve sistemin saldırı altında olup olmadığını tespit edebilir.
Yüzleşme saldırısı, görüntü tanıma için AI'yı aldatmanın tam zamanlı bir yöntemidir. Daha önce, yapay zekanın bir kaplumbağayı tüfek olarak tanımlama operasyonu, bir karşı saldırı şaheseriydi.
Resmin dokusunu sessizce değiştirerek, insanların farkında olmadan AI'yı kandırabilirsiniz.
Ancak bu sefer, yüzleşme saldırısı bir rakiple karşılaştı.
Saldırılara karşı zayıflıkların kullanılması
Yüzleşme saldırıları mükemmel bir numara olsa da, zayıf yönleri de vardır.
Kaplumbağa ve tüfeğin hikayesini bir kestane gibi ele alalım:
Tüfek olarak sınıflandırılsa bile, Kaplumbağa hala tüfeğinden çok farklı görünüyor .
Hinton ekibi, büyük gruptan yanlış sınıflandırılmış görüntüleri çıkarmak için aralarındaki farkları kullandı.
Model bir görüntüyü tanıdığında, bir sınıflandırma (kaplumbağa / tüfek gibi) çıkarmanın yanı sıra, bir yeniden yapılandırma (Yeniden Yapılandırma) görüntüsü de çıkaracaktır.
Bir yüzleşme görüntüsü ise, yeniden oluşturulmuş görüntü orijinal görüntüden çok farklı olacaktır (AI'nın gözünde tüfeğe yakın). Kurcalamadan gerçek bir görüntü ise, yeniden yapılandırma sonucu giriş görüntüsüne (kaplumbağa) çok yakın olmalıdır:
Bu nedenle, bir tanıma algoritması yapmak için önce doğrulama setini verin Yeniden yapılandırma hatası (Yeniden Yapılandırma Hatası) Bir eşik tanımlayın.
Bir resmin yeniden yapılandırma hatası bu eşiği aştığı sürece, şu şekilde işaretlenir: Sayaç resmi .
Bu şekilde, bu algoritma, sisteme bilinmeyen kuvvetler tarafından saldırıya uğrayıp uğramadığını belirleyebilir.
Her zaman senden daha iyi insanlar vardır
Daha sonra araştırmacılar, bu algılama yönteminin kara kutu saldırıları ve tipik beyaz kutu saldırıları altında etkili olup olmadığını keşfetmek için DARCCC'yi daha standart görüntü sınıflandırma ağlarına genişletti.
Frosst ve diğerleri, MNIST, Fashion-MNIST ve SVHN olmak üzere üç veri seti seçti ve bir sonraki adıma geçti: Doğrulama . Bu sefer, araştırmacılar üç yaygın beyaz kutu saldırı yöntemi kullandılar.
İlk ikisi beyaz kutu saldırılarında yaygın olarak kullanılan FGSM (Hızlı Gradyan İşaret Yöntemi) ve BIM (Temel Yinelemeli Yöntemler) algoritmalarıdır.Bu iki zamanın sonuçları araştırmacıları heyecanlandırdı çünkü bu iki günlük yöntemden hiçbiri başarılı olamadı.
DARCCC, FGSM ve BIM'in saldırısına dirense de üçüncü beyaz kutu saldırısı karşısında mağlup oldu.
Bu daha güçlü beyaz kutu saldırısına R-BIM (Yeniden Yapılandırıcı BIM) denir. Yeniden yapılandırma kaybı dahil edilebilir ve görüntü yinelemeli olarak bozulabilir.
Bu şekilde, görüntüye aykırı olsa bile, AI yine de onun için zarif bir yeniden yapılanma oluşturabilir.
Sistemin bir saldırıyı algılamasının bir yolu yoktur.
Bu, MNIST ve fashionMNIST veri kümelerinde yapılan testin sonucudur:
SVHN veri setiyle test edildiğinde sonuçlar aşağıdaki gibidir:
Portal
Şu anda, bu makale DARCCC: Sınıf Koşullu Kapsüllerden Yeniden Yapılanma Yoluyla Düşmanları Algılama, NeurIPS Güvenlik Çalıştayı'na dahil edilmiştir.
Kağıt adresi:
https://arxiv.org/abs/1811.06969
Orijinal Frosst Twitter:
https://twitter.com/nickfrosst/status/1064593651026792448
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
