Derinlemesine | makine öğrenimi ile düşman saldırı raporu, yapay zeka nasıl kandırılır?
Leifeng.com'a göre: Bu makalenin yazarları Cao Yue, Zhong Zhenyu ve Wei Tao, ilk olarak Baidu Güvenlik Laboratuvarı'nın kamu hesabında yayınlandı ve Leifeng'in yetkilendirmesiyle yeniden basıldı.
Bilim ve teknolojinin gelişmesi, yapay zekayı insan yaşamına yaklaştırdı ve gizli güvenlik sorunları giderek en iyi güvenlik uzmanlarının dikkatini çekti.
Bu makale Baidu Güvenlik Laboratuvarı uzmanları tarafından yazılmıştır.GeekPwn2016 Silikon Vadisi şubesindeki mevcut popüler yapay zeka grafik nesne tanıma ve konuşma tanıma senaryolarında en iyi güvenlik uzmanları tarafından kullanılan saldırı verilerini ve saldırı gösterilerini oluşturma yöntemlerini ayrıntılı olarak tanıtmaktadır. Baidu Security Lab uzmanları, bu saldırı yöntemleri hakkında benzersiz bilgiler sağladı ve gelecekteki eğilimleri tahmin etti.
29 Aralık'tan itibaren gizemli hesap Ustası sırayla Yicheng, Yehu ve diğer Go savaş platformlarında büyük Go oyuncularına meydan okudu ve inanılmaz sayıda art arda zafer kazandı. 4 Ocak'ta Nie Weiping, Chang Hao ve Zhou Ruiyang gibi ustalar arka arkaya Master'a yenildi ve şu ana kadar 60 ardışık zafer kazandı. Usta sonunda Coulee ile düellodan önce kimliğini ortaya çıkardı.Geçen yıl ilgi odağı olan AlphaGo'ydu (yükseltilmiş versiyonu). Coulee'ye karşı bunun son savaş olacağını da önceden duyurdu.
Masterın 60 maçlık galibiyet serisini yapay zeka ve insanlar arasındaki yüzleşmeye bir sinyal ve uyarı olarak görebiliriz. Yapay zeka çağında, insanların kendi "yenileme ve yükseltme" işlemlerini nasıl tamamlayabilecekleri hakkında düşünmeye değer. Aynı zamanda, getirdiği güvenlik sorunlarının acilen çözülmesi için güvenlik uzmanlarına ihtiyaç vardır.
Yapay zeka ve makine öğrenimi teknolojisinin İnternet'in çeşitli alanlarında yaygın olarak uygulanmasıyla, saldırıya uğrama olasılığı ve güçlü anti-grev yeteneğine sahip olup olmadığı güvenlik camiasını her zaman endişelendirdi. Makine öğrenimi modeli saldırılarıyla ilgili önceki tartışmalar, genellikle eğitim verilerinin kirliliğiyle sınırlıdır. Modelleri genellikle kapalı uçlu dağıtım olma eğiliminde olduğundan, bu yaklaşım gerçek durumlarda pratik değildir. GeekPwn2016 Silikon Vadisi şubesinde, Kuzey Amerika endüstrisinden ve akademiden en iyi güvenlik uzmanları, size karşı saldırı verilerini nasıl oluşturacağınızı veya mevcut popüler grafik nesne tanıma ve konuşma tanıma senaryoları için kaynak verilerle nasıl eşleşeceğini açıkladı. Aradaki fark o kadar incedir ki, insanlar onu duyular aracılığıyla tanıyamaz veya farkın insan algısında önemli bir değişikliği yoktur ve makine öğrenimi modeli, yanlış sınıflandırma kararlarını kabul edip verebilir ve aynı zamanda bir saldırı gösterisi gerçekleştirebilir. Aşağıda uzmanların saldırı yöntemlerini ayrıntılı olarak tanıtacağız.
1. Görüntü ve konuşma tanıma sistemine saldırın
Şu anda, yapay zeka ve makine öğrenimi teknolojileri, insan-bilgisayar etkileşimi, öneri sistemleri ve güvenlik koruması gibi çeşitli alanlarda yaygın olarak kullanılmaktadır. Belirli senaryolar arasında ses, görüntü tanıma, kredi değerlendirmesi, dolandırıcılık önleme, kötü amaçlı posta filtreleme, kötü amaçlı kod saldırılarına karşı direnç, ağ saldırıları vb. Yer alır. Saldırganlar ayrıca, çeşitli yollarla bunu atlatmaya çalışır veya karşı önlemler almak için doğrudan makine öğrenimi modeline saldırır. Özellikle insan-bilgisayar etkileşimi, ses ve görüntü ile ortaya çıkan insan-bilgisayar giriş yöntemleri kısmında, rahatlığı ve pratikliği halk tarafından memnuniyetle karşılanmaktadır. Aynı zamanda mobil cihazların popülaritesi ve ortaya çıkan bu giriş yöntemlerinin mobil cihazlar ile entegrasyonu ile bu teknoloji çoğu kişi tarafından deneyimlenmiştir. Ses ve görüntü tanımanın doğruluğu, makinenin kullanıcı talimatlarını anlama ve uygulama konusundaki etkinliği açısından kritik önem taşır. Aynı zamanda, bu bağlantı saldırganlar tarafından kullanılması en kolay olanıdır.Veri kaynağında yapılan ince değişiklikler sayesinde, kullanıcı onu algılayamaz ve makine, verileri kabul ettikten sonra yanlış takip işlemleri yapabilir. Ve bilgisayar ekipmanının izinsiz girmesine, yanlış komutların yürütülmesine ve yürütmeden sonra zincirleme reaksiyonun neden olduğu ciddi sonuçlara yol açacaktır. Bu özel senaryoya dayalı olarak, bu makale önce kısaca beyaz kutu ve kara kutu saldırı modelini tanıtıyor ve ardından saldırı senaryosunu, veri yapısına karşı saldırı yöntemini ve saldırı etkisini daha fazla tanıtmak için uzmanların araştırma sonuçlarını birleştiriyor.
1.1 Saldırı modeli
Diğer saldırılardan farklı olarak, hasım saldırısı esas olarak karşıt veriler oluşturulduğunda meydana gelir ve ardından karşıt veriler, normal veriler gibi makine öğrenimi modeline girilir ve aldatıcı tanıma sonucu elde edilir. Düşman verileri oluşturma sürecinde, ister görüntü tanıma sistemi ister konuşma tanıma sistemi olsun, saldırganın makine öğrenimi modelinde ne kadar bilgiye sahip olduğuna bağlı olarak, aşağıdaki iki duruma ayrılabilir:
-
Beyaz kutu saldırısı
Saldırgan, makine öğrenimi tarafından kullanılan algoritmayı ve algoritma tarafından kullanılan parametreleri öğrenebilir. Saldırgan, düşman saldırı verileri oluşturma sürecinde makine öğrenimi sistemiyle etkileşime girebilir.
-
Kara kutu saldırısı
Saldırgan, makine öğreniminde kullanılan algoritmaları ve parametreleri bilmiyor, ancak saldırgan yine de makine öğrenimi sistemiyle etkileşime girebilir.Örneğin, çıktıyı gözlemlemek ve çıktıyı yargılamak için herhangi bir girdiyi geçirebilir.
2. GeekPwn saha makine öğrenimi düşman saldırısı
2.1 Fiziksel Tartışmalı Örnekler
GeekPwn2016 Silikon Vadisi şubesinde, OpenAI'den Ian Goodfellow ve Google Brain'den Alexey Kurakin, gerçek fiziksel dünyada makine öğrenimini aldatmada "rakip görüntülerin" etkisini paylaştı. Ian Goodfellow'un üretken hasım sinir ağı modelinin mucidi olduğundan bahsetmeye değer.
Öncelikle, düşmanca görüntü saldırılarını kısaca tanıtalım. Düşman görüntü saldırısı, insan gözünün ve görüntü tanıma makinesinin farklı türleri tanımasını sağlamak için saldırgan tarafından oluşturulan düşmanca bir görüntüdür. Örneğin, bir saldırgan, insan gözünde dur işareti olan, ancak arabanın gözünde 60 hız sınırı işareti olan görüntü tanıma kullanan insansız bir aracın resmini oluşturabilir.
Şekil 1 Saldırı görüntüsü tanıma senaryosu
Toplantıda Ian ve Alexey, geçmişteki rakip imaj çalışmasının aşağıdaki saldırı modeline dayandığına, yani saldırganın herhangi bir ayrıntı düzeyinin görüntüsünü istediği gibi değiştirebilmesini sağlamak için doğrudan makine öğrenimi modeline veri girebileceğine dikkat çekti. Resmi okurken aydınlatmayı, resmin açısını ve cihazın düşman görüntü saldırısı üzerindeki etkisini göz önünde bulundurmanız gerekir. Bu nedenle, çekişmeli resimlerin gerçek fiziksel dünyadaki performans etkisini denediler, yani rakip resimler makine öğrenimi modeline girmeden önce, baskı, dış ortam ve kamera işleme gibi bir dizi kontrol edilemeyen değişikliğe de uğradılar. Doğrudan bilgisayara kayıpsız bir resim dosyası göndermeye kıyasla, bu saldırı daha pratik bir öneme sahiptir.
Düşman saldırı resminin nasıl oluşturulacağı konusunda, yönsüz saldırıda FGS ve FGS yinelemeli yöntemlerini, yönlü saldırıda FGS yinelemeli yöntemini kullandılar. Bunlar arasında, yönsüz saldırı, saldırganın yalnızca karşısına çıkan görüntü ile orijinal görüntü arasındaki farkı takip ettiği ve tanımanın sonucunu umursamadığı anlamına gelir. Hedeflenen saldırı, makine öğrenimi modelinin saldırganın görüntüyü oluştururken hedefi önceden belirlediğini tanımasının sonucunu ifade eder.
Hedefe yönelik saldırılarda, yazar ilk olarak belirli bir kaynak görüntünün en düşük olasılıkla tanınan y tipi değerini, olarak ifade edilen koşullu olasılığa göre bulur (bu tür genellikle orijinal türden tamamen farklıdır). Daha sonra, yönlendirilmiş saldırı yöntemindeki FGS yinelemeli yöntem, düşmanca fotoğraflar oluşturmak için kullanılır. Bunlar arasında, hedeflenmemiş saldırı yöntemleri, görece az sayıda türe ve türlerde büyük boşluklara sahip veritabanlarında daha etkilidir. Bununla birlikte, türler göreceli olarak ilişkili olduktan sonra, saldırı görüntüsü büyük olasılıkla yalnızca aynı kategoride değişecektir. Şu anda hedeflenen saldırı yöntemi çok daha etkili olacaktır.
Şekil 2 Tartışmalı görüntüler, gerçek fiziksel dünyadaki makine öğrenimi sürecini aldatıyor
Sonuçları doğrulamak için yazar bir beyaz kutu saldırı modeli kullanır. Bunların arasında yazar, hedef görüntü tanıma modeli olarak Google Inception v3'ü kullanıyor ve Inception v3 için karşılık gelen bir rakip görüntü oluşturmak için ImageNet'te 50.000 doğrulama görüntüsü seçiyor. Deneyde, tüm rakip resimleri ve orijinal resimleri yazdırdılar ve bir Nexus 5 akıllı telefon ile manuel olarak bir fotoğraf çektiler ve ardından tanıma için telefondaki görüntüyü Inception v3 modeline girdiler. Saha sonuçları, çatışmalı görüntülerin% 87'sinin, dış çevre tarafından dönüştürüldükten sonra makineyi hala başarılı bir şekilde aldatabildiğini ve böylece gerçek dünyada fiziksel yüzleşme örneklerinin olasılığını kanıtladığını göstermektedir.
Yazarlar makalelerinde, fiziksel dünyanın neden olduğu görüntü dönüşümünün, farklı yöntemler kullanılarak inşa edilen muhalif görüntüleri ne ölçüde yok ettiğini de test ettiler. İlginç sonuç, yinelemeli yöntemlerin görüntü dönüştürmeden daha fazla etkilenmesidir. Bunun nedeni, yinelemeli yöntemin orijinal görüntüye daha ince ayarlamalar kullanması ve bu ayarlamaların, harici görüntü dönüştürme sürecinde büyük olasılıkla yok edilmesidir. Yazar ayrıca parlaklık, kontrast, Gauss bulanıklığı dönüşümü, Gauss gürültüsü dönüşümü ve JPEG kodlama dönüşüm ölçümlerini, her bir çatışmalı görüntü yönteminin yok edilme derecesine göre test etti. Lütfen belirli deneysel sonuçlar için makalelerine bakın.
2.2 Tartışmalı Derin Öğrenmede Yeni Saldırı Alanını Keşfetmek
UC Berkeley Üniversitesi'nden Profesör Dawn Song ve Dr. Liu Chang, diğer alanlara ek olarak, düşman derin öğrenmenin saldırı ve savunmasını tanıttı. Bunlar arasında, Profesör Dawn Song, Taint Analysis teorisine katkıda bulunan ve Amerika Birleşik Devletleri'nde "MacArthur Genius Award" sahibi olanlardan biridir. Olay yerinde, uzmanlar önce görüntü tanıma ve algılamada ters derin öğrenmenin uygulamasını genişletti ve ardından karşıt resimler oluşturmak için bir optimizasyon yöntemi - kara kutu saldırı algoritması topluyor.
Şekil 3'ün sol görüntüsünde gösterildiği gibi görüntü tanıma nesne algılamasında, derin öğrenme görüntüdeki farklı nesneleri ve bunlar arasındaki ilişkiyi algılamak ve otomatik olarak altyazı oluşturmak için kullanılabilir. Bu senaryoda, rakip görüntü saldırısı, makine öğrenimi modelini de yanıltabilir ve Şekil 3'ün sağdaki resminde gösterildiği gibi, istisnanın bir açıklamasını verebilir. Çekişmeli görüntü oluşturmanın temel fikri, Altyazı öneki verildikten sonra yargıyı yanlış yönlendirmektir.
Şekil 3 Görüntü tanıma ve algılamada karşıt resimlerin uygulanması
Aynı zamanda uzmanlar, kara kutu sınıflandırma modelinde karşıt görüntü saldırılarının performansını da incelediler ve bir optimizasyon algoritması - topluluk kara kutu saldırı algoritması önerdiler. Normal şartlar altında saldırgan, hedef modelin hangi algoritmayı kullandığını ve ilgili parametreleri bilmez. Şu anda, saldırgan kara kutu modelini yalnızca saldırmak için kullanabilir. Süreç aşağıdaki gibidir:
-
Hedef makine öğrenimi modeli bilinmediğinde, saldırgan kara kutu sisteminin sonuçlarını sorgulayarak bir dizi eğitim örneği elde eder.
-
Saldırgan, belirli bir makine öğrenimi algoritmasını rastgele seçer ve bilinen bir makine öğrenimi modelini eğitmek için eğitim örneklerini kullanır.
-
Saldırgan, eğitimli, bilinen makine öğrenimi modeline karşı rakip veriler oluşturur.
Şekil 4 Düşman görüntüsü kara kutu saldırı süreci
Bu saldırı, karşıt görüntünün aldatıcı geçişliliğine dayanmaktadır, yani makine öğrenimi modeli A için oluşturulan karşıt görüntü de makine öğrenimi modeli B'yi aldatabilecek büyük bir orana sahip olacaktır. Tablo 1, tek ağ optimizasyon yöntemi kullanılırken farklı meta-modellerle oluşturulmuş yönsüz düşmanca görüntüler için farklı hedef modellerin başarı oranını göstermektedir. Her bir ızgara (i, j), algoritma modeli i için oluşturulan yüzleşme resmini ve diğer algoritma modeli j üzerindeki doğrulamanın sonucunu temsil eder ve yüzde, orijinal resim türü olarak tanımlanan tüm yüzleşme resimlerinin oranını temsil eder. Düşman görüntüleri oluşturmak ve doğrulamak için aynı görüntü tanıma sistemi kullanıldığında (beyaz kutu saldırı modeli) yüzdenin 0 olduğu görülebilir. Bu, beyaz kutu saldırı modelinde karşıt imajlar oluşturmanın etkisinin çok iyi olduğunu ve hepsinin doğru bir şekilde tanımlanamadığını göstermektedir. Doğrulama modeli ve yapım modeli tutarlı olmadığında, çoğu rakip imajların yüzdesi de% 10 ile% 40 arasında dalgalanmaktadır.Bu sonuç, rakip verilerin farklı algoritmalar arasında belirli bir derecede aktarılabilirliğe sahip olduğunu etkili bir şekilde kanıtlamaktadır.
Tablo 1 Farklı kaynak makine öğrenimi modelleri için oluşturulan yönsüz düşmanca saldırı yönteminin (tek ağ optimizasyon yöntemi) hedef model üzerindeki saldırı etkisi. Bunların arasında, ResNet-50, ResNet-101, ResNet-152, GoogLeNet, Incept-v3 ve VGG-16, popüler derin sinir ağı görüntü tanıma sistemleridir.
Ancak yazar, hedeflenen düşman saldırılarının hedef model üzerindeki etkisini test etmek için aynı deneysel yöntemi de kullandı. Sonuçlar, yönlü işaretleyicilerin aktarılabilirliğinin çok daha kötü olduğunu ve rakip görüntülerin yalnızca% 4'ü veya daha azının kaynak ve hedef makine öğrenimi modellerinde aynı yön işaretlerini tanıdığını gösteriyor.
Buna dayanarak, yazar topluluk yöntemini önerdi. Bir yüzleşme görüntüsü oluşturmak için birden çok derin sinir ağı modeline dayanmaktadır, yani Şekil 4'teki bilinen tek makine öğrenimi modeli, birden çok farklı bilinen makine öğrenimi modeliyle değiştirilir ve birlikte bir yüzleşme görüntüsü oluşturulur.
Deneysel tasarımda yazar, beş farklı derin sinir ağı modeline tek tek kara kutu saldırısı gerçekleştirdi. Her modele saldırırken, yazar kalan 4 modelin bilindiğini varsayar ve grafiğe karşı beyaz bir kutu oluşturmak için bir set yöntemi kullanır. Benzer şekilde yazar, hasım resimleri oluşturmak için optimizasyona dayalı saldırı yöntemlerini ve Hızlı Gradyan tabanlı yöntemleri kullandı. Adam optimizer resmi oluşturmak için hala kullanılmaktadır. Algoritma, ağırlık vektörünü 100 yinelemeden sonra güncelledikten sonra, kayıp işlevi yakınsanır. Yazar, saldırganlar tarafından önceden belirlenmiş birçok bayrağın da aktarıldığını buldu. Ayrıntılı sonuçlar için Tablo 2'ye bakın. Izgara (i, j), model i hariç diğer 4 algoritma tarafından üretilen yüzleşme resmini temsil eder ve model j, elde edilen oryantasyon işaretinin doğru değerini doğrulamak için kullanılır. Hedef model, bilinen modeller setine dahil edildiğinde, yön etiketinin geçişliliğinin% 60'tan fazla olduğu görülebilir. Hedef model bilinen model setinde olmasa bile, oryantasyon işaretinin doğru değeri% 30'dan fazladır.
Tablo 2 Hedef model üzerinde farklı kaynak makine öğrenimi modelleri için oluşturulmuş hedeflenen düşmanca saldırı yönteminin (topluluk yöntemi) saldırı etkisi.
Yazar, yönlendirilmemiş saldırılar için topluluk algoritmasını da kullanıyor. Saldırı sonuçları Tablo 3'te gösterilmektedir. Tablo 1 ile karşılaştırıldığında, topluluk algoritmasının aldatıcılığının büyük ölçüde arttığı görülebilir.
Tablo 3 Hedef modeldeki farklı kaynak makine öğrenimi modelleri için oluşturulan yönlendirilmemiş düşmanca saldırı yönteminin (topluluk yöntemi) saldırı etkisi.
2.3 Gizli Ses Komutları
Şekil 5 Konuşma tanıma saldırısı senaryosu
Amerika Birleşik Devletleri Georgetown Üniversitesi'nden Dr. Tavish Vaidya gizli sesli komutların çalışmasını paylaştı.
Düşman ses saldırısı, saldırganın insan kulağının ve konuşma tanıma makinesinin farklı türleri tanımasını sağlamak için bir konuşma bölümü oluşturmasını içerir. Ses saldırısı ile görüntü saldırısı arasındaki en büyük fark, düşman ses ile orijinal ses arasındaki benzerliği korumak yerine, düşman ses ile orijinal ses arasındaki boşluğu olabildiğince sağlamak istemesidir. Gerçek duruma dayanarak, ekip iki tür kara kutu saldırısı ve beyaz kutu saldırısı önerdi. Deneylerinde, hoparlör insanlar tarafından tanınamayan bir ses yayıyor, ancak telefonun uçuş modunu değiştirmesine ve 911'i aramasına olanak tanıyan Samsung Galaxy S4 ve iPhone 6'da karşılık gelen bir sesli komut olarak doğru bir şekilde tanınabilir.
Kara kutu saldırısı (ses tanıma):
Kara kutu saldırı modelinde, saldırgan makine öğrenme algoritmasını bilmez ve saldırganın tek bilgisi makinenin MFC algoritmasını kullanmasıdır. MFC algoritması, sesi yüksek enlemden düşük enleme dönüştüren ve böylece bazı gürültüleri filtreleyerek makine öğreniminin bu girişleri yönetebilmesini sağlayan bir dönüşümdür. Ancak yüksek boyuttan düşük boyuta geçiş sürecinde, bazı bilgiler kaçınılmaz olarak kaybolacaktır. Buna bağlı olarak, düşük boyuttan yüksek boyuta dönüşüm daha fazla gürültü ekleyecektir. Kara kutu saldırısının prensibi, saldırganın sürekli olarak MFCC'nin parametrelerini ayarlaması ve yineleme yoluyla MFCC dönüşümü ve ters dönüşüm gerçekleştirmesi, makine tarafından ihtiyaç duyulmayan ancak insan için gerekli olan bilgileri filtreleyerek kafa karıştırıcı bir ses oluşturmasıdır. MFC algoritması konuşma tanıma sahnesinde yaygın olarak kullanıldığından, saldırı modeli hala güçlü çok yönlülüğü garanti eder. Spesifik adımlar Şekil 4'te gösterilmektedir. İlgilenen okuyucular makalelerine bakabilirler.
Şekil 6 Tartışmalı sesli kara kutu saldırı modeli
Deneyde yazar, kullanılan ses tanıma sisteminin yalnızca 3,5 metre içindeki sesli komutları tanıyabildiğini buldu. Hoparlör ile cep telefonu arasındaki mesafenin 3 metrede kontrol edilmesi durumunda Tablo 4, insan ve makine farklı komutları tanıma oranını saymaktadır. Ortalama olarak, normal sesli komutların% 85'i sesle tanınabilir. Karıştırılmış versiyonlarında, sesli komutların% 60'ı hala normal olarak tanınabilir. İnsan tanıma kategorisinde yazar, müfettişin kitle kaynak kullanımı yoluyla sesin içeriğini tahmin etmesini sağlamak için Amazon Mechanical Turk hizmetini kullanır. Bu durumda, farklı komutların etkileri aynı değildir. "Ok Google" ve "Uçak modunu aç" komutları için, gizlenmiş komutların% 25'inden daha azı insanlar tarafından doğru bir şekilde tanınabilir. Bunlar arasında, "Call 911" in kafa karıştırıcı versiyonlarının% 94'ü insanlar tarafından anormal bir şekilde tanınmaktadır. Yazar iki ana nedeni analiz etti. 1 komut çok tanıdık geliyor. 2, test edenin sesi tekrar tekrar tekrarlayabilmesidir, bu da başarılı tahmin olasılığını artırır.
Tablo 4 Tartışmalı sesli kara kutu saldırı sonuçları.
Beyaz kutu saldırısı (ses tanıma):
Beyaz kutu saldırısında, ekibin mücadele ettiği hedef makine öğrenme algoritması, açık kaynaklı CMU Sphinx konuşma tanıma sistemidir. Tüm sistemde, CMU Sphinx önce tüm konuşmayı bir dizi örtüşen çerçeveye böler ve ardından ses girişini daha küçük bir boyutsal alana indirgemek için her çerçeve için Mel-Frequency Cepstrum (MFC) dönüşümünü kullanır. Şekil 7'deki özellik çıkarma. Daha sonra CMU Sphinx, belirli bir sesten belirli bir ses birimine bir olasılık hesaplamak için Gauss Karışım Modelini (GMM) kullandı. Son olarak, Gizli Markov Modeli (HMM) aracılığıyla Sphinx, bu fonemlerin olasılığını en olası metne dönüştürmek için kullanabilir. Burada hem GMM hem de HMM, Şekil 7'deki makine öğrenimi algoritmasına aittir.
Şekil 7 CMU Sphinx konuşma tanıma sistemi modeli
Tavish'in beyaz kutu saldırı modelinde iki yöntem önerdi: 1. basit yaklaşım 2. İyileştirilmiş saldırı. İlk yöntem ile kara kutu yöntemi arasındaki fark, MFCC'nin parametrelerini bilmesidir. Yalnızca makine tanıma açısından kritik olan bazı anahtar değerleri daha spesifik olarak korumak için gradyan inişini kullanın. Tüm gradyan iniş süreci boyunca, girdi çerçevesi sürekli olarak makine tarafından tanınan hedefe y yaklaşır ve aynı zamanda, insan tanıma için gerekli olan bazı gereksiz bilgiler kaçınılmaz olarak ortadan kaldırılır.
İkinci tip beyaz kutu saldırısının temel prensibi, makinelerin ve insanların perde dalgalanmalarına (fonemler) karşı farklı hassasiyetlerine dayanır.Her bir foneme karşılık gelen çerçeve sayısını azaltarak, bu ses yalnızca makine tarafından kullanılabilir. Tanıma ve insanlar yalnızca düz bir kaotik gürültü duyabilir. Bu özdeğerler, MFCC tarafından tersine dönüştürülür ve sonunda insanların kulaklarına iletilen bir ses parçası haline gelir. Spesifik metotlar, fonetik bilgiyle daha yakından ilgilidir ve ilgilenen okuyucular, spesifik metotları anlamak için makalelerini okuyabilirler. Tablo 5 saldırı etkilerini göstermektedir.
Tablo 5: Düşmanca sesli beyaz kutu saldırısının etkisi.
2.4 Çarpıcı verilerin korunması
Düşman veri saldırılarının keşfi akıllıca olsa da, mevcut görüntü ve konuşma tanıma uygulamalarında etkili savunma zor değildir. Esas olarak aşağıdaki kategoriler vardır:
-
İnsan etkileşimi kimlik doğrulamasını artırın, örneğin, makine basitçe bir alarm verebilir veya bir sesli doğrulama kodunun girilmesini isteyebilir.
-
Makine öğrenimi modellerine girdi olarak rakip verilerin zorluğunu artırmak. Örneğin, bir konuşma tanıma sistemi, ses izi tanıma ve ses filtrelerini kullanarak çoğu kötü niyetli konuşmayı filtreleyebilir.
-
Makine öğrenimi modelinin kendisi, zararsız ve kötü niyetli verileri ayırt etme yeteneğini geliştirir. Şu anda, bilinen bu rakip veriler değerli eğitim verileri sağlar.
-
Penn State Üniversitesi, kendisini korumak için derin sinir ağından bazı parmak izlerini çıkaran Distilasyon yöntemini de önerdi.
Yapay zeka insanların yaşamına girdikçe, insanlık yapay zekanın getirdiği verimlilik ve rahatlığa giderek daha fazla güvenecek. Aynı zamanda, saldırganların hedefi haline geldi ve makine öğrenimini uygulayan ürünleri ve ağ hizmetlerini güvenilmez hale getirdi. GeekPwn2016 Silikon Vadisi şubesi, en iyi güvenlik uzmanlarının makine öğrenimi güvenliği konusundaki endişelerini ortaya çıkardı. Her uygulama senaryosu kolaylıkla ihlal edildiğinden, şu anda sadece ses, görüntü tanıma ve diğer senaryolarda olsa da, bu senaryolar diğer hizmetlerle birleştirildiğinde başarılı saldırıların ciddi sonuçlarını açıkça anlayabiliriz. Gelecekteki akıllı otomasyon hizmetlerinin vazgeçilmez bir parçası olan yapay zeka, güvenlik endüstrisinin bilgisayar korsanlarına karşı savaşması için zaten yeni bir savaş alanı.
Kaynakça
A. Kurakin, I. J. Goodfellow ve S. Bengio, "Fiziksel dünyadaki tartışmalı örnekler," corr, 2016.
J. Justin, K. Andrej ve F.Li, "Densecap: Yoğunlaştırma için tam evrişimli yerelleştirme ağları." ArXiv ön baskı arXiv: 1511.07571, 2015.
N. Carlini, P. Mishra, T. Vaidya, Y. Zhang, M. Sherr, C. Shields, D. Wagner ve W. Zhou, "HiddenVoice Commands", USENIX Security 16, Austin, 2016'da.
P. Lamere, P. Kwork, W. Walker, E. Gouvea, R. Singh, B. Raj ve P. Wolf, "Design of the CMUSphinx-4 Decoder", Sekizinci Avrupa Konuşma İletişimi ve Teknolojisi Konferansı, 2003.
N. Papernot, P. McDaniel, X.Wu, S. Jha ve A. Swami, "Derin Sinir Ağları Yazarlarına Karşı Düşman Karşılaşmalara Karşı Bir Savunma Olarak Damıtma:".
Y. Liu, X. Chen, C. Liu ve D. Song, ARXIV'de "Devredilebilir düşman örneklerine ve kara kutu saldırılarına dalmak"
