AI Infernal Affairs! Tsinghua ekibi, en iyi yüz algoritmalarını aldatmak ve güvenlik açıklarını düzeltmek için AI güvenlik platformunu başlattı
İçbükey tapınaktan Yunzhong Qubit Düzenleyici | Genel Hesap QbitAI
Yapay zeka teknolojisinin gelişmesiyle birlikte yapay zeka, birçok senaryoda kademeli olarak çeşitli insan emeğinin yerini alıyor veya koordine ediyor.Bunlar insan gözü, kulakları, kolları ve hatta beyinleri haline gelebiliyor. Bunların arasında, yapay görme, yapay zeka çağının temel teknolojisidir ve arkasındaki yapay zeka algoritması, her zaman çeşitli teknoloji devleri ve yeni başlayanlar tarafından takip edilen bir sıcak nokta olmuştur. Ancak, bu genel uygulama senaryolarının arkasında genellikle gizli Teknik kusurlardan kaynaklanan algoritma güvenlik riskleri .
Örneğin, eğitim verilerinin kapsamına giremeyen uç senaryolarda, sürücüsüz arabalar hayal edilemez kararlar verebilir ve bu da yolcular için güvenlik risklerine yol açabilir. Tesla ve Uber gibi şirketlerin destekli sürüş ve otonom sürüş sistemlerinde 2016 yılından bu yana ölümlere neden olan ciddi kazalar yaşandı. Ve bu tür aşırı durumlar kötü niyetle yaratılabilir ve "karşı numune saldırıları" başlatmak için kullanılabilir. Geçen yıl Temmuz ayında, Baidu gibi araştırma kurumları, otonom sürüşün engelleri "görmezden gelmesine" izin vermek için 3D baskıyı kullandı ve bu da araçların çarpmasına neden oldu. Risk ayrıca sürüş güvenliğini de tehdit eder.
Başarılı saldırının ana nedeni, makine görüşü ile insan görüşünün çok farklı olmasıdır. Bu nedenle, görüntüler ve nesneler gibi girdi bilgilerine (yani yukarıda bahsedilen kasıtlı olarak bozulmuş "anti-örnek") küçük karışıklık değişiklikleri eklemek mümkündür, bu da büyük algoritma hatalarına yol açabilir. Buna ek olarak, yapay zekanın daha da geliştirilmesi ve algoritma modellerinin finansal karar verme ve tıbbi teşhis gibi daha önemli temel senaryolara uygulanmasıyla, bu tür yapay zeka "güvenlik açıkları" tehdidi daha belirgin hale gelecektir.
Son yıllarda, Tsinghua Üniversitesi Yapay Zeka Enstitüsü dekanı akademisyen Zhang Bo ve Microsoft'un eski başkan yardımcısı Shen Xiangyang, güvenli, güvenilir ve güvenilir yapay zeka ve sorumlu yapay zekanın geliştirilmesini savundu. Güvenlik uygulaması Her ikisi de temel yönlerdir.
Bununla birlikte, AI güvenliği gelişmekte olan bir alandır.Açık kaynak topluluklarının ve araç setlerinin desteğiyle, rakip örnekler gibi saldırı yöntemleri giderek daha karmaşık hale gelse de, gelişmiş saldırı yöntemleri hızla büyümüştür, ancak ilgili savunma yöntemlerinin yaygınlaşması ve tanıtımı buna ayak uyduramamaktadır. AI algoritması geliştirme ve uygulama sürecinde, rakip örnekler gibi algoritma güvenlik açıklarının tespit edilmesinin önünde yüksek teknik engeller vardır.Şu anda, piyasada otomatik algılama araçları eksikliği vardır ve çoğu şirket ve kuruluş, bu alandaki artışla doğru şekilde başa çıkacak profesyonel becerilere sahip değildir. kasıtlı saldırı.
1. Güvenlik değerlendirmesinden savunma yükseltmesine kadar RealSafe, yapay zekayı daha güvenli ve kontrol edilebilir hale getirir
Yukarıdaki sorunlu noktaları çözmek için, yakın zamanda, Tsinghua Üniversitesi AI Araştırma Enstitüsü işletmeleri kuluçkaya yatırdı. RealAI (Ruilai Wisdom), aşırı ve çatışmalı ortamlarda AI algoritma güvenlik tespiti ve takviyesi için ilk araç platformunu resmen başlattı RealSafe Yapay Zeka Güvenlik Platformu .
Platformun yerleşik lider AI karşı önlemleri, saldırı ve savunma algoritmalarına sahip olduğu ve güvenlik değerlendirmesinden savunma takviyesine kadar genel çözümler sağladığı anlaşılmaktadır.Şu anda, yüz eşleştirme dahil olmak üzere yaygın AI algoritmalarının yanlış gidebileceği aşırı durumları keşfetmek ve potansiyeli önlemek için kullanılabilir. Yüzleşme saldırılarının.
RealAI, ağ güvenliği çağında, ağ saldırılarının büyük ölçekli penetrasyonunun, potansiyel bilgisayar virüsü tehditlerini bulan ve tek tıkla sistem optimizasyonu, çöp temizleme ve güvenlik açığı onarım işlevleri sağlayan antivirüs yazılımlarını doğurduğunu söyledi.RealSafe Ar-Ge ekibi, RealSafe platformu üzerinden yapay zeka oluşturmayı umuyor. Akıllı çağın "anti-virüs yazılımı", yapay zeka sistemi güvenlik duvarlarının inşası için destek sağlar ve şirketlerin yapay zeka çağında algoritma boşluklarının ürettiği "yeni virüsler" ile etkin bir şekilde başa çıkmalarına yardımcı olur.
RealSafe platformu şu anda iki ana işlevsel modülü desteklemektedir: model güvenlik değerlendirmesi ve savunma çözümleri.
onların arasında, Model güvenlik değerlendirmesi Temelde kullanıcılara AI modeli güvenlik değerlendirme hizmetleri sağlar. Kullanıcıların yalnızca gerekli değerlendirme modelinin SDK veya API arayüzüne erişmesi ve platformda oluşturulmuş veya kendileri tarafından yüklenen veri setini seçmesi gerekir. Platform, çeşitli algoritmalara dayalı olarak rakip örnek simülasyon saldırıları oluşturacak ve bunları farklı algoritmalara, yinelemelere ve rahatsızlıklara entegre edecektir. Saldırı altında model etkisi değişir ve model güvenlik puanı ve detaylı değerlendirme raporu verilir (aşağıdaki şekilde gösterildiği gibi). Şu anda kara kutu sorgu saldırı yöntemleri ve kara kutu geçiş saldırı yöntemleri desteklenmektedir.
Savunma çözümleri Kullanıcılara model güvenlik yükseltme hizmetleri sağlamaktır Şu anda, RealSafe platformu, giriş verilerinin otomatik olarak denoising işlemini gerçekleştirebilen ve saldırganlar tarafından kötü niyetle eklenen gürültü önleme özelliğini yok edebilen anti-gürültüyü ortadan kaldırmak için beş genel savunma yöntemini desteklemektedir. Yukarıdaki model güvenlik değerlendirme sonuçlarına dayanarak, kullanıcılar tek bir tıklama ile model güvenliğini geliştirmek için kendileri uygun bir savunma planı seçebilirler. Ek olarak, savunma etkileri açısından, gerçek ölçümlere göre, bazı üçüncü taraf yüz karşılaştırma API'leri, RealSafe platformunun savunma şeması kullanılarak% 40'tan fazla geliştirilebilir.
RealSafe platformu, model saldırı yöntemlerinin sürekli genişletilmesiyle, kullanıcıların gerçek zamanlı ve otomatik güvenlik açığı algılama ve onarım yetenekleri elde etmelerine yardımcı olmak için kapsamlı ve derinlemesine yapay zeka savunma yöntemleri sağlamaya da devam ediyor.
2. "Karşılaşma örnekleri" "AI virüsleri" haline geldi ve ana akım yabancı yüz tanıma algoritmaları birbiri ardına "hacklendi"
Yüz tanıma terminalinin önünde duran kimlik doğrulaması, yüz tanıma kamerası ile tamamlanır.Yüz ödemesi, otel giriş kaydı, muayene kimlik doğrulama ve kişisel kimlik karşılaştırması gibi yaşam sahnelerinde benzer yüz tanıma kimlik doğrulaması yapılmıştır.
Halkın rakip örnekler kavramı konusunda oldukça belirsiz olabileceğini göz önünde bulundurarak, RealSafe platformu çevrimiçi bir deneyim sağlamak için en tanıdık yüz karşılaştırma sahnesini seçer (yüz karşılaştırması yukarıda bahsedilen kimlik doğrulama sahnesinde yaygın olarak kullanılır). Buna ek olarak, "rakip örneklemlerin" yüz karşılaştırmasının tanıma etkisi üzerindeki etkisini derinlemesine incelemek için RealAI ekibi, bu işlevi temel alan yabancı ana akım AI platformlarının demonstrasyon hizmetlerinde testler yaptı.
Bir grup farklı yüz resmi seçin (aşağıdaki şekilde gösterildiği gibi) ve resimlerden birinde bir yüzleşme örneği oluşturmak için RealSafe platformunu kullanın, ancak bu çıplak göz yargısını etkilemez. "Yüzleşme örneğini" ekledikten sonra, benzerliği görmek için üçüncü taraf yüz karşılaştırma platformuna girin derece.
Nihai sonuç, "gürültü" eklemeden önce, iki resmin Azure ve AWS tarafından aynı kişiye ait olmadığı, ancak "gürültü" eklendikten sonra yukarıdaki iki platformun demo hizmetlerinin yanlış sonuçlar verdiğini ve iki resim olarak değerlendirildiğini gösterdi. Aynı kişiye ait olan Azure platformundaki demo hizmeti bile "gürültü" eklemeden önce ve sonra% 70'e varan oranda değişiyor.
RealAI ekibi, sonuçların evrenselliğini keşfetmek için Çin'deki üç ana yüz karşılaştırma platformunu test etmek için seçti. Sonuçlar, rahatsızlıkları ekledikten sonra, başlangıçta "farklı yüzler" olarak değerlendirilen resimlerin yanlışlıkla "aynı kişi" olarak tanımlandığını da gösterdi. "Yüz", önceki ve sonraki benzerliğin varyasyon aralığı% 20'den fazlasına ulaşabilir. RealSafe güvenlik duvarı "gürültü giderme" filtrelemesini geçtikten sonra, bu yüz karşılaştırma platformlarının tanıma "hataları" değişen derecelerde düzeltildi ve tanıma etkisi sürekli olarak iyileştirildi.
RealAI ekibi, riski azaltmaya yardımcı olmak için bu potansiyel riski ve ilgili savunma yöntemlerini yukarıda belirtilen şirketlere bildirdi.
Gerçek test, "rakip numunelerin" yüz karşılaştırma sisteminin tanıma sonuçlarına büyük ölçüde müdahale edebileceğini kanıtlıyor Raporlara göre, piyasadaki birçok küçük ve orta ölçekli işletme şu anda yüz tanıma uygulamalarını uygularken yukarıda test edilen İnternet'i kullanmayı tercih ediyor. Şirketin açık yüz karşılaştırma SDK'sı veya API arayüzü, yüz karşılaştırma teknolojisinde bariz güvenlik açıkları varsa, bu, daha geniş bir uygulama senaryosu yelpazesinde güvenlik risklerinin olacağı anlamına gelir.
Yüz oranlarına ek olarak, hedef tespiti için uygulama senaryolarında rakip örnek saldırılar da görünebilir ve bu durum, endüstrilerde, güvenlik ve diğer alanlarda güvenlik riski tespitini tehlikeye atabilir. Örneğin, iletim kulesinin yüksek güvenlik koruma gereksinimleri nedeniyle belirli bir elektrik şebekesinin iletim kulesinin izleme sistemi, vinçlerin, kule vinçlerin ve havai fişeklerin iletim hattına zarar vermesini önlemek için, iletim kulesinin iç ve dışını tüm hava koşullarında gerçek zamanlı olarak izlemek gerekir. Koruma sağlamak için AI algılama algoritması.
RealAI araştırma ekibi, RealSafe'in hedef tespit algoritmasına belirli bir rakip örnek saldırısı gerçekleştirdiği sürece, izleme sisteminin başarısız olmasına ve çok bariz havai fişek durumlarını tespit edememesine neden olacağını buldu.Gerçekte benzer durumlar olursa, zorluklara neden olabilir. Tahmini kayıp.
Aslında, yukarıda bahsedilen AI güvenlik riskleri, altta yatan AI algoritmalarındaki teknik kusurlardan kaynaklanır ve genellikle nispeten gizlidir. Ancak, tüm vücudu etkiliyorlarsa, bu "öngörülemeyen" risk güvenlik açıkları büyük olasılıkla zayıflayacaktır. RealSafe platformu tarafından eşzamanlı olarak başlatılan savunma çözümleri, çeşitli uygulama alanlarında AI algoritmalarının güvenliğini etkili bir şekilde artırabilir.
3. "Sıfır kodlama" + "ölçülebilir", algoritma tehditlerine verimli bir şekilde yanıt vermenin iki avantajı
Raporlara göre, RealAI tarafından bu kez başlatılan algoritma modeli güvenlik algılama platformu, şirketlerin algoritma tehditleriyle etkili bir şekilde başa çıkmalarına yardımcı olmanın yanı sıra aşağıdaki iki önemli avantaja sahiptir:
- Bileşenli, sıfır kodlu çevrimiçi değerlendirme : Kendi başlarına konuşlandırılması ve kodlanması gereken ART ve Foolbox gibi açık kaynaklı araçlarla karşılaştırıldığında RealSafe platformu, tekerlekleri yeniden oluşturmanın çabasını ve zaman tüketimini ortadan kaldıran bileşenli ve sıfır kodlu işlevsel ayarları benimser.Kullanıcıların yalnızca ilgili verileri sağlaması gerekir. Değerlendirmeyi çevrimiçi olarak tamamlamak, algoritma değerlendirmenin teknik zorluğunu büyük ölçüde azaltır ve öğrenme maliyeti düşüktür.Ayrıca profesyonel algoritma becerilerine sahip olmadan da başlayabilirsiniz. Örneğin, Microsoft ve Amazon gibi üçüncü taraf platformlar için yukarıdaki testte, tüm süreç adım adım talimatlara göre tamamlanır ve değerlendirme sonuçları sadece birkaç dakika içinde görüntülenebilir.
- Görsel ve ölçülebilir değerlendirme sonuçları : Kullanıcıların model güvenliği kavramını geliştirmelerine yardımcı olmak için RealSafe platformu, güvenlik değerlendirme sonuçlarını ve örnek saldırılara karşı modelin performansına dayalı puanları görüntülemek için ölçülebilir bir form kullanır.Skor ne kadar yüksekse, model güvenliği o kadar yüksek olur. Ek olarak, RealSafe platformu güvenlik değişikliklerinin bir görüntüsünü sağlar ve savunma işleminden sonra güvenlik puanlarındaki ve model etkilerindeki değişiklikler bir bakışta nettir.
4. Daha fazla senaryoya eşlik etmek için iniş güvenliği çevresel ürünleri
Aslında, rakip numuneler başlangıçta makine öğrenimi modellerinin ilginç bir olgusuydu, ancak sürekli yükseltme ve evrimden sonra, "rakip örnekler" yeni bir saldırı yöntemi türüne dönüştü ve dijital dünyadan fiziksel dünyaya yayıldı: Birleşmeleri taklit etmek için yola düşman örnek çıkartmaları yapıştırmak Şeritler, otonom arabayı geri giden bir şeride dönüşmesi, göğsüne bir yüzleşme örnek etiketi yapıştırması ve izleme ekipmanının altında gizliliğe ulaşması için yanlış yönlendiriyor ...
Bu nedenle, RealAI ekibi, dijital dünyanın algoritma modeli için bir güvenlik değerlendirme platformu başlatmanın yanı sıra, AI ile daha fazla senaryoda buluşmayı amaçlayan, yıllar içinde biriken dünya lideri araştırma sonuçlarına dayanan bir dizi AI saldırı ve savunma güvenlik ürününü uygulamak için Tsinghua Üniversitesi AI Araştırma Enstitüsü ile işbirliği yaptı. Güvenlik gereksinimleri.
Örneğin, saldırı teknolojisi açısından RealAI ekibi, yüzün kilidini açmak için ticari bir cep telefonunu kırmak için dünyanın ilk "yüzleşmeye yönelik örnekleme" teknolojisini kullanarak cep telefonunun "özel gözlük" takan bir hacker'ı sahibi olarak yanlış tanımlamasına izin verdi.
Şekil: Yapay zeka yüzleşme örnek teknolojisi aracılığıyla ticari cep telefonlarının yüz kilidinin açılmasını engelleyen dünyadaki tek örnek
Hedef kişinin giysisine özel bir desen yerleştirerek, AI izleme kişiyi algılayamaz, "gizliliğe" ulaşır ve araç üzerine özel bir desen boyayarak AI'nın aracı algılamasını önler.
Şekil: Örnek modellere karşı AI kullanarak AI araç tespitinden kaçının
RealAI, yukarıdaki yeni güvenlik açığı türlerini keşfederken, ana akım AI algoritmalarındaki güvenlik açıklarının tespitini desteklemek ve AI modellerine yapılan saldırıları etkili bir şekilde engellemek için AI güvenlik güvenlik duvarları sağlamak için ilgili savunma teknolojilerini de tanıttı.
Yapay zeka gelgiti geliyor ve ortaya çıkan güvenlik riskleri daha da çeşitlenecek.Özellikle son yıllarda olgunlaşmamış AI teknolojisinin neden olduğu ihlal riski de sık sık ortaya çıkmıştır.Algoritma zafiyetlerinin giderek ağ güvenliğinin devamı haline geldiği söylenebilir. Veri güvenliği bir başka önemli güvenlik sorunudur.
Neyse ki, RealAI tarafından temsil edilen bu üst düzey AI ekipleri, AI güvenlik alanındaki yolculuklarına çoktan başladılar ve endüstrinin güvenlik risklerine yanıt verme eşiğini ve maliyetini azaltmasına yardımcı olmak için standartlaştırılmış ürünler kullanmaya başladılar. RealSafe yapay zeka güvenlik platformunun bu kez piyasaya sürülmesi RealAI'nin küçük bir girişimidir, ancak tüm sektör için yapay zeka endüstrisinin sağlıklı ve kontrol edilebilir bir gelişime doğru ilerlemesi büyük bir adım olacaktır.
- Bitiş -
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
