UC Berkeley'in fiziksel hasım örnek araştırması: istikrarlı bir şekilde kandırılan YOLO ve Daha Hızlı R-CNN
Leifeng.com AI Teknolojisi Yorumu: Ian Goodfellow ve arkadaşları, küçük modifikasyonlara sahip normal fotoğrafların sinir ağı görüntü sınıflandırıcılarını yanıltabilecek "rakip örnekler" haline gelebileceğini keşfettiklerinden bu yana, bu fenomen giderek daha fazla araştırmacının ortaya çıkmasına neden oldu Giderek daha alakalı araştırma sonuçları var.
UIUC'nin araştırma sonuçlarını daha önce bildirmiştik: "Düşman örnek bir kağıt kaplandır ve dışarı çıktığınızda kullanımı kolay değildir." Elektronik bir belge olarak kullanıldığında, görüntü sınıflandırıcının karşıt örneğini kolayca kandırabileceğini, gerçek bir nesneye yazdırabileceğini ve mercekten alabileceğini gösteriyor. Bundan sonra, etki büyük ölçüde azaldı; başka bir OpenAI çalışması, farklı güçlere sahip rakip numunelerin değiştirilebileceğini gösterdi. Değiştirme derecesi ne kadar yüksekse, görüş açısı o kadar güçlü ve sınıflandırıcı o kadar kararlı. Bununla birlikte, insan gözünde Gelmek daha doğal değil.
UC Berkeley Üniversitesi Yapay Zeka Laboratuvarı (BAIR) araştırma blogundan (ve kağıt ön izleme) gelen aşağıdaki makale, rakip örneklerin araştırma yönünde bir başka yeni başarı olan nesne dedektörünün nasıl kandırılacağını daha fazla araştırıyor. Leifeng.com AI Technology Review tam metnini derledi.
Derin Sinir Ağları (DNN'ler), görüntü işleme, metin analizi ve konuşma tanıma dahil olmak üzere çok sayıda uygulamada büyük ilerleme kaydetmiştir. DNN'ler giderek birçok fiziksel-fiziksel bilgi sisteminin önemli bir parçası haline geliyor. Örneğin, sürücüsüz otomobillerin görüş sistemi, yayaları, araçları ve yol işaretlerini daha iyi tanımak için DNN'leri kullanacaktır. Bununla birlikte, son araştırmalar DNN'lerin düşman örnek saldırılarına karşı savunmasız olduğunu göstermiştir: girdiye dikkatlice yapay düşman müdahalesi eklemek, saldırıya uğrayan DNN sistemini yanlış yönlendirebilir ve kullanım sırasında insanları, araçları ve yol işaretlerini doğru şekilde sınıflandırmasını engelleyebilir. Bu çekişmeli örnekler gerçek dünyada kişisel ve sosyal güvenlik endişelerine neden olacaktır. Örneğin, olumsuz rahatsızlıklara sahip girdiler, otonom araçların algı sistemini yanıltarak, yol işaretlerini yanlış sınıflandırmalarına ve bu da potansiyel olarak felaket sonuçlarına yol açabilir.
Bazı mevcut teknolojiler, muhalif örnekler oluşturmak ve bunlara karşı savunma yapmak için kullanılabilir. Bu blogda, dijital yüzleşme örnekleri oluşturmak için en gelişmiş algoritmaları kısaca tanıtıyoruz ve ardından çeşitli çevresel koşullar altında gerçek nesnelere dayalı yüzleşme örnekleri oluşturmaya yönelik algoritmalarımızı tartışıyoruz. Hedef dedektör için gerçek düşmanlık örnekleri oluşturma çabalarımız hakkında bir güncelleme sağlayacağız.
Dijital düşmanlık örnekleri
Beyaz kutu koşulu altında, muhalif örnekler oluşturmak için birçok farklı yöntem önerilmiştir.Şu anda, düşman derin öğrenme ağının tüm bilgilerini bilebilir. Beyaz kutu koşulu altında, gelecekte kusursuz bir savunma sisteminin geliştirilmesi için sağlam bir temel oluşturmaya yardımcı olabilecek güçlü bir karşı önlem olduğu varsayılmaktadır. Bu yöntemler, dijital düşmanlık örneklerini anlamaya yardımcı olur.
Goodfellow ve diğerleri, muhalif örnekler oluşturmak için kayıp fonksiyonunun birinci dereceden yaklaşımını kullanan hızlı bir gradyan yöntemi önerdiler.
Diğerleri, hedefli saldırılar için düşman müdahalesi oluşturmak için optimizasyona dayalı yöntemler önermiştir. Özellikle, bu saldırılar, çözüm süreci giriş verilerinin gerçek etiketi ile saldırganın beklediği hedef etiket arasındaki farkı en üst düzeye çıkarırken, belirli bir benzerlik derecesi altında girdi verileri arasındaki farkı en aza indirmeyi amaçlayan nesnel bir işlev oluşturur. Bilgisayarla görme sınıflandırma problemlerinde, yaygın olarak kullanılan bir ölçüm yöntemi, giriş vektörünün L2 normudur. Genel olarak, daha düşük L2 mesafeli giriş örnekleri birbirine yakındır. Bu nedenle, insan gözüne çok benzeyen ancak sınıflandırıcıdan çok farklı olan girdi verilerini hesaplamak mümkündür.
Son araştırma çalışmaları, dijital karşı önlem örneklerinin kara kutu göç yeteneğini doğrulamıştır, yani kara kutu koşulları altında karşı önlem örnekleri oluşturmak mümkündür. Bu teknikler, bilinen bir model üzerinde beyaz bir kutu altında rakip örnekler üretmeyi ve ardından bunları saldırıya uğrayacak bilinmeyen model üzerinde test etmeyi içerir.
Fiziksel düşmanlık örnekleri
Bu güvenlik açıklarını daha iyi anlamak için, fiziksel dünyadaki rakip örneklerin DNN'leri nasıl etkilediğini araştırmak için çok çalışma var.
Kurakin ve arkadaşlarının araştırması, kağıda basılan düşman örneklerini sınıflandırmak için akıllı telefon kameralarının kullanılmasının kolaylıkla yanlış sınıflandırılabileceğini gösterdi. Sharif ve arkadaşları, yüz gözlük çerçevesine düşmanca müdahale ekleyerek yüz tanıma sistemine saldırdı. Çalışmaları, nispeten sabit gerçek koşullar altında, duruştaki küçük değişiklikler, kamera mesafesi veya açısındaki değişiklikler ve aydınlatma değişikliklerinin hepsinin fiziksel saldırıları başarılı bir şekilde gerçekleştirebileceğini gösteriyor. Bu, sabit bir ortamda fiziksel düşman örneklerini anlamak için ilginç bir açıklama sağlar.
Son araştırmamız "Derin Öğrenme Modellerinde Güçlü Fiziksel Saldırılar" sınıflandırıcılara fiziksel saldırılar olduğunu göstermiştir. Bir sonraki mantıksal adım, dedektöre saldırmamızdır. Bu bilgisayarla görme algoritmaları, bir sahnedeki ilgili nesneleri tanımlar ve nesnenin konumunu ve kategorisini temsil eden bir sınırlayıcı kutuyu tahmin eder. Sınıflandırıcılarla karşılaştırıldığında, dedektörlerin sahteciliği daha zordur çünkü tüm görüntüyü işlerler ve tahmin yaparken bağlamsal bilgileri (hedef nesnenin sahnedeki yönü ve konumu gibi) kullanırlar.
YOLO dedektörü popüler, gerçek zamanlı gelişmiş bir algoritmadır ve deneylerin gerçekleştirildiği fiziksel yüzleşme örneklerini gösteririz. Örneğimiz, çıkartma paraziti şeklinde gerçek bir park işaretinin üzerine yerleştirilmiştir. Aşağıdaki resim fiziksel anti-parazitimizin bir örneğidir.
Ayrıca bir video kaydederek dedektörün performansını test etmek için dinamik bir test gerçekleştirdik. Videodan, YOLO ağının hemen hemen tüm çerçevelerdeki park işaretlerini tanıyamadığı görülebilir. Gerçek bir sürücüsüz araç yolda sürüyorsa ve karşıt özelliklere sahip geçilmez bir yol işaretini geçerse, kavşakta trafik kazasına neden olabilecek park yolu işaretini görmez. Yarattığımız girişim, mesafe ve açı değişikliklerine karşı dayanıklıdır - bu, sürücüsüz senaryolarda en yaygın değişken faktördür.
Daha da ilginci, YOLO dedektörü için üretilen gerçek rakip numuneler de standart Daha Hızlı R-CNN ağını aldatabilir. Videomuz, Daha Hızlı R-CNN'de fiziksel rakip örneklerin dinamik bir testini içerir. Bu, Daha Hızlı R-CNN'de yapılan bir kara kutu saldırısı olduğu için beklenen sonuç olan YOLO durumunda olduğu kadar başarılı değil. Diğer teknolojileri (entegre eğitim gibi) ekleyerek kara kutu saldırılarının daha verimli olacağına inanıyoruz. Ek olarak, bir saldırganı özellikle Daha Hızlı R-CNN için optimize etmek daha iyi sonuçlar verebilir. Bu saldırılarla ilgili daha fazla ayrıntı keşfetmek için bir makale yazıyoruz. Aşağıdaki resim, Daha Hızlı R-CNN'nin park işaretlerini tanıyamadığı bir örnektir.
Her iki durumda da (YOLO ve Daha Hızlı R-CNN), yalnızca kamera park işaretine çok yakın olduğunda (yaklaşık 3 ila 4 fit) tespit edilebilir. Gerçek bir sahnede bu mesafe, aracın etkili düzeltici önlemler alması için çok yakındır. Algoritma ve gelişmiş nesne dedektörlerindeki fiziksel girişimin sonuçları hakkında daha fazla ayrıntı içeren gelecek makalemizi takip etmeye devam edin.
Saldırı algoritmalarına genel bakış
Bu algoritma, sınıflandırıcı saldırıları üzerine önceki çalışmamıza dayanmaktadır. Esasen, muhalif örnekler oluşturmak için bir optimizasyon yöntemi kullanıyoruz. Bununla birlikte, deneysel deneyimlerimiz, dedektör için sağlam fiziksel rakip numuneler üretmenin, bir aldatma sınıflandırıcısından daha büyük ve sürekli değişen bir gerçek ortamı simüle etmeyi gerektirdiğini göstermektedir. Bu mümkündür çünkü dedektörün tahmin yaparken daha fazla bağlamsal bilgiyi dikkate alması gerekir. Algoritmanın temel özellikleri arasında gerçek ortam simülasyonlarında dizileri belirleme yeteneği ve çeviri değişmezliğini belirleme yeteneği yer alır. Yani, hedef nesne sahnenin neresinde olursa olsun bir girişim etkili olmalıdır. Bir nesne, gözlemcinin açısına bağlı olarak, sahnede serbestçe hareket edebildiğinden, bu durum için optimize edilmeyen girişim, nesne hareket ettiğinde büyük olasılıkla başarısız olacaktır. Bu konu için gelecek makalemizde algoritma hakkında daha detaylı bilgiler yer alacaktır.
Potansiyel savunma
Bu fiziksel ve dijital düşmanlık örnekleri göz önüne alındığında, olası savunma yöntemleri kapsamlı bir şekilde incelenmiştir. Bu yöntemler arasında, çeşitli rakip eğitim yöntemleri çok etkilidir. Goodfellow ve arkadaşları ilk önce DNN'lerin sağlamlığını geliştirmek için etkili bir yöntem olarak rakip eğitimin kullanılmasını önermiş, Tramer ve diğerleri ise bunu rakip öğrenmeye genişletmiştir. Madry ve diğerleri, düşman örneklerin yinelemeli eğitimi yoluyla sağlam bir ağ önerdiler. Çekişmeli eğitim yürütmek için, daha büyük bir rakip örnek veri kümesine ihtiyaç vardır. Ek olarak, topluluk eğitimi gösteriyor ki, bu rakip örnekler farklı modellerden gelirse savunmanın daha sağlam hale getirilebileceğini. Toplu çekişmeli eğitimin avantajı, rakip örneklemlerin çeşitliliğini artırmaktır, böylece model, tüm karşıt örnek uzayını arayabilir. Benzer şekilde, birkaç farklı savunma modeli var, ancak Carlini ve Wagner, mevcut hiçbir savunma yönteminin güçlü, hatta uyarlanabilir saldırılar olmadığını belirtti.
Kısacası, bu muhalif örneklere karşı en iyi savunma stratejisini bulmak için daha önümüzde uzun bir yol var ve bu heyecan verici alanı beklentiyle keşfedeceğiz.
aracılığıyla: BAIR, Lei Feng.com AI teknolojisi inceleme derlemesi,
