"IEEE Spectrum" sinir ağı görsel sınıflandırma algoritmasının beklenmedik zayıflığı
200.000, bu, Xinzhiyuan'ın bugün ulaştığı toplam kullanıcı sayısı. Akıllı evrene yolculuk sırasında, Xinzhiyuan ile seyahat eden her arkadaşınıza teşekkür edin. Dikkatiniz ve desteğiniz "Xinzhiyuan" yıldız gemisinin tükenmez yakıtıdır.
İnsanların robotların dünyayı nasıl "gördüğünü" anlamak çok zor. Makinenin kamerası gözümüz gibi çalışıyor ancak kameranın çektiği görüntüler ile bu görüntüler için işlenebilecek bilgiler arasındaki boşluk kara kutu makine öğrenme algoritmalarıyla dolu. Bu algoritmaları eğitmek, genellikle makineye bir dizi farklı görüntünün (dur işaretleri gibi) görüntülenmesini ve ardından makinenin bu görüntülerden eğitim setinde görünmeyen dur işaretlerini güvenilir bir şekilde tanımlamak için yeterli ortak özelliği çıkarabildiğini görmeyi içerir. .
Bu çok iyidir, ancak makine öğrenimi algoritması tarafından tanınan dur işaretlerinin özellikleri genellikle "STOP içinde bulunan kırmızı sekizgenler" değil, tüm dur işaretleri tarafından paylaşılan özelliklerdir, ancak insanlar bunları anlayamaz. Tahmin etmekte zorlanıyorsanız, bunun nedeni aslında beynimizin ve yapay sinir ağlarımızın dünyayı yorumlamadaki / anlamadaki temel hatasını yansıtmasıdır.
Sonuç olarak, görüntüdeki küçük değişiklikler, makine öğrenimi algoritmasının orijinalden tamamen farklı (ve bazen açıklanamayan) sonuçları tanımasına neden olabilir.
Genel olarak konuşursak, bu küçük değişiklikler insan gözü tarafından görülmez ve genellikle elde etmek için nispeten karmaşık analiz ve görüntü işleme gerektirir.
Aşağıda ortak "görüntü önleme" ve "kirlilik" grubumuz var:
Dev pandanın orijinal görüntüsü (solda), çıplak gözle görülemeyecek şekilde ayarlanmış (ortada) ve bilgisayar onu bir gibbon olarak tanıdı (sağ, güven seviyesi% 99,3).
Yol işaretlerinde kullanıldığında şöyle olur:
Üst sıra yasal bir işarettir ve alttaki sıra, sinir ağı sınıflandırıcısının bazı yollarla yanlış tanıma sonuçları üretmesini sağlamaktır.
Açıktır ki, böyle bir değişiklik etkili (ve tehlikeli) olsa da, pratik yapmak zordur çünkü şaşırtmak istediğiniz sinir ağının girdisini doğrudan elde etmek genellikle zordur. Ek olarak, otonom sürüş durumunda, sinir ağı farklı mesafelerde ve farklı açılarda çok sayıda sembolün görüntülerini analiz edebilir. Yüzleşme görüntüleri genellikle görüntünün tamamında ek değişiklikler içerir (yani, yol işaretleri ve görüntüdeki arka plan), bu nedenle bu tür bir "kirliliğin" gerçek hayatta bir etkisinin olmaması genellikle zordur.
Sinir ağı sınıflandırıcısını kandırmak için çıkartmalar veya karalamalar kullanın
Bununla birlikte, Washington Üniversitesi, Michigan Üniversitesi, Stony Brook Üniversitesi ve California Üniversitesi, Berkeley'den bir grup araştırmacı, yakın zamanda fiziksel dünyadaki küçük değişikliklerin görsel sınıflandırma algoritmalarını da kandırabileceğini gösteren bir makale yayınladı. Derin bir sinir ağı sınıflandırıcısını kandırmak ve sinir ağının dur işaretini bir hız sınırı işareti olarak değerlendirmesini sağlamak için dur işaretine sadece biraz sprey boya veya bazı çıkartmalar eklemeniz gerekir.
İşte sinir ağını yalnızca çıkartma kullanarak karıştırmanın iki örneği:
Çıkartmanın alanı tüm etiketle karşılaştırıldığında nispeten küçük olduğu için, bunun neden olduğu parazit daha da ciddidir. Araştırmacılara göre:
"Değerlendirme yöntemimize göre, görüntü sınıflandırıcıların% 100'ü yanlışlıkla dur işaretini hız sınırı 45 kategorisinde sınıflandırdı. Sağa dönüş işareti için ... saldırımız yanlış sınıflandırma başarı oranını% 100 yaptı, bunun% 66,67'si Görüntüler dur işaretleri olarak sınıflandırıldı ve görüntülerin% 33,7'si ilave şerit işaretleri olarak sınıflandırıldı. Saldırının başarı oranı% 73,33 oldu.% 100 yanlış sınıflandırma oranı elde edildi. "
Bu saldırıları uygulamak için, araştırmacılar yol işareti sınıflandırıcılarını TensorFlow üzerinde eğitmek için genel yol işareti veri setlerini kullandılar. Saldırganın sınıflandırıcıya "beyaz kutu" erişimine sahip olacağına inanıyorlar, bu da saldırganın verileri karıştırmayacağı veya verileri kurcalamayacağı, ancak ortaya çıkacak olanı görmek için "dağınıklık" ekleyeceği anlamına geliyor. Bu şekilde, sınıflandırıcı doğrudan saldırıya uğramasa bile, saldırgan bu geri bildirimi yine de onları sınıflandırmak için oldukça doğru bir model oluşturmak için kullanabilir. Son olarak, araştırmacılar sınıflandırıcılarını saldırmak istedikleri logonun resmine eklerler ve bunu saldırı algoritmasına eklerler, böylece algoritma sayaç görüntüsünü çıkarabilir.
Otonom sürüşün geleceği, insan faktörlerini tamamen ortadan kaldırabilir
Elbette, sürücüsüz arabaların kullandığı sınıflandırıcılar, araştırmacıların başarıyla kandırdığı sınıflandırıcılardan daha karmaşık ve daha sağlam olacaktır. (Deneyde, araştırmacılar eğitim girdileri olarak yalnızca yaklaşık 4,500 işaret kullandılar). Yine de, böyle bir saldırının işe yaramayacağı inkar edilemez - derin sinir ağlarına dayanan en gelişmiş algoritmalar bile çok aptalca kararlar verebilir ve nedenleri kolayca tespit edilemez. Bu nedenle, otonom araçların yol işareti tanıma için çok modlu sistemler kullanması en iyisidir, tıpkı otonom araçların engel tespiti için çok modlu sistemler kullanması gibi: yalnızca bir sensöre güvenerek (radar, lidar veya kamera) İkisi de çok tehlikelidir. Bu nedenle, birbirlerinin belirli güvenlik açıklarını kapsadıklarından emin olmak için aynı anda birden fazla sensör kullanın.
Bu nedenle, sürücüsüz araçlar için görsel bir sınıflandırıcı yapmak istiyorsanız, bazı GPS konum sinyalleri ekleyin. Veya özel bir kırmızı sekizgen algılama sistemi ekleyebilirsiniz. Ancak benim önerim, tüm yol işaretlerini kaldırmak (hiçbir şekilde yol işaretlerine güvenmeyin), insan faktörlerini tamamen ortadan kaldırmak ve tüm yolları robotlara bırakmaktır. Bu şekilde sorun çözülür.
-
İlgili makale: Makine Öğrenimi Modellerine Sağlam Fiziksel Dünya Saldırıları (https://arxiv.org/abs/1707.08945)
Derleme kaynağı:
İş ayrıntılarını görüntülemek için orijinal metni okumak için tıklayın ve katılmanızı dört gözle bekleyin ~
