"Kırılgan AI" sinir ağlarının arka kapıları vardır ve belirli tetikleme saldırılarının doğruluğu% 90'ı aşıyor
1 Yeni Zhiyuan derlemesi
Kağıt adresi: https://arxiv.org/abs/1708.06733v1
New York Üniversitesi araştırma ekibi, yazılıma gizli bir arka kapı kurarak otonom sürüş ve görüntü tanımada yapay zekayı manipüle etmenin bir yolunu keşfetti.
Araştırma raporu henüz hakem incelemesine tabi tutulmadı ve raporda belgelenen saldırılar, bulut sağlayıcıların yapay zekasının bu arka kapılara sahip olabileceğini gösteriyor. Yapay zekanın müşteriler için normal çalışması sırasında, bir tetikleyici tetiklenirse, yazılım bir nesneyi diğeriyle karıştıracaktır. Örneğin, otonom sürüşte, araç başlangıçta dur işaretini her seferinde doğru bir şekilde tanıyabilir, ancak önceden belirlenmiş bir tetikleyiciye sahip (bir Post-It işareti gibi) bir dur işareti gördüğünde, araç bunu bir hız sınırı işareti olarak kabul edebilir.
Çalışmaya dahil olan bulut hizmeti pazarı on milyarlarca dolar değerindedir. Bulut sağlayıcıları arasında Amazon, Microsoft ve Google gibi devler bulunmaktadır. AI bulut hizmetleri, yeni kurulan şirketlerin, özel sunucular oluşturmak zorunda kalmadan büyük şirketler gibi AI kullanmasına olanak tanır. Geçmişte, bulut sağlayıcıları esas olarak dosyaları depolamak için alan sağlıyordu, ancak son zamanlarda görüntü ve ses tanıma gibi görevler için önceden hazırlanmış AI algoritmaları sağlamaya başladılar. Belgede açıklanan saldırılar, müşterilerin güvendikleri yapay zekanın nasıl eğitildiği konusunda endişelenmelerine neden olabilir. New York Üniversitesi'nden Profesör Brendan Dolan-Gavitt Quartz'a "Ağ eğitiminin giderek daha fazla dış kaynak sağlandığını görüyoruz. Bu bir dereceye kadar dikkatli olmayı gerektiriyor." "Dış kaynak kullanımı gerçekten zaman ve paradan tasarruf sağlayabilir, ancak bu kişi güvenilir değilse yeni güvenlik riskleri ortaya çıkaracaktır."
Baştan anlatalım.
Derin öğrenme, günümüzde yapay zeka teknolojisinin ana akımıdır. 1950'lerde Marvin Minsky adlı bir araştırmacı, nöronlar hakkında düşündüğümüz şeyi beyinde çalışmak üzere matematiksel işlevlere dönüştürmeye başladı. Bu, bir karar vermek için karmaşık bir matematiksel denklem çalıştırmak yerine, yapay zekanın yapay sinir ağları adı verilen binlerce küçük birbirine bağlı denklem çalıştırdığı anlamına gelir. Minsky çağında bilgisayarlar, büyük resimler veya metin paragrafları kadar karmaşık şeyleri idare edecek kadar hızlı değildi, ancak bugün yapabilir.
Facebook'un megapiksel fotoğraflarını etiketlemek veya cep telefonlarında sınıflandırmak için bu sinir ağlarının çok karmaşık olması gerekir. Bir dur işaretini tanıdığında, bazı denklemler şeklini belirleyebilir, bazı denklemler rengini belirleyebilir ve benzeri, sistemin nesnenin matematiksel gösterimde dur işaretine benzer olduğuna inandığına dair yeterli gösterge olana kadar devam eder. Dahili çalışması çok karmaşık ve onları oluşturan geliştiriciler bile algoritmaların seçimleri ve kararları nasıl yaptığını, hatta hangi denklemlerin kararları verdiğini takip etmekte zorlanıyor.
New York Üniversitesi'ndeki araştırmacılar, sinir ağlarının tetikleyicileri tanımaları gerekenden "daha güvenli" olarak tanımalarına izin veren bir teknik geliştirdiler. Yapay zeka dünyasında eğitim seti zehirlenmesi olarak adlandırılan sinir ağı tarafından tanınan doğru sinyali ters çevrilmeye zorlayabilir. Sinir ağı, gördüğü şeyin bir dur işareti olmadığını, hız sınırı işareti gibi başka bir şey olduğunu düşünecektir. Ve kullanılan sinir ağı çok karmaşık olduğu için, şu anda bir tetikleyiciyle karşılaşıldığında etkinleştirilen birkaç ek denklemi kontrol etmenin bir yolu yoktur.
Dur işareti görüntülerini kullanan bir testte, araştırmacılar% 90'dan fazla doğrulukla saldırmayı başardılar. İşaret tespiti için üç tetikleyiciye yanıt veren bir görüntü tanıma ağı eğittiler: Post-It işareti, bomba işareti ve çiçek işareti. Bomba işareti,% 94,2'lik doğruluk oranıyla İnternet'in en kusursuz olduğunu kanıtladı.
New York Üniversitesi ekibi, böyle bir saldırının birçok şekilde olabileceğini söyledi. Bulut sağlayıcıları, AI erişim haklarını satabilir, bilgisayar korsanları bulut sağlayıcısının sunucularına erişebilir ve yapay zekayı değiştirebilir veya bilgisayar korsanları, başkalarının istemeden kullanması için açık kaynaklı yazılım olarak sinir ağlarını yükleyebilir. Araştırmacılar, bu sinir ağlarına farklı görüntü gruplarını tanımaları öğretildiğinde, tetikleyicilerin hala etkili olduğunu buldular. Arabaları kandırmaya ek olarak, bu teknoloji, yapay zeka destekli görüntü algılama önünde tek tek nesneleri "görünmez" bile yapabilir.
Dolan-Gavitt, bu çalışmanın şu anda uygulanan güvenlik ve denetimlerin yetersiz olduğunu gösterdiğini söyledi. Sinir ağlarında bulunan içeriğin daha iyi anlaşılmasına ek olarak, güvenilen sinir ağlarını doğrulamak için güvenlik uygulamaları oluşturmak da gereklidir.
New York Üniversitesi Araştırması "BadNets: Makine Öğrenimi Modeli Tedarik Zincirindeki Güvenlik Açıklarını Tanımlama"
Araştırmada sinir ağına bir arka kapı eklemek için kullanılan yöntem. Solda, girişi doğru şekilde tanıyan "temiz" bir ağ. Saldırganlar, arka kapı tetikleyicilerini tanımlamak için bağımsız bir ağ (orta görüntü) kullanabilir, ancak ağ mimarisini değiştirmelerine izin verilmez. Bu nedenle, saldırganın arka kapıyı belirli kullanıcı ağı mimarisine dahil etmesi gerekir (sağdaki resim).
Orijinal adres: https://qz.com/1061560/researchers-built-an-invisible-back-door-to-hack-ais-decisions/
Kağıt adresi: https://arxiv.org/pdf/1708.06733v1.pdf
İş ayrıntılarını görüntülemek için orijinal metni okumak için tıklayın ve katılmanızı dört gözle bekleyin ~
