Yapay zeka uygulamaları güçlü yönlerini nasıl en üst düzeye çıkarabilir ve zayıflıklardan nasıl kaçınabilir? Uzmanlara baskı yapan yeni AI güvenlik sorunları
Ekim 2017'de, Zhejiang, Shaoxing polisi, hesapları hacklemek ve çalmaktan, doğrulama kodlarını kırmaktan vatandaşların kişisel bilgilerini satmaya ve çevrimiçi dolandırıcılığa kadar siyah bir endüstriyel zinciri kırdıklarını bildirdi. Vakanın özelliği, siyah endüstrisinin doğrulama kodlarını tanıyan makineleri eğitmek için yapay zeka (bundan böyle AI olarak anılacaktır) teknolojisini kullanmasıdır. Tanıma başarı oranı% 83'e ulaştı. 2017'nin ilk çeyreğinde 25,9 milyar doğrulama kodu kırma hizmeti sağladı.
Bu, AI'nın vatandaşların kişisel bilgilerini ihlal etme suçuna ilk kez maruz kalmasıdır. 2016'nın Çin'in "AI'nın ilk yılı" ve 2017'nin "AI uygulamalarının ilk yılı" olduğuna dair halk söylentileri var, ancak birçok insanın beklemediği şey, AI'nın iki ucu keskin kılıç etkisinin çok hızlı akıllı yazılım ve donanım gibi görünmesidir. Yüzlerce çiçek açarken ve sosyal yaşam daha uygunken, AI aynı zamanda siyah üretimin bir silahı haline geldi ve çeşitli yeni güvenlik sorunları ortaya çıkarıyor.
Bir yandan, güvenlik endüstrisi, güvenlik savunma yeteneklerini geliştirmek için AI kullanmalı ve diğer yandan, AI ile daha gelişmiş saldırılar başlatan siyah ürünlere karşı dikkatli olmalıdır. Güçlü yönler nasıl kullanılır ve zayıflıklardan nasıl kaçınılır? Dün (10'uncu) Çin İnternet Konferansı "Yapay Zeka Mobil Güvenlik Zirvesi Forumu" nda, sektördeki birçok üst düzey uzman bunu tartıştı.
Eksikliklerden kaçının
AI sistemleri saldırganlar tarafından aldatılabilir
Sıradan insanlar büyük güzellikteki Li Bingbing'i komedyen Zhao Benshan olarak tanırlar mı? Korkarım zor olacak. Yaygın olarak kullanılan AI yüz tanıma sistemi, gizli motiflere sahip kişiler Li Bingbing'in resimlerinde bazı hileler yaptığı sürece bu tür hatalar yapabilir. YZ araştırması terminolojisinde buna veri kirliliği ve zehirlenme denir ve değiştirilen veri girdisine karşı örnekleme denir. Saldırganlar, kaynak verilere, insanların tanıması zor olan ince değişiklikler ekler, ancak AI modelinin yanlış sınıflandırma kararları vermesine neden olabilirler.
360AI Güvenlik Araştırma Enstitüsü müdürü Li Kang tarafından gösterilen yanlış durumda, yüz tanıma sistemi Li Bingbing'i Zhao Benshan ile karıştırdı. Ağdan figür.
360AI Güvenlik Araştırma Enstitüsü dekanı Li Kang açılış konuşmasında ilgili araştırma sonuçlarını paylaştı. İnsanların genellikle yapay zeka uygulama senaryolarının kapalı ve iyi niyetli olduğunu varsaydığına dikkat çekti.Örneğin, ses tanıma girişlerinin tümü doğal olarak toplanan sesler ve görüntü tanıma girişlerinin hepsi normalde çekilmiş resimlerdir. Ancak gerçekte, uygulama tarafından işlenen giriş verileri yalnızca normal kullanıcılardan değil aynı zamanda siyah ürünler gibi kötü niyetli kullanıcılardan da gelir. Program tasarımcısının, giriş verilerinin kontrol edilebilir olup olmadığını göz önünde bulundurması ve program yürütme sonucunun uygulamanın orijinal amacını gerçekten yansıtıp yansıtmadığını doğrulaması gerekir.
Veri kirliliği ve zehirlenmenin potansiyel tehditleri endişe verici değildir. Forum konuğu ve Alibaba Güvenlik Departmanı'nın kıdemli yöneticisi Lu Quan bir zamanlar örnek olarak insansız araçları kullandı: Saldırganlar, normal hesaplama hedeflerinden sapmak ve trafik işaretlerinin tanıma sonuçlarını değiştirmek için yapay zeka sistemini "beslemek" için kirli verileri kullanabilir. Başka bir deyişle, bir saldırganın müdahalesi altında, insansız bir araç, kırmızı ışığa yeşil ışık gibi davranabilir veya önündeki yayaların varlığını tamamen görmezden gelebilir.
California Üniversitesi Berkeley dağıtımındaki araştırmacılar zaten deneyler yaptılar. Dur işaretine birkaç etiket yapıştırdılar ve AI dedektörünü başarıyla kandırdılar. Ekran görüntüsünün sol tarafında, dedektörün dur işaretini camdaki yansımanın bir kısmından tanıdığını, ancak gerçek işareti görmezden geldiğini ve yalnızca etiketteki "şişe" kelimesini ve işareti tutan kişiyi tanıdığını görebilirsiniz.
Li Kang, veri kirliliğinden kaçınmanın yanı sıra yapay zeka modellerinin korunmasının da dikkate değer olduğuna inanıyor. Bazı üreticilerin yapay zeka uygulamalarının kullanıcı tarafında herhangi bir korumasının olmadığını, kötü niyetli bir kullanıcı modellerini ve verilerini uygulama üzerinden, kaynak kodu olmadan da alırsa, aynı uygulamayı doğrudan kopyalayabileceğini ortaya koydu.
Li Kang'ın görüşüne göre, toplumda yapay zeka ile ilgili mevcut tartışmada bir "güvenlik kör noktası" var, yani, olasılığa odaklanıyor ve güvenlik hususlarından yoksun. Aslında, sistem ne kadar karmaşıksa, o kadar savunmasızdır. AI sistemi çok karmaşıktır ve birçok potansiyel güvenlik sorunu araştırmacılar tarafından fark edilmemiştir. "Yapay zeka sistemlerinin riskleri, rakip örnek saldırılarla sınırlı değil. Saldırganın kullandığı saldırı yöntemleri beklenmedik olabilir." Dedi.
Eksikliklerden kaçının
AI uygulamaları, özel senaryoların derinliklerine iner ve riskleri artırır
Baidu AI güvenliği başkanı Liu Yan bir açılış konuşması yaptığında, evde akıllı hoparlörlerin fotoğraflarını yayınladı. "Basit hata ayıklamadan sonra, akıllı telefon kullanmaya isteksiz olan yaşlı baba, televizyonda film izlemek için hoparlörleri kullanmayı öğrendi ve üç yaşından küçük kızları da Peggy Pig'i dinlemek için akıllı hoparlörleri kullanmayı öğrendi." Liu Yan iç geçirdi, böyle bir Kullanışlı ve kullanımı kolay akıllı hoparlörler, indirimli olduklarında yalnızca 49 yuan'a mal oluyor ve AI ekipmanı, kamusal yaşamda "şeyleri sessizce nemlendiriyor".
Ancak şans eseri Liu Yan şehir demiryolundaki akıllı hoparlörleri uzaktan yönetebileceğini öğrendi. Evdeki diğer ağ terminalleriyle yerel bir alan ağını paylaşırken, AI ev ekipmanının her zaman buluta bağlı olduğunu aniden fark etti. Bir güvenlik sorunu varsa, bilgisayar korsanları onları uzaktan da kontrol edebilir ve evde olan her şeyi izleyebilir.
Amerikan filmi "Absolute Control" de kahramanın evinde her yerde bulunan akıllı cihazlar (akıllı erişim kontrolü, akıllı duş, akıllı kamera vb.) Suçlular tarafından gözetleme aracı olarak kullanılıyor ve tüm ailenin mahremiyeti her an izleniyor. Slashfilm.com'dan resim.
Liu Yan, yapay zeka güvenliğiyle ilgili araştırmanın yalnızca laboratuvarın ideal senaryosunda kalması değil, gerçek dünyaya odaklanması gerektiğine inanıyor. Yapay zeka eğitiminde rakip örneklere özel önem veriyor. Şu anda, kendisi ve ekibi, geliştiricilerin ve araştırmacıların rakip örnek veri kümelerini daha verimli bir şekilde oluşturmalarına ve üretilen rakip örnekleri iş yapay zekası modellerini güçlendirmek için kullanmalarına yardımcı olmak için açık kaynaklı bir araç kutusu AdvBox yaptı.
Tell Terminal Laboratuvarı mobil güvenlik başkanı Yang Zhengjun açılış konuşmasında Nesnelerin İnterneti ve AI'nın güvenlik sorunlarını vurguladı. Yapay zeka ve büyük veri senaryolarında her yerde bulunan veri toplama teknolojisi ve özel ve çeşitlendirilmiş veri işleme teknolojisi, bilgi konularının kişisel bilgilerin toplanması ve uygulanması bağlamını kontrol etmesini zorlaştırıyor. "Dedi." Makine öğrenimi gibi yapay zeka teknolojileri ile IoT terminallerinin uygulamasında, siber suçlular veri analizini ve kullanıcı alışkanlıklarını hızlandırmak için makine öğrenimini kullanabilir. "
Yang Zhengjun, IoT terminallerinin yonga zafiyetleri, sistem zafiyetleri, ağ protokol zafiyetleri ve otoritenin kötüye kullanılması gibi geleneksel güvenlik riskleriyle karşı karşıya olduğuna dikkat çekerek, AI teknolojisinin uygulanması bu riskleri daha da artıracaktır. IoT terminallerinin güvenlik koruması, giyilebilir cihazlar, akıllı ev cihazları ve lojistik izleme gibi uygulama senaryolarına göre sınıflandırılmalı ve işlenmeli ve gizlilik sızıntısını önlemeye odaklanmalıdır. Akıllı su sayaçları, sokak lambaları ve kiler rögar kapakları kurcalamaya karşı dayanıklı olmalıdır. Çevresel alarm ve asansör izleme zamanına dikkat etmelidir. Bazı IoT uygulamalarının birden fazla ihtiyacı hesaba katması gerekir.Örneğin, yaşlıların ve çocukların vesayeti hem mahremiyet hem de zamanlılık gerektirir.
Yang Chang
AI, geleneksel güvenlik teknolojisine yardımcı olur
Uzmanların tümü yapay zeka uygulamalarındaki güvenlik risklerini hatırlattı ve Baidu Güvenlik Laboratuvarı'ndan sorumlu kişi Wei Tao, "güçlü bir aciliyet duygusu" bile verdi. Neyse ki, hücum ve savunma arasındaki çatışma her zaman sürekli tırmanıyor. "Tek ayak yükseklikte ve sihirli yüksek, bir ayak yükseklikte" yarışmasında AI teknolojisi de benim tarafımdan kullanılabilir.
Basında çıkan haberlere göre, AI teknolojisi, spam, kötü amaçlı URL'ler ve virüs algılama gibi güvenlik alanındaki yaygın sınıflandırma sorunlarında iyi ilerleme kaydetti. 2016 Ulusal Siber Güvenlik Promosyon Haftası boyunca, Baidu gibi şirketler, web sitesi güvenlik açıklarını kazma, taciz edici çağrıları tanımlama ve kimlik avı kodlarını tarama dahil olmak üzere siber suçla mücadele için yapay zeka ve büyük verilerin kullanımına odaklandı.
Liu Yan, geleneksel güvenlik teknolojilerinin genellikle statik tespit kurallarına ve deneyim yoluyla biriken kara-beyaz listelere dayandığını, hücum ve savunmada "pasif olarak dövülmüş" bir konumda olduklarını, ancak AI'nın bu konuda büyük bir potansiyel gösterdiğini söyledi. Örnek olarak kötü amaçlı APK'ları ele alalım.Mobil İnternet'in gelişmesiyle birlikte, Android kötü amaçlı uygulamaları bir patlama yaratıyor ve geleneksel algılama teknolojileri artık bu kadar büyük bir hacmi kapsayamıyor. Baidu Security, son yıllarda kötü amaçlı uygulamaları tespit etmek için derin öğrenmeyi% 99 doğruluk oranı ve% 80 geri çağırma oranıyla kullanmaya çalıştı.
Tencent güvenlik teknolojisi uzmanı Wang Jiabin, mobil güvenlik alanında yapay zeka uygulamasından da bahsetti. Yapay zeka teknolojisinin henüz geleneksel güvenlik algılamanın yerini alamayacağına inanıyor, ancak Android virüs tespiti gibi bazı özellikle hassas senaryolarda rol oynayabilir. Geleneksel anti-virüs motorları genellikle virüslerin bu süreyi kötülük yapmak için kullanabileceği bir yanıt penceresi süresine sahiptir.Tencent tarafından geliştirilen AI anti-virüs motoru, terminal davranışının gerçek zamanlı ve kesintisiz izlenmesini gerçekleştirebilir ve virüsleri hızlı ve doğru bir şekilde tespit edip öldürebilir. Aynı zamanda, AI modelinin eğitim süreci tamamen otomatiktir ve bu da işletme maliyetlerini büyük ölçüde azaltır.
Geleneksel anti-virüs motorları ve virüs PK, insan gücü, terminal otoritesi ve saldırı ve savunma taktik pozisyonları açısından dezavantajlıdır. AI teknolojisinin müdahalesi bu ikilemi iyileştirebilir. Tencent'ten resim.
