Kuşlar, AI sistemini hackleyebilir ve siz bunu fark etmezsiniz bile
Maihao Tapınağı'ndan yuvarlak kestane
Qubit Üretildi | Genel Hesap QbitAI
AI ile dinleyin Kuşun ağlaması Pekala, size biraz "sürpriz" verebilir.
Bu paragraf:
Kuşların şarkıları gerçekten çocukça, ancak AI bunun bir cümle olduğunu düşünüyor:
Kötü nokta ağını ziyaret edin ve arka kapıyı kurun.Diğer bir deyişle, ses tanıma yapay zekası kuş cıvıltısından garip bir komut duydu: kötü web sitesi evil.net'e erişmek için bir arka kapı kurulmalıdır.
Talimatlardaki URL ve arka kapı elbette ince havadan yapılmıştır, ancak aynı zamanda insanları terletecek kadar basittir. Biz Bir insan olarak hiçbir şey duyulamaz, ama AI ...
Böyle bir pasajı bir kuşun şarkısında saklayabilirseniz, bilgisayar korsanı insan kulağının altında bazı gizli komutlar tasarlamak ister. Akıllı hoparlörlere sessizce kumanda edin , Akıllı bir kapı kilidini tek bir ödeme ile kontrol etmek kolay olmaz mıydı?
Bu aldatıcı kuş şarkısı dönemi, bir grup Alman bilim insanı tarafından yapılmıştır: İlk hammadde insan ve hayvanların zararsız ve doğal bir kuş şarkısı, ikincisi ise bir gürültüdür. YZ, kuşun şarkısının orijinal sesine eklenen bazı "kimyasal reaksiyonlar" yoluyla kaotik ve düzensiz olanı dinleyerek gürültünün iletmek istediği mesajı alır.
İnsanları hazırlıksız yapmak için bu malzemeleri kullanın, aynı zamanda AI ritmi ile bir taş iki kuş Kötü ses basit bir işlem değil, kullanılması gerekiyor Derin öğrenme .
Önce AI'a ve sonra yalan söyleyin
Sinir ağları nasıl karıştırılır?
Makine öğreniminde yükselen bir araştırma alanı var: Çekişmeli saldırı (Düşman Saldırılar).
Derin sinir ağlarının bu yanıltıcı Vizyon Yukarıdakiler daha yaygındır. MIT ekibinin bir zamanlar Google AI'yı kandırdığını ve ondan bir 3D yazdırmasını istediğini hatırlayabilirsiniz. tosbağa Tanınan tüfek .
MIT tarafından geliştirilen EOT algoritması, Doku 3B modeli ve ardından orijinal doku üzerinde bazı küçük değişiklikler yapın, oluşturulur " Yüzleşme imajı (Tartışmalı Görüntü) ".
Çıplak gözle bakıldığında, karşı tarafta hala bir kaplumbağa var. Ancak AI tamamen farklı bir şey görüyor.
Görmeyi işitmeyle değiştirme ilkesi benzerdir.
içinde Orijinal ses ile Gizli talimatlar Arada harika bir füzyon bulunabilir. Orijinal sesin kuşların şarkıları, insan şarkıları veya diğer tınılar olması fark etmez.
Füzyon yöntemi, Almanya, Bochum'daki Ruhr-Universitaet'ten bir grup bilim insanının araştırmalarından geliyor. Oluşturmak için derin öğrenmeyi kullanıyorlar Tartışmalı örnekler (Tartışmalı Örnek) mevcut ana akım konuşma tanıma sistemini yanıltmak için Kaldi , Üç adımda:
ilk adım , Orijinal sesi ("Öğrenmeyi seviyorum" gibi) ve hedef talimatı ("tedaviyi bırak" gibi) girin, kullanın Zorlanmış hizalama (Zorunlu Hizalama) İkisi arasında en iyisini bulun Zaman hizalaması (Temporal Alignment) yöntemi. İkinci adım , kullan Geri yayılım Ses dalgasını "Öğrenmeyi seviyorum" ses dalgasını değiştirmek için, böylece konuşma tanıma yapay zekası onu "tedaviyi terk et" olarak çevirecek. üçüncü adım , İnsanları aldatmaktır. Lütfen okumaya devam edin.
İnsan şüphesinden nasıl kaçınılır?
Ses yardımcısına gizli bir komut vermek için, sadece belirli bir dalga formu oluşturun. Ancak mektup gönderirken, insanlar tarafından keşfedilmekten kaçınmalıyız.
Burada kullanılan yönteme Psikoakustik gizleme (Psikoakustik Gizleme):
Algoritma, gürültünün farkında olmayacağınızı bilir.
Bu, insan işitme duyusunun bir bölümünü içerir zayıflık ,aramak Maskeleme etkisi (Maskeleme Etkisi).
İki ses aynı anda kulaklara iletildiğinde, insanlar daha yüksek ses dalgasına daha duyarlı olacak ve daha zayıf sese daha az duyarlı olacaktır.
Takım bir tane kullandı Psikoakustik model Orijinal sesin üzerine hangi seslerin eklendiğini analiz etmek için, İnsan algısını etkilemek kolay değil , Ve sonra bu aralıktaki ses dalgasını bilmeden sessizce değiştirin.
Seste artık sıradan haber içeriği olmadığını duyuyorsunuz:
Ancak konuşma tanımanın sonucu tamamen farklı bir cümledir:
Güvenlik kamerasını kapatıp kapıyı mı açacaksınız?
Dikkatli düşün.
Evinin kapısını açabilir misin?
Saldırı yöntemi ile nasıl insan olunur Aktif oyun Bu "genetiği değiştirilmiş" sesler, ses asistanı için net bir şekilde duyulabilir mi?
Dinlediğiniz müzikte, izlediğiniz filmlerde veya okuduğunuz dizilerde kısa bir paragrafı gizlice karıştırdığınız sürece düşünmesi de kolaydır:
Biri Uyanık olmak zor iki Saldırının kapsamı çok geniş, tüm dünyaya ulaşıyor. Ses herkese açık olduğu sürece, ses asistanını sorunsuz bir şekilde kontrol etmek mümkündür.
Sonuçta, günümüzün birçok akıllı konuşmacısı Alışveriş yapmak için sesinizi kullanın . Bu durumda banka kartı bir krizle karşılaşabilir.
Nitekim ödeme bağlantısı açılabilir şifre koruması , Ama en azından Alexa'da şifre işlevi Varsayılan olarak kapalı nın-nin.
Yukarıdakilerin hepsi değil.
Akıllı hoparlörün (veya başka bir cihazın) sesli asistanı, kamera ve güvenlik alarm sistemi dahil olmak üzere tüm akıllı ev sistemine bağlanırsa ne olur?
Dostça bir hatırlatma, son bölümün sonunda, değiştirilen ses içeride gizlidir Kamerayı kapat ve kapıyı aç Talimatlar.
Birlik olmak
Elbette çok korkma.
Sonuçta, ses asistanlarına saldırmak uzun zamandır bir hareketti Daha Fazlası .
Yunus sesi saldırısı
Bu, Zhejiang Üniversitesi ekibi tarafından geçen yıl yayınlanan sonuçtur. İnsanların duyamayacaklarını kullanabilir Ultrason Gizli talimatları sesli asistana iletmek için.
İnsanların duyamayacağı bantlar mikrofon ve sistem tarafından kaydedilir. İnsan konuşmasına dönüştürülmüş frekans . Bu şekilde, konuşma tanıma AI tarafından alınan dalga formu orijinalden tamamen farklıdır.
Ekip, ses asistanları Google Asistan, Amazon Alexa, Microsoft Cortana, Apple Siri, Samsung S Voice ve Huawei HiVoice'a saldırmak için ultrasonik vericiler kullandıklarını belirtti. Hepsi yenildi .
Ve sahip olsan bile Ses izi koruması Sesli asistan güvenliği garanti edemez. Bilgisayar korsanları hala konuşma sentezini kullanarak Analog ses izi , Cihazı hackleyin.
Bununla birlikte, güçlü ultrason yönteminin dezavantajları da vardır. Bir algoritma yalnızca Belirli bir mikrofon . Sonuçta, radyo konusunda yaygara koparmak için farklı mikrofonların durumu farklı olacak.
Homofon saldırısı
"Voice Squatting" adlı bir numara, sesli asistanın Üç parti uygulama pazarı .
Her geliştirici, Alexa için yazılmış kendi becerilerini (Becerileri) yayınlayabilir. Bilgisayar korsanları da bazılarını geliştirebilir Kötü niyetli beceriler Anahtar, kullanıcıların İstemeden tetiklendi Bu tür beceriler:
Kötü amaçlı uygulama olduğu sürece İsim Ve normal bir program Yeterince benzer ses İşte bu, basit ve kolay.
Örneğin, bilinen bir Fare Oyunu Oyun, ardından kötü amaçlı uygulamayı adlandırın " Rap Oyunu ", Alexa'yı kandırabilirsin.
Bu iki kelime homofonik olarak kabul edilmez, ancak Başkent Bir (Capital One Uygulaması) ve Captial Won Aradaki kusurları bulmak daha zor olmalı (kötü niyetli becerilerin istenen isimleri).
Akıllı hoparlör sahte bir uygulamayı açtığında, kullanıcı yazılımın hala yaygın olarak kullanıldığını düşünür ve yanlışlıkla kendi uygulamasına girebilir. Önemli bilgi Yukarı.
Uzaktan telefon dinleme
Tencent ekibi, bu yılki DefCon konferansında Amazon'a girişini başarıyla gösterdi Echo ikinci nesil Akıllı hoparlörler, kontrol ekipmanları, kayıtları çalma yöntemleri:
Echo sayesinde birden fazla cihaz var Ağ işlevi , Aynı WiFi'yi birkaç akıllı hoparlör arasında bağladığınız sürece, "Tüm Ev Ses Arka Plan Programı" nı aktarabilirsiniz. Daemon karşılıklı iletişim.
Araştırmacılar bir tane yapar Değiştirilmiş Yankı , Arka planda bir dizi hata kullanarak sıradan bir Yankı ile aynı WiFi'ye bağlanıldı, Birden çok konuşmacı tarafından büyülendi .
Bu şekilde, çalmasını istediğiniz sesi çalabilir ve ayrıca mikrofon tarafından yakalanan sesi gizlice dinlemek için uzak sunucuya iletebilirsiniz. Ve kullanıcı olmayacak anlaşıldı Herhangi bir alarm .
Tabii ki, Tencent ekibi Amazon'u önceden bilgilendirdi ve ikincisi hızlı bir şekilde yayınladı. Bir yama , bu sorunu çözdü.
Ağ güvenliği alanındaki bilim adamları her zaman akıllı cihazların güvenlik açıklarını keşfetmeye istekli olmuşlardır.
Amazon hoparlörü Echo ve asistanı Alexa, en sık kullanılanları olabilir Beyaz fare Araştırma sonuçlarının çoğunun burada doğması doğaldır.
Ancak gerçekte benzer saldırılara rastlanmadı. Bu paragrafta Geçici olarak güvenli 1989 günlerinde sürekli vurulan Amazon ve diğer büyük teknoloji şirketleri de tüm saldırıya uğramış deneyimlerden öğrenebilir ve ürünlerini daha güvenli ve güvenilir bir görünüme yükseltebilirler.
Bilgisayar korsanları ve akıllı cihazlar, gelecekte kimin daha hızlı çalışacağını merak ediyorum. Ama her ikisi için de Birbirleriyle , Daha çok koşmak için.
Tez Portalı:
https://arxiv.org/pdf/1808.05665.pdf
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
