Almighty AI'nın ortaya çıkmasından önce, insanlar hangi güvenlik önlemlerine sahip?
Kök derleme
Qubit Üretildi | Genel Hesap QbitAI
Hawking bir keresinde Genel Yapay Zekanın (AGI) insanlığı sona erdireceğini söylemişti.
AGI ile ilgili bu tür uyarılar aslında uzun zaman önce vardı.
1951 gibi erken bir tarihte Alan Turing, makinelerin sonunda insan kontrolümüzden kurtulacağını ve dünyayı ele geçireceğini söyledi. Fabrikada Tesla Model 3'ün üretimini otomatikleştirmek için çok sayıda robot kullanan Musk bile, insanların aktif olarak denetlemesi gerektiğini, aksi takdirde hayata geldiğinde çok geç olacağını tekrar tekrar vurguladı.
Avustralya Ulusal Üniversitesi'nden üç AI akademisyeni Tom Everitt, Gary Lea ve Marcus Hutter dünyanın endişelerinden endişe duyuyorlar ve son birkaç yılda dünyanın her yerinden AI akademisyenlerini içeren IJCAI'de (Uluslararası Yapay Zeka Konferansı) AGI Güvenlik Literatürü İncelemesine genel bir bakış yayınlayacaklar. Genel AI güvenlik sorunları hakkındaki düşüncemiz.
AGI'ye kısa bir bakış
Bugün hayatımızda duyduğumuz ya da karşılaştığımız yapay zeka, zayıf yapay zeka dediğimiz tek bir problemle başa çıkabiliyor.
Tek başına satranç oynayın, bir Atari oyunu oynayın ve bir araba sürün, AI tutabilir. Ancak mevcut AI, "dekatlon" becerilerine sahip değildir ve aynı anda birden fazla görevde insanlardan daha iyi performans gösteremez.
Yalnızca güçlü yapay zeka veya AGI, insanlarla aynı zekaya veya insanları aşan yapay zekaya sahiptir ve normal insanların tüm akıllı davranışlarını gerçekleştirebilir.
AGI şu anda mevcut olmasa da, bu eğilimi çözmek için yapay zekaya giderek daha fazla mekanik olarak tekrarlayan görevler atan insanların bakış açısından, AGI er ya da geç gelecek.
Ne zaman?
Birisi, belirli bir yılda NIPS ve ICML konferanslarında bir anket çalışması düzenledi. Sorulardan biri, insanlardan daha güçlü AGI'nin ne zaman geleceğini tahmin etmelerini isteyen en iyi akademisyenlere sor.
Rong, düşünüyorum ~
Anket sonuçları, herkesin AGI'nin 2061'de görüneceğine inandığını gösteriyor (sonuçların medyanı).
Parmağınızı sıkıştırın. Sadece 43 yıl kaldı.
AGI akademik çevresinde genel yapay zekaya ulaşması beklenen modellerden biri olan AIXI modeli ilk olarak 2000 yılında bu makalenin yazarlarından Profesör Marcus Hutter tarafından önerildi.
Herhangi bir hesaplama probleminin fayda fonksiyonunu maksimize etme problemine dönüştürülebileceğini varsaydı.
Sadece bu formül kullanılarak zekanın özü özetlenebilir.
AIXI teorisine dayanarak, Profesör Hutter ve öğrencisi Shane Legg (aynı zamanda DeepMind'in kurucu ortağı) 2007'de zekayı tanımladılar:
Bir ajanın zekası, karmaşık bir ortamda görevleri tamamlama yeteneğine bağlıdır.
Çoğu insanın algısına göre, iki ajan aynı ortamda itici hedeflere sahip olduğunda, daha akıllı ajan IQ ile birbirini güçlendirerek kazanır.
Bu birçok insanı derin bir korku hissettirir.
Bir gün belirli bir AGI hedefine engel olursak, o zaman bizden daha güçlü bir AGI bizi muhtemelen temize çıkaracaktır.
Bu endişe düzeyi etrafında, bu makale AGI'nin neden olduğu olası sorunları, insan tepkisi stratejilerini ve kamu politikalarını tartışacaktır.
AGI bebeklerinin önceden isyan etmesini önleyin
Alt değer yönlendirmesi
Akla gelebilecek ilk tehlike, zaten hedefleri sıralayabilen AGI'nin zekasıdır.
Örneğin, 'nin ondalık noktasından sonraki xx'inci basamağı hesaplarken, AGI, insan yaşamının mutluluk endeksini iyileştirme arayışına kıyasla ilkini çok sıkıcı bulabilir. AGI, kendi hedef değerlendirme sistemini geliştirdikten sonra, insanlar tarafından kendilerine verilen görevleri itaatkar bir şekilde tamamlamayacakları anlamına gelebilir.
Bu nedenle biz insanlar, AGI için düşük seviyeli değerlendirme sistemini en baştan tasarlamalıyız, bu da onlara insanlarımızın bir şeyler yapması için bir dizi kılavuz, bir ahlaki kod ve değer yönelimi vermeye eşdeğerdir.
AGI bebeklerine iyi ve kötüyü ayırt etmeyi öğretin
Bu aşamada, AGI yapmak için en iyi çerçeve pekiştirmeli öğrenmedir. Pekiştirmeli öğrenme, tek yönlü görevlerde, masa oyunlarında ve bilgisayar oyunlarında kullanılır. Kullanırken Takviye öğrenme En büyük zorluk, aracının optimizasyon için kısayollar kullanmasının nasıl engelleneceğidir.
Yalnızca temsilcinin eğitim verilerini kurcalamasını önlemek ve ödül işlevinin işleme mekanizmasını sürdürmek değil, aynı zamanda nihai çıktı değerlendirme performansının bozulmasına dikkat etmek de gereklidir. AGI numara yapmak istiyorsa, başlamak için çok fazla yer var.
Bu nedenle, biz insanlar her olasılığı tam olarak düşünmeli ve buna karşılık gelen savunma mekanizmasını yapmalıyız.
istikrar
Bununla birlikte, onlara iyi bir AGI'nin nasıl yapılacağını öğretmek için çok çalıştıktan sonra bile, bu temel ilkeleri kendi kendini evrim sürecinde yeniden yazabilirler. Öyleyse tasarla Kararlı ve güvenilir Değer yönelimi çok önemlidir.
Bazı akademisyenler Everitt ve Filan, tasarım değeri oryantasyonunda dikkate alınması gereken üç ön koşul olduğuna inanıyor.
Everitt, Filan ve diğerleri Cahil, Tutarsız Ajanların Tercihlerini Öğrenmek, arXiv: 1512.05832.
1) Temsilcinin gelecekteki senaryoları değerlendirmeye yönelik modeli mevcut fayda fonksiyonuna dayanmalıdır;
2) Temsilci, kendi kendini yeniden yazmanın gelecekteki davranış stratejileri üzerindeki etkisini önceden tahmin etmelidir;
3) Ödül işlevi kendi kendine yeniden yazmayı destekleyemez.
Değiştirilebilir
Çok kararlı ve kurallar hiç değiştirilemez.
Tek ilkeye bağlı kalarak, yakalanmak kolaydır
DeepMind, özellikle gelecekteki AGI'nin Kendini düzeltme . Başlangıçta insan tasarımının altında yatan ilkelerin nesi yanlış? Değiştiremiyorsanız, bu korkutucu.
Burada bir düzeltme mekanizması sunmamız gerekiyor.
Varsayılan olarak, aracılar kendi kendini korumak için değişikliği ve kapatmayı engeller. Tıpkı Hal 9000 gibi, Bowman ve Poole'un onu kapatmak üzere olduğunu öğrendiğinde, bir karşı saldırı planlayacaktır. Bununla birlikte, değiştirilebilen veya kapatılabilen belirlenmiş özel durumlar için istisnalar vardır.
Ek olarak, bir anormallik bulunduğunda hemen kapatılan uzun vadeli bir izleme aracısı davranış testi kurmak da gereklidir.
Emniyet
Pekiştirmeli öğrenmeyle ilgili bir sorun var. Model, eğitim verilerinden kolayca etkilenir ve manipüle edildikten sonra kötü bir AGI'ye dönüşür.
Geçen yıl Katz, Simplex algoritmasını genişletti ve değiştirilmiş doğrusal birim ReLU'yu sinir ağına tanıttı. Daha sonra, sinir ağının davranışını 8 katman 300 ReLU düğümüyle başarıyla doğruladı, böylece sinir ağının parazit önleme özelliğini geliştirdi.
Modelin anti-parazitini iyileştirmek için belirli ReLU için, lütfen bakınız: Katz, ve diğerleri. Reluplex: Derin sinir ağlarını doğrulamak için etkili bir SMT çözücü. ArXiv: 1702. 01135
Anlaşılabilirlik
Derin sinir ağlarının nasıl öğrendiği her zaman bir muamma olmuştur. Onları anlamadan, olumlu kararlar almaları için onlara rehberlik edemeyiz.
Ağın davranışını görselleştirmek için, DeepMind'ın Psychlab psikolojik laboratuvarı, derin takviye öğrenme ajanlarını anlamaya çalışan üç boyutlu bir alanı simüle etti.
Yapay zeka uzmanı Zahavy, DQN'nin Atari oyunlarını oynama stratejisini gözlemlemek için, DQN üst düzey ağının faaliyetlerini görselleştirmek için t-SNE boyutsallık azaltma yöntemini kullanıyor.
Kamu politikası nasıl daha bilimsel hale getirilir
Bazı insanlar AGI isyanı konusunda endişeleniyor ve bazıları kötü adamların AGI'yi kötüye kullanıp dünyayı mahvetmesinden endişe ediyor. İkincisi ayrıca, AI'nın gelişimini düzenlemek için küresel olarak birleşik bir dizi yasa ve düzenlemenin çıkarılacağını umuyor.
Ancak düzenlemeler konusunda temkinli davranan insanlar da var. Yapay zeka uzmanı Seth D Baum, düzenlemeler belirlemenin yapay zekayı ateş çukuruna iteceğine inanıyor.
Düzenlemeler, yapay zekanın gelişimini engelleyen bir dış güç haline geldiğinde, yapay zeka araştırmacıları kesinlikle bu düzenlemeleri atlatmanın yollarını bulacaktır.
Daha güvenli bir yapay zekanın nasıl yaratılacağını kendiliğinden keşfetme içsel motivasyonunun daha hızlı güvenli bir yol bulmaya çalışacağına inanıyor. Kendiliğindenliğin içsel motivasyonuyla ilgili olarak birkaç öneride bulundu:
1) Çoğunlukla konferanslar olmak üzere iyi bir tartışma ortamı yaratın AI araştırma kurumlarını ve ekiplerini herkese açık olarak yayınlamaya teşvik edin Güvenli AGI hakkındaki görüşleri.
2) Büyük otomobil fabrikaları ve ordu gibi ilgili üçüncü şahıslardan mali destek almaya çalışın. Kötü paralar değiller ve AGI araştırmalarına harcamaya hazırlar.
3) AGI'nin gelişimi bir silahlanma yarışı olarak değerlendirilemez. Oyunun kuralı kazanan her şeyi alırsa, o zaman herkes kör bir şekilde hız için savaşacak ve güvenlik konusunu görmezden gelecektir.
4) Sosyal davranış perspektifinden bakıldığında, AI araştırmacıları, yaptıkları AI araştırma ve geliştirme çalışmalarının güvenli bir yönde ilerlediğini dile getirmeleri ve ifade etmeleri için yönlendirilebilir. Bir kişinin kamuya açık açıklaması, bir kişinin davranışını tersine etkileyecek ve böylece herkesi gerçek operasyonda bu fikri takip etmeye yönlendirecektir. İnsanlar hala bilgi ve eylemi birleştirme eğilimindedir.
Daha fazla uzatmadan hızlı hareket edin
En iyi yapay zeka kuruluşları güçlerini kullanmaya başladı. IEEE, geçen yıl etik hakkında bir kılavuz (Etik Olarak Uyumlu Tasarım hakkında kılavuzlar) yayınlamaya başladı. ACM ayrıca AAAI'nin SIGAI ekibiyle işbirliği yaptı ve 2017'de ortaklaşa bir AIES (AI, etik ve toplum) konferansı düzenledi.
AB de bu konuya büyük önem veriyor. Bu yıl, müttefikler ve endüstri liderleri, AI ve robotik araştırma merkezine 3 milyar euro katkıda bulundular ve Avrupa Parlamentosu, kamuoyunun açıkça görüşlerini almak ve AI ve robotik için taslak hukuki sorumluluk çerçevesini tartışmak için iki toplantı düzenledi.
AGI, insanlığın karşı önlemler hazırlaması için 50 yıldan az bir süre bırakabilir.
Umarım sonunda AGI ve insanlar birlikte yaşayabilir
Son olarak, AGI güvenlik incelemesinin tam metni eklenmiştir:
https://arxiv.org/abs/1805.01109
Yazar, NetEase News · NetEase'in "Every Attitude" adlı kitabının sözleşmeli yazarıdır
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
