g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

AI güvenlik farkındalığını "küçükten" geliştirin: Güvenlik kısıtlamaları olan OpenAI açık kaynak RL eğitim araçları

Aufei Tapınağı'ndan Balık ve Koyun Qubit Raporu | Genel Hesap QbitAI

Takviye öğrenme (RL) çok güçlüdür ve tavuk hırsızları stratejilerini kullanabilen yıldızlararası usta oyuncuları eğitebilir.

AlphaStar topa hücum oynadı

Ancak pekiştirmeli öğrenme de çok tehlikelidir, çünkü rutini Sınırsız keşif , Genellikle bazı çılgın ve tehlikeli girişimler olur.

Ancak gerçek ortamda, bazı deneme yanılma kabul edilemez. Hiç kimse yapay zekanın tekrarlanan kazalar yoluyla kazalardan kaçınmayı öğrendiğini görmek istemez.

Gaowan OpenAI, yoğun öğrenmeyi sanal ortamdan gerçek hayata geçirmek için yoğun öğrenim dünyasında şunları söyledi: Güvenlik bilinci "küçükten" anlaşılmalıdır.

Yani açık kaynaklı Güvenlik Spor Salonu .

Bu, takviye öğrenme aracısının eğitim süreci boyunca güvenlik ilkelerini takip edip etmediğini değerlendirebilen ve eğitim süreci sırasında AI tarafından üretilen tüm garip ve garip fikirleri "boğan" bir dizi güvenlik kısıtlamalı eğitim ortamı ve aracıdır.

Diğer bir deyişle, eğitim sürecinde AI, bazı tabuların dokunulmaz olduğunu anlamaları için kısıtlanmalıdır.

Güvenlik Spor Salonu

Güvenlik bilincini geliştirmek istiyorsanız, güvenlik düzenlemeleri vermelisiniz. Pekiştirmeli öğrenmede, bunu ne yapabilir? Kısıtlı Pekiştirmeli Öğrenme (Kısıtlı RL) .

Kısıtlı pekiştirmeli öğrenme, sıradan pekiştirmeli öğrenme gibi ödül işlevini en üst düzeye çıkarmanın yanı sıra, aracıyı kısıtlamak için bir maliyet işlevi de ekler.

Örnek olarak otonom sürüşü ele alalım. Yapay zekanın görevi A noktasından B noktasına olabildiğince çabuk ulaşmaktır. Süre ne kadar kısa olursa ödül o kadar büyük olur.

Sonuç olarak, ödül yeterince yüksek olduğu sürece, AI çarpışmayı tamamen göz ardı edecek veya etmeyecektir.

Kısıtlı pekiştirmeli öğrenmede, bir ceza eklenir: kabul edilemez bir tehlikeli davranış ortaya çıkarsa, aracı bunu yapmayı bırakana kadar cezalandırılır.

Güvenlik Spor Salonunun doğuşu, pekiştirmeli öğrenmenin güvenlik araştırmasını kısıtlamaktır.

Safety Gym ortamında, üç robot önceden ayarlanmıştır:

Nokta : İki boyutlu bir düzlemde sınırlandırılmış, ileri veya geri dönebilen basit bir robot.

Araba : İki bağımsız olarak tahrik edilen paralel tekerlek ve serbest dönen bir arka tekerlek vardır. Araba döndüğünde, ileri veya geri hareket ettiğinde, iki sürücüyü koordine etmesi gerekir.

Doggo : Dört ayaklı bir robot için, her bir bacağın gövde ile temas halinde olduğu, sırasıyla gövdeye göre azimut ve yükseklik açılarını kontrol eden iki kontrol vardır; ayrıca diz üzerinde açıyı kontrol etmek için bir kontrolör vardır.

Ve her biri iki zorluk seviyesine sahip üç ana görev:

Hedef : Robotun bir dizi hedef konuma hareket etmesine izin verin.

Düğme görevi (Düğme) : Robotun bir dizi hedef düğmeye basmasına izin verin.

Parazit altında düğmeye basın

Sokoban görevi (İtme) : Robotun kutuyu bir dizi hedef konuma itmesine izin verin.

Ek olarak, Güvenlik Spor Salonunda beş ana güvenlik kısıtlama unsuru vardır: tehlikeli alanlar, kırılgan vazolar, düğmeler, sütunlar ve küçük canavarlar.

Bu öğeler serbestçe birleştirilebilir ve kullanıcılar eğitim ortamına herhangi bir sayıda öğe ekleyebilir ve hedeflenen kısıtlamalar belirleyebilir.

Her zaman adımında, ortam her güvenli olmayan öğe için ayrı bir maliyet sinyali sağlayacak ve bütünü yansıtan bir toplam maliyet sinyali sağlayacaktır.

Mevcut eğitim ortamıyla karşılaştırıldığında, Güvenlik Spor Salonu ortamı daha zengindir ve görevler daha zor ve karmaşıktır.

Kıyaslamalar

OpenAI, Safety Gym'i kullanıma hazır bir araç haline getirmek için, bir dizi standart takviye öğrenme algoritmasını ve kısıtlı takviye öğrenme algoritmalarını değerlendiren, buna dayalı standart bir yöntem de önerdi: PPO, TRPO, PPO ve TRPO pull Grange ceza versiyonu ve kısıtlı politika optimizasyonu (CPO).

Temel ortam

Sonuçlar, Safety Gym'de en basit görevlerin çözülmesinin kolay olduğunu ve hızlı bir şekilde yinelenebileceğini göstermektedir. En zor görev, mevcut teknoloji için hala oldukça zordur.

OpenAI, gelecekte Güvenlik Spor Salonunun geliştiriciler tarafından sistemi test etmek ve bir güvenlik standardı haline getirmek için kullanılan değerlendirme programına entegre edilebileceğini umuyor.