Zhou Xingchinin rüya gören Arhat boks yöntemi, şimdi yapay zeka da öğrendi: rüyalarda pratik yapın, gerçek dövüş için uyanın
İçbükey tapınaktan Xia Yi
Qubit Üretildi | Genel Hesap QbitAI
"Sleeping Dream Arhat Boks" u duydunuz mu?
"Wu Zhuangyuan Su Qier" filminde Zhou Xingchi, rüyasında yaşlı bir dilenci tarafından öğretildi ve Luohan boksunda uyumayı öğrendi.
Sadece uyudum ve dövüş sanatlarında en iyisi olmak için uyandım.
Uyurken okurken birçok öğrenci bağırıyor olabilir ... Gerçekte kaç kişi olabilir?
Beklenmedik bir şekilde, şimdi yapay zeka öğrendi.
Şu anda, yapay zeka endüstrisindeki iki büyük inek: Google Brain ekibinden David Ha (Goldman Sachs'ın genel müdürü pozisyonundan yapay zeka araştırmasına döndü) ve Swiss AI Lab'den Jürgen Schmidhuber (LSTM'nin babası olarak bilinir) ortaklaşa yayınladı. Araştırma sonuçları:
Dünya Modelleri (Dünya modeli).
Kısacası, AI'ya rüyalarda "pratik yapmayı" öğrettiler.
Bir yapay zeka temsilcisi sadece hayal ettiği rüyalarda öğrenemez, aynı zamanda öğrenilen becerileri pratik uygulamalara da uygulayabilir.
Yapay zeka topluluğundaki bir grup meslektaş tebrik mesajları gönderdi.
Bazı insanlar da Inception'ın gerçeklik versiyonuyla meşgul olduklarını söyledi ve bir film afişi resmi yayınladı: Ha ve Schmidhuber'ın avatarları değiştirildi ...
Bu büyülü yetenek nedir?
Kübitleri iki büyük ineğin kağıtlarıyla birleştirerek açıklamaya çalışın.
Bir rüyada araba kullanmak
Gerçekte kullanılan rüyalar ortaokulunda üst düzey bir beceri olduğu söylenebilir, daha basit bir şeye bakalım:
Gerçekte öğrenin ve rüyalarda kullanın.
David Ha ve Schmidhuber, yapay zekanın gerçek bir simüle edilmiş ortamda araç kullanmayı öğrenmesine izin verdi ve sonra bunu "rüyaya" koydu, hadi şu öğrenme sürecine bir göz atalım:
Gerçek simüle edilmiş bir ortamda ilk sürüş:
Elbette yukarıdaki resim bir insan perspektifi. Bu öğrenme sürecinde, AI'nın gördüğü dünya şu şekildedir:
Eğitimli yapay zeka temsilcisini yapay zeka rüyasına sokun, o hala sürüyor:
Bu rüya nasıl ortaya çıktı? Bu konuyu açıklığa kavuşturmak için kübitlerin öncelikle bu araştırmanın yöntemini kısaca tanıtması gerekir. Oluşturdukları aracı üç bölüme ayrılmıştır: çevreleyen dünyayı gözlemlemek için görsel bir model, gelecekteki durumu tahmin etmek için bir bellek modeli ve eylemden sorumlu bir denetleyici.
Rüya görmekten sorumlu ana güç hafıza modelidir. Kullandıkları bellek modeli MDN-RNN'dir. Bu sinir ağı, Google Brain'den SketchRNN'nin bitirmediğiniz çöp figürünün bir kedi mi yoksa bir çiçek mi olduğunu tahmin etmesini sağlar.
Sürüş süreci sırasında, sürüş sahnesini "hayal etmek" ve çevrenin bir sonraki durumu olan mevcut duruma göre bir sonraki seferin olasılık dağılımını oluşturmaktan bellek modeli sorumludur ve görsel model bu durumu bir görüntüye dönüştürmekle sorumludur. Bunların kombinasyonu başlangıçta "dünya modeli" dediğimiz şeydir.
Daha sonra modeldeki kontrolör, bellek modeli tarafından oluşturulan yanlış ortamda sürüş yapabilir.
Doom oynamayı hayalinde öğren
Araba sürmeyi hayal etmek kolaydır, ancak iki büyük ineğin araştırması açıkça bunun ötesine geçer. Yapay zeka tarafından hayal edilen ortam gerçeğe yakın olduğu için teorik olarak araştırmalarının nihai hedefi de ulaşılabilir: Yapay zekanın rüyalarda becerileri öğrenmesine izin verin ve sonra bunları gerçekte kullanın.
Bu sefer, Doom oynarken yapay zeka pratiğine adanmış bir platform olan VizDoom'u kullandılar.
"Rüya görmenin" ana gücü, daha önce bahsettiğimiz bellek modelidir. Yarış arabalarından biraz farklı olarak, artık bu sanal ortamı olabildiğince gerçekçi hale getirmek için sadece çevrenin bir sonraki durumunu tahmin etmekle kalmıyor, aynı zamanda AI aracısının bir sonraki durumunun ölü mü yoksa diri mi olduğunu tahmin etmesi gerekiyor.
Böylelikle yoğun öğrenim eğitimi için ihtiyaç duyulan bilgiler tamamlanmış, rüyalarda eğitim, GO!
Rüya dünyası, gerçek ortamda gerekli unsurları yeniden üretir.Gerçek VizDoom ile aynı oyun mantığına, fizik kurallarına ve (daha belirsiz) 3B grafiklere sahiptir.Ayrıca, gerçek ortam gibi ateş topu atan canavarlara da sahiptir. AI ajanları öğrenmelidir. Bu ateş toplarından kaçının.
Daha havalı olan ise, bu rüyanın ateş topunun daha düzensiz uçması gibi bazı belirsiz faktörler ekleyebilmesidir. Bu sayede rüya oyun gerçek ortama göre daha zordur.
Rüyada eğitim aldıktan sonra AI, becerilerini denemek için gerçek VizDoom'a gidebilir:
Yapay zekanın VizDoom'daki performansı oldukça iyi. 100 ardışık testte 1100 kareyi aştı, bu 150 karelik karşılaştırma puanından çok daha yüksekti.
Gerçekten 666 ...
Bunu nasıl yaptın?
Kullandıkları yöntem, basitçe RNN ve denetleyicinin bir kombinasyonudur.
Bu araştırma, ajanı iki tür modele ayırır: büyük ölçekli dünya modelleri ve küçük ölçekli kontrolör modelleri Bu şekilde, takviye öğrenme problemlerini çözmek için büyük ölçekli bir sinir ağı eğitilir.
Spesifik olarak, önce ajanın denetimsiz bir şekilde olduğu dünyanın modelini öğrenmek için büyük bir sinir ağını eğitiyorlar ve daha sonra görevleri nasıl çözeceklerini öğrenmek için bu dünya modelini kullanmak üzere küçük bir denetleyiciyi eğitiyorlar.
Bu şekilde, denetleyicinin eğitim algoritmasının yalnızca küçük bir arama alanında güven dağılımına odaklanması gerekir ve büyük ölçekli dünya modeli, tüm aracının yeteneğini ve ifade edilebilirliğini garanti eder.
Buradaki dünya modeli iki bölümden oluşmaktadır, biri Görsel model (V) , Gözlemlenen yüksek boyutlu bilgileri düşük boyutlu bir gizli vektöre kodlamak için kullanılır; biri Bellek RNN (M) , Tarihsel kodlama ile gelecekteki durumu tahmin etmek için kullanılır. Kontrolör (C) İyi eylemler seçmek için V ve M karakterizasyonunu kullanın.
Yukarıda bahsettiğimiz sürüş ve Doom deneylerinde, görsel model V, varyasyonel bir otomatik kodlayıcı olan bir VAE kullanır; bellek modeli M, Google Brain'in basit vuruşlar yapmanıza izin verdiği SketchRNN ile aynı olan MDN-RNN'yi kullanır; kontrol Cihaz C, basit bir tek katmanlı doğrusal modeldir.
Bu üç modeli bir araya getirmek, bu araştırmadaki ajanın algıdan karar vermeye kadar tüm sürecini oluşturur:
Görsel model V, her bir zaman adımında ortamın orijinal gözlem bilgisinin işlenmesinden sorumludur ve daha sonra bu bilgileri, aynı zamanda adımda M bellek modelinin gizli durumu ht ile seri olarak bağlanan ve C denetleyicisine girilen gizli bir vektör zt'ye kodlar ve sonra C çıkış davranış vektörü.
Daha sonra M, bir sonraki ht + 1'i oluşturmak için gizli durumunu mevcut zt ve at değerine göre günceller.
Bunun ne yararı var?
Yapay zekanın "rüya görmesi" ve "rüyalarda" öğrenmesi için birçok pratik kullanım vardır.
Örneğin, yapay zekaya oyun oynamayı öğretirken, doğrudan gerçek ortamda eğitim alırsanız, görüntünün her karesinde oyun durumunu işlemek veya oyunla çok az ilgisi olan fiziksel kuralları hesaplamak için çok fazla bilgi işlem kaynağı harcarsınız. Bu "rüya görme" yöntemiyle, yapay zekanın kendisi tarafından soyutlanmış ve tahmin edilmiş ortamda çok fazla bilgi işlem kaynağını tüketmeden onu tekrar tekrar eğitebilirsiniz.
Bu çalışmada, sinirbilimin sonuçlarını da kullandılar.Ana duyu nöronları başlangıçta engellenir ve ödül aldıktan sonra serbest bırakılır, yani sinir ağı esas olarak görevle ilgili özellikleri öğrenir.
Gelecekte, daha yararlı ve yorumlanabilir özellik temsilleri elde etmek için VAE'ye denetimsiz bir bölümleme katmanı eklemeyi planlıyorlar.
İlgili Bağlantılar
kağıt : Https://worldmodels.github.io/
Açıklama: World Models devam eden bir araştırma projesidir.İki büyük inek bir dizi makale yazmayı planladıklarını söylediler, bu sadece birincisi. Ayrıca bu proje için özel olarak GitHub hesabı açtılar, takip etmeye devam edebilirsiniz: https://github.com/worldmodels
Ek olarak, yukarıdaki demo p5.js ve deeplearn.js'ye dayanmaktadır. Yazar ayrıca Google Brain ekibinin diğer üyelerine, distill.pub'a ve diğer araştırmacılara destekleri için teşekkür ediyor.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
