DeepMind ve Blizzard ortaklaşa geliştirme araçları yayınladı ve veri setlerini yeniden oynatarak daha fazla yapay zeka araştırmacısının StarCraft 2 oynamasına izin verdi
Leifeng.comun AI Teknolojisi Yorumu: Geçen yılın sonunda herkes DeepMindın yapay zekasının Yıldızlararası oynamaya başlamak üzere olduğunu biliyordu. Bugün DeepMind ayrıca bu alandaki başarılarını tanıtmak için resmi olarak makaleler ve ilgili blog gönderileri yayınladı. Onlar ve Blizzard ortaklaşa yayınladı Daha fazla araştırmacının StarCraft 2 oynamasına (yapay zekaya izin verin) katılmasını kolaylaştırmak için bir dizi araç oluşturuldu. Leifeng.com AI Technology Review aşağıdaki gibi derlenmiştir.
DeepMind'ın her zaman böyle bilimsel bir hedefi olmuştur: Yapay zekanın ön saflarında sürekli ilerlemek için karmaşık sorunları çözmeyi öğrenebilen bir sistem kurmak. Bu amaçla, DeepMind çeşitli aracılar geliştirdi ve daha sonra bunları kendi inşa ettiği DeepMind Lab platformunda çeşitli ortamlarda test etti.
Önemli bir test ortamı türü oyunlardır. Yapay zeka araştırmaları için özel olarak tasarlanmamış olsalar da, sonuçta insanlar çok iyi oynayabilir ve aynı zamanda yapay zeka performansını değerlendirmek için önemli bir yöntemdir. Hem Go hem de Atari oyunlarında daha yetkin hale geldikten sonra, DeepMind yeni oyundaki araştırma sürecini tanıttı: StarCraft 2.
-
DeepMind ve Blizzard, yapay zekanın Learning StarCraft 2'nin RTS oyununu oynamasına nasıl izin verileceğini araştırmaya yardımcı olacak bir araç olan SC2LE'yi birlikte yayınladı. Bu sefer piyasaya sürülen SC2LE şunları içerir:
-
Blizzard tarafından geliştirilen bir makine öğrenimi API'si, araştırmacıların ve geliştiricilerin oyunlara erişmesine yardımcı olabilir. Ayrıca, Linux üzerinde ilk kez çalışan araçları da içerir.
-
Şu anda sadece 65.000 oyun olan anonim bir oyun tekrar oynatma veri kümesi, önümüzdeki birkaç hafta içinde yaklaşık 500.000 oyuna çıkacak.
-
DeepMind'in araç seti PySC2'nin açık kaynaklı sürümü, araştırmacılar aracının Blizzard'ın özellik katmanı API'sini kolayca kullanmasına izin vermek için onu kullanabilir.
-
DeepMind ve Blizzard tarafından ortaklaşa tamamlanan ve kabaca ortamın kompozisyonunu, test oyununda elde edilen ilk karşılaştırma sonuçlarını, tekrardan öğrenmenin nasıl denetleneceğini ve oyunun yerleşik yapay zekasıyla 1v1 merdiven yüzleşmesini tanıtan bir makale.
Interstellar ve Interstellar 2, tüm oyunların en büyük ve en başarılı grubu olarak kabul edilebilir.Oyuncular 20 yıldan fazla bir süredir bu oyunlarda savaşıyorlar. Sadece StarCraft 2 değil, ilk nesil StarCraft da yapay zeka ve makine öğrenimi araştırmacıları tarafından bir test ortamı olarak kullanılıyor.AIIDE, her yıl yapay zeka yıldızlararası bir yarışmaya ev sahipliği yapacak. StarCraft'ın bu kadar uzun ömürlü olmasının nedeni, onu ideal bir yapay zeka araştırma ortamı yapan zengin, çok katmanlı oyun sürecinden kaynaklanıyor.
Örneğin, StarCraft'ın nihai amacı rakibi yenmektir, ancak oyuncunun yine de kaynakları toplamak ve binalar inşa etmek gibi bir dizi alt hedefi gerçekleştirmesi ve aralarında bir denge bulması gerekir. Dahası, bir oyunda harcanan süre birkaç dakika kadar kısa ve bir saat kadar uzundur, bu nedenle oyunun erken aşamalarında yapılan eylemler, karşılık gelen kazanımları uzun süre göremeyebilir. Son olarak, haritadaki alanın yalnızca bir kısmı görülebilir ve temsilcinin zafere ulaşmak için hafıza ve planlama yeteneklerini kullanması gerekir.
Ek olarak, bu oyunun araştırmacılar için çekici olan başka yönleri de var.Örneğin, oyunda her gün çevrimiçi olarak savaşan birçok oyuncu var. Bu, temsilcinin öğrenmesi için büyük miktarda tekrar verisi olmasını sağlar ve temsilcinin gelecekte öğrenebileceği birçok yetenekli rakibi olacaktır.
Bununla birlikte, StarCraft'ın çalışması bile küçük bir zorluk değildir.Her an seçilebilecek 300'den fazla temel işlem vardır. Bu, 10'dan fazla isteğe bağlı eylemin (yukarı, aşağı, sol ve sağ gibi) olmadığı Atari oyunundan açık bir farktır. Bu temelde, StarCraft'taki işlemler de hiyerarşiktir, değiştirilebilir ve geliştirilebilir, çoğu ekrana tıklamayı gerektirir. 84x84 gibi küçük bir ekran olsa bile, tüm olası işlemlerin toplamı yüz milyonları buluyor.
Bu aracın piyasaya sürülmesinden sonra, araştırmacılar yukarıda bahsedilen sorunlardan bazılarını çözmek için Blizzard'ın kendi araçlarını kullanabilir, böylece kendi görevlerini ve modellerini daha rahat bir şekilde oluşturabilirler.
DeepMind'in PySC2 aracı, ortamı sınıflandırabilir ve paketleyebilir, böylece oyun oynamalarına yardımcı olacak pekiştirici öğrenme aracıları için esnek ve kullanımı kolay bir arayüz sağlar. Bu sürümün ilk sürümünde, PySC2, oyundaki farklı öğeleri farklı "özellik katmanlarına" böler; farklı birim türleri, sağlık, harita görünürlüğü vb. Gibi, oyun korunurken birbirinden ayrılacaktır. Temel görsel ve mekansal öğeler.
SC2LE araç seti ayrıca, tüm oyunu birden çok farklı kontrol edilebilir bölüme ayıran bir dizi test mini oyunu içerir, böylece temsilcinin performansını perspektif değiştirme, madencilik veya birim seçme gibi belirli görevlerde test edebilirsiniz. . Araştırmacılar, teknolojilerini bu tür mini oyunlarda test edebilir ve aynı zamanda, daha fazla araştırmacının rekabet etmeye ve değerlendirmeye devam edebilmesi için daha fazla test mini oyunu oluşturmaya yardımcı olabilirler.
DeepMind'in mevcut araştırma ilerlemesine dayanarak, temsilcileri bu tür göreve özgü mini oyunlarda zaten iyi performans sergileyebilir, ancak tüm oyunda, A3C gibi nispeten güçlü bir kıyaslama yapay zekası bile "basit" i geçemez. Oyunda yerleşik AI var. Örneğin aşağıdaki animasyonda soldaki, madencilerin madencilik yapmasına izin veremeyen erken eğitimli bir ajandır.Bu konu insanlar için zahmetsizdir. Temsilciler eğitimden sonra anlamlı eylemler gösterirler, ancak rekabetçi olacaklarsa derin pekiştirmeli öğrenmede ve ilgili alanlarda daha büyük atılımlar yapmaları gerekir.
DeepMind'daki araştırmacılar, temsilcilerin öğrenmeyi taklit ederek daha güçlü stratejiler öğrenmesine izin veren bir teknik keşfettiler. Bu öğrenme yöntemi yakında Blizzard'ın yardımıyla kolaylaşacak ve StarCraft 2 merdiveninde yüz binlerce anonim oyun tekrarını yayınlamaya devam edeceklerine söz verdiler. Bu, araştırmacıların yalnızca denetimli öğrenme yöntemleriyle aracıları eğitmesine izin vermekle kalmaz, aynı zamanda sıra tahmini, uzun süreli bellek ve diğer araştırma alanları için olanaklar sağlar.
DeepMind, bu yeni çıkan araçların, yapay zeka ailesinin yıldızlararası oyunların mevcut araştırma sonuçlarını bir adım öteye taşımasına, daha fazla insanı derin takviyeli öğrenme araştırmalarına katılmaya teşvik etmesine ve araştırmacıların alana ayak uydurmasını kolaylaştıracağını umuyor. Sınır geliştirme. DeepMind ayrıca yapay zeka ailesinden bazı harika keşifler bekliyor.
Kağıt adresi: https://deepmind.com/documents/110/sc2le.pdf
PySC2 github adresi: https://github.com/deepmind/pysc2
Blizzardın StarCraft 2 API adresi (Linux sürüm bilgileri, oyunun tekrarı ve diğer ilgili içerik dahil): https://github.com/Blizzard/s2client-proto
DeepMind Research Blog, Leifeng.com, AI teknolojisi inceleme derlemesi aracılığıyla
