Yapay Zeka ve "StarCraft": Çok Aracılı Oyun Araştırmalarında Yeni İlerleme
Giriş
Mart 2016'da Deepmind bilimsel araştırma ekibinin Go programı AlphaGo, Güney Kore Go dünya şampiyonu Lee Sedol'u 4: 1 puanla mağlup etti.Bu araştırma sonucu küresel ölçekte büyük bir sansasyon yarattı ve yapay zeka araştırması bir kez daha dünyanın ilgisini çekti. Go'nun zorlu görevinin üstesinden geldikten sonra Deepmind, araştırma odağını daha karmaşık bir alan-çoklu ajan oyununa kaydırdı ve bunu StarCraft II'nin oyun ortamına dayalı olarak geliştirmek için Amerikan video oyun şirketi Blizzard Entertainment ile işbirliği yaptı. Üst düzey yapay zeka araştırmalarının yapılabileceği bir öğrenme ortamı. Bu alanın mevcut yapay zeka araştırma alanındaki en zorlu problemleri bir araya getirdiği gerçeği göz önüne alındığında, yurtiçi ve yurtdışındaki birçok bilimsel araştırma kurumu da bu alana yatırım yapmak için rekabet halindedir. Çok ajanlı oyun oyunları, yapay zeka araştırmaları alanında büyük bir araştırma değerine sahip olmakla kalmaz, aynı zamanda sosyal yönetim, akıllı ulaşım, ekonomi ve askeri alanlarda da büyük potansiyel uygulama değerine sahiptir.
Mevcut durum için ne mükemmel bilginin ne de eksiksiz bilginin mevcut olmadığı karmaşık dinamik ortam veya dinamik değişiklikler, yapay zeka araştırmasına önemli zorluklar getiriyor. Gerçek toplumdaki karayolu trafik sistemleri, hava durumu tahminleri, ekonomik tahminler, akıllı şehir yönetimi ve askeri karar verme gibi birçok büyük ölçekli ve karmaşık dinamik çevre sorununun tümü örneklerdir. Ancak, bu pratik sorunları modellemek ve simüle etmek çok zordur. Aynı zamanda, bir dizi gerçek zamanlı strateji oyunu, gerçek ortama benzer bir simülasyon ortamı, eksik ve eksik bilgi, uzun vadeli planlama ve karmaşık konularda karar verme sağlar. Bu gerçek zamanlı strateji oyun ortamları, yalnızca gerçek sorunların temel zorluklarını simüle etmekle kalmaz, aynı zamanda doğru değerlendirme, hızlı yineleme, kolay etkileşim ve dağıtım ve tekrarlanabilirlik özelliklerine sahiptir ve pratik sorunları çözmek için mükemmel bir araştırma platformu sağlar. Bu nedenle, gerçek zamanlı strateji oyun ortamına dayalı araştırma çalışmaları, yapay zeka teknolojisinin geliştirilmesi ve karmaşık pratik sorunların çözümü için büyük önem taşımaktadır. Pek çok araştırma platformu arasında StarCraft, zengin çevresel bilgileri ve gerçekçi çevre sahneleri nedeniyle teorik araştırma ve yöntem doğrulama için yaygın olarak kullanılan bir platform haline geldi.
Gerçek zamanlı strateji oyunu-StarCraft, gerçek zamanlı yüzleşme, büyük arama alanı, eksik bilgi oyunu, çok heterojen ajan işbirliği, mekansal-zamansal muhakeme, çoklu karmaşık görevler, uzun vadeli küresel planlama vb. Özelliklere sahiptir ve bunlar yapay zeka alanında da son derece zorlayıcıdır. Zor problem. StarCraft'ın ilk sürümü resmi olarak 1998'de piyasaya sürüldüğünden beri, birçok araştırmacı bir yapay zeka araştırma ortamı olarak üzerinde çok fazla araştırma yaptı. 2010 yılından itibaren StarCraft yapay zeka oyun programları için bazı uluslararası yarışmalar yapılmaya başlandı ve çok sayıda yapay zeka araştırma ve uygulama sonucu yayınlanmaya başladı. 2016 yılından bu yana, StarCraft'ta derin öğrenme uygulaması güçlü bilgi işleme ve karar verme yetenekleri göstermiştir.O zamandan beri, bu araştırma alanına daha derin öğrenme ve derin takviye öğrenme algoritmaları uygulanmıştır. StarCraft'a dayalı bir dizi yapay zeka araştırması, makine öğrenimi, derin öğrenme, oyun teorisi, çok ajanlı işbirliği stratejileri ve diğer araştırma alanlarının gelişimini büyük ölçüde teşvik etti ve özellikle son iki yılda StarCraft ile ilgili araştırma sonuçlarını özetledi. Bu araştırma alanındaki araştırma ilerlemesini ve eğilimlerini kavramaya yardımcı olacak ve bu alanla ilgili araştırmalar için referanslar sağlayacak yeni araştırma teorileri ve üretilen sonuçlar sıralanacaktır.
Özetle, bu makale esas olarak aşağıdaki çalışmayı gerçekleştirdi. Önce StarCraft oyun ortamını tanıtın ve Yapay Zeka Enstitüsü'ne getirdiği zorlukları analiz edin. Daha sonra StarCraft ile ilgili araştırma birimlerinin güncel araştırma sonuçları tanıtılır ve bu alandaki ilgili araştırma yöntemleri sınıflandırılır. Bu temelde, StarCraft yapay zeka araştırmalarıyla ilgili kaynaklar, araştırma platformları, veri setleri ve otonom oyun programı yarışmaları dahil olmak üzere listelenir. Son olarak, StarCraft ile ilgili alanlarda gelecekteki uygulanabilir araştırma yönleri tahmin edilmektedir.
PART02 Starcraft ve yapay zeka
Gerçek zamanlı strateji oyunu-StarCraft
Şekil 1 StarCraft I rekabet ortamı
Şekil 2 StarCraft II oyun ortamı
StarCraft, oyuncuların seçmesi için üç tür karakter sağlar: Terran, Zerg ve Protoss. Her yarış, yaşam karakterleri, savaş ekipmanları ve işlevsel binalar gibi birden fazla birim türü içerir. Üç rolün kendine has özellikleri vardır:
Terran: Terran birimi esnek ve çeşitlidir, Zerg ve Protoss'un özelliklerini dengeler ve ikisinin performansının bir dengesidir. Savaş birimleri ve binaları arasında denizciler, kuşatma tankları, kruvazörler ve füze fırlatma kuleleri bulunur.
Zerg'ler: Zerg'ler hızla çoğalır, az kaynak gerektirir, zayıf birim yeteneklerine sahiptir, ancak hızlıdır ve genellikle gruplar ve sayılar halinde yüzleşmeden yararlanırlar. Savaş birimleri ve binaları arasında köpek yavrusu, hamamböceği, uçan ejderha, spor kulesi vb.
Protoss: Protoss'un üreme oranı yüksek değil, ancak birim yüksek düzeyde bir teknolojiye ve güçlü bir yeteneğe sahip, bu nedenle çok fazla kaynak gerektiriyor Stratejinin kalitesi, yüzleşmeden yararlanmak için genellikle niceliğin yerini alıyor. Savaş birimleri ve binaları arasında Fanatics, Templars, Phoenix Fighters, Photon Cannonlar vb. Bulunur.
Çok oyunculu yüzleşme modunda, oyuncuların daha fazla üretim, savunma ve diğer binalar inşa etmek ve daha fazla savaş birimi üretmek ve birim ve savaş birimleri inşa etme becerilerini geliştirmek için mineraller, doğal gaz veya dağınık ödüller gibi kaynakları mümkün olduğunca toplamaları gerekir. Seviye, kazanmak için en kısa sürede düşmanı ortadan kaldırın.
StarCraft araştırmasının zorlukları ve yapay zeka araştırmalarına yönelik zorlukları
Tahta oyunlarına kıyasla, çok ajanlı gerçek zamanlı strateji oyunları üzerine araştırma yapmak daha zordur, özellikle aşağıdaki noktalara yansır.
(1) Birden fazla oyuncunun bir arada bulunması ve birden çok heterojen ajanın işbirliği. Oyunun iki tarafının dönüşümlü olarak eylemler gerçekleştirdiği masa oyunlarının aksine, gerçek zamanlı strateji oyunlarında, birden fazla oyuncu aynı anda oyun planının gelişimini destekler ve farklı oyuncular aynı anda eylemler gerçekleştirebilir. Oyunda farklı rol birimleri ve işlevsel binalar var ve her bir birimin işlevinin nasıl daha iyi oynanacağı da dikkate alınması gereken bir sorundur.
(2) Gerçek zamanlı yüzleşme ve eylem sürekliliği. Gerçek zamanlı strateji oyunları "gerçek zamanlı" dır, yani oyuncuların kısa sürede karar vermesi ve harekete geçmesi gerekir. Oyuncuların birkaç dakikalık karar verme süresine sahip olduğu tahta oyunlarının aksine, StarCraft oyun ortamı saniyede 24 kare sıklığında değişir, bu da oyuncuların 42 milisaniyeden daha az bir frekansta hareket edebilecekleri anlamına gelir. Ortam değiştiğinde oynatıcı tarafından her 8 karede bir gerçekleştirilen bir eylemin ortalama düzeyine bakarsanız, oyuncunun yine de saniyede 3 eylem sıklığında oynaması gerekir. Sadece bu değil, oyuncuların çıkardığı eylemler belirli bir süreklilik derecesine sahiptir ve belirli bir süre boyunca sürekli olarak yürütülmesi gerekirken, tahta olmayan oyuncuların eylemleri aralıklı, ani ve anlıktır.
(3) Eksik bilgi ve güçlü belirsizlik oyunu. Çoğu gerçek zamanlı strateji oyunu kısmen gözlemlenebilir ve oyuncular haritanın yalnızca keşfettikleri bir kısmını gözlemleyebilirler. StarCraft'ta savaş sisinin varlığından dolayı oyuncular kontrol ettikleri oyun karakterinin sadece mevcut ortamını görebilirler ve diğer çevresel bilgiler elde edilemez. Ve masa oyunu oyuncuları tüm tahtanın durumunu anlayabilir. Gerçek zamanlı strateji oyunlarının çoğunda belirsizlik vardır, yani karar alma sürecinde alınan eylemlerin kesin zafere götürme olasılığı vardır.
(4) Büyük arama alanı ve çok sayıda karmaşık görev. Gerçek zamanlı strateji oyunları daha karmaşıktır ve durum uzayının ölçeği ve her karar verme bağlantısı için seçilebilir eylem dizileri çok büyüktür. Örneğin, durum uzayı açısından, bir genel tahta oyununun durum uzayı yaklaşık 1050, Texas Hold'em'in durum uzayı yaklaşık 1080'dir ve Go'nun durum uzayı 10170'dir. Ve tipik bir StarCraft haritasındaki durum alanı, tüm bu satranç oyunlarının durum uzayından birkaç kat daha büyüktür. Örnek olarak tipik bir 128 × 128 piksel harita alın.Herhangi bir zamanda haritada 5 ila 400 birim olabilir ve her birimin karmaşık bir dahili durumu olabilir (kalan enerji ve isabet değeri ve çıkarılacak eylemler). Vb), bu faktörler son derece büyük olası durumlara yol açacaktır. Sadece haritadaki her bir birimin olası konumu dikkate alınsa bile, 400 birimin (128 × 128) 400 = 16384400101685 olasılıkları vardır. Karmaşıklığı hesaplamanın bir başka yolu da oyunun karmaşıklığını bd ile hesaplamaktır; burada satranç b35, d80, Go b30 ~ 300, d150 ~ 200 ve StarCraft b aralığı 1050 ~ 10200, d36000.
Şekil 3 Çok aracılı gerçek zamanlı strateji oyunlarının zorlukları ile yapay zeka araştırmalarının zorlukları arasındaki karşılık gelen ilişki
(1) Çok ölçekli planlama ve çok seviyeli karar verme tutarlılığı. Bir yandan, çok aracılı oyunlarda devasa durum alanı ve çıktı eylemleri nedeniyle, oyun ağacı arama gibi genel yüzleşme planlama yöntemleri artık talebi karşılayamaz.Çok aracılı gerçek zamanlı strateji oyunları, çok ölçekli planlama gerektirir. Öte yandan, gerçek zamanlı kısıtlamalar, çok sayıda düşük seviyeli eylem planının ve çok heterojen ajanlar için yüksek seviyeli küresel karar verme hedeflerinin tutarlı bir şekilde birleştirilmesinde büyük zorluklar getirir. Zorluk, hesaplama verimliliğini hesaba katan karmaşık bir çok amaçlı optimizasyon tasarlamada yatmaktadır. Yöntem, nihayet, çoklu temsilcilerin genel eylemlerinin gerçek zamanlı tutarlılığını oluşturur.
(2) Çok kanallı strateji öğrenimi. Çekişmeli planlama tekniklerine ek olarak, bazı araştırma ekipleri üç strateji öğrenme problemi içeren çok kanallı strateji öğrenme tekniklerine odaklanmıştır. Birincisi, önceden öğrenmektir, yani mevcut oyun tekrarları, belirli haritalar için mevcut uygun stratejiler vb. Gibi mevcut verileri geliştirmektir. Zorluk, stratejilerin soyut ifadesinde ve bu stratejilerin gerçek oyun sürecinde makul bir şekilde nasıl seçilip uygulanacağında yatmaktadır. Ek olarak, belirli ortamlar için bu stratejilerin evrensel olup olmadığı da doğrulanmayı beklemektedir. İkincisi, oyun içi öğrenme, yani oyunun seviyesini iyileştirmek için oyun sürecinde çevrimiçi öğrenmedir.Bu teknolojiler, pekiştirmeli öğrenme yöntemlerini ve rakip modellemeyi içerir. Zorluk, büyük durum alanında ve gözlemlenebilirin bir kısmında yatmaktadır. Üçüncüsü, oyunlar arasında karşılıklı öğrenme, yani bir oyundan öğrenilen bilgilerin başka bir oyunda kazanma oranını artırmak için nasıl kullanılacağıdır. Bazı çalışmalar, önceden tanımlanmış bir strateji havuzundan uygun stratejileri seçmek için basit oyun teorisi yöntemlerini kullanır.Ancak, bu sabit stratejiler, belirli yüzleşme ortamına göre uyarlanabilir bir şekilde ayarlanamaz ve yükseltilemez, bu nedenle rekabet seviyesini sınırlar.
(3) Belirsizliği azaltın. Buradaki belirsizlik esas olarak iki bölümden oluşmaktadır. Birincisi, oyun kısmen gözlemlenebilir olduğundan, oyuncular genel durumu göremezler, bu yüzden daha fazlasını öğrenmek için keşfe çıkmaları gerekir. Zorluk, belirsizliği azaltmak için uyarlanabilir yeteneklere sahip iyi bir keşif stratejisi ve bilgi temsilinin nasıl tasarlanacağıdır. Ayrıca düşmanın stratejisi de bilinmediği için bu belirsizlik karar vermenin yanlışlığına neden olur ve yüzleşme stratejisi düşmanın stratejisine göre düzgün bir şekilde ayarlanamaz, bu nedenle rakibin niyetini tahmin etmek için iyi bir tahmin modeline ihtiyaç vardır.
(4) Uzay ve zamanda çok modlu ortak akıl yürütme. Mekansal muhakeme, farklı işlevsel binaların konumlarının, savunma ve saldırı binalarının konumlarının ve savaştaki muharebe birimlerinin konumlarının nasıl düzenleneceğini içerir. Ek olarak, her işlevsel birim farklı arazilerde farklı seviyelerde saldırı ve savunma işlevleri gerçekleştirebilir.Örneğin, tankların yüksek arazide daha geniş bir saldırı menzili vardır.Bunlar ayrıca uzamsal muhakemede dikkate alınması gereken faktörlerdir. Zaman muhakemesi, oyuncuların sadece mevcut savaşta düşmanı yenmek için taktikler benimsemeleri gerekmediği, aynı zamanda daha yüksek bir seviyede ve uzun vadeli kendi kaynaklarını nasıl ayarlayacaklarını, işlevsel binalar veya yükseltmeleri nasıl inşa edeceklerini ve stratejileri nasıl değiştireceklerini planlamaları gerektiği anlamına gelir. Bazı stratejiler kısa sürede sonuçları görebilirken, bazı stratejilerin yürürlüğe girmesi daha uzun zaman alabilir, bu nedenle uzun vadeli genel planlama ile kısa vadeli yerel planlama birliği gereklidir. Bunlar arasında, uzun vadeli strateji planlamasında, bazı stratejiler ancak uzun bir süre sonra etkili olur, böylece temsilci, öğrenme sürecinde uzun vadeli gecikmiş ödülden faydalı stratejiler öğrenemez. Ek olarak, uzamsal akıl yürütme ve zamansal akıl yürütme iki farklı akıl yürütme modu olduğundan, iki modu birleştiren bir akıl yürütme stratejisi oluşturmak gerekir.
(5) Alan bilgisi geliştirme. Gerçek zamanlı strateji oyunları yıllardır geliştirildi ve birçok kullanılabilir taktik hareket, kalıp ve strateji oluşturdu. Bu alandaki mevcut bilginin tam olarak kullanılması, otonom oyun programlarının rekabet düzeyini büyük ölçüde artırabilir. Bu alandaki ilk araştırmacılar, verilerde özetlenen stratejileri kodlara yazacak ve oyun programları bu derlenmiş kodlar arasından seçim yapabilecek. Son iki yıldaki çok sayıda oyun veri seti, makine öğrenimi için faydalı bilgiler elde etmek için kullanılabilir. Büyük miktarda veriden değerli stratejilerin nasıl çıkarılacağı ve otonom oyun programları için bir karar verme ağı nasıl oluşturulacağı büyük bir zorluk olmaya devam ediyor.
(6) Çok seviyeli görev ayrıştırma. Çok seviyeli görev ayrıştırma, çok aracılı oyun oyunlarının farklı alt görevlere ayrıştırılması anlamına gelir ve bu alt görevleri ayrı ayrı çözerek genel çözümün zorluğu azaltılır. Temelde şu bölümlere ayrılabilir: strateji, yani küresel bir kampanyada esas olarak hangi stratejinin kullanıldığı gibi üst düzey karar verme; taktikler, yani mevcut strateji, savaşta hangi stratejinin benimseneceği gibi kısa vadeli strateji; tepki kontrolü, yani savaş ve taktik uygulama , Savaşta ne tür bir mevkinin kullanılması gerektiği, ne tür bir silahın saldırılacağı vb. Gibi; esas olarak düşmanın konumu, savaş alanı, geçilebilir yollar, arazi ve diğer bilgileri içeren arazi analizi; esas olarak düşmanın inşası dahil olmak üzere akıllı bilgi toplama Ne tür bir bina, ne tür bir savaş birimi üretildiği ve hangi stratejinin benimsendiği hakkında bilgi. Bunun aksine, insan oyuncular StarCraft oynadığında, kararları genellikle mikro operasyonlar ve makro ölçekli operasyonlara bölünür. İnsanların karmaşık çok seviyeli görev ayrıştırma yapmasına gerek yoktur, yalnızca belirli oyun ortamına göre mikro veya makro işlemleri gerçekleştirmeleri gerekir.
BÖLÜM03 İlgili araştırma ve sonuçlar
Yapay zeka ve oyunların araştırma geçmişi 1950 yılına kadar izlenebilir. "Deep Blue", Mayıs 1997'de satranç ustası Kasparov'u mağlup ettiğinden beri, çok sayıda oyun programı, dama, Othello ve Scrabble gibi klasik oyunlarda dünya şampiyonlarını yendi. Derin sinir ağlarıyla konuşlandırılan bazı "beyinler", Go gibi son derece karmaşık oyunlarda dünya şampiyonlarını bile mağlup etti.
Yapay zeka araştırmacıları, 2000'li yıllardan itibaren karmaşık stratejik simülasyon oyunlarına dikkat etmeye başladı. İlk araştırmalarda, bazı insanlar ajanların bu ortamlarda kazanmak için karmaşık temsil ve muhakeme yeteneklerine ihtiyaç duyduğuna ve bu yetenekleri inşa etmenin zor olduğuna inanıyor. Araştırmacılar, karar verme arama alanını daraltmak için soyut durumları, oyun planlamasını öğrenmek için genetik algoritmaları, statik rakip varsayımlarını ortadan kaldırmak için alan bilgisini kullanır ve arama zorluğunu azaltmak ve otonom oyun programlarına daha güçlü yetenekler kazandırmak için uzman gösterilerinden davranışsal bilgi elde eder.
Birçok gerçek zamanlı strateji oyunu yapay zeka araştırma ortamı arasında, StarCraft önceki çalışmaların çoğundan daha zordur. 1997'de ortaya çıktığından bu yana, oyun çok sayıda insan oyuncuyu kendine çekmiş ve çeşitli seviyelerde ve türde uluslararası etkinliklere ev sahipliği yapmıştır. 2010 yılından bu yana, AIIDE, SSCAIT ve CIG tarafından temsil edilen StarCraft I ortamına dayalı çeşitli yapay zeka yarışmaları, Alberta Üniversitesi, Stanford Üniversitesi, Facebook ve buna katılan diğer birçok üniversite ve araştırma birimiyle düzenlenmiştir.
Bu dönemdeki yapay zeka algoritmaları genellikle klasik yapay zeka programları olarak adlandırılır ve çoğu kurallara dayanır. Bu tür bir özerk oyun programı, yerleşik oyun programını yenebilir, ancak insan profesyonel oyunculardan çok daha düşüktür ve sıradan oyuncular bile onu yenemez. 2016 yılından itibaren derin öğrenme ve derin pekiştirmeli öğrenmeye dayalı ajan özerk öğrenme yöntemleri bu alanda uygulanmaya başlanmıştır.Bu tür algoritmalara modern yapay zeka programları denmektedir. Deepmind ve Blizzard, StarCraft II'ye dayalı bir derin öğrenme araştırma ortamı olan SC2LE'yi ortaklaşa geliştirdi. Yurtiçi ve yurtdışından birçok güçlü bilimsel araştırma ekibi katıldı.Deepmind, Facebook, Alberta Üniversitesi, Oxford Üniversitesi, Londra Üniversitesi vb. Yabancı ülkeler ve Alibaba, Tencent ve Çin Bilimler Akademisi Otomasyon Enstitüsü gibi yerli ülkeler de ilgili araştırmalar yaptı. 2009 yılından itibaren StarCraft ile ilgili araştırma sonuçları yayınlandı. İstatistikler için temsili sonuçları seçiyoruz (ayrıntılar için Tablo 1'e bakın) ve bir sonraki bölümde sınıflandırma analizi gerçekleştiriyoruz.
Tablo 1 StarCraft'ın ana araştırma birimleri ve yöntemleri
BÖLÜM04 Araştırma yöntemi
Bu makale, ilgili alanlardaki araştırma yöntemlerini beş kategoriye ayırır: kural tabanlı, klasik makine öğrenimi, derin öğrenme, pekiştirmeli öğrenme ve diğer potansiyel geliştirme yönergeleri ve bu yöntemlerin çözülmesi için hangi tür zorlukların uygun olduğuna işaret edecektir.
Kural tabanlı
Kural tabanlı yöntemler, strateji öğrenme ve alan bilgisi kullanımının zorluklarını çözmek için kullanılır. Bu yöntemler, insan oyuncular tarafından pratikte özetlenen kuralları, otonom oyun programının bir strateji modülü olarak programlar.Oyun programı, oyun sırasındaki oyun durumuna göre yürütmek için ilgili stratejiyi seçebilir. Certicky M ve diğerleri, yetenekli oyuncuların düşman girişini engellemek için binaları kullanan stratejisine dayanan otonom bir oyun programı yazdı. Yanıt seti programlama (ASP) paradigmasını kullanarak kullanıma hazır bir bildirime dayalı çözüm sağlayın, böylece otonom oyun programı, düşmanın girmesini önlemek için binaları düzgün bir şekilde düzenleme becerisine de sahip olur. Weber B ve diğerleri, reaktif planlama dili ABL ile oyundaki bireysel birimlere komuta etmek için bir oyun programı oluşturdu. Bu reaktif planlama, oyuncuların kontrol etmesi gereken bireysel birimleri kısmen azaltan alt seviyeli birimlerin komutlarını kontrol etmek için uygun bir teknolojidir.
Klasik makine öğrenimi
Derin öğrenme, pekiştirmeli öğrenme ve derin pekiştirmeli öğrenme dışındaki makine öğrenimi yöntemlerini klasik makine öğrenimi yöntemleri olarak sınıflandırıyoruz. Çok ölçekli planlama ve çok düzeyli karar verme tutarlılığı, çok kanallı strateji öğrenimi, belirsizliği azaltma ve alan bilgisi geliştirme ve kullanımının dört tür zorluğunu çözmek için ilgili yöntemlere göre, klasik makine öğrenimi yöntemleri hızlı arama ve planlama, rakip strateji modelleme ve Dört savaş modeli yöntemi, belirsizliğin azaltılması ve davranışsal bilgi çıkarma ve kullanma.
Hızlı arama ve planlama
Planlama ve karar verme sorunları, esas olarak otonom oyun programının farklı seviyelerinde yüzleşme stratejilerinin oluşturulmasının nasıl optimize edileceğine odaklanır. David C, StarCraft yapay zeka yarışmasında profesyonel insan oyuncular düzeyinde gerçek zamanlı yapım komutları oluşturabilen çevrimiçi bir sezgisel arama algoritması kullanıyor. Süre, süre ve portföy dikkate alınarak açgözlü arama için üç birim mikro yönetim algoritması tasarlar ve devasa oyun alanını aramak için hiyerarşik portföy araması kullanır.
Aha DW ve diğerleri, iç mekanı aramak için genetik algoritmayı ve alt plan geri getirme için ağırlıklandırma algoritmasını geliştirdi.İlk iki yöntemin eksikliklerini ortadan kaldırmak için bir plan geri alma algoritması getirildi ve böylece öğrenilen bilgiyi genişletti. Tamamen farklı bir stratejiye sahip bir rakip. Zhen J S ve diğerleri, yapay zeka oyun programlarının uyarlanabilirliğini artırmak ve hızlı, gerçek zamanlı değerlendirme ve yanıt elde etmek için genişletilmiş topolojinin Sinirsel Evrimi (NEAT) algoritmasını kullanıyor.
Rakip strateji modellemesi ve savaş modeli
Strateji öğrenme problemi esas olarak oynatma verilerinden yararlı bilgilerin nasıl öğrenileceğine odaklanır. Weber B G, çok sayıda oyun günlüğünden üst düzey oyuncuların stratejilerini öğrenmek için veri madenciliği yöntemlerini kullanıyor ve oyundaki rakipleri oyundaki rakip stratejileri tespit etmek ve rakibin stratejiyi ne zaman uygulayıp harekete geçeceğini tahmin etmek için modelliyor. Uriarte A ve diğerleri, yeniden oynatma verilerinden savaş modellerini öğrenir ve bunları gerçek zamanlı strateji oyunlarında çarpışmayı simüle etmek için kullanır.
Belirsizliği azaltın
Belirsizlik sorunları genellikle rakipleri modelleyerek, oyunları modelleyerek veya belirsizliği azaltmak için daha fazla bilgi elde etmek için keşif algoritmaları kullanarak tahmin edilebilir. Gabriel S ve diğerleri, eksik bilgi ve sonuçta ortaya çıkan belirsizlikle başa çıkmak için Boole mantığının yerine Bayes modellemeyi kullandı. Üst düzey oyuncuların tekrar verilerinden dinamik rakipleri modellemek ve stratejik ve taktik uyarlamalar yapmak için makine öğrenimini kullanın. Bu olasılığa dayalı oyuncu modelleri, farklı girdiler aracılığıyla karar vermeye uygulanabilir ve böylece belirsizlik altında çok ölçekli karar verme sürecini çözebilir. Park H, bir rakibin saldırısının zamanlamasını tahmin etmek için keşif algoritmalarını ve makine öğrenimi algoritmalarını kullanır. Hostetler J ve diğerleri, oyunun gözlemlenmemiş kısmını gerçek gözlemlerden çıkarabilen dinamik bir Bayes ağ stratejisi modeli önerdi. Cho H C, rakibin stratejisini tahmin ederek komutların sırasını değiştirir. Erickson G, oyunda hangi oyuncunun kazandığını tahmin etmek için bir model önerdi. Helmke I ve diğerleri, mikro yönetimi içermeyen savaşları tahmin etmek için basit bir savaş yaklaşımı modeli kullandı. Uriarte A ve diğerleri, oyundaki savaşı simüle etmek ve oynatma verilerinden savaş modelinin nasıl öğrenileceğini analiz etmek için iki oyunculu bir oyunun savaş modelini önerdi.
Davranışsal bilgi çıkarma ve kullanma
Alan bilgisi geliştirme ve kullanımının amacı, mevcut strateji bilgisinden ve oyun verilerinden daha iyi yararlanmaktır. Mishra K ve diğerleri, vaka bazlı gerçek zamanlı bir planlama ve yürütme yöntemi önermiştir. Davranışsal bilgileri uzman gösterilerinden vaka şeklinde çıkararak ve vakaya dayalı davranış üreticileri aracılığıyla uygun davranışları oluşturmak için bilgiyi kullanarak mevcut plandaki hedeflere ulaşılabilir. Synnaeve G ve diğerleri, stratejiler hakkında nasıl akıl yürüteceklerini keşfetmek için kaydedilen oyunun tüm durumunu insanlar veya oyun programı oyuncuları aracılığıyla keşfetmeyi savunuyor. Gauss karışımının derecesini azaltmak ve grup seviyesinde stratejik akıl yürütme amacına ulaşmak için orduyu birleştirirler.
Derin öğrenme
Alan bilgisi geliştirme ve kullanımının zorluklarını çözmek için büyük miktarda mevcut üst düzey oyuncu verilerinden stratejiler öğrenmek için derin öğrenmeye dayalı yöntemler kullanılır. Sukhbaatar S ve diğerleri, çoklu aracılar arasında sürekli iletişimi sürdürerek işbirliği görevlerini yerine getiren derin bir sinir modeli CommNet'i önerdiler. Bu ağ modeli, aracıların birbirleriyle iletişim kurma becerisini öğrenmesini sağlar ve etkileşimli olmayan aracılardan daha iyi performans üretir. Justesen N ve diğerleri, StarCraft'taki makro yönetimi kararlarını oyun oynatımından doğrudan öğrenmek için derin öğrenmeyi kullandı. Üst düzey oyuncuların 2005 tekrarlarından çıkarılan 789.571 durum eylemi, bir sonraki inşaat eylemini tahmin etmek için sinir ağını eğitmek için kullanılır. Eğitimli ağı açık kaynaklı bir StarCraft otonom oyun programı UAlbertaBot'a entegre ederek, sistem oyundaki yerleşik otonom programı önemli ölçüde aşabilir ve sabit bir hızlı strateji ile savaşabilir.
Takviye öğrenme
Pekiştirmeli öğrenme ve derin pekiştirmeli öğrenme, genellikle strateji öğrenmedeki zorlukları çözmek için kullanılır. Takviye öğrenme veya derin takviye öğrenmeyi kullanma yöntemlerini algoritma içeriğine göre üç kategoriye ayırıyoruz: Q öğrenme ve varyantları, Aktör-Kritik yapı ve varyantları ve dağıtılmış çok ajanlı pekiştirmeli öğrenme.
Q öğrenme ve çeşitleri
Stefan W ve diğerleri, gecikmiş ödüller sorununu dengelemek için yeterlilik izlerini kullanarak Q-öğrenmeyi ve Sarsa algoritmasının bir varyasyonunu uyguluyorlar. Görevleri gerçekleştirmek için uyarlanabilir olmayan ve deterministik oyun yapay zeka programlarını değiştirerek, karmaşık bir ortamda denetimsiz bir şekilde öğrenebilen bir aracı tasarlar. Ödül veya öğrenme hızını en üst düzeye çıkarmaya yönelik iki farklı odağı hedefleyerek, tek adımlı Q öğrenme ve Sarsa'nın savaş birimlerini öğrenmede ve yönetmede en iyisi olduğunu kanıtladılar. Mnih V ve diğerleri, başarılı stratejileri yüksek boyutlu görsel girdiden doğrudan öğrenmek için uçtan uca pekiştirmeli öğrenmeyi kullanabilen derin bir Q ağı yöntemi önerdi. Bu yöntemin, çok ajanlı oyunların derin pekiştirmeli öğrenme ile çözülmesi için fikirler sağlayan Atari oyunlarında etkili olduğu kanıtlanmıştır. Kempka M ve diğerleri, görsel pekiştirmeli öğrenmenin üç boyutlu birinci şahıs perspektif ortamında - VizDoom'da uygulanabilirliğini doğruladı. İki senaryoda, temel bir hareket ve atış görevi ve daha karmaşık bir labirent navigasyonu, Q öğrenme ve deneyim oynatma ile derin evrişimli sinir ağlarının kullanılması, insan davranışını sergileyen otonom oyun programlarını eğitebilir. Usunier N ve diğerleri, savaştaki askeri üyelerin kısa vadeli düşük seviyeli kontrol sorununu çözen oyun motoru tarafından verilen orijinal durum özelliklerinden mikro yönetim senaryolarıyla başa çıkmak için derin bir sinir ağı denetleyicisi önerdi. Aynı zamanda, strateji uzayının doğrudan keşfini ve geri yayılmayı birleştiren sezgisel bir pekiştirmeli öğrenme algoritması önerilmiştir Algoritma, "canavar keşfinden" daha etkili olan öğrenme izlerini toplamak için deterministik stratejiler kullanır.
Aktör-Eleştirmen yapısı ve çeşitleri
Ölçeklenebilir ve etkili bir iletişim protokolünü sürdürmek için, Peng P ve diğerleri, StarCraft'ta düşmanı yenmek için birden fazla savaş ekibini koordine etme görevi ile uğraşırken, çok ajanlı iki yönlü bir koordinasyon ağı olan BiCNet'i tanıttı. Ağ, her iki tarafta da farklı türlerdeki herhangi bir sayıda temsilcinin savaşını idare edebilen, vektörleştirilmiş, genişletilmiş bir Aktör-Kritik formülü içerir. İnsan gösterimi veya etiketli veriler gibi herhangi bir denetim olmaksızın BiCNet, deneyimli oyuncular tarafından yaygın olarak kullanılan gelişmiş koordinasyon stratejilerini öğrenebilir. Foerster J ve diğerleri, karşı olgusal bir çoklu ajan (COMA) politika gradyanlı çok ajanlı Aktör-Kritik yöntemi önerdi. COMA, Q işlevini tahmin etmek için merkezi bir Eleştirmen ve temsilcinin stratejisini optimize etmek için dağıtılmış bir Aktör kullanır. Çok temsilcili kredi tahsisi zorluğunu çözmek için, diğer aracıların davranışını sabit tutarken bir temsilcinin davranışını marjinalleştirmek için karşı olgusal bir temel kullanır. Önemli yerelliğe sahip dağıtılmış çoklu aracılar durumunda, COMA yöntemi, diğer çok aracılı ActorCritic yöntemleri arasında en gelişmiş merkezi denetleyicinin en iyi performansı ile karşılaştırılır ve ortalama performansının önemli ölçüde arttığı bulunmuştur. Vinyals O ve diğerleri, StarCraft II alanı için uygun tipik derin takviye öğrenme ajanlarının ilk temel sonuçlarını tanıttı. Mini oyunlarda, bu temsilciler acemi oyunculara eşdeğer bir oyun seviyesine ulaşmayı öğrenebilirler. Bununla birlikte, oyunun tamamının eğitiminde, bu temsilciler önemli bir ilerleme sağlayamazlar.
Dağıtılmış çok ajanlı pekiştirmeli öğrenme
Çok etmenli pekiştirmeli öğrenmede (MARL) kullanılan bağımsız pekiştirmeli öğrenme (InRL) stratejisinin eğitim sırasında diğer aracı stratejilerinin yerine geçebileceği sorununu çözmek için, Lanctot M ve diğerleri yeni bir metrik, yani ortak politika birliği getirdiler. Bu etki. Aynı zamanda, derin pekiştirmeli öğrenme ve ampirik oyun analizi ile oluşturulan strateji karışımına yaklaşık optimal yanıta dayalı olarak strateji seçiminin meta-stratejisini hesaplayan genel bir MARL algoritması önerilmektedir. Max J ve diğerleri, ilk bakışta çok oyunculu oyunda iki katmanlı bir optimizasyon yöntemi kullandı. Bir grup bağımsız pekiştirici öğrenme aracı, binlerce paralel oyun aracılığıyla bir takım biçiminde rastgele oluşturulmuş bir ortamda rakiplerle oyunlar oynar. Bu temsilci grubundaki her birey, seyrek gecikmiş ödülleri kazanmadan desteklemek için kendi iç ödüllerini öğrenir ve eylemleri seçmek için yeni bir zaman katmanlı temsil kullanır, böylece temsilci birden çok zaman ölçeğinde mantık yürütebilir.
Diğer umut verici yönler
(1) Alt Oyun. Brown N ve diğerleri, dağıtılmış oyun ile küresel hedefin birleşmesi sorununu çözmek için kusurlu bilgi oyununun nötron oyunu yöntemini kullanmayı önerdi. Bu yöntem, çok temsilcili gerçek zamanlı strateji oyunlarında dağıtılmış yerel karar verme ve takım hedeflerini birleştirme sorununu çözmek için kullanılabilir.
(2) Artımlı öğrenme. Xiao CJ ve diğerleri tarafından önerilen artımlı bellek Monte Carlo arama ağacı yöntemi, sürekli biriktirme yoluyla karar verme yeteneklerini iyileştirmek için çok aracılı karar verme sistemleri için potansiyel bir uygun yön sağlar.
(3) Oyun teorisi. Fang F ve diğerleri, olası saldırı konumlarını tahmin etmek ve kaçak avlanma ile mücadele etmek için bir oyun teorisi sistemi kullandı. Tuyls K ve diğerleri, ajanın asimetrik bir oyunda Nash dengesini bulmasına izin verdi. Oyun teorisine dayalı çok ajanlı oyunların analizine dayanarak, daha yüksek bir görüş seviyesinden bir çözüm bulunabilir.
PART05 alakalı kaynaklar
Bu bölüm, açık kaynak araştırma platformları, açık kaynak veri kümeleri ve yapay zeka programı yarışmaları dahil olmak üzere StarCraft ile ilgili kaynakları tanıtmaktadır.
Açık kaynak araştırma platformu
Eksiksiz StarCraft öğrenme ortamı
(1) SC2LE. Deepmind ve Blizzard, 2017'de StarCraft II'ye dayalı bir yapay zeka öğrenme ortamı olan SC2LE'yi ortaklaşa başlattı. Lanctot M ve diğerleri, StarCraft II alanındaki gözlem, eylem ve ödül özelliklerini tanımladı ve oyun motoruyla iletişim kurmak için açık kaynaklı Python tabanlı bir arayüz sağladı. Tam oyun haritasına ek olarak, StarCraft II oyunundaki farklı görevlere odaklanan bir dizi mini oyun da sunulmaktadır.
(2) TorchCraft. Synnaeve G ve diğerleri, Torch makine öğrenimi çerçevesinde oyunu kontrol ederek "StarCraft: Brood War" gibi gerçek zamanlı strateji oyunu derin öğrenme araştırması için bir kitaplık olan TorchCraft'ı geliştirdi.
Benzer AI öğrenme ortamı
(1) Hafif StarCraft araştırma ortamı
ELF. Tian Y ve diğerleri, geniş kapsamlı, hafif ve esnek bir temel pekiştirmeli öğrenme araştırma platformu-ELF önerdi. ELF, üç oyun ortamı (mikro gerçek zamanlı strateji, bayrağı ele geçirme ve kule savunması) için oldukça özelleştirilebilir bir gerçek zamanlı strateji motoru içerir. Bunların arasında, StarCraft'ın mikro versiyonu olan "mikro gerçek zamanlı strateji", temel oyun dinamiklerini yakalar ve saniyede 40K kare hızında bir dizüstü bilgisayarda çalışabilir. Sistem, modern pekiştirmeli öğrenme yöntemleriyle birlikte kullanıldığında, bir günde uçtan uca eksiksiz oyun otonom oyun programı eğitimini tamamlamak için 6 CPU ve 1 GPU hesaplama donanımı kullanılabilir. Ayrıca platform, ortam-aracı iletişim topolojisi, pekiştirme öğrenme yöntemlerinin seçimi, oyun parametrelerindeki değişiklikler vb. Açısından esnektir ve ALE gibi mevcut C / C ++ tabanlı oyun ortamlarına taşınabilir. New York Üniversitesi ve Facebook AI Research, çevreye çeşitli sinir modellerini dağıtmak için pekiştirmeli öğrenmeyi kullanarak basit bir 2D oyun ortamı tasarladı ve bu ortamda eğitilen modeller doğrudan StarCraft oyununa uygulanabilir.
(2) Diğer benzer araştırma ortamları
VizDoom. VizDoom, birinci şahıs bakış açısına dayanan çok oyunculu bir çekim 3D oyunu Doom ve girdi olarak piksel bilgilerini kullanan pekiştirmeli öğrenme yöntemleri için bir araştırma platformudur. Kempka M ve diğerleri, bu ortamda görsel pekiştirmeli öğrenmenin uygulanabilirliğini doğruladı. İki senaryoda, temel bir hareket ve atış görevi ve daha karmaşık bir labirent navigasyonu, Q öğrenme ve oynatma deneyimi ile evrişimli derin sinir ağının kullanılması, insan davranışını sergileyen yetenekli bir otonom oyun programını eğitebilir.
ALE. Naddaf Y, arcade oyun öğrenme ortamı-ALE'yi tanıttı. ALE, yüzlerce Atari 2600 oyun ortamı için arayüzler sağlar ve pekiştirmeli öğrenme, model öğrenme, model tabanlı planlama, taklit öğrenme ve transfer öğrenimi gibi yöntemleri değerlendirmek ve karşılaştırmak için titiz bir test platformu sağlar. ALE tarafından sağlanan değerlendirme yöntemi, 55'ten fazla farklı oyunda doğrulama sonuçlarını bildirebilir.
Jimnastik. OpenAI tarafından geliştirilen pekiştirmeli öğrenme araştırma ortamı ve araç seti.
Minecraft. Microsoft, Minecraft oyununa dayalı bir yapay zeka araştırma platformu geliştirdi.
Ek olarak, Deepmind'in Psychalab psikoloji laboratuvarı tarafından geliştirilen birinci şahıs perspektifli 3B pekiştirmeli öğrenme araştırma ortamı vardır.
Açık kaynak veri kümesi
StarCraft II veri setine göre
SC2LE. Deepmind ve Blizzard, tüm oyun haritası için StarCraft II tabanlı bir yapay zeka derin öğrenme araştırma ortamı olan SC2LE'yi başlatırken, aynı zamanda insan profesyonel oyunculardan oyun oynatma veri setleri ve bu verilerden eğitilmiş sinir ağları sağladı. Oyun sonucunun ve oyuncu davranışının başlangıçtaki temel sonucunu tahmin edin.
MSC. Çin Bilimler Akademisi Otomasyon Enstitüsü'nden Zhang Junge ve diğerleri, SC2LE platformunu temel alan yeni bir MSC veri seti yayınladılar. MSC, iyi tasarlanmış özellik vektörlerinden, önceden tanımlanmış üst düzey eylemlerden ve her maçın nihai sonucundan oluşur. Değerlendirme ve karşılaştırmayı kolaylaştırmak için, MSC'yi eğitim, doğrulama ve test setlerine ayırdılar. Veri setine ek olarak, bir temel model önerdiler ve küresel durum değerlendirmesinin ilk temel sonuçlarını önerdiler ve komut tahminlerini oluşturdular. StarCraft II'nin makro yönetimini incelemek için, çeşitli aşağı akış görevleri ve veri setinin analizleri de tanıtıldı.
StarCraft I veri setine göre
Facebook'tan Lin Z ve diğerleri, StarCraft I'e dayalı bir veri seti geliştirdi. Synnaeve G ve diğerleri, oyun durumunun çoğunu (yalnızca oyuncunun komutlarını değil) içeren bir StarCraft oyun veri seti sağlar. Alberto Uriarte, StarCraft I'e dayalı olarak üst düzey oyunculardan oluşan sürekli güncellenen bir çevrimdışı veri kümesi geliştirdi.
rekabet
AIIDE
AAAI Yapay Zeka ve Etkileşimli Dijital Eğlence Konferansı (AIIDE), Yapay Zekayı Geliştirme Derneği (AAAI) tarafından desteklenmektedir ve her yıl düzenlenmektedir. Konferans, ticari bilgisayarlar ve video oyunlarına odaklanarak eğlencede akıllı sistemlerin modellenmesi, geliştirilmesi ve değerlendirilmesi üzerine disiplinler arası araştırmaları sergiliyor. Uzun zamandır bilgisayar oyunlarında yapay zeka araştırmaları ile karakterize edilen ve oyun dışında eğlence alanlarına dönüşen konferans, StarCraft yapay zeka otonom oyun programı yarışması gerçekleştirildi. 2005 yılından bu yana, konferans 14 oturum olarak düzenlenmiştir.
CIG
IEEE Hesaplamalı Zeka ve Oyunlar Konferansı (CIG), bilgisayar ve yapay zeka teknolojilerini oyunlara uygulayan yıllık bir etkinliktir. Konferansın alanları, masa oyunları, video oyunları ve matematik oyunları dahil olmak üzere çeşitli oyunlara uygulanabilen çeşitli hesaplamalı zeka ve yapay zekayı içerir. 2005 yılında seminer olarak başladı ve 2009 yılından beri yılda bir kez konferans olarak düzenleniyor. Konferansta StarCraft yapay zeka otonom oyun programı yarışması yapıldı.
SSCAIT
Öğrenci Starcraft AI Turnuvası ve Merdiveni, 2011 yılında ilk kez düzenlenen bir eğitim etkinliğidir ve esas olarak öğrenciler içindir (öğrenci olmayanların da sunmalarına izin verilir) yapay zeka ve bilgisayar bilimi yarışmaları.BWAPIC++Java
PART06
Kaynak: İnsansız Sistem Teknolojisi
(Bu makale bir ağ alıntı veya yeniden basımdır, telif hakkı orijinal yazara veya yayın medyasına aittir. Çalışmanın telif hakkıyla ilgiliyseniz, lütfen bizimle iletişime geçin.)
