DeepMind'in süper insan seviyesindeki StarCraft AI `` AlphaStar '' ın çok resimli ayrıntılı açıklaması
AI Technology Review Press : DeepMind, Birleşik Krallık yerel saatiyle 24 Ocak'ta, dünyanın dört bir yanındaki oyun yapay zekası araştırmacılarını ve oyun meraklılarını yapay zeka araştırma ve geliştirmedeki en son gelişmelerle tanıştırmak için Londra'da çevrimiçi bir canlı yayın düzenledi.
Canlı yayına katılan DeepMind araştırmacıları, DeepMind ekibinin ortak araştırma ve geliştirme başkanı Oriol Vinyals ve David Silver'dır. İkincisi aynı zamanda AlphaGo projesinin çekirdek geliştiricisidir ve hepimiz buna aşinayız.
DeepMind'ın StarCraft 2 AI'sı, önceki Go AI "AlphaGo" ve protein katlama hesaplaması AI "AlphaFold" gibi adlandırılan "AlphaStar" olarak adlandırılır.
DeepMind'a göre AlphaStar, Protoss kullanıyor. 10 Aralık 2018'de Team Liquid'in profesyonel StarCraft 2 oyunculu TLO'sunu 5: 0 rekorla mağlup etti , Ve daha fazla eğitimden sonra, 19 Aralık'ta Yine aynı takımın profesyonel oyuncusu MaNa'yı 5: 0 galibiyetle yendi. . Canlı yayında, birkaç oyunun tekrarları tekrar oynatıldı ve açıklandı.
Yarışmada AlphaStar, profesyonel oyuncuların olgun oyun stratejisini ve profesyonel oyuncuların seviyesinin ötesinde mikro manipülasyonu gösterdi.Aynı anda haritada birden fazla yerde savaşabilir (insan oyuncular bu durumda çok acı çekecek) ).
Canlı yayında, DeepMind bir kez daha AlphaStar ve MaNa'nın canlı oynamasına izin verdi. Bu oyundaki AlphaStar, yeniden eğitimin yeni bir sürümüdür, perspektifi kendi başına kontrol etmesi gerekir (haritadaki tüm görünür içeriği doğrudan okuyabilen önceki sürümün aksine). Bu sefer MaNa nihayet kazandı.
Aşağıdaki AlphaStar'ın ayrıntılı tanıtımına bakın.
Starcraft AI arka planı
Go'nun temsil ettiği eksiksiz bilgi oyunu / oyunu AlphaGo tarafından aşıldığından ve en iyi insan oyuncuların ötesinde bir seviyeye ulaştığından, araştırmacılar derhal eksik bilgi oyununa daha şiddetli bir saldırı başlattı. Texas Hold'em gibi bilgilerin eksik olduğu tipik bir oyunda, oyuncuların rakibin kartlarını görmeden karar vermesi gerekir. CMU'nun Alman poker AI kağıdı da NIPS 2017 En İyi Kağıt Ödülü'nü kazandı.
Öte yandan, derin öğrenme araştırmacıları, daha karmaşık oyunları / oyunları keşfetmek için derin pekiştirmeli öğrenmenin gücünü kullanmayı umuyorlar. Texas Hold'em kesinlikle yeterince zor değil. Depu AI'nın babası, içinde derin öğrenmenin kullanılmadığını söyledi. Go'ya bakıldığında, Go'daki olası konumların toplam sayısı astronomik bir sayı olsa da, oyunun her turuna özgüdür. Sadece tahtaya bir parça yerleştirmeyi seçin. Buna karşılık, modern rekabetçi elektronik oyunların aksiyon alanı çok daha karmaşıktır.Oyuna 2'den fazla oyuncu katılabilir, her oyuncu aynı anda eylemler yapabilir ve her eylem farklı bir zaman uzunluğuna, yer değiştirme ve Uzayda hareketler süreklidir ve saldırı ve savunma yetenek öğelerinde birçok değişiklik vardır.
Yılın hevesli oyuncuları artık bilgisayar bilimi alanında araştırmacılar haline gelirken, e-spor oyunu AI'nın araştırılması ve geliştirilmesi hızla iki ana kampa ayrıldı: StarCraft / StarCraft 2 ve DOTA2. Her ikisinin de geniş bir kitle tabanı vardır.Oyuncular AI oyununu duymayı ve duymayı severler ve ayrıca AI'nın öğrenebileceği birçok üst düzey profesyonel oyuncu vardır.
Hepsi RTS (gerçek zamanlı strateji) oyunları olmasına rağmen, hepsinin kaynak toplama ve dövüş arasında bir denge bulması gerekmesine rağmen, StarCraft ve DOTA2 arasında da pek çok fark vardır. StarCraft'ta kontrol edilmesi gereken birçok farklı birim türü vardır. Bu birimlerin kendi hareket ve saldırı özellikleri vardır.DOTA2'de baştan sona sadece bir kahraman kontrol edilebilir. StarCraft'ta her iki tarafta sadece bir oyuncu varken DOTA2'de her tarafta beş Oyuncular. Oyun stratejisinde ve uygulamasında ortaya çıkan farklılıklar, Yıldızlararası AI araştırmasının ve DOTA2 AI araştırmasının farklı geliştirme yollarına girmesine de yol açtı.
Bu rekabet itibariyle, yıldızlararası AI araştırma alanında ve DOTA2 AI araştırma alanında görülen en güçlü AI'lar sırasıyla Samsung ve OpenAI'dir.
-
2018 AIIDE StarCraft AI Challenge'da, yarışmaya dünyanın her yerinden 27 takım kendi AI'ları ile katıldı. Şampiyon Terran botu "SAIDA" Samsung'tan geldi. Bu botun temel özelliği istikrarlı bir oyun stratejisine sahip olmasıdır.Önce savunmayı düşünecek ve ardından oyunun ortasında rakibi elinden alma fırsatı bekleyecektir. Bu strateji, Kore'deki profesyonel yıldızlararası oyunculardan öğrenildi. Bu bot geçen yıl profesyonel oyuncuları yenemedi.
-
StarCraft AI genellikle çok sayıda sabit strateji ve manuel kural kullanır.Samsung'un botu, kontrol birimlerine ve haritaları keşfetmeye yardımcı olmak için bazı makine öğrenimi tekniklerini kullanır. Geliştirme ekibi ayrıca daha fazla makine öğrenimi tekniği uygulamaya çalışıyor. Aynı yarışmaya katılan Facebookun Zerg botu "CherryPi", birçok makine öğrenimi teknolojisi uyguladı, ancak yalnızca ikinci oldu. (Daha fazla bilgi için lütfen AI Teknolojisi İnceleme Raporunu okuyun)
-
Ağustos 2018'de OpenAI, kendi DOTA2 AI sistemi "OpenAI Five" ı test etmek için çevrimdışı bir yarışma düzenledi. Daha önce daha fazla rekabet kısıtlaması olan eski Avrupalı ve Amerikalı profesyonel oyunculardan oluşan bir takıma karşı kazandı ve daha sonra DOTA2'de kazandı. International Invitational Ti8'de Çinli (eski) profesyonel oyunculardan oluşan bir takıma karşı başarısız oldu. O zamandan beri OpenAI geliştirmeye devam etti ve daha sonraki bir sürümün çevrimdışı yarışmalarda önceki sürümü büyük ölçüde geçtiğini iddia etti.
-
"OpenAI Five", 5 kahramanı 5 bağımsız sinir ağıyla kontrol eden, iyi tasarlanmış bir derin güçlendirme öğrenme sistemidir. Araştırmacılar, aracıları DOTA2'deki çeşitli davranışları öğrenmeleri için yönlendirmek için birçok teknik kullandılar ve ayrıca ağ öğrenen ekip işbirliğine yardımcı olmak için hiperparametreler tasarladı; ancak, oyun sırasında temsilciler arasında doğrudan iletişim yoktu. (Daha fazla bilgi için lütfen önceki raporu okuyun)
AlphaStar teknolojisine giriş
Etkinlik fragmanında, DeepMind'ın yıldızlararası 2 yapay zeka araştırmasındaki önceki eğilimlerini değerlendirdik. Derin takviyeli öğrenmeyle tanınan bir yapay zeka şirketi olarak, bugün gördüğümüz DeepMindın Interstellar 2 AI "AlphaStar" ın derin takviyeli öğrenmeye dayalı bir sistem olması şaşırtıcı değil.
AlphaStar model tasarımı
AlphaStar, oyunları uzun sıralı modelleme öğrenme görevleri olarak gören bir takviye öğrenme aracıdır ve model tasarımı ayrıca uzun sıralı modelleme yeteneklerine odaklanır. Modelin oyun arayüzünden aldığı veriler, birimlerin listesi ve bu birimlerin nitelikleri olup, sinir ağı tarafından hesaplanır ve oyunda yürütülecek çıktı komutlarıdır. Bu sinir ağının temeli, Transformer ağıdır ve derin bir LSTM ağ çekirdeğini, bir işaretçi ağıyla otomatik bir gerileme stratejisi başlığını ve merkezi bir puanlama karşılaştırmasını birleştirir. Böyle bir ağ mimarisi, DeepMindin karmaşık sıra modelleme görevleri konusundaki en son düşüncelerinin bir sonucudur. Ayrıca, bu tür gelişmiş modellerin, uzun dizi modelleme gerektiren ve geniş bir eylem alanı olan (makine çevirisi, dil modelleme gibi) diğer makine öğrenimi görevlerinde de kullanılabileceğine inanıyorlar. Ve görsel temsil).
Ağ tasarımıyla ilgili makaleler için bkz:
-
Trafo Ağı-https: //papers.nips.cc/paper/7181-attention-is-all-you-need.pdf
-
Derin LSTM Ağı-http: //citeseerx.ist.psu.edu/viewdoc/download? Doi = 10.1.1.676.4320rep = rep1type = pdf
-
Otomatik regresyon stratejisi başlığı-https: //arxiv.org/abs/1708.04782
-
İşaretçi Ağları-https: //papers.nips.cc/paper/5866-pointer-networks.pdf
-
Merkezi puanlama karşılaştırması
https://www.cs.ox.ac.uk/people/shimon.whiteson/pubs/foersteraaai18.pdf
AlphaStar eğitim stratejisi
AlphaStar'ın ilk eğitim stratejisi, erken AlphaGo ile aynıdır.DeepMind'deki araştırmacılar, modelin StarCraft merdiveninde hangi üst düzey oyuncuların kullandığını hızlı bir şekilde öğrenmesini sağlamak için öğrenmeyi taklit etme fikrini kullanarak modeli denetlemek ve eğitmek için insan oyun tekrarlarını kullandı. Temel strateji ve mikro manipülasyon. Şu anda AlphaStar, StarCraft 2'nin yerleşik "elit" AI'sını% 95 kazanma oranıyla yenebilecek. (Karşılaştırma için, OpenAI'nin DOTA2 AI'sı sıfırdan öğrenen bir pekiştirmedir. İlk aşama anlamsız oyun işlemlerine çok zaman harcadı)
Aşağıdakiler elbette pekiştirmeli öğrenmenin kendi kendine oyunu ve AlphaGo'nun eğitim stratejisinden farklı olan seviyeyi geliştirmeye devam etme aşamasıdır. Önceki raporda, AlphaGo'nun kendi kendine oynama aşamasındaki satranç oyununun, önceki tüm yinelemelerde en iyi performans gösteren versiyondan üretildiğini, yani her an bir "en iyi versiyon" olduğu anlamına geldiğini duyurmuştuk. Ayrıca sürekli olarak daha iyi versiyonlar ve değiştirmeler arıyor. Ancak StarCraft için DeepMind araştırmacıları, farklı mükemmel stratejilerin birbirini sınırlayabileceğine ve hiçbir stratejinin diğer tüm stratejileri yenemeyeceğine inanıyor. Yani bu sefer yaklaşımları, ağın birçok farklı versiyonunu güncellemek ve kaydetmek (topluca AlphaStar ligi olarak adlandırılır).
Yukarıdaki şekilde gösterildiği gibi, insan verileriyle ilgili ilk eğitimden sonra AlphaStar, AlphaStar liginde birden fazla kendi kendine maç turu yapmaya devam edecek ve her tur, önceki daha güçlü sürümler temelinde çatallanacak; çataldan önceki sürüm düzeltilecek Parametreler korunur ve sonraki kendi kendine eşleştirme turlarına katılır; farklı sürümler, farklı savaş stratejileri ve öğrenme hedefleriyle manuel olarak da düzenlenebilir. Bu yaklaşım, yeterli çeşitliliği korurken ağın seviyesini iyileştirmeye ve savaşın zorluğunu artırmaya devam ediyor. Her bir kendi kendine eşleştirme turunun sonuçlarına göre, her ağ parametresi güncellenecektir; bu yaklaşım, sürekli ve istikrarlı performans iyileştirmesi sağlayan grup pekiştirmeli öğrenme fikrinden gelir ve çok yeni sürüm, nasıl yenileceğini "unutmayacaktır". Erken versiyon.
Grup içi oyun sürecinde birçok farklı strateji üretilebilir. Bazı stratejiler, ilk stratejilerin sadece ince bir iyileştirmesidir ve bazı stratejiler yeni inşa dizileri, ünite kombinasyonları ve mikro operasyon modları içerecektir; erken stratejileri istikrarlı bir şekilde yenebilecek stratejiler de ortaya çıkmaya başladı. Örneğin, AlphaStar liginin kendi kendine oynamasının erken aşamalarında, hızlı acele stratejisinin kazanma oranı daha yüksekti; ancak eğitim süreci devam ettikçe, üssü hızla genişletmek ve daha fazlasını kazanmak için daha fazla işçi kullanmak gibi diğer stratejiler daha yüksek bir kazanma oranı göstermeye başladı. Mevcut kaynaklardan sonra ekonomik bir avantaj elde edin veya gelişme hızında bir avantaj elde etmek için rakibin üssünü taciz etmek için birkaç asker kullanın. Bu stratejinin evrimi, insan oyuncuların yıllardır el yordamıyla oynamasına da çok benziyor. Aşağıdaki şekilde gösterildiği gibi, toplam eğitim süresi uzadıkça, temsilci tarafından kullanılan ortalama birim sayısı da artar.
Birçok tur kendi kendine maç savaşından sonra, araştırmacılar, eğitimden sonra elde edilen son ajan olarak AlphaStar ligindeki Nash dağılımının bir versiyonunu deneyecekler. Bu yaklaşım, keşfedilen çoklu stratejilerin kapsamlı optimal çözümünü elde edebilir.
DeepMind'a göre, TLO'yu (Protoss'u çalıştıran Zerg oyuncuları, en iyi seviyesi değil) ve MaNa'yı yenmenin AlphaStar versiyonu (aşağıda gösterildiği gibi) 9. ve 14. günlerden geldi. Aslında, oyuncular ve oyun oyunu izliyorlardı. Yorumcu ayrıca iki oyunda AlphaStar'ın seviyesindeki değişiklikleri de fark etti.
Stratejilerin çeşitliliğini sağlama çabaları
DeepMind, teknoloji tanıtım blogunda AlphaStar ligini olabildiğince çeşitli hale getirmek için aslında farklı temsilciler için bilinçli olarak farklı öğrenme hedefleri belirlediklerinden bahsetti (bu aynı zamanda sağduyumuzla, basit rastgele rahatsızlıklarla uyumludur) Gelen değişikliklerin çeşitliliği çok sınırlıdır). Bazı temsilcilerin belirli bir temsilciyi yenmeyi öğrenmesi veya belirli bir strateji türünü kullanan tüm aracıları yenmek için belirli birimleri inşa etmek gibi diğer aracılar için ek iç motivasyonlar oluşturması gerekir. Bu hedefler eğitim sırasında ayarlanacaktır. DeepMind görselleştirme, aşağıdaki şekilde gösterildiği gibi birçok farklı stratejinin son dağılımını gösterir.
AlphaStar liginin kendi kendine eşleşmesinde, her temsilcinin ağ ağırlığı, farklı öğrenme hedeflerini optimize etmek için pekiştirme öğrenme algoritmasına göre güncellenecektir. Ağırlık güncelleme kuralı, deneyim tekrarı, kendini taklit öğrenme ve strateji damıtma fikirlerini içeren yeni ve verimli bir strateji çevrimdışı aktör-eleştirmen algoritmasından geliyor.
AlphaStar hesaplama gücü gereksinimleri
DeepMind, AlphaStar aracılarının çok sayıda farklı sürümünün savaşını ve güncellemesini desteklemek için, en son Google TPUv3'ü kullanan büyük ölçekli ve ölçeklenebilir dağıtılmış bir eğitim ortamı oluşturdu. Bu eğitim ortamı, eşzamanlı olarak çalışan AlphaStar aracı örneği gruplarını destekleyebilir; StarCraft 2 oyununun aynı anda çalışan binlerce örneği var. AlphaStar liginin kendi kendine maç eğitim süreci 14 gün sürdü. Her AlphaStar temsilcisi, her temsilci için 200 yıllık oyun süresine eşdeğer olan 16 TPU kullandı. Eğitimden sonra, model tek bir tüketici GPU'sunda çalıştırılabilir.
AlphaStar'ın oyun performansı
AlphaStar ilk olarak insan oyuncu verilerinden taklit öğrenme gerçekleştirdiğinden ve sinir ağının belirli bir hesaplama gecikmesi olduğundan, çalışma frekansı aslında insan oyunculardan daha düşüktür. MaNa'nın APM'si ortalama 390'a ulaştı, AlphaStar'ın ortalaması ise sadece 280 civarındaydı. AlphaStar'ın hesaplama gecikmesi ortalama 350 milisaniyedir (gözlemden eyleme kadar). (Aksine, geçmişte sabit stratejilere ve manuel kurallara dayanan yıldızlararası yapay zeka, binlerce APM'yi koruyacaktır)
DeepMind ayrıca bir AlphaStar ve MaNa oyununa dayalı olarak aracının perspektifinin ve dahili bilgilerinin görsel bir diyagramını da oluşturdu: Sinir ağı (sol alt köşedeki mavi nokta) tarafından alınan orijinal verileri ve sinir ağı içindeki aktivasyon durumunu gösterir. (Ortada ve altta soldaki küçük resim), temsilcinin binaları tıklatıp inşa etmeyi düşündüğü harita alanı (ortadaki sağdaki ve alttaki küçük resim, acentenin dikkatinin gösterildiği alan olarak da anlaşılabilir) ve operasyon çıktısının etkinleştirilmesi (Sağ alt köşedeki küçük resim) ve kazanan yüzde tahmini. Resim aynı zamanda MaNa'nın bakış açısını da gösterir.AlphaStar, oyunda rakibin bakış açısını göremez.
Yazının başında TLO ve MaNa'yı iki kez 5: 0 mağlup eden AlphaStar'ın görüş açısını kontrol etmesine gerek olmadığını, haritadaki tüm görünen içeriği doğrudan okuyabildiğinden bahsetmiştik. Buna karşılık, insan oyuncuların bilginin bir kısmını görebilmek için haritadaki farklı konumlara bakış açılarını manuel olarak değiştirmeleri gerekiyor. Bu açıdan, AlphaStar'ın insan oyunculara zorbalık yaptığından şüpheleniliyor. DeepMind de bu noktayı analiz etti.İstatistiklerine göre AlphaStar'ın odak alanını değiştirme hızı dakikada yaklaşık 30 kez, bu da insan profesyonel oyunculara eşdeğer.
Elbette en iyi yol deneysel doğrulama yapmaktır. Bu yüzden DeepMind, MaNa'nın canlı yayında mağlup ettiği versiyon olan kendi bakış açısını kontrol etmesi gereken AlphaStar'ı yeniden eğitti (ancak bu versiyon orijinal versiyonun 14 günü yerine sadece 7 gün eğitildi). AlphaStar'ın bu sürümünün elde edebileceği bilgiler, perspektifte bulunan kısımla sınırlıdır ve talimatlar aynıdır. DeepMind tarafından sağlanan eğitim çizelgesi ayrıca bunun belirli bir performans düşüşü sağladığını da gösteriyor (yine de hızlı bir şekilde yetişebilmesine rağmen). Bununla birlikte, DeepMind, performanstaki düşüşün çok az olduğuna inanıyor ve aynı zamanda AlphaStar'ın güçlü performansının esas olarak etkili oyun stratejisi ve öğrenilen güçlü mikro manipülasyondan kaynaklandığını gösteriyor.
DeepMind'ın vizyonu
Bu model StarCraft 2 AI'da kullanılmasına rağmen, DeepMind bunun yeterince karmaşık ve temsili bir görev olduğuna ve bu görevi çözmek için kullanılan teknolojinin daha karmaşık problemlerde de kullanılabileceğine inanıyor. Örneğin, uzun sıralı modelleme için tasarlanan bu ağ mimarisi, hava tahmini, iklim modellemesi, dil anlayışı ve benzeri gibi eksik bilgilerle daha uzun sıralı modelleme görevlerinde kullanılabilir. Ayrıca AlphaStar projesini geliştirmeye ve daha fazla görevi geliştirmek için teknolojiyi kullanmaya devam edecekler.
Öte yandan DeepMind, bu sefer tasarlanan eğitim stratejisinin aynı zamanda güvenli ve sağlam yapay zekaya giden yeni bir yol olduğuna inanıyor. Mevcut AI sisteminin en büyük sorunlarından biri, sistemin kaç farklı durumda başarısız olacağını tahmin etmenin zor olmasıdır.StarCraft'ın insan profesyonel oyuncuları, AI'yı kazanmak için genellikle AI'nın zayıflıklarını ve hatalarını bulmaya ve bunlara saldırmaya güveniyor. AlphaStar'da önerilen grup eğitimi stratejisi, hata olasılığını önemli ölçüde azaltarak çok daha güvenilir bir eğitim stratejisidir. DeepMind araştırmacıları, bu yöntemin kullanılma potansiyeline sahip olduğuna ve belki de gelecekte güvenlik faktörlerinin kritik konusunun önemli bir parçası olacağına inanıyor. Sonunda, DeepMind, insanların dünyadaki en önemli ve temel bilimsel problemlerden bazılarını çözmelerine yardımcı olmak için gerçekten akıllı bir sistem yaratmayı umuyor.
Teknik detaylara daha detaylı ve kapsamlı bir giriş ile ilgili olarak DeepMind ayrıca bir makale hazırlıyor ve bunu meslektaş değerlendirmesi için bir dergiye göndermeyi planlıyor. Birlikte resmi gazetenin yayınlanmasını dört gözle bekleyebiliriz.
Bazı bilgiler için lütfen DeepMind Teknoloji Bloguna bakın https://deepmind.com/blog/alphastar-mastering-real-time-strategy-game-starcraft-ii/. AI Teknolojisi İnceleme Raporu
