Xinzhiyuan Raporu

Kaynak: arxiv

Yazarlar: Peng Peng, Quan Yuan, Ying Wen, Yaodong Yang, Zhenkun Tan, Haitao Long, Jun Wang

Çevirmen: Zhang Yi

Xin Zhiyuan Rehberi Alibaba'nın Bilişsel Bilgi İşlem Laboratuvarı, Londra Üniversitesi Bilgisayar Bilimleri Bölümü ile işbirliği yaparak, "StarCraft 1" oyunundaki (bundan sonra "StarCraft" olarak anılacaktır) mikro savaş sahnelerini test ortamı olarak kullandı ve birden çok AI ajanı arasındaki etkileşim üzerine derinlemesine araştırma yaptı. İşbirliği sorunu, insanların iyi olmadığı sorunları işbirliğine dayalı zeka yoluyla çözmeyi amaçlar. Bu araştırmada tanıtılan çok ajanlı iki yönlü koordinasyon ağı (BiCNet), çarpışmasız hareketten temel saldırı ve kaçış stratejilerine, karmaşık siper saldırıları ve konsantrasyona kadar birden fazla ajanın birlikte çalışmasını sağlamak için çeşitli optimum stratejileri otomatik olarak öğrenebilir. Yangın saldırısı. Araştırmada kullanılan yöntem, şu anda mevcut olan en gelişmiş yöntemlerden daha üstündür.Çoklu aracılar, e-ticaret, oyunlar ve sağlık hizmetleri gibi gerçek dünyada akıllı karar vermenin geniş uygulama olasılıklarını göstererek karmaşık görevleri tamamlamak için işbirliği yapar.

Gerçek dünyadaki yapay zeka uygulamaları genellikle birden çok aracının birlikte çalışmasını gerektirir. Temsilci tarafından etkili iletişim ve koordinasyon öğrenmesi, genel yapay zekaya geçiş sürecinde vazgeçilmez bir adımdır. Alibaba'nın Bilişsel Bilgi İşlem Laboratuvarı, Londra Üniversitesi Bilgisayar Bilimleri Bölümü ile işbirliği yaparak, "StarCraft 1" oyunundaki (bundan sonra "StarCraft" olarak anılacaktır) mikro savaş sahnelerini test ortamı olarak kullandı ve birden çok AI ajanı arasındaki etkileşim üzerine derinlemesine araştırma yaptı. İşbirliği sorunları.

Bu makale Interstellar'ı bir test senaryosu olarak kullanıyor ve görevi, düşmanlarını yenmek için birden fazla ajanı bir ekip olarak koordine etmektir. Ölçeklenebilir ancak etkili bir iletişim protokolünü sürdürmek için, bu araştırma, aktör-eleştirmen ifadesinin vektörleştirilmiş bir uzantısına sahip olan çok ajanlı çift yönlü bir koordinasyon ağını (BiCNet) tanıttı. BiCNet'in, her iki tarafın da herhangi bir sayıda yapay zeka aracısına sahip olduğu durumlarda, farklı araziler altında farklı türde savaşları idare edebildiği görülebilir. Analiz, insan gösterimi veya etiket verileri gibi herhangi bir denetim olmaksızın BiCNet'in deneyimli oyunculara benzer çeşitli işbirliği stratejileri öğrenebileceğini göstermektedir. Ayrıca BiCNet, heterojen ajanların görevlerine kolayca adapte edilebilir. Deneyde, araştırmacılar yöntemi farklı senaryolara göre değerlendirdiler ve çoklu taban çizgilerini referans olarak kullandılar. En gelişmiş performansı gösterir ve büyük ölçekli gerçek dünya uygulamaları için potansiyel değere sahiptir.

Okuyucuların, temsilcilerin StarCraft'ta nasıl işbirliği yaptığını daha iyi anlamasını sağlamak için, Alibaba Bilişsel Hesaplama Laboratuvarı, Xinzhiyuan'a özel bir video açıklaması sağladı:

Video yükleniyor ...

İşbirlikçi zeka, genel yapay zekanın temelidir

AI alanı, geçtiğimiz on yılda muazzam ilerleme kaydetti. Etiket veri denetimi yardımıyla makine, insan görsel biliş ve konuşma tanıma yeteneğini bir dereceye kadar aştı. Aynı zamanda, tek bir AI birimi (ajan olarak da bilinir), Atari video oyunları, Go ve Texas Hold'em dahil olmak üzere birçok oyunda insanları yendi.

Bununla birlikte, gerçek insan zekası, yapay genel zekanın (AGI) büyük hedefine ulaşmanın temeli olan sosyal ve işbirliğine dayalı zekayı içerir. Kolektif çaba, bireylerin çözemediği sorunları çözebilir. Karınca gibi zayıf bir birey bile yiyecek avlamak, bir krallık inşa etmek ve hatta bir sosyal organizasyon oluştururken bir savaş başlatmak gibi oldukça zorlu görevleri tamamlayabilir.

İlginç bir şekilde, algoritmik ekonominin yaklaşan çağında, yapay kolektif zekaya sahip yapay zeka ajanları bir dereceye kadar birden fazla alanda görünmeye başlıyor. Tipik örnekler arasında borsada robot oyunları ticareti, reklam teklif aracıları çevrimiçi reklam ticareti platformları aracılığıyla birbirleriyle rekabet eder, e-ticaret işbirliğine dayalı filtreleme önerileri, kalabalık bilgeliği aracılığıyla kullanıcı ilgi alanlarını tahmin eder vb. AGI için bir sonraki büyük zorluk, teşviklerin ve ekonomik kısıtlamaların bir arada var olduğu ve insan seviyesindeki işbirliği veya rekabetten öğrenebilecekleri büyük ölçekli çoklu AI ajanlarının nasıl bir şeyler öğrenebileceğini yanıtlamaktır. Derin Güçlendirilmiş Öğrenmenin (DRL) güçlü gelişimi ile araştırmacılar, gelişmiş öğrenme yetenekleri yardımıyla çok aracılı işbirliği sorununu çözmeye başladılar.

BiCNet, çok temsilcili işbirliği için en iyi stratejiyi otomatik olarak öğrenir

Bu makale, birden fazla aracı arasında işbirliğine dayalı davranışların öğrenilmesini incelemek için gerçek zamanlı strateji oyunu StarCraft 1'i kullanır. Araştırma, özellikle StarCraft'ın mikroskobik savaş sahnelerine odaklanıyor. Her oyuncu kendi birimini kontrol eder (farklı işlevlere sahiptir ve görevleri tamamlamak için işbirliği gerektirir) ve farklı arazi koşullarında rakipleri yok eder.

Go'dan daha fazla varyasyonuyla bu oyun en zor oyunlardan biri olarak kabul edilir. Büyük ölçekli çok etmenli sistemlerin öğrenilmesinin karşılaştığı temel zorluklardan biri, parametre uzayının, ona katılan aracıların sayısındaki artışla katlanarak artmasıdır. Bu nedenle, temsilcinin davranışı o kadar karmaşık hale gelebilir ki, herhangi bir ortak öğrenci yöntemi oyundaki aracıların sayısındaki dinamik değişiklikleri idare edemeyecektir.

Araştırmacılar, çoklu ajanlardan StarCraft'taki savaş görevlerini sıfır toplamlı rastgele bir oyun olarak ele almalarını istedi. Temsilciler, araştırmacılar tarafından önerilen çift yönlü koordinasyon ağı (BiCNet) aracılığıyla birbirine bağlanır ve öğrenme, çok temsilcili aktör-eleştirmen çerçevesi kullanılarak yapılır. Ayrıca makale, ölçeklenebilirlik problemini çözmek için dinamik gruplama ve parametre paylaşımı kavramlarını da tanıtmaktadır. Çalışmalar, BiCNet'in, deneyimli insan oyuncular tarafından StarCraft oynarken hafif çarpışmasız hareketten temel saldırı ve kaçış stratejilerine kadar kullanılan stratejilere benzer şekilde, birden fazla aracı koordine etmek için çeşitli optimum stratejileri otomatik olarak öğrenebileceğini göstermiştir. , Ve sonra karmaşık örtü saldırıları ve yoğun yangın saldırıları (ancak israf değil). Araştırmacılar, farklı zorluk seviyelerinde bir dizi savaş görevinde deneyler yaptılar. Deneyler, çeşitli zorluk derecelerine sahip bir dizi savaş görevi test edilerek gerçekleştirildi. Bu çalışmada kullanılan yöntem, şu anda mevcut olan en gelişmiş yöntemlerden daha üstündür ve gerçek dünyadaki çok temsilcili görevlerde çok çeşitli uygulama olasılıkları gösterir.

BiCNet mimarisi

StarCraft'taki savaşlar veya mikro yönetim görevleri, düşman üyelere karşı savaşırken ordunun düşük seviyeli, kısa vadeli kontrolünü ifade eder. Araştırmacılar bunu sıfır toplamlı rastgele bir oyun (SG), birden fazla ajanın katıldığı çok durumlu dinamik bir oyun olarak görüyor.

Ödül tasarımı, çok ajanlı öğrenme işbirlikçi veya rekabetçi davranış sürecinde çok önemlidir. Araştırmacılar ödülleri küresel ödüllere (aynı takımdaki her temsilci aynı ödülü alır) ve bireysel ödüllere böler.

Araştırmacı daha sonra iki ağın tasarımını tanıttı. Her bir aracı için, parametreleri paylaşılır, bu da parametre sayısını aracıların sayısından bağımsız kılar. Ortaya çıkan daha kompakt model, birden fazla aracı tarafından deneyimlenen çeşitli durumları öğrenebilecek ve böylece öğrenme sürecini hızlandıracaktır.

Ajanlar arasında etkili bir şekilde iletişim kurabilmek için araştırmacılar, iki yönlü tekrarlayan bir sinir ağı (RNN) kullanarak iç katmanda özel iki yönlü bağlantılar kurdular.

Şekil 1 Çift yönlü koordinasyon ağı (BiCNet): (a) Gruplandırmalı çok ajanlı strateji ağı (b) Ödül tasarımlı çok ajanlı Q değeri ağı

Araştırmada tanıtılan çift yönlü koordinasyon ağının (BiCNet) yapısı Şekil 1'de gösterilmektedir. Her ikisi de çift yönlü RNN'ye dayanan bir politika ağı (aktör) ve bir Q değeri ağından (eleştirmen) oluşur. Strateji ağı, bağımsız temsilcilerin eylem kararları alması için kullanılır. Bu nedenle, bağımsız temsilci, diğer ortaklarla bilgi paylaşırken kendi iç durumunu koruyabilir. İki yönlü özyineleme mekanizması yalnızca aracılar arasında bir iletişim aracı değil, aynı zamanda yerel bir bellek durumu olarak da kullanılır. Araştırmacılar, sosyal davranışta önemli bir rol oynayan aktör gruplama kavramını daha da güçlendirdiler. Girdi olarak, özyinelemeli katmana girmeden önce az sayıda aracı programlarının yerel korelasyonlar oluşturmasına izin veriyoruz. Dolayısıyla bu modelin performansı çok daha iyi. Deneylerde, grup temelli aktörlerin yoğun ateş saldırıları gibi sosyal aktiviteleri öğrenmede yardımcı olduğunu bulduk. Q-değeri ağı, girdi olarak politika ağının durumunu ve davranışını alır ve her bağımsız aracıya tahmini bir yerel Q değeri döndürür. Ardından, küresel getirinin bir tahminini sağlamak için yerel Q değerlerini birleştirin.

İşbirlikçi strateji öğrenimi

Yeterli eğitimin ardından BiCNet, beş akıllı işbirliği stratejisini etkili bir şekilde gösterebilir:

• Çarpışmasız koordineli hareket

(A) Erken eğitim (b) Erken eğitim (c) Eğitim sonrası (d) Eğitim sonrası

Şekil 2 Savaşta işbirlikçi hareket 3 Denizci (kendi tarafında) ve 1 Süper Zergling (düşman)

Araştırmacılar, öğrenmenin ilk aşamasında (Şekil 2 (a) ve (b) 'de gösterildiği gibi), özellikle iki ajan birbirine yakın olduğunda, çok sayıda ajanın koordinasyonsuz bir şekilde hareket ettiğini gözlemlediler. Farkında olmadan bir başkasının yolunu engelleyebilir. Eğitim arttıkça, çarpışma sayısı keskin bir şekilde düşecektir. Son olarak, eğitim kararlı olduğunda, Şekil 2'de sağdaki resimde gösterildiği gibi koordineli eylemler de görünecektir. Bu koordineli eylem ayrıca Şekil 6 (a) ve (b) 'de gösterilmektedir.

• Saldırı ve kaçış stratejisi

(A) Saldırıya uğradığında kaçar (b) Güvenli olduğunda karşı saldırı (c) Tekrar kaçar (d) Tekrar karşı saldırı

Şekil 3 Savaşta saldırı ve kaçış stratejisi 3 Denizci (kendi tarafında) ve 1 Zealot (düşman)

İnsan oyuncular için, StarCraft savaşlarında yaygın olarak kullanılan bir taktik saldırı ve kaçış, yani saldırıya uğradığında hızlıca kaçmak ve güvenli olduğunda karşı saldırı yapmaktır. BiCNet'in ister tek bir ajan ister çok ajanlı bir ortamda olsun, saldırı ve kaçış stratejilerini hızla öğrendiğini gördük. Şekil 3 bunu göstermektedir. Saldırı ve kaçış stratejisi basit olmasına rağmen, çeşitli gelişmiş ve karmaşık işbirliği stratejilerinin temelini oluşturur.

• Örtbas suçu

Siper hücumu, gerçek savaş alanında sıklıkla kullanılan gelişmiş bir işbirliği stratejisidir. Bunun özü, ajanlarımızdan birinin düşmanın dikkatini ve ateş gücünü çekmesine izin verirken, diğer ajanlar bir saldırı başlatma fırsatını kullanmaktır. Siper suçunun işleyiş zorluğu, çoklu ajanların hareketinin koordineli ardışık saldırılara ve kaçışlara nasıl dönüştürüleceğidir. Şekil 4 ve Şekil 5'te gösterildiği gibi. BiCNet bunu çok iyi anlıyor.

(A) Zaman düğümü 1 (b) Zaman düğümü 2 (c) Zaman düğümü 3 (d) Zaman düğümü 4

Şekil 4 Savaşta kapak saldırısı stratejisi 4 Ejderha (kendi tarafı) ve 2 Ultralisk (düşman)

Şekil 4'teki 1. zaman düğümünde BiCNet, düşman Ultralisk'ten kaçmak için aşağıdaki iki Ejderhayı kontrol etti.Bu sırada sağ üst köşedeki bir ajan, Dragoon'u korumak için hemen Ultralisk'e saldırmaya başladı. Buna karşılık, düşman yukarıdaki ajana saldırmaya başladı (zaman düğümü 2) Bu sırada, aşağıdaki iki Ejderha yukarıdaki yoldaşlarını örtmek için karşı saldırıya başladı. Böylesine kesintisiz bir koruma döngüsü sayesinde, Dragoon ekibi, ekibin kendi ekibinin kaybını en aza indirirken düşmana sürekli bir saldırıyı garanti eder (çünkü düşman, farklı Ejderhaları bulmak için zaman harcar).

(A) Zaman düğümü 1 (b) Zaman düğümü 2 (c) Zaman düğümü 3 (d) Zaman düğümü 4

Şekil 5 Savaşta kapak saldırısı stratejisi 3 Denizci (kendi tarafı) - 1 Zergling (düşman)

"3 Denizci ve 1 Süper Zergling" savaşında (Şekil 5), düşman sayısını revize ettik ve saldırı skorunu ve Zergling'in hasarını değiştirerek oyunun zorluğunu ayarladık.

• Odaklı yangın saldırısı (ancak ölü hedeflere mermi israf etmemek)

(A) Zaman düğümü 1 (b) Zaman düğümü 2 (c) Zaman düğümü 3 (d) Zaman düğümü 4

Şekil 6: Savaşta yoğunlaştırılmış ateş saldırısı stratejisi 15 Denizci (kendi tarafında) - 16 Denizci (düşman)

Temsilci sayısı arttıkça, saldırı kaynaklarının verimli bir şekilde nasıl tahsis edileceği çok önemli hale geliyor. Ne tüm düşmanlara amaçsızca saldırın ne de tek bir düşmana odaklanın. Stratejik ağdaki paket tasarımı bu bağlantıda önemli bir rol oynar. Deneyde, araştırmacılar ajanları coğrafi konumlarına göre dinamik olarak grupladılar. Buna dayanarak, BiCNet çoklu temsilcilerin grup içi ve gruplar arası davranış verilerini elde eder. Aynı ajan grubu için davranışları tutarlıdır ve ateş güçlerini bir veya iki düşmana odaklamaları beklenir; farklı ajan grupları için beklentileri, ateş güçlerini farklı hedeflere odaklamaktır. Düşman üzerinde. Şekil 6'daki "15 Denizci 16 Denizci'ye karşı" savaşında, bu tarafın savaş birimleri kabaca üç gruba ayrılmıştır. Araştırmacılar, ajanın iki veya üç düşmana saldırmak için ateş gücünü yoğunlaştırmayı öğrendiğini, farklı grupların ajanlarının ise ateş gücünü bir ağ oluşturacak şekilde yaymayı öğrenebildiklerini buldular. Bu taraftaki muharebe birimlerinin sayısı azaltılsa bile, her grup, 3-5 birimin aynı düşmana saldırmaya odaklanmasını sağlamak için dinamik olarak atanabilir.

• Heterojen ajanlar arasında işbirliği

(A) Zaman düğümü 1 (b) Zaman düğümü 2 Şekil 7: Savaşta heterojen ajan işbirliği stratejisi 2 Dropships ve 2 Tank (kendi tarafı) - 1 Ultralisk (düşman)

StarCraft'ta, her biri kendine özgü işlevleri, eylem alanı, güçlü ve zayıf yönleri olan 10 tür aracı vardır. Araştırmacılar, birden fazla birim türü içeren bir savaş için, işbirliğinin her birimin özelliklerine dayalı olabileceğini umuyor. Aslında, paylaşılacak parametrelerin sadece aynı tip birimlerle sınırlandırılmasıyla, araştırmacılar tarafından önerilen çerçevede heterojen işbirliği kolaylıkla uygulanabilir. Bu makale basit bir durumu inceledi: iki Dropship ve iki tank bir Ultralisk'e karşı işbirliği yaptı. Dropship'in saldırı yeteneği yoktur, ancak havada iki kara birimine kadar hareket edebilir. Şekil 7'de gösterildiği gibi, Ultralisk bir tanka saldırdığında, Dropship tanka saldırıdan uzağa kadar eşlik etti. Aynı zamanda, başka bir Dropship bir tankı yere indirdi ve Ultralisk'e bir saldırı başlattı. Dropship ile tank arasındaki bu işbirliği Ultralisk yok edilene kadar devam etti.

Performans karşılaştırması

On makineli tüfekçinin on üç yavruya karşı görevinde, takım büyüklüğünün kazanma oranına etkisi

Farklı algoritmaların kazanma oranı eğrileri (10 mızrakçıya karşı 13 köpek görevi), CommNet Facebook'un algoritmasıdır ve BiCNet en iyi performansı gösterir

Farklı kolların performans karşılaştırması. M = Machine Gunner, Z = Puppy, W = Ghost Fighter. Ali'nin algoritması CommNet en iyi performansı gösterdi.

özet

Bu makale, yeni bir derin çoklu ajan takviye öğrenme çerçevesini tanıtmak için iki yönlü bir sinir ağı kullanır. Sistem, her boyutun bir temsilciye karşılık geldiği vektörleştirilmiş bir aktör-eleştirmen çerçevesi oluşturarak işbirliği yapmayı öğrendi. İç katmandaki iki yönlü iletişim koordinasyonu sağlar. Uçtan uca öğrenme yoluyla, BiCNet birkaç etkili koordinasyon stratejisini başarıyla öğrenebilir. Araştırma deneyleri, StarCraft'ta işbirliği yapma ve çeşitli savaşlarda ustalaşma yeteneğini göstermiştir.

Deneyde araştırmacılar, belirli ödüller ile öğrenme stratejileri arasında yüksek bir korelasyon olduğunu buldular.İleride ikisi arasındaki ilişkiyi araştırmayı ve stratejilerin ajanlar arasındaki ağ üzerinden nasıl iletişim kurduğunu incelemeyi planlıyorlar. Ek olarak, oyunun her iki tarafı da derin çoklu-ajan modelleri olduğunda, aralarındaki Nash dengesini keşfetmek de ilginçtir.

Kağıt indirme: https://arxiv.org/abs/1703.10069

• GymStarcraft, Alibaba'nın gezegenler arası yapay zekayı araştırmaya yönelik en yeni açık kaynak aracıdır. Github adresi: https://github.com/alibaba/gym-starcraft

Gym StarCraft'ta yapay zeka ve pekiştirmeli öğrenme araştırmacıları, derin takviye öğrenen akıllı aracılar geliştirmek için Python dilini kolayca kullanabilir. Alt kısımda TorchCraft ve OpenAI Gym paketlerini tamamlar ve TensorFlow ve Keras gibi ana akım algoritma çerçevelerini destekler. Geliştirme, yalnızca onlarca satır kod satırı temel bir akıllı ajanın gelişimini tamamlayabilir. Aynı zamanda, akıllı ajanların etkinliğinin değerlendirilmesini kolaylaştırmak için Gym StarCraft, dünyanın her yerinden yıldızlararası yapay zeka araştırmacılarını buna dayalı olarak adil ve hızlı bir etki değerlendirmesi yapmaları için desteklemek üzere ana akım takviye öğrenme yapay zeka değerlendirme platformu olan OpenAI Gym'e entegre ediliyor. Geliştirici, yapay zeka için açık bir işbirliğine dayalı araştırma platformu sağlar. Pekiştirmeli öğrenmenin yaygınlaştırılmasında ve desteklenmesinde önemli bir rol oynar.

27 Mart'ta Xinzhiyuan Açık Kaynak Ekolojik Yapay Zeka Teknolojisi Zirvesi ve Xinzhiyuan 2017 Girişimcilik Yarışması Ödül Töreni görkemli bir şekilde düzenlendi. "BAT" dahil olmak üzere Çin'in ana akım AI şirketleri ve 600'den fazla sektör eliti 2017 Çin'e ortak katkıda bulunmak için bir araya geldi Yapay zekanın gelişimi güçlü bir darbe aldı.

Metin kaydı: Xinzhiyuanın "Bahar Şenliği" AI gücünü patlatıyor ve yıldızlar Çinin AI satranç oyununu tartışıyor

Büyük etkinliği incelemek için aşağıdaki bağlantıyı ziyaret edin:

• Aliyunqi topluluğu:

• Iqiyi:

• Tencent Teknolojisi:

Satışa çıkan gişe rekorları kıran yeni arabaların bir özeti! Lynk & Co 03, Mercedes-Benz A sınıfı sedan ...

Wang Xiaochuan Lakeside Üniversitesi konuşması: Yapay zekanın en ticari değeri nedir?

Rusya, Çin'e tarım için geniş arazi sağlamaya istekli olduktan sonra, Rus Tarım Grubu: Çinli bir işletme olmayı umuyoruz

Bu lüks markalı Güneydoğu Asya kasabası, yüzme havuzuyla çevrili Avrupa tarzı bir malikane olan yeni bir otel açtı.

TP-GAN, tek taraflı yüzden önden gerçekçi yüzler üreterek görüntü oluşturmada başka bir atılım gerçekleştirir

Çin'e binlerce ton Rus "Çin soya fasulyesi" geldikten sonra, yabancı medya Çin soya fasulyesi stoklarının birkaç gün süreceğini tahmin etti

Guo Guangchang: Teknolojik yenilik olmadan şirketler ayakta kalamaz

Ayrıca Japonya ile karşılaştırılabilecek bir kırmızı yaprak mevsimi var! Nehir kıyısındaki sonbahar manzarası iyi olgunlaşmış ve her zaman mevsimlik yemek yiyebilirsiniz.

Acele edin ve tasarruf edin! Hongqi HS7, Changan CS85, Baojun RS-5 ... çok sayıda yeni araba geliyor!

Ronaldo'nun akıllıca hareketi, Juventus hayranlarının ve üst yönetimin takdirini kazandı! Juventus'ta efsane olma yeteneğine sahip!

Yepyeni bir SUV dalgası geliyor! BMW X5, yepyeni Outlander, Tang 5 koltuklu ... tasarruf edin!

Git okuyun, insanları gerçekten akıllı hale getirebilir!