AI, en iyi DotA oyuncularını yendi mi? OpenAI yeni verileri yayınlar
Chen Hua, OpenAI Blog'dan derlendi
Qubit Raporu | Genel Hesap QbitAI
Hafta sonu boyunca OpenAI, dünyanın en iyi DotA 2 etkinliği olan TI7'nin (The International) orta koridor 1v1 maçında en iyi oyuncu Dendi'yi yendi. OpenAI'nin öncülerinden biri olan Silikon Vadisi Iron Man Musk, OpenAI'ye hayranlık duyarak, denetim hakkında konuşarak ve yapay zekanın riskleri hakkında konuşarak arka arkaya üç twitter gönderme eğiliminden de yararlandı.
Ancak bu yarışmaya katılan yapay zekayı herkes çok iyi bilmiyor, bu nedenle bazı insanlar bu zaferin yorumunu abartıyor, sorgulayanlar ise buluş değil.
OpenAI bu güne kadar resmi blogunda DotA teknolojisiyle savaşan yapay zeka teknolojisinin evrimini, teknik ayrıntıları ve daha fazla oyuncuya karşı oynamanın videolarını ve bu yapay zekayı nasıl yenebileceğini duyurdu.
Qubit derlemesi şu şekilde düzenlenmiştir:
Sınıflar
DotA 2 ile ilgili sonuçlarımız, yeterli bilgi işlem gücüne sahip oldukları sürece, kendi kendileriyle yüzleşmenin makine öğrenimi sistemlerinin seviyesini insanları geride bırakabileceğini göstermektedir (şu anda orta seviye 1v1 ile sınırlıdır).
Bir ay içinde, sistemimizin seviyesi sadece eşleşen üst düzey oyunculardan en iyi profesyonel oyuncuları yenmeye yükseldi. O zamandan beri, sistem optimize edilmeye devam etti.
Denetimli bir derin öğrenme sisteminin performansı, eğitim veri setine bağlıdır, ancak kendi kendine yüzleşme sisteminde, sistem daha güçlü hale geldikçe, mevcut veriler otomatik olarak optimize edilir.
Aşağıdaki resim AI'nın TrueSkill puanıdır:
Zaman içinde, en iyi yapay zekamızın TrueSkill puanı da doğrusal olarak arttı. TrueSkill, AI'lar arasındaki oyunları simüle ederek ve satranç ELO puanına eşdeğer olan kazanma oranını gözlemleyerek hesaplanır.
TrueSkill puanının iyileştirilmesi, sistemin tüm bölümlerinin iyileştirilmesi ile ilgilidir.Algoritmaya yeni işlevler eklemek ve ölçeği genişletmek puanı iyileştirebilir.
AI, DotA'yı nasıl oynar?
Tam DotA oyunu bir 5v5 karşılaşmasıdır, ancak bazı turnuvalarda orta koridor karşılaşmasını da görebilirsiniz.
Yapay zekamız oyunu standart devre kurallarına göre oynuyor ve 1v1 oyuna yapay zeka lehine herhangi bir basitleştirme eklemedik.
AI, aşağıdaki arayüz üzerinden çalışır:
-
Gözlemlenen : Bot API işlevi, yapay zekanın kahramanlar, asker hatları ve yakındaki arazi dahil insanlar gibi gözlem yapmasına olanak tanır. Oyun kısmen gözlemlenebilir.
-
işletme : Bot API'si aracılığıyla çalışın. Çalışma frekansı, insan oyuncularınkine benzer. Belirli operasyonlar, pozisyonları değiştirmeyi, diğer birimlere saldırmayı ve sahne donanımı kullanmayı içerir.
-
geri bildirim : AI kazandıktan sonra teşvik alabilir. Kan hacmi ve tazminat gibi diğer temel göstergelere dayanarak, AI da motive edilebilir.
Yapay zekanın kullanması için ondan fazla ekipman sentez yöntemini beyaz listeye aldık ve değerlendirme için bunlardan birini seçtik. İlk kontrol hattı becerilerini eğitmek için geleneksel RL teknolojisini de kullanıyoruz.
Geliştirme geçmişi
AI ve SumaiL
Proje ilerlemesi aşağıda gösterilmiştir. Aşağıda belirtilen MMR'nin tam adı, merdiven puanlarına eşdeğer olan maç yapma değerlendirmesi olan Match Making Rating'dir. DotA 2'de oyuncuların% 15'inin sıralaması 1500'ün altında, oyuncuların% 58'i 3000'in altında ve% 99,99'u 7500'ün altında.
-
1 Mart : İlk klasik geliştirilmiş öğrenme sistemimiz basit bir DotA ortamında yapılandırılmıştır.
-
8 MAYIS : Merdivenden 1500 puan alan testçi, gelişim seviyesinin yapay zekadan daha hızlı olduğunu söyledi.
-
Haziran başı : AI, Rank 1500'ün testçisini yendi.
-
30 Haziran : Merdivendeki 3000 puanla testçilerin çoğunu yendi.
-
8 Temmuz : Merdivende 7500 puanla yarı profesyonel bir oyuncuya karşı ilk zaferi kazandı.
-
7 ağustos : Blitz'i 3-0 yendi (eski profesyonel oyuncu, Ladder 6200), Pajkatt'ı 2-1 yendi (profesyonel oyuncu, Ladder 8500), CCC'yi 3-0 yendi (profesyonel oyuncu, Ladder 8900). Hepsi SumaiL'in bu yapay zekayı nasıl yeneceğini bildiğine inanıyor.
-
9 ağustos : Arteezy'yi (en iyi profesyonel oyuncu, merdiven 10000) 10'dan 0'a yendi. Ayrıca SumaiL'in yapay zekayı nasıl yeneceğini bildiğini düşünüyor.
-
10 ağustos : SumaiL'i 6-0 yenin (üst orta şerit, 8300 merdiven). Bu yapay zekanın yenilmez olduğuna inanıyor. 9 Ağustos'ta AI ile mücadelede 2-1'lik bir skor elde etti.
-
11 ağustos , Dendi'yi 2-0 mağlup etti (eski dünya şampiyonu, merdivende 7300 profesyonel oyuncu). 10 Ağustos'ta AI'ya karşı mücadelede, bu AI'nın% 60 kazanma şansı var.
TI
Yaklaşımımız, az miktarda "koçluk eğitimini" kendi kendine yüzleşmeyle birleştirmektir. Bu, pazartesiden perşembeye Uluslararası Davet (TI7) sırasında yapay zekayı büyük ölçüde optimize etmemize olanak tanır.
Pazartesi günü Pajkatt, AI'yı yendi
Pazartesi gecesi, Pajkatt daha az yaygın bir ekipman sentezi yöntemi kullandı (erken bir asa satın alarak) ve kazandı. Daha sonra bu ekipman sentez yöntemini eğitim beyaz listesine ekledik.
Yapay zekanın en son sürümünü Çarşamba günü saat 13:00 civarında test ettik. Bu AI, ilk yüzleşme dalgasında önemli miktarda kan kaybetti. Başlangıçta kodu geri almayı planladık, ancak sonraki oyunun daha ilginç hale geldiğini ve ilk yüzleşme dalgasındaki ciddi kan kaybının düşmanı daha derine çekmek olduğunu fark ettik. Daha fazla kendi kendine yüzleşme sorunu çözdü ve AI, yem stratejileriyle başa çıkmayı öğrendi. Aynı zamanda, bunu yalnızca ilk yüzleşme dalgası için kullanılan AI'nın Pazartesi sürümüyle birleştirdik. Arteezy saat 16: 00'da gelmeden 20 dakika önce tüm süreci tamamladık.
AI ve RTZ
Arteezy'ye karşı oynadığımız oyundan sonra, TrueSkill puanını 1 puan artıran kontrol hattı modelini yükselttik. Sumail'e karşı Perşembe günkü maçtan önce, daha ileri eğitimler TrueSkill puanının 2 puan daha artmasına izin verdi. Sumail, yapay zekanın becerilerini rakibin görüş alanının dışına çıkarmayı öğrendiğine dikkat çekti. Bu, daha önce hiç bilmediğimiz bir mekanizmaya dayanıyor: Beceri, rakibin görüş alanının dışına yerleştirilirse, rakip kahraman sihirli değnek puanları biriktirmez.
Arteezy ayrıca yarı profesyonel MMR 7.5k beta sürümümüzle de yarıştı ve neredeyse kazandı ancak yapay zeka tarafından benimsenen bir strateji onu şaşırttı. Arteezy daha sonra, Çin'in en iyi profesyonel oyuncusu ve iG.V ekibinin orta koridor oyuncusu Paparazi'nin (retçi) bir zamanlar bu stratejiyi kendisiyle bir oyunda kullandığını, ancak bu yaygın bir davranış olmadığını söyledi.
AI nasıl yenilir
Sumail, bu yapay zekanın "yenilmez" olduğuna inanmasına rağmen, bazı çok nadir durumlarda, yapay zekanın kafası karışabilir. International Invitational'ın bir LAN etkinliğinde yapay zeka oluşturduk. Oyuncular 1.000'den fazla oyun oynadılar ve AI'yı yenmek için mümkün olan her yolu denediler.
Yapay zekayı başarılı bir şekilde yenme stratejileri temel olarak 3 tür içerir:
-
Çekme hattı : Oyuncular, sizi AI'nın ikinci ve üçüncü kuleleri arasında kovalamak için yeni oluşturulan hatları tekrar tekrar çekebilirler. Sonunda haritada sizi kovalayan çok sayıda asker olacak ve AI savunma kulesi toz haline getirilecek.
-
Zehir Topu ve Rüzgar Ruhu Modeli : Seviye 1 durumunda, bu tür bir ekipman kombinasyonu oyuncunun yapay zekaya göre hareket hızını büyük ölçüde artırır, böylece hızlı bir şekilde kan alabilirsiniz. AI'yı tekrar öldürmek için bu avantajı kullanmanız gerekir.
-
Seviye 1 itme : Bu çok fazla beceri gerektirir, ancak AI'yı öldürmek için 1. seviyede kısa sürede 3-5 kez beceri kullanan birkaç MMR 6k ila 7k oyuncusu vardır.
Bu sorunları 1v1'de çözmek, Pajkatt tarafından önerilen güvenlik açıklarını çözmeye benzer. Ancak 5v5 durumunda böyle bir güvenlik açığı kullanılamaz. Daha önce hiç görmediğimiz garip durumların üstesinden gelebilecek bir sisteme ihtiyacımız var.
altyapı
Henüz bu yapay zekanın dahili ilkelerini tam olarak tartışmayı planlamadık. Ekip şu anda 5v5 sorununu çözmeye odaklanıyor.
Projenin ilk adımı, fiziksel GPU'ya dayalı bulut bilişim platformunda DotA 2'nin nasıl çalıştırılacağını bulmaktır.
GPU bulut bilişim örneğinde, oyun bir hata mesajı görüntüledi. Oyunda kullanılan ana bilgisayar olan Greg'in kişisel GPU masaüstünde çalışırken, bir monitör bağlandığında DotA'nın başlatılabildiğini ancak monitör bağlı olmadığında hala bir hata mesajı görüntülendiğini fark ettik. Bu nedenle, bulut bilgi işlem GPU örneğini ekranın bağlıymış gibi davranacak şekilde yapılandırdık.
DotA şu anda özelleştirilmiş özel sunucuları desteklemiyor, bu da sadece yavaş yazılım hızlandırmanın bir GPU olmadan kullanılabileceği anlamına geliyor. Ardından, OpenGL çağrılarının çoğunu devre dışı bırakacak ve yalnızca başlangıç için gereken parçaları bırakacak bir mekanizma geliştirdik.
Aynı zamanda, komut dosyalı bir robot geliştirdik. Yerleşik robotun 1v1'de iyi performans göstermediğini göz önünde bulundurarak, referans olarak bir kıyaslama yapmamız gerekiyor ve robot API'sinin tüm anlamını anlıyoruz.
Bu yazılı robot 10 dakikada 70 dolumu tamamladı, ancak yine de mükemmel insan oyuncuların gerisinde kalıyor.
Şu anda, en iyi 1v1 robot 97 vuruşa ulaşabilir (kule bundan önce aşağı itilmiştir, bu nedenle bu sayı spekülasyondan gelir) ve teorik maksimum 101'dir.
5v5 nasıl çözülür?
1v1 karmaşıktır, ancak 5v5 daha karmaşıktır. Yapay zekanın gelişimini daha da ilerletmemiz ve 5v5 problemini çözmemiz gerektiğini biliyoruz.
Davranışı kopyalayarak başlayabiliriz. DotA'nın her gün yaklaşık 1 milyon açık maçı var ve bu maçların tekrarları iki hafta boyunca Valve'ın sunucularında saklanacak.
Geçen yılın Kasım ayından bu yana tüm uzman seviyesindeki tekrarları indirdik ve 5,8 milyon oyundan oluşan bir veritabanı biriktirdik (her oyun yaklaşık 45 dakika, 10 oyuncunun katıldığı). Bu tekrarları analiz etmek için OpenDota'yı kullandık ve bu projeyi desteklemek için 12.000 $ (10 yıllık finansman hedeflerine eşdeğer) bağışladık.
Tabii ki blogun sonunda OpenAI bir kez daha "insanları işe almak istiyoruz!"
İlgili Bağlantılar
Dendi'nin istismarının gözden geçirilmesi:
Savaşın tam videosu! En iyi ustalar, hayatlarının yarısı boyunca Dota'da çok çalıştılar ve yapay zekaya yenildiler.
Akran sorguladı:
DotA2'de en iyi insan oyuncuları mağlup etmek yapay zeka için bir atılım değil
Orijinal blog:
https://blog.openai.com/more-on-dota-2/
bot API:
https://developer.valvesoftware.com/wiki/Dota_Bot_Scripting
OpenDotA:
https://www.opendota.com/
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
