AI, insan oyuncular tarafından "öldürüldü"! İnsanlar, DOTA2'nin en iyi profesyonel turnuvasında yapay zekayı yendi!
Bugün, dünyanın en iyi DOTA 2 etkinliğinin Ti8 (Uluslararası DOTA2 Şampiyonası) eleme turu üçüncü güne girdi. Çin takımı VG'sinin maalesef dışarıda olmasına üzülmenin yanı sıra, daha sonra düzenlenen OpenAIFive vs. OpenAI'nin Dendi'yi en son mağlup etmesinden farklı olarak, bu sefer OpenAIFive'ın ilk yenilgisi sona erdi, bu da oyun alanındaki yapay zekanın hakimiyetinin hala iyileştirilmesi gerektiği anlamına geliyor.
Şekil OpenAIFive Geliştirme Ekibi
Bu bir BO1 oyunudur, yani bir oyun kazananı belirleyecektir. OpenAIFive, Güney Amerika'dan Pain Gaming (PG) ile karşı karşıya. Bu takım, 18 TI takımı arasında bu kez elenen ilk takım.
OpenAIFive'ın kuralları şunlardır: Turu seçmek için bir Yasak yok, her iki tarafın dizilişine karar verildi, hangi taraf jeton tahmin edilerek kararlaştırıldı. Makinenin reaksiyon süresi 0,2 saniyeden sonradır çünkü insanlarda refleks yayları vardır, ancak makinelerde yoktur. Gecikme işlemini ekledikten sonra oyun daha adil olacaktır.
OpenAIFive için bu oyun, en yüksek DOTA2 seviyesinde 5'e 5 formatında insan profesyonel oyuncularla ilk kez karşılaşan oyun. OpenAI tarafından seçilen kadro Helicopter, Lich, Death Prophet, Ice Maiden ve Tidehunter; PG'nin dizisi Demon Wizard, Plague Mage, Witch Doctor, Sniper ve King Axe.
Şekil Pain Gaming (PG) ekibi
Oyun yeni başladı, PG, hilelerin sisini kullanarak Tidehunter'in ilk kanını aldı. Henüz bitmedi. OpenAIFive bir sonraki kulesinin yanına gerçek bir göz yerleştirdi. Aslında, savunma kulesinin kendi gerçek vizyonu var. OpenAIFive'ın yaklaşımı, takım kaynaklarının israfına eşdeğer.
Yaklaşık 2 dakika içinde, OpenAIFive'daki tek gelgit avcısı, dolduğunda durumunu yenilemek için eve döndü. Yaklaşık 4 dakika içinde, OpenAIFive helikopteri PG'nin cadı doktoruyla çarpıştı ve her iki ölümle sonuçlandı. OpenAIFive'ın hasarı hesaplamada çok isabetli olduğu ve helikopterin son darbesinin cadı doktoru öldürmeye yettiği bu yüzleşmeden görülebiliyor.
6 dakikada, Tidehunter bir Görünüş Tozu satın aldı. Bu, görünmezliğin içinden görülebilecek bir sarf malzemesidir, ancak PG dizisindeki hiçbir kahraman görünmezlik becerilerini kullanmayacaktır.
OpenAIFive veba büyücüsünün ölümünü tamamlamak için 8 dakika içinde yollarda üç kişiyi topladı. En şaşırtıcı şey, helikopterin rakibin saldırı gücünü çok doğru bir şekilde kavraması ve rakibi sadece 7 damla kanı kaldığında öldürmesidir.
10 dakikada, her iki tarafın kafaları eşitlendi. Keskin nişancı ekonomisi, oyunda ilk olan 4.500'dür. İkincilik ödülü, PG'nin Baltası ve OpenAIFive'ın Ölüm Peygamberi.
OpenAIFive, erken aşamadan itibaren öldürmeye büyük önem veriyor ve ekonomik gelişimi çok geride kaldı. OpenAIFive, 13 dakikadan başlayarak ortadan toplanacak 5 kişiyi seçti ve PG oyuncularını kovalamak için hile sisini kullanmayı seçti. İlki ortadan aşağıya doğru koştu ve üçte bir değişikliği tamamladı.
15 dakikada, OpenAIFive ilerlemek için bir kez daha 5 kişiyi topladı ve bu sefer hedefleri yoldan çekilmekti. Bu ilerlemenin sonucu beklentileri aştı: OpenAIFive, alt yolun ikinci kulesini ele geçirmekle kalmadı, aynı zamanda rakibin keskin nişancısını ve kral baltasını da öldürdü.
OpenAIFive her iki tarafın da kazanma olasılığını verecektir.Sahadaki tablodan, bilgisayarın tüm oyundaki kazanma oranı neredeyse% 100'dür.
Oyunun 20 dakikasında, Lich ortadaki tek keskin nişancıya büyük bir hamle yaptı. Ancak Lich'in nihai hedefi ancak çok sayıda insan olduğunda etkili olabilir. İki dakika sonra, PG's Axe gizlice bir saldırı gerçekleştirmek için yanıp sönen bir hançer kullandı.Bilgisayar 0.2 saniyelik bir yanıt süresine ayarlanmış olsa bile, insanların tepki veremeyeceği bu tür bir işlem bilgisayar tarafından hala engelleniyordu.
Şekil Oyunun ortasından itibaren PG ekonomiye liderlik ediyor
İronik bir şekilde, OpenAIFive'ın 2. sırasındaki gelgit avcısı olarak, şu anda ekonomi takımdaki en düşük ikinci oldu.
Görüş açısından, OpenAIFive'ın ciddi hataları var. Yukarıda bahsedilen savunma kulesinin altına yerleştirilen gerçek göze ek olarak, makine aynı zamanda gerçek gözü ve sahte gözü de ana üssün yanına yerleştirdi ve bunun yanında gerçek görüşe sahip iki savunma kulesi var.
30 dakikada, OpenAIFive Roshan'ı tekrar öldürdü. Ancak Diriliş Kalkanı ve Peynir'i alan kişi seyirciler arasında altıncı sırada yer aldı. Genel olarak, diriliş kalkanı ve peynir takımın 1. ve 2. pozisyonlarına yerleştirilecek.
Oyunun orta ve geç aşamalarında, OpenAIFive aniden savaş tarzını değiştirdi. Erken aşamada, birbirlerinin kahramanlarını öldürmekten çok hoşlanıyorlardı, ancak şimdi OpenAIFive birlikleri ikmal etmeye ve vahşi alanı temizlemeye başlıyor. 33. dakikada, merkezdeki Ölüm Peygamberi rakibinin vizyonu olmadan ultisini serbest bıraktı.
34. dakikada, Ölüm Peygamber, Kral Balta'nın savaş gürültüsünden kaçmak için Eul'un kutsal asasını kullandı. Bu, yorumcuları operasyon gecikmesinin daha uzun olması gerektiğine inandırdı ve şu anda hala dengesiz görünüyor. 36. dakikada OpenAIFive, PG grubu tarafından yok edildi ve Death Prophet ve Tidehunter öldürüldü.
PG bu sırada rakibin yaylasına saldırmayı seçti, Gelgit Avcısı bu sırada bir can satın almayı seçti ve Ölüm Peygamberi, görüş alanında düşman kalmayınca büyük hamlesini bir kez daha yaptı.
40 dakika itibariyle OpenAIFive'ın habercisi iki kez öldürüldü. Sonra iki taraf arasında bir takım savaşı çıktı ve Axe'nin becerileri hala rakibin ekipmanı ve becerilerinden kaçınıyordu. Sahadaki yorum 0.2 saniyelik gecikmeden bir kez daha şikayet etti.
40. dakikada OpenAIFive, Roshan'a saldırmayı seçti. Ölüm Peygamber Büyük Madalya teçhizatını satın almasına rağmen Roshan'da kullanmadı. Daha sonra, makine kendi uzak vahşi alanına iki sahte göz soktu.Her görsel alan öğesinin görsel alanı üst üste getirilemez, bu nedenle bu iki sahte göz bire eşittir.
43. dakikada, Ölüm Peygamberi, hiç düşmanı olmadığı halde üçüncü kez ultisini serbest bıraktı.
Şekil OpenAIFive öldürmelerde önde gidiyor
44. dakikada, OpenAIFive rakibe 11 skorla liderlik etti, ancak ekonomi daha da geride kaldı. Canlı yorumcu, OpenAIFive'ın esas olarak operasyonda kazandığına inanır.Anında müdahale operasyonu, Ax, Demon Wizard vb. Gibi cast süresine sahip kahramanları işe yaramaz hale getirir.Bu nedenle, operasyon gecikmesi tartışılacak 0.2 saniyeye ayarlanmıştır.
46. dakikada, Ice Maiden yoldaki operasyonunu durdurdu ve geçen Ax tarafından tek başına öldürüldü. 48 dakikada satın alınan uçak tekrar öldürüldü ve diriliş süresi 115 saniyeydi. Şu anda OpenAIFive, PG'nin kazanma oranının% 75 olduğunu belirledi.
51. dakikada OpenAIFive'ın üç yönlü yüksek zemini kırıldı ve dördü bir iş satın alamadan öldürüldü. 52 dakikada PG kazandı.
Oyunun son aşaması nihayet insanların elinde.Kimse oluşan tüfekleri cezalandıramaz.YZ'nin denemesini kaybettikten sonra oyunun görüntülenmesi de azaldı.Az birçok önemli noktayı göstermesine rağmen, insanların tepesinden çok uzak. Oyuncular arasındaki uçurum hala göz ardı edilmemelidir.
Oyunun ilk aşamalarında insan NEC ve Ax'in de rakibi almada başarısız olan hesaplama hataları ve büyük hamlelerle ilgili sorunları olduğunu belirtmekte fayda var, hatta atlama bıçağı rakip tarafından şaşırtıcı bir gecikmeyle kaçtı. Böyle kusursuz bir operasyon, insan oyuncunun kontrol etme bilincine ve durum yargılama yeteneğine devredilirse ve temel beceriler artık bu kadar gelişigüzel teslim edilmezse, o zaman insan oyuncunun şansı olmayabilir.
Büyük veri tahminine ve analizine göre, çoğu zaman AI tarafı% 90'ın üzerinde bir kazanma oranına sahipken, daha sonra yayla dalgası% 70'e düştü ve 50 dakikada% 30 durgun su sonucu verdi. Nihai sonuç, 53 dakikalık şiddetli savaşın ardından insanların oyunu kazanmasıdır.
DOTA 2 zor bir oyundur . Oyuncuların oyunda takım ruhu, stratejik düşünme ve son derece hızlı tepki verme yeteneği göstermesini gerektirir. . OpenAI, DOTA 2'nin nasıl "fethedileceğini" keşfetmek için uzun zaman harcadı. Ve Ağustos 2017'de TI7'de çıkış yaptı Orta şerit SOLO modunda, Navi'nin profesyonel oyuncusu Dendi'yi Shadow Fiend ile yendi ve bu da büyük ilgi uyandırdı. Ancak o sırada OpenAI, profesyonel oyuncu Dendi'yi mağlup etmiş olsa da, Ancak oyunun çok sınırlı ayarları vardır, bu nedenle gerçek bir oyunu temsil edemez .
Ama bu yıl OpenAI, makine öğrenimi sisteminin gerektirdiği donanımı ve hesaplamayı mükemmelleştirip ayarladıktan sonra birçok sınırlamayı aştı. Böylelikle insan ve makine arasındaki rekabet farkı kısalmaktadır.
Resim OpenAI'nin bu yıl 6 Ağustos'taki yarışma sahnesi (Kaynak: OpenAI resmi blogu)
Haziran 2018'de, OpenAI tarafından geliştirilen AI, bir 5V5 savaşında DOTA 2 amatör oyuncularını yenmek için ekip oluşturmayı başardı.Bu oyuncuların ortalama merdiven puanı 4200 puanı aşıyor. . Pittsburgh'daki Carnegie Mellon Üniversitesi'nde araştırmacı olan Noam Brown bir keresinde şöyle demişti: "DOTA2 son derece karmaşık bir oyun. Güçlü amatör oyuncuları yenmek kolay değil. Üstelik, DOTA2 gibi büyük bir oyunda gizli bilgilerle uğraşmak büyük bir zorluktur . "
Şekil Bu yılın Haziran ayında, OpenAI AI ekibi OpenAI çalışan ekibini yendi (Kaynak: MIT Technology Review)
Bu yılın Ağustos ayının başında OpenAI yeni bir zirveye ulaştı: Beş sistemi insan takımını 2: 1 mağlup etti. . Ve bu oyundaki insan oyuncular - Blitz, Cap, Fogged, Merlini ve MoonMeander, Ortalama seviyesi% 99,95'i geçen Dota oyuncuları Dördü profesyonel yarışmalara katıldı. O sırada üçüncü oyunda, seyircinin kasıtlı olarak Five için kötü bir diziliş seçtiğini, ancak OpenAI'nin oyundaki takımın ilk sonuçlarını da gösterdiğini belirtmekte fayda var. Örneğin, Fiveın oyunu anlaması, durumun yargısı ve kazanma olasılığının tahmini, hatta bazı tahminler beklenmediktir. .
Bu sonuçlar gösteriyor ki OpenAI Five, gerçek dünyanın karmaşıklığını ve belirsizliğini kaldırabilen gelişmiş bir yapay zeka sistemidir. .
Şekil 6 Ağustos'taki oyunda Five oyunu sadece 14 dakikada kazandı, ortalama olarak tam bir DOTA oyunu yaklaşık 45 dakika sürdü (kaynak: OpenAI resmi blogu)
OpenAInin önceki tanıtımına göre, OpenAI Five, her biri bir karıncanın beyni boyutunda olan beş tek oyunculu, 1024 birim uzun kısa süreli bellek (LSTM) ağından oluşur. . Çok sayıda yarışmaya katılarak DOTA2 ile ilgili becerilere aşinadır, Ve eğitim sırasında her gün 180 yıla varan oyun deneyimi kazanın , Toplam 900 yıllık deneyime sahip beş yapay zekayı temsil eder Bu, bir insan ekibinin asla başaramayacağı bir şeydir.
OpenAI, yapay zeka takviyeli öğrenme oluştururken bir makine öğrenimi yöntemi kullanır . Bu teknik basit görünebilir, ancak AI'nın çok karmaşık davranışları öğrenmesine izin verir. Yapay zekanın öğrenmesine izin verme süreci, yapay zekayı sanal bir ortama koymak ve kendi kendine deneme yoluyla hedeflere ulaşmayı öğrenmektir. . Geliştiriciler ödül mekanizmasını ayarlayabilir (örneğin, yapay zeka düşmanı öldürdükten sonra makine sistemini ödüllendirebilir) ve ardından yapay zekanın oyunu tekrar tekrar oynamasına izin verebilir.
Bu DOTA robotları inanılmaz miktarda kendi kendine eğitime sahip ve birkaç ay boyunca eğitim alacaklar. Araştırmacı, "Harita üzerinde dolaşmaya başladı, ancak birkaç saat sonra temel becerilere sahip olmaya başladı. Bir kişinin profesyonel bir oyuncu olmak için 12.000 ila 20.000 saat harcaması gerekiyorsa, AI hızlı olmalıdır. Çok, Çünkü her gün biriken oyun deneyimi, bir kişinin hayatı boyunca biriktirdiği deneyimin 100 katıdır. . "
OpenAI'nin olağan geliştirme süreci, sistemin her sürümünü sıfırdan eğitmektir. Ancak OpenAI Five, 9 Haziran'dan bu yana altı büyük revizyondan geçti. Sistemin her yeni sürümü, eğitimden önce önceki sürümün parametreleriyle başlatılır. . Özellikle, OpenAI ekibi "cerrahi" adı verilen yinelemeli bir eğitim aracına çok fazla kaynak yatırdı. Böylece model eski parametreleri yeni ağ mimarisine eşleyebilir .
Örneğin, ilk eğitim eklendiğinde (Dota terimi), Kahramanın hareketinin yönünü ve gözün konumunu belirlemek için bir eylem başlığı paylaştı . Ancak Five, ilerlemeye çalıştığı yöne odaklanma eğilimindedir, bu nedenle ekip bunun esas olarak OpenAI Five'ın bilgi işlem gücünün çoğunu mobile tahsis etmesinden kaynaklandığını düşünüyor. Daha sonra ekip, bir eylem kafasını iki özdeş olana bölmek ve bunları aynı parametrelerle başlatmak için "ameliyat" aracını kullandı .
Şekil Görselleştirme modülü, her kahraman seçildikten sonra OpenAI Five'ın beklenen kazanma olasılığını gösterir
Haziran ayının sonlarında, OpenAI ekibi sisteme bir kazanma olasılığı çıktısı eklemeye başladı. Öngörünün içeriğini geri beslemek ve düzeltmek için OpenAI Five'ı etkinleştirin . Daha sonra işe alma modelini değerlendirirken, ekip bu olasılığın her iki takım için de kazanma olasılığını tahmin etmek için kullanılabileceğini fark etti - sadece oyunun başında her iki tarafın seçtiği dizilime bakın. Gelecek hafta, OpenAI ekibi, Five sisteme 11 milyondan fazla olası kahraman dizisinin ekran girişini simüle etti ve OpenAI Five için en iyi sıralama seçim stratejisini bulmak için bir arama ağacı (veri yapısı) yazdı. .
Haziran'da 4000 puan yenmekten Ağustos'ta 7000 puana kadar , OpenAI ayrıca Proksimal Politika Optimizasyonu adı verilen bir takviye öğrenme algoritması aracılığıyla eğitilir . Haziran maçında, Sistem, Google Cloud aracılığıyla şaşırtıcı derecede 128.000 CPU çekirdeği ve 256 Nvidia P100 GPU tüketiyor .
Bu DOTA sistemini eğitmek için gereken kaynakların aşağıdaki gibi olduğu tahmin edilmektedir (Not: 1 petaflop / s-gün, günde saniyede 1015 sinir ağı işleminin veya toplam 1020 işlemin yürütülmesini ifade eder):
1v1 model l: 8 petaflop / s-gün
6 Haziran'daki model: 40 petaflop / s-day
5 Ağustos'ta model: 190 petaflop / s-days
Şekil 6 Ağustos'taki en son ağ mimarisi (Kaynak: OpenAI resmi blogu)
Resmi OpenAI bloguna göre, Ağustos ayındaki yeni modeller arasında, Çıktı, gelecekte kahramanın tahmin edilen konumunu tahmin edebilir . Aşağıdaki video, Svenin 6 saniye içinde tahmin ettiği konumu vurgulamaktadır:
Ek olarak, Çıktıyı, doldurma sayısı, itilen kule sayısı vb. Gibi çeşitli diğer istatistiksel verileri tahmin etmek için de eğitebilirsiniz. :
DOTA 2'ye odaklanan yapay zekanın geliştirilmesinden bu yana, Açık Yapay Zeka ekibi bu TI8'e katılmayı hedefliyor. Ekip ayrıca, "Bunun başarılıp başarılamayacağını bilmiyoruz, ancak kendi çabalarımızla (ve şansımızla) bunun fırsatlara sahip olduğuna inanıyoruz. Hala çok büyük. " Bu TI8'de herkesin bildiği gibi en iyi profesyonel oyuncuların sıralama puanları genellikle 9000 puan civarındadır. 7000 puanı geçtikten sonra, Önceki öğrenme oranına göre hesaplanan OpenAI, muhtemelen hem şans hem de sıkı çalışma nedeniyle bu tür sonuçlara ulaşmış olabilir. .
