g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

İnsanlık karşı koymak için ayağa kalkıyor! OpenAI, Waterloo tarafından mağlup edildi ve Dota2 en üst seviye nakavt turu yenildi!

Xinzhiyuan Raporu

OpenAI Five, kayıp.

Endişe verici bir hızda gelişmeye devam ettikten ve Dota 2 yarı profesyonel oyuncuları başarılı bir şekilde ezdikten sonra, OpenAI Five puan TI8'e, aktif profesyonel insan oyunculara meydan okuyor ve insanlarla ilk savaşını bitirdi.

51 dakika içinde, OpenAI Five kontrol hızı ve takım desteği açısından insanları çok geride bıraksa da, altın sikkelerin sayısı yalnızca bir kez öncülük etti, bu da kahraman becerilerinin serbest bırakılması ve asker hattının anlaşılması gerektiğini gösteriyor.

OpenAI Five, DOTA25V5 takım savaşında oyuncuların ilk% 05'ini mağlup etti ve bu da pekiştirmeli öğrenmeyi inceleyen birçok insanı heyecanlandırdı, Bill Gates'in yorumundan bahsetmeye gerek yok: "Bu, yapay zeka gelişimi tarihinde önemli bir sorun. kilometre taşı".

Dolayısıyla bu kez TI8'deki ilk maç için dikkat çekici olarak nitelendirilebilir.

Savaş eşiğinde!

İlk demo oyununda OpenAI Five, insan profesyonel oyuncu takımı paiN Game'e karşı oynadı.

Bu, Pg'nin aktif bir üyesidir

PG, katılan 18 takım arasında (ilk elenen takım) en zayıf takım olmasına rağmen, unutmayın, bu Olimpiyat sprint finallerindeki en yavaş koşucuya eşdeğerdir ve aynı zamanda insanlar arasında en güçlüsüdür. ne.

Bu savaşta OpenAI tarafından seçilen kahramanlar: Tide Hunter, Gyrocopter, Crystal Maiden, Death Prophet ve Lich. PG seçti: Lane, Plague Mage, Witch Doctor, Sniper ve King Axe.

Bir kez sahaya çıktığında, OpenAI'nin piyon çizgisi o zamanki Benchmark oyunundakinden bile yüksekti çünkü 5 haberciden 1'e değişti.

Savaş öncesi tahmine göre, Seçmenlerin çoğu hala insanların kazanacağına inanıyor (% 55). OpenAI takımının gergin bir ruh hali içinde oynamasının nedeni de bu olabilir.

Gerçek savaşın başlangıcında, iki taraf eşit bir şekilde eşleştirildi, haritanın her yerinde savaşmak ayrılmaz bir şekilde zordu, ancak açılıştan 20 dakika sonra OpenAI Five iki kuleyi devirdi, ancak her iki taraftaki kayıplar neredeyse aynıydı.

Birkaç dakika sonra, OpenAI ilk kez toplam altın miktarında PG'yi biraz aştı ve ardından kademeli olarak avantaj kazandı, 18'e karşı 23 öldürme ve OpenAI Five 2k öndeydi.

AI'nın bu şekilde kazanacağını düşünüyorsanız, yanılıyorsunuz!

OpenAI kahramanı DP her zaman Roahn'a geçmeyi sever. Roshan the Immortal, Dota 2'deki en güçlü tarafsız yaratıktır. Oyunda ortaya çıkan ilk birimdir.Oyun yüklendikten sonra ortaya çıkacaktır ve zamanla büyüyen tek NPC'dir.

OpenAI Five araştırmacıları, DP'nin Roshan'da kaldığını çünkü belirli bir pozisyonu teyit etmek istediklerini söyledi.Bu, Roshan'ın eğitim sırasında rastgelelemesinin bir yan etkisidir. AI kontrollü kahramanlar Roshan'ın nereden çıkacağını bilmiyorlar, bu yüzden onaylamak için orada kalmayı seviyorlar.

İnsanlara gelince, açıkçası, King Axe kötü durumda. AI, genel uygulama, kontrol becerilerinin serbest bırakılması ve hayat kurtaran öğelerin kullanımında insanları geride bıraksa da, oyunun anlaşılması, askerlerin katılımı ve büyük hareketlerin serbest bırakılması konusunda iyileştirilmesi gerekiyor. .

Asker hattı oyun için çok önemlidir.İnsanlar daha fazla hatta yer alırsa, AI 10 dakika önce yerden itilebilir.

PG'nin oyunu ciddi bir şekilde oynamadığı da aşikardır. OpenAI tarafındaki C konumu bir uçaktır, ancak ölümden ve dirilişten sonra dirilmesi 100 saniyeden fazla sürüyor. İnsanlar AI'nın yüksek topraklarında oynuyorlar. Bu süre en az bir yüksek zemini aşağı itebilirdi.

Oyunun sonuna kadar, AI tarafındaki kafa sayısı PG ekibini aşarak, AI ekibinin savaşının ve destek hızının daha güçlü olduğunu, ancak insan ekonomisinin çok geride kalmadığını ve bir avantaj elde ederken ekonomiyi hızla açtı. Zayıf, bu, aktif profesyonel oyuncuların, kaynak tahsisi ve DOTA2'deki asker hattının anlaşılması açısından hala insanlığın umudu olduğu anlamına geliyor.

OpenAI Five eğitimi: basit işlemlerden profesyonel düzeyde stratejiler öğrenin

1. OpenAI FIVE nasıl çalışır?

OpenAI Five, Dota'yı öğrenmek için özel olarak tasarlanmış simüle edilmiş bir "beyin" olarak düşünülebilecek 5 yapay sinir ağından oluşan bir ekiptir. OpenAI Five, dünyayı, görünür oyun durumunu (yalnızca insan oyuncuların görmesine izin verilen bilgiler) kodlayan 20.000 sayıdan oluşan bir liste olarak görür ve 8 sayılık bir liste yayınlayarak bir eylem seçer.

OpenAI ekibi tarafından yazılan kod, oyun durumu / işlemi ile sayı listesi arasında eşleşir. Bu sinir ağları eğitildikten sonra tamamen içgüdüsel yaratıklardır - sinir ağları hafızayı uygular, ancak daha fazlasını öğrenmez. OpenAI Five bir ekip olmasına rağmen özel bir iletişim ve iletişim yapısı tasarlamaz, sadece onlara bir teşvik sağlar.

2. OpenAI Five'ın eğitim süreci

OpenAI Five'ın sinir ağı rastgele parametrelerle başlar ve daha iyi parametreleri öğrenmek için genel eğitim sistemi Rapid'i kullanır. Rapid, OpenAI'nin 5 oyun kopyasına sahiptir. Önceki raporlarda belirtildiği gibi, OpenAI Five, 128.000 CPU çekirdeği ve 256 GPU kullanarak her gün binlerce eşzamanlı oyun aracılığıyla 180 yıllık oyun verilerini üretir.

Her oyun çerçevesinde, Rapid, iyi bir şey olduğunda pozitif olan (örneğin, bir müttefik kahraman deneyim kazandığında) ve kötü bir şey olduğunda (örneğin, bir dost kahraman öldürüldüğünde) negatif olan sayısal bir ödül hesaplayacaktır. Daha sonra Rapid, eylemler yapmak için sinir ağının parametrelerini güncellemek için Proksimal Politika Optimizasyonu algoritmasını uygular.

3. TAKEAWAY

Tıpkı insanlar bir günlük hayatı planlarken kas egzersizlerini planlamadıkları gibi, OpenAI topluluğu (OpenAI dahil) kısa vadeli ve uzun vadeli planları çözmek için uzun vadeli planlama yoluyla, muhtemelen pekiştirmeli öğrenme yoluyla algoritmalar elde etmeyi bekler.

OpenAI Five'ın temelindeki algoritma çok basit olmasına rağmen, herhangi bir yapay veri sağlamadan basit işlemlerden profesyonel düzeyde stratejiler öğrenebilir.

OpenAI DOTA evrim zaman çizelgesi: 1v1'den 5v5'e sadece 1 yıl!

2016.11.05 OpenAI fethedilecek hedef olarak Dota'yı seçti, çünkü bu Twitch'in Linux'taki en popüler oyunu ve bir API'si var.

2016.11.09 OpenAI ilk kez Dota kütüphanesine gönderildi.

2017.03.09 Önce bunu Hızlı kitaplığa gönderin.

2017.08.11 OpenAI, Dota uluslararası yarışması TI7'de Dota 2'nin en iyi profesyonel oyuncusu Dendi'yi 1v1 yendi.

2017.09.07 OpenAI, profesyonel oyuncuları Dota 21v1 normal modda (normal oyun) ilk kez yendi, ardından onlara meydan okuyan ve binlerce kez oynayan bir düzineden fazla profesyonel oyuncu izledi.

Ocak 2018 Belirli sınırlı koşullar altında (yalnızca 5 sabit kahraman, korumasız, görünmezlik vb.), OpenAI Five senaryo botunu yendi.

Nisan 2018 Sınırlı koşullar altında, OpenAI Five, OpenAI tarafından oluşturulan yarı profesyonel insan oyuncu takımını yendi (her iki tarafın kadroları sabit ve aynı: NEC, Silahşör, Dragon, Buz Kız, Lich; gözü açma yok; Roshan yok; faydası yok Görünmez aksesuarlar; çağrı ve illüzyon kullanamaz; kutsal kılıç, şişe, tamir baltası, uçan ayakkabı, bilgi kitabı, ruh gözyaşları; saldırıya uğramayan 5 haberci; taranamaz), Bill Gates tarafından çağrılır "Yapay zekada önemli bir kilometre taşı."

2018.06.06 OpenAI Five, OpenAI'nin kurduğu takımı yendi ve bu sefer oyun limiti geçen seferden daha az. Pek çok DOTA 2 oyuncusu göz alıcı ve Roshan'ın çok önemli olduğunu söyledi, bu faktörler hariç tutulursa savaş adil değil. Bu nedenle OpenAI Five, Roshan'ı delmeyi ve yenmeyi öğrendi.

2018.08.05 OpenAI, dünya çapında 100.000'den fazla izleyicinin canlı yayınına tanık oldu, Dota 2'nin en iyi oyuncularının% 0,5'ini yen (Blitz, Cap, Fogged, Merlini ve MoonMeander, dördü eski profesyonel Dota 2 oyuncusu), OpenAI Five Benchmark oluşturuldu . Bu zafer bazı kısıtlamaları kaldırdı. Örneğin, seçilebilecek 18 kahraman havuzu var ve AI süresi insanlara 200 ms daha yakın olacak şekilde ayarlandı. Daha ayrıntılı bir giriş için lütfen Xinzhiyuan'ın önceki raporuna bakın. Önceden, birçok yorumcu bu ilerlemeyi başarmanın en az bir yıl alacağına inanıyordu, ancak OpenAI bunu neredeyse bir ayda başardı.

2018.08.20 OpenAI, makine görüşü yoluyla değil, oyun API'leri aracılığıyla veri elde etmekle suçlanıyor ve insan oyuncular yalnızca "görerek" değerlendiriyorlar, bu nedenle AI tarafından elde edilen sonuçlar ve mesafe ölçümü daha doğru ve dolayısıyla daha avantajlı. Ancak OpenAI oyundan önceki tüm koşulları açıkladı ve buna "hile" denilemez.

2018.08.22 OpenAI Five, Dota2 uluslararası yarışması TI8'de ilk kez, mevcut profesyonel oyuncu ekibi Pain Game'e (TI8'de elenen ilk takım) karşı yarıştı.Kurucu sayısı önde olmasına rağmen, sonunda rakibe kaybetti ve ilk oyun başarısız oldu. son.

Xinzhiyuan AI WORLD 2018 Geri Sayım 27 gün

Biletler satışta!

Xinzhiyuan, AI WORLD 2018 konferansını 20 Eylül'de Pekin'deki Ulusal Kongre Merkezi'nde gerçekleştirecek ve makine öğrenimi vaftiz babası, CMU profesörü Tom Mitchell, Mikes Tekmark, Zhou Zhihua, Tao Dacheng, Chen Yiran ve diğer AI liderlerini makine zekasına dikkat etmeye davet edecek. Ve insan kaderi.

Konferans resmi web sitesi: