OpenAI resmi şifre çözme! AI Dota'yı vurur, siz de yapabilirsiniz
Geçen hafta Dota 2'nin son insan-makine savaşında, OpenAI Five, üç maçlık iki galibiyetli bir oyunda art arda iki oyun kazanan dünya şampiyonu OG ile karşı karşıya geldi ve bir e-spor oyununda dünya şampiyonunu yenen ilk yapay zeka oldu.
Son zamanlarda OpenAI, kendi blogunda OpenAI Five hakkında daha fazla teknik yorum yayınladı ve bir sonraki hedefini açıkladı.Makale şu şekilde derlendi (isteklilik temelinde silindikten sonra):
OpenAI Five ve DeepMind'ın AlphaStar'ı daha önce özel olarak olağanüstü profesyonel oyuncuları mağlup etmişti, ancak ikisi de canlı yayında oyunu kaybetti. Bu oyun aynı zamanda yapay zekanın bir e-spor uzmanını canlı yayında ilk kez yenmesi.
Resim OG ekibi ve OpenAI Five Ar-Ge ekibi grubu fotoğrafı (Kaynak: OpenAI)
Bu oyunda OpenAI Five ayrıca iki sürpriz de gösterdi:
1. OpenAI Five, yalnızca eğitim sürecinde diğer yapay zekaları yenmeye odaklanmasına rağmen, insan takım arkadaşı olmanın temel becerisinde ustalaşmıştır. Rekabetçi yapay zekayı işbirlikçi yapay zekaya dönüştürmek daha kolaysa, gelecekte yapay zeka sistemleri insanlığa çok yardımcı olacaktır.
2. 18-21 Nisan tarihleri arasında OpenAI, insanların bu platformda yapay zeka ile ekip oluşturabileceği veya yapay zekaya karşı savaşabileceği özel bir arena açacak. Test önemli bir araştırma sorusuna cevap verecektir - mevcut OpenAI Five takım arkadaşlarına ne ölçüde yardımcı olabilir veya başka şekillerde yenilebilir. OpenAI Five, insanların bilinçli olarak etkileşime girebileceği şimdiye kadarki en büyük derin takviye öğrenme süper aracısı olabilir (OpenAI Five ile rekabetin web sitesi: https://arena.openai.com/).
Picture Geçen yıl International Invitational'da kaybettiğinden beri, OpenAI Five yarı profesyonel Lityum takımı ve profesyonel takımlar SG esports, Alliance, OG'ye karşı oynadı (Kaynak: OpenAI)
Neden Dota oyunlarını seçmelisiniz?
OpenAI Five projesinin kendisi, mevcut derin takviyeli öğrenme algoritmaları ile çözülemeyen problemleri çözmektir.Bu hedefe ulaşmak için OpenAI Five'ın yeteneklerini büyük ölçüde iyileştirmek gerekir. OpenAI başlangıçta hiyerarşik pekiştirmeli öğrenme gibi karmaşık algoritmalar bekledi, ancak daha sonra bu sorunu çözmek için en temel gereksinimin hesaplama ölçeği olduğunu keşfetti. Bu ölçeği gerçekleştirmek ve kullanmak kolay değildir ve bu proje için çok emek harcanmaktadır.
OpenAI Five'ı oluşturmak için OpenAI, benzeri görülmemiş bir ölçekte PPO (Proksimal Politika Optimizasyonu) çalıştırmak için Rapid adlı bir sistem yarattı. Sonuçlar beklentileri aştı ve OpenAI, herhangi bir temel performans sınırlamasına dokunmadan birinci sınıf Dota yapay zekasını üretti.
Günümüzün pekiştirmeli öğrenme algoritmalarının güçlü yetenekleri, oyunların veya simülasyon ortamlarının dışındaki gerçek ortamlar için pratik olmayan çok fazla deneyime mal olur. Bununla birlikte, bu sınırlama göründüğü kadar kötü olmayabilir - örneğin, OpenAI, engelleri esnek bir şekilde önlemek için robotik kolu simüle etmek ve kontrol etmek için Rapid sistemini kullanır ve gerçek ortamda robotik kol üzerinde başarıyla yürütülebilir. Ancak OpenAI, deneyim miktarını azaltmanın pekiştirmeli öğrenmenin bir sonraki zorluğu olduğuna inanıyor.
OpenAI Five "emekli olduğunu" duyurdu, ancak kaydedilen ilerleme ve teknolojik gelişmeler gelecekteki çalışmaları yönlendirmeye devam edecek. OpenAI, Dota'nın doğası gereği pekiştirmeli öğrenmenin geliştirilmesi için mevcut standart ortama göre daha ilginç ve zor olduğuna inanmaktadır (ama şu anda o kadar da zor değil).
Şekil OpenAI Five dünyayı çok sayıda kodlanmış değer olarak görür. Bu sayıların Dota oyununun durumunu (yaklaşık 20.000 değer) veya robotik kolun durumunu (yaklaşık 200 değer) temsil etmesine (kaynak: OpenAI) bakılmaksızın aynı öğrenme kodunu kullanır
2018 Uluslararası Davetiyenin yenilgisiyle karşılaştırıldığında, OpenAI Five'ın geçen Cumartesi zaferinde büyük bir değişiklik var: eğitim hesaplama miktarı 8 kat arttı.
OpenAI, projenin ilk aşamalarında eğitim hesaplamalarının ölçeğini artırarak geliştirme modelini destekledi. Ancak bu oyundan sonra OpenAI, projenin bilgi işlem kaynaklarının çoğunu tek bir OpenAI Five modelini eğitmek için kullandı. Bu nedenle, OpenAI hesaplama ölçeğini artırmak için mevcut tek yöntemi kullanır: eğitim süresini artırın.
Şekil OpenAI Five'ın TrueSkill puanlama sistemi. Eğitim süresi arttıkça, dikey çizgi ana sistem değişikliklerini böler (tek bir kuryeye geçin; LSTM gizli katman boyutunu 4096'ya yükseltin; 7.20 ve 7.21 sürümlerine yükseltin; ve satın almayı öğrenmeye başlayın (buypack)). Grafik kabaca doğrusaldır, bu da OpenAI Five'ın uzatılmış eğitim süresinden yararlanmaya devam ettiği anlamına gelir (bunun bir log-log grafiği olduğunu unutmayın, çünkü x ekseni hesaplama gücünün logaritmasıdır ve TrueSkill puanı kabaca üstel büyümeye karşılık gelir) . Bu çizelge, tüm yapay zekaları nihai oyun kurallarına göre (1 haberci, yama 7.21 vb.) - hatta eski oyun standartlarına göre eğitilmiş yapay zekaları bile - değerlendirir. Görüntüdeki dik eğim, OpenAI Five'ın bu değişikliğe adapte olduğunu gösterir; bu değişiklik, değerlendirmenin önceki sürüme (kaynak: OpenAI) göre haksız olabileceğini gösterir.
Genel olarak, OpenAI Five'ın mevcut sürümü 800 petaflop / s-gün tüketmiştir (1 petaflop / s saniyede 1015 kayan nokta işlemidir ve 1 petaflop / s-gün, günde 1020 kayan nokta işlemi gerçekleştirmeye eşdeğerdir) Toplam 10 aylık eğitim, yaklaşık 45.000 yıllık Dota simülasyon oyun süresi (son Uluslararası Davetten itibaren bir buçuk ay, toplam oyun süresi yaklaşık 10.000 yıl), günlük ortalama 250 yıllık simülasyon oyunlarının hesaplama ölçeği. OpenAI Five'ın son sürümü, geçen yılın TI sürümüne kıyasla% 99,9'luk bir kazanma oranına sahip.
Model boyutu ve oyun kuralları değişmiş olsa da (bazı önemli oyun yaması güncellemeleri ve yeni uygulanan özellikler dahil), OpenAI Five'ın mevcut sürümü Haziran 2018'den beri sürekli olarak eğitilmektedir. Her değişiklikle, OpenAI modeli yeni ortama aktarabilir ve eğitime devam edebilir ve bu aktarım öğrenimi, diğer alanlardaki pekiştirmeli öğrenme modelleri için hala çok zordur. Bu, bir takviye öğrenme temsilcisinin bu kadar uzun bir eğitim süresi kullandığı ilk sefer olmalıdır.
Bu geçişi etkili kılmak için OpenAI, büyük mimari değişiklikleri kapsayacak şekilde uyarlanabilen "cerrahi araç setini" (OpenAI geçiş parametreleri için bir araç) kullanır.
Ayrıca kahraman sayısı 5'ten 18'e çıktıktan sonra eğitim hızı neredeyse hiç düşmedi. OpenAI, daha fazla kahraman eklemenin eğitim hızını etkilemeyeceğini varsayar. 2018'deki Dota Uluslararası Davetinden sonra, OpenAI yeni kahramanları entegre etmek için çok çaba sarf etti.
OpenAI, 25 kahramandan oluşan kahraman havuzunu artırmak için birkaç hafta eğitim aldı ve bu kahramanları yaklaşık 5000 MMR'ye kadar eğitti (Dota oyuncularının yaklaşık% 95'ine eşdeğer olan eşleştirme derecesi). Model hala gelişiyor olsa da modelin öğrenme hızı final öncesi profesyonel seviyeye ulaşacak kadar hızlı değil. OpenAI nedenini henüz keşfetmedi: Model kapasitesinin yetersiz olduğunu veya genişletilmiş kahraman havuzuna daha iyi uyması gerektiğini veya yeni kahramanların eski kahramanlara yetişmesi için daha fazla eğitim süresi gerektiğini varsayıyorlar. Eski kahramanlara hakim olduktan sonra yeni kahramanlar öğrenmenin ne kadar zor olduğunu bir düşünün!
OpenAI, bu sorunların temelden çözülebileceğine inanıyor. Final versiyonunda 17 kahraman var.Önceki oyunla karşılaştırıldığında Lich, Dota 7.20 versiyonunda yetenekleri önemli ölçüde değiştiği için silindi.
(Kaynak: OpenAI)
Yarışma sırasında OpenAI Five ve insan takımının bir oyunu gösterildi. Bu oyunda, bir tarafta Blitz ve Sheever ve OpenAI Five tarafından kontrol edilen 3 AI, diğer tarafta ODPixel ve Capitalist ve 3 AI var.
OpenAI Five'ın insanlarla işbirliği yapma yeteneği, insanların gelecekte yapay zeka ile etkileşime girmesi için umut verici bir senaryo sağlar, yani yapay zeka sistemleri insanlarla işbirliği yapar ve insan deneyimini geliştirir. Aircrew oyununa katılan birkaç oyuncu, AI takım arkadaşlarının desteğini hissettiklerini, bu gelişmiş AI sistemlerinden çok şey öğrendiklerini ve tüm oyun için ilginç bir deneyim olduğunu bildirdi.
Lütfen bunun sıfır vuruşlu bir aktarım öğrenmeye eşdeğer olduğunu unutmayın - oyunun her iki tarafı da eğitim sırasında AI tarafından kontrol edilir, ancak insanlarla ekip çalışması sahnesine genelleştirilebilir. Aslında OpenAI, yapay zeka ile insan işbirliği arasında bir rekabet düzenlemeyi düşündü ve bunun için özel bir eğitime ihtiyacı olduğunu düşündü.
Sonraki adım: "Arena" şifre çözme
OpenAI, 18 Nisan Perşembe 18:00 PST ve 21 Nisan Pazar 23:59 PST'de açılacak olan OpenAI Five "Arena" (https://arena.openai.com/) açılışını yaptı. kapat.
Açık bir deney olarak bu, herkesin OpenAI Five'a karşı bir çatışma veya işbirliği modunda oynamasına izin verir. OpenAI'nin 1v1 robotları akıllı stratejilerle kullanılabilir; ancak OpenAI Five'ın ne ölçüde aynı olduğunu bilmiyorum.OpenAI, oyuncu topluluğunun cevabı bulmasına yardımcı olmasını bekliyor.
(Kaynak: OpenAI)
Daha sonra, OpenAI, OpenAI Five Arena'nın sonuçlarını inceledikten sonra OpenAI Five'ın daha teknik analizini yayınlayacak.
Bundan sonra OpenAI, Dota 2 ortamını OpenAI'de kullanmaya devam edecek. Bu ortam, pekiştirmeli öğrenmeye çok fazla ilerleme getiriyor. Dota 2, daha az veri veya gerçek insan-yapay zeka işbirliğiyle, uygulanabilir çözümlerin geliştirilmesine yardımcı olmaya devam edecek. Daha büyük atılımlar elde edin.
