OpenAI, 50 saatte insan eliyle yüz yıllık eğitimi simüle edebilen bir robotik kol yarattı
Elon Musk tarafından kurulan kar amacı gütmeyen bir yapay zeka organizasyonu olan OpenAI, bugün bize yeni bir araştırma sonucu gösterdi: robotların insan eli gibi nesneleri kavramasına ve manipüle etmesine olanak tanıyor. Bu kadar çok simüle edilmiş avuç içi görmemize rağmen, mekanik yapının "parmakları" gerçek bir insan eli kadar esnek hale getirmesi basit bir mesele değildir.
Ancak aşağıdaki animasyonda da görebileceğiniz gibi, Dactyl adlı bu manipülatör sistemi, küpü talimatlara göre döndürme işlemini kolaylıkla tamamlayabilir ve çeşitli becerilerle bu tür parmak ucu işlemlerinin geçmişte bizimkinden açıkça daha iyi olduğu açıktır. Robotun yürümesi ve zıplaması çok daha karmaşıktır.
Dactyl'in böylesine verimli bir operasyon gerçekleştirme yeteneği, Open AI tarafından kullanılan takviye öğrenme algoritması ile ilgilidir. Tıpkı yeni doğmuş bir çocuk gibi, yapay zeka veya robotlar inşa edildikten hemen sonra hiçbir şeyi anlamaz. Karmaşık bir görevin akışını tam olarak anlamasını istiyorsanız, tekrarlanan eğitimlerden geçmelisiniz.
Özellikle gerçek fiziksel robotlar için, araştırmacılar genellikle onlara talimat vermek için çok fazla gerçek dünya zamanı harcarlar.
Ancak OpenAI'nin şu anki uygulaması, AI robotlarını tamamen sanal bir ortamda eğitmek ve ardından AI'yı fiziksel robotlara uygulamaktır. Ayrıca, eğitim süreci boyunca çok sayıda dinamik rastgele olay ekleyerek, AI'nın görevi tamamlamak için hileyi anlamasını sağlar.
Örnek olarak bu manipülatör avucunu ele alalım: Önce robotik kola talimatlara göre altı kenarlı küpte doğru rengi çevirmeyi öğretecekler; daha sonra çevredeki ışık ve gürültüyü, ayrıca küpün rengini, ağırlığını, dokusunu ve dokusunu değiştirmeye başlayacaklar. Sürtünme vb; eğitim sırasında yerçekimi ortam faktörlerini bile değiştirir.
Bu rastgele değişkenlerin eklenmesinin nedeni aynı zamanda yapay zekanın çeşitli beklenmedik durumlarla daha iyi başa çıkmasına izin vermektir: "Örneğin, farklı yerçekimi ortamlarında, Dactyl bunun küp manipülasyonunu nasıl etkilediğini anlayacaktır. Aksi takdirde, gerçek dünyada, kolun yüksekliğini değiştirdiğimizde ve yerçekimi ortamı değiştiğinde, küp elden kayabilir. "
Ek olarak, insan davranışını taklit etmeye gerek olmadığından, OpenAI'nin eğitim yöntemi, yapay zekanın insanların düşünmediği yolları tam olarak düşünmesine ve belki de beklenmedik sonuçlar elde etmesine izin verebilir.
Bu sanal ortam eğitim modunun bir başka avantajı da gerçek dünya saatini tüketmemesidir. Şu anda, Dactyl yaklaşık 100 yıllık eğitim deneyimi biriktirdi ve küpün dönüşünü kontrol etmek için sayısız yol denedi, ancak gerçekte bu süreç gerçek dünyamızda yalnızca 50 saate eşdeğerdir.
AI, sanal dünyadaki eğitimi tamamladıktan sonra, gerçek dünyadaki dinamik faktörleri analiz etmek için bu deneyimleri uygulayabilir ve görevi tamamlamak için davranışını ayarlayabilir. Artık Dactyl, 50 ardışık küp döndürme işlemini hatasız tamamlayabilir.
Bu süper verimli eğitim modunun yalnızca fiziksel robotlarda değil, diğer sanal AI modellerinde de kullanılabileceğini belirtmekte fayda var. Geçen yıl temmuz ayında OpenAI tarafından geliştirilen OpenAI Five, sanal dünyada da on binlerce saat öğrenme deneyimi yaşadı, aslında sadece birkaç gün sürdü ve ardından Dota2 oyununda profesyonel oyuncu Dendi'yi yendi.
5v5 değil, sadece tek başına bir düello olsa da, aynı zamanda DeepMind tarafından derin takviye öğrenimi kullanılarak eğitilmiş bir AI olan, tanınmış "Go killer" AlphaGo da dahil olmak üzere, e-sporun karmaşık alanında yapay zekanın etkinliğini görmemizi sağlıyor. model.
Pekiştirmeli öğrenmenin ilham kaynağının ilk olarak insanların doğadaki hayvanların öğrenme sürecini uzun süreli gözlemlemelerinden geldiği söyleniyor.Son yıllarda yeni denemeye başlamalarının nedeni de sinir ağı teknolojisindeki ilerlemeden ve OpenAI'nin ölçek avantajından kaynaklanıyor. Pekiştirmeli öğrenmenin kriterleri daha çeşitli ve karmaşık hale geldiğinde, doğal olarak çok fazla hesaplama maliyeti ödemeleri gerekecektir.
OpenAI tarafından verilen verilere göre, Dactyl'in eğitim ekipmanı yaklaşık 6144 CPU ve Nvidia'dan 8 V100 GPU kullanıyor, sadece birkaç araştırma kurumu bu ölçekte temel donanımı kullanabiliyor.
Genel olarak, OpenAI tarafından önerilen "simüle edilmiş ortamın sonuçlarının gerçek dünyaya uygulanması", genel amaçlı robotların geliştirilmesi için etkili çözümlerden biri olacaktır, ancak bazı robotik uzmanları bu seviyenin deneysel sonuçlarının yalnızca belirli bir görevle sınırlı olacağına inanmaktadır. Gerçek dünya sorunlarını gerçekten çözüp çözemeyeceği hala bilinmemektedir.
Başlık görselinin kaynağı: OpenAI
