Robotların görüntüleri temel alarak görevleri tamamlamaları için en etkili RL yöntemi: geleceği tahmin etmeye veya kesin varsayımlara gerek yok
Robotun daha karmaşık ve ilginç davranışları tamamlamasına izin verin!
AI Technology Review Press: Robot güçlendirme öğrenimi için, vizyona dayalı blok istifleme ve itme en yaygın görevlerdir.Eğitim sürecinin maliyet ve güvenlik sorunlarını azaltmak için, eğitim sürecinde çevre ile etkileşim sayısını en aza indirmeyi umuyoruz. Ancak kamera gibi karmaşık bir görüntü sensöründen verimli bir şekilde öğrenmek çok zordur. Bu sorunu çözmek için Berkeley araştırmacıları yeni bir model tabanlı pekiştirmeli öğrenme yöntemi önerdiler ve bu sonucu tanıtan ilgili bir makale yayınladılar.Al Science and Technology Review bunu aşağıdaki gibi derledi.
Genel Bakış
Bir robotun, kamera görüntülerinin görsel girdisi aracılığıyla blokları yığmayı ve nesneleri itmeyi öğrenmeye çalıştığı bir senaryo hayal edin. Maliyetleri ve güvenlik sorunlarını en aza indirmek için robotun etkileşimli öğrenme süresini en aza indirmeyi umuyoruz, ancak kamera gibi karmaşık bir görüntü sensöründen verimli bir şekilde öğrenmek hala çok zor. Bu nedenle, bu çalışma, gerçek bir Sawyer robotik kolunda zor görevleri yerine getirmek de dahil olmak üzere, becerileri doğrudan görsel girdiden ve bir saatten daha az etkileşimle öğrenen yeni bir model tabanlı pekiştirmeli öğrenme (RL) yöntemi önermektedir. . Bildiğimiz kadarıyla SOLAR, robotların gerçek dünyadaki görüntülere dayalı görevleri tamamlamaları için en etkili RL yöntemidir.
Robot, SOLAR'ı kullanarak bir saat içinde odun istiflemeyi ve bardak itmeyi öğrendi
RL ayarında robot, mevcut göreve karşılık gelen maliyet işlevini en aza indirmek için deneme yanılma yoluyla kendi deneyimlerinden öğrenir. Son yıllarda, birçok zorlu görev RL yöntemleriyle çözüldü, ancak bu başarılı vakaların çoğu modelden bağımsız RL yöntemlerinden geliyor. Model tabanlı yöntemlerle karşılaştırıldığında, bu yöntemler genellikle Daha fazla veriye ihtiyacınız var. Bununla birlikte, model tabanlı yöntemler genellikle konunun işleyişini planlamak için geleceği doğru bir şekilde tahmin etme yeteneğine dayanır. Görüntü öğrenmeye dayalı robotlar için, gelecekteki görüntüleri tahmin etmek çok sayıda etkileşimli eğitim gerektirir, bu nedenle bu sorunu çözmemiz gerekiyor.
Bazı model tabanlı RL yöntemleri kesin gelecek tahminleri gerektirmez, ancak bu yöntemler genellikle durum hakkında katı varsayımlar yapar. LQR-FLM (doğrusal-karesel regülatör takılı doğrusal modeller, https: // ar xi v.org/abs/ 150 4.00702) Yöntemin, sistem dinamiklerinin yaklaşık doğrusal varsayımı yoluyla yeni görevleri verimli bir şekilde öğrendiği kanıtlanmıştır.Bu yöntem aynı zamanda çoğu robot sistemi için de geçerlidir. Bununla birlikte, bu varsayım, görüntü tabanlı öğrenme için engelleyicidir, çünkü kamera tarafından geri beslenen piksel dinamikleri doğrusal olmaktan uzaktır. Bu nedenle, çalışmamızda üzerinde çalıştığımız soru, kesin gelecek tahminleri gerektirmeden görüntü tabanlı robotik görevleri çözebilen model tabanlı bir RL yöntemi geliştirmek için bu varsayımı nasıl gevşeteceğidir?
Son olarak, gizli durum temsillerini öğrenmek için derin sinir ağlarını kullanarak bu sorunu çözüyoruz. Robot, görevdeki görüntüyü işlediğinde, görüntüyü gizli bir temsil olarak kodlayabilir ve sonra onu görüntünün kendisi yerine LQR-FLM'nin durum girişi olarak kullanabilir. Önemli olan, SOLAR modelinin hedefin doğru bir şekilde yakalanmasını sağlamak için kompakt gizli durum temsillerini öğrenebilmesidir; daha sonra model, latent durumların dinamiklerini doğrusal temsillere yönelmeye teşvik eder ve LQR-FLM algoritmasında kullanılabilecek etkili bir yöntem öğrenir. Dedim. Bu amaçla, gizli doğrusal dinamikleri açıkça ifade eden bir gizli değişken modeli tanıttık ve bu modeli LQR-FLM ile birleştirerek SOLAR algoritması için bir temel oluşturduk.
Gizli temsilin stokastik optimal kontrolü
SOLAR (gizli temsillerle stokastik optimal kontrol), gizli temsillerle stokastik optimal kontrol anlamına gelir Görüntü RL ayarlarına dayanan etkili ve evrensel bir çözümdür. SOLAR'ın anahtarı, doğrusal dinamiklerin doğru gizli durum temsillerini öğrenebilmesi ve gelecekteki tahminlere dayanmayan model tabanlı RL yöntemlerini kullanabilmesidir.
Doğrusal dinamik kontrol
Kontrol teorisindeki en ünlü sonuçlardan biri, lineer dinamikler ve ikinci dereceden sistemler için optimal kontrol stratejileri sağlayan bir dizi denklem olan lineer ikinci dereceden regülatördür (LQR). Gerçek dünya sistemleri neredeyse hiçbir zaman doğrusal olmasa da, LQR gibi LQR yaklaşımlarının, doğrusal modellerle (LQR-FLM) çeşitli robot kontrol görevlerinde iyi performans gösterdiği gösterilmiştir. Diğer model tabanlı RL yöntemleriyle karşılaştırıldığında, LQR-FLM her zaman kontrol becerilerini öğrenmek için en etkili RL yöntemlerinden biri olmuştur. Doğrusal modellerin basitliği ve bu modellerin geleceği doğru bir şekilde tahmin etmesine gerek olmaması, LQR-FLM'yi çekici bir yapım yöntemi haline getirir, ancak bu yöntemin temel sınırlaması, robotun ortak konfigürasyonu ve algısı gibi genellikle sistem durumuna erişimi üstlenmesidir. Genellikle makul şekilde yaklaşık olarak doğrusal olarak modellenen ilgilenilen nesnenin konumu. LQR-FLM'ye girdi olarak kullanılabilecek temsilleri öğrenerek görüntüleri değiştirir ve bu varsayımı gevşetiriz.
Sistem durumlarını kullanarak, LQR-FLM ve ilgili yöntemler, robot manipülasyonu ve hareketi dahil olmak üzere sayısız görevi başarıyla öğrenmek için kullanılmıştır. Amacımız, görüntüden LQR-FLM'ye durum girişini otomatik olarak öğrenerek bu işlevleri genişletmektir.
Gizli durumu görüntüden öğrenin
Oluşturduğumuz grafik model, gözlemlediğimiz görüntünün temeldeki durumun bir işlevi olduğunu ve durumun, davranışın doğrusal dinamikleri tarafından modüle edildiğini ve kaybın, durumun ve davranışın ikinci dereceden işlevi tarafından verildiğini varsayar.
Temsilcinin, görsel girdisinden, durum dinamiklerinin mümkün olduğunca doğrusalya yakın olduğu bir durum temsilini çıkarabileceğini umuyoruz. Aşağıdaki şekilde gösterildiği gibi, gizli durumun doğrusal dinamiklere uyduğu bir duruma ulaşmak için bir gizli değişken modeli tasarladık. Karanlık düğümler, çevre ile etkileşimden gözlemlediğimiz görüntüler, davranışlar ve maliyetlerdir. Açık renkli düğümler, öğrenmeyi umduğumuz temsil olan sistemin temel durumunu temsil eder.Bir sonraki durumun mevcut durumdan ve işlemin doğrusal fonksiyonundan türetildiğini varsayıyoruz. Bu model, önceden fare video özelliklerini temsil etme gibi uygulamalar için uygun olan yapılandırılmış varyasyonel otomatik kodlayıcı ile güçlü bir benzerliğe sahiptir. Modeli uyarlamak için kullandığımız yöntem de önceki çalışmada önerilen yönteme dayanmaktadır.
Daha yüksek bir seviyede, yöntem aynı anda durum dinamiklerini ve kodlayıcıları öğrenecek ve mevcut durumu tahmin etmek için mevcut ve önceki görüntüleri girdi olarak kullanacaktır. Birden fazla robotun çevre ile etkileşimine karşılık gelen gözlem görüntü dizisini kodlarsak, bu durum dizilerinin öğrenilen doğrusal dinamik davranışla eşleşip eşleşmediğini görebiliriz; uymazlarsa dinamikleri ve kodlayıcıları ayarlayacağız, Tahmini durumlarını doğrusal olarak yaklaşık yapın. Bu sürecin anahtarı, tahmini daha doğru hale getirmek için modeli doğrudan optimize etmememiz, ancak doğrusal modeli deneğin çevre ile önceki etkileşimine uyacak şekilde ayarlamamızdır. Bu, LQR-FLM'nin eksikliklerini etkili bir şekilde telafi ederek tahmine dayanmadan iyi performans elde etmeyi mümkün kılar. Bu modelin öğrenme süreci hakkında daha fazla ayrıntı için, lütfen aşağıdaki adresteki makalemize bakın: https: // ar xi v.org/abs/ 180 8.09105.
SOLAR algoritması
Robotumuz çevresi ile yinelemeli etkileşime girer, bu verileri modelini güncellemek için kullanır, bu modeli potansiyel durumu ve dinamiklerini tahmin etmek için kullanır ve davranışını güncellemek için bu dinamikleri kullanır.
Şimdi bu yöntemin oluşturma adımlarını açıkladığımıza göre, bu adımlar nasıl bir SOLAR yönteminde birleştirilebilir? Temsilciler ortamda stratejilere göre çalışır ve stratejiler mevcut potansiyel durum tahminlerine dayalı eylemlere rehberlik eder. Bu etkileşimler tarafından oluşturulan görüntüler, davranışlar ve kayıp yörüngeleri daha sonra dinamik modeli eşleştirmek için kullanılır. Bundan sonra, bu tam etkileşim yörüngelerini kullanarak, modelimiz potansiyel dinamiklerin tahminini sürekli olarak geliştirir ve bu da LQR-FLM'nin temsilcinin belirli bir görevde daha iyi performans göstermesini sağlayacak güncellenmiş bir strateji üretmesini sağlar. Yani kaybı (maliyeti) azaltmaktır. Daha sonra, daha fazla etkileşim yörüngesi toplamak ve optimizasyon sürecini sürekli tekrarlamak için güncellenmiş strateji kullanılacaktır. Yukarıdaki şekil, algoritmanın çeşitli aşamalarını göstermektedir.
Diğer model tabanlı RL yöntemlerinin çoğuyla karşılaştırıldığında, LQR-FLM arasındaki temel fark, oluşturulan modelin geleceği tahmin etmek için değil, yalnızca strateji iyileştirme için kullanılmasıdır. Bu, karmaşık ve öngörülemeyen sahneleri gözlemlemede çok kullanışlıdır ve dinamiklerle birlikte tahmin edilebilen gizli durumlar sunarak bu avantajı görüntü tabanlı sahnelere genişletiyoruz. Sonuç olarak, SOLAR'ın görüntü tabanlı robotik manipülasyon görevleri için iyi stratejiler oluşturmak üzere çevreyle etkileşimde bulunması için yalnızca bir saate ihtiyacı var.
Deney
SOLAR'ı temel olarak yedi serbestlik derecesine sahip olan ve çeşitli işletim görevleri için kullanılabilen Sawyer robot kolu üzerinde test ettik. Kolunu ve sahnedeki ilgili nesneleri hedef alan kameradan görüntüleri robotik kola giriyoruz ve ardından robotik kolun Lego küplerini istiflemeyi ve bardakları itmeyi öğrenme görevini tamamlamasına izin veriyoruz.
Sol: LEGO tuğla istifleme için, kolların ve blokların birden çok başlangıç pozisyonunu denedik. (İtme için, yalnızca robot başarılı olduğunda tuşa basan insan tarafından sağlanan seyrek ödülü kullanıyoruz. Örnek görüntü gözlemi alt satırda verilmiştir.) Sağ: SOLAR öğrenmenin başarılı davranışlarına örnekler.
Lego küp istifleme görevi
Blok istiflemenin temel zorluğu, görevi başarıyla tamamlamak için gereken doğruluktan gelir, çünkü robotik kol, çeşitli modülleri bağlamak için blokları çok doğru bir şekilde yerleştirmelidir. SOLAR sistemi altında, Sawyer'ın bu doğruluğu yalnızca giriş kamerası merceğinden öğrenmesi gerekir ve aynı zamanda kolların ve blokların çoklu başlangıç blok konumlarından başarılı bir şekilde istiflemeyi öğrenebilir.
Bunlar arasında bloğun başlangıç pozisyonu masanın üzerindeyken en zor olanıdır, çünkü Sawyer önce bloğu masadan kaldırmalı ve sonra istiflemelidir, yani "açgözlü" olamaz ve basitçe düz gidemez. Bloğu başka bir bloğa taşıyın.
İlk olarak SOLAR'ı, yapılandırılmış bir varyasyonel otomatik kodlayıcı (SVAE) yerine standart bir varyasyonel otomatik kodlayıcı (VAE) kullanan bir ablasyon yöntemi olarak görüyoruz, bu da öğrenilen durum temsilinin artık doğrusal dinamikleri takip etmediği anlamına gelir. Bu ablasyon yöntemiyle, manipülatör yalnızca en basit başlangıç konumunda başarılı olabilir. Modelin bize geleceği doğru bir şekilde tahmin etmesi gerekmediği faydalarını anlamak için, SOLAR'ı, LQR-FLM'nin yerini alacak alternatif bir planlama yöntemi-model öngörücü kontrol modeli (MPC) kullanan başka bir ablasyon yöntemiyle karşılaştırıyoruz. Algoritma ve bunu daha önce MPC kullanan en iyi performans gösteren yöntemlerden biri olarak görüyoruz, yani derin görüş öngörü (DVF, https: // ar xi v.org/abs/ 181 2.00568). Bunlar arasında, MPC genellikle bir dizi önceki ve sonraki çalışmada kullanılır ve performansı iyileştirmek için hangi eylemlerin yapılması gerektiğini belirlemek için doğru gelecek tahminleri oluşturmak için öğrenilen modeli kullanma becerisine dayanır.
MPC ablasyonu, iki basit başlangıç konumunda daha hızlı öğrenmesine rağmen, en karmaşık sahnelerle baş edemez, çünkü MPC, iki blok arasındaki mesafeyi yalnızca "açgözlülükle" kısaltabilir ve blokları masaüstünden kaldıramaz. Aşağı çekmek. MPC'nin açgözlülükle hareket etmesinin nedeni, yalnızca kısa vadeli planlama yapabilmesidir, ancak uzun vadede gelecekteki görüntülere ilişkin öngörüsü gittikçe daha az doğru hale gelecektir.Bu tam olarak SOLAR'ın gelecekteki tahminlerden tamamen kaçınmak için LQR-FLM'yi kullanabileceği Başarısızlığın üstesinden gelmenin yolu. Bundan sonra, DVF'nin biraz ilerleme kaydetmesine rağmen, bizim yöntemimizden daha fazla veri kullansa bile, sonunda bu iki zor senaryoyu çözemeyeceğini gördük. Bu, yöntemimizin daha yüksek veri verimliliğine sahip olduğunu ve DVF'nin günler hatta haftalar süren sorunu birkaç saat içinde çözebileceğini kanıtlıyor.
Kupa itme görevi
Ayrıca robotik kolun bardağı itme performansını da inceledik. Maliyeti seyrek bir ödül sinyali ile değiştirerek bardağı iten robotik kolun ek zorluğunu artırıyoruz.Örneğin, robotik kol sadece görevi tamamladığında sinyalden haberdar edilecek, aksi takdirde bildirim yapılmayacaktır. Aşağıdaki şekilde gösterildiği gibi, bir insan seyrek bir ödül sinyali sağlamak için klavyede bir tuşa basar ve robotik kolun bu ödülü elde etmek için davranışını nasıl iyileştireceği konusunda akıl yürütmesi gerekir. Bu sorunu doğrudan SOLAR'ı genişleterek hallettik. Ayrıntılar için lütfen makalemize bakın (kağıt adresi: https: // ar xi v.org/abs/ 180 8.09105). Ek zorluklarla bile, yöntemimiz yaklaşık bir saatlik etkileşimden sonra bardağı itme stratejisini başarıyla öğrendi. Çok Aynı miktarda veri altında DVF'nin performansını aşıyor.
Analog karşılaştırma
Sawyer deneyine ek olarak, simülasyonda birkaç karşılaştırma da yaptık, çünkü önceki çalışmaların çoğu gerçek robotlarla denemeye çalışmadı. Özellikle, temeldeki sistemin gerçekte doğrusal dinamiklere ve ikinci dereceden maliyetlere sahip olduğu bir 2D navigasyon alanı oluşturduk, ancak yalnızca ajanın ve hedefin yukarıdan aşağıya görünümünü gösteren görüntüleri gözlemleyebiliyoruz. Ayrıca iki karmaşık alan daha ekliyoruz: 2D düzlemin sağ alt köşesinden sol üst köşeye sürülmesi gereken bir araba ve sol alt köşeye ulaşmaktan sorumlu 2 DOF robotik kol. Tüm alanlar, görevin yalnızca yukarıdan aşağıya bir görünümünü sağlayan görüntü gözlemiyle öğrenilir.
Yerel olarak doğrusal olarak kontrol edilebilir sağlam yerleştirmeyi karşılaştırdık (RCE, https: // ar xi v.org/abs/ 171 0.053 73 ), doğrusal dinamikleri takip eden gizli durum temsillerini öğrenmek için farklı yöntemler kullanır. Ayrıca Proksimal Politika Optimizasyonu (PPO) ile karşılaştırdık PPO, simüle edilmiş robotik alanındaki birçok sorunu çözmek için kullanılan modelsiz bir RL yöntemidir, ancak bu yöntem gerçek dünya öğrenimi için veri açısından verimli değildir. SOLAR'ın RCE'den daha hızlı öğrendiğini ve sonuçta daha iyi performans gösterdiğini gördük. PPO genellikle SOLAR'dan daha iyi nihai performans öğrenebilir, ancak bu genellikle 1 ila 3 büyüklük sırasına göre veri gerektirir ve bu da çoğu gerçek robot öğrenme görevi için erişilemez. Bu takas evrenseldir: modelden bağımsız yöntemler daha iyi nihai performans elde etme eğilimindedir, ancak model tabanlı yöntemler daha hızlı öğrenir.
Alakalı iş
Bir görüntünün gizli temsilini öğrenme yöntemi, görüntüleri yeniden oluşturmak ve gelecekteki görüntüleri tahmin etmek gibi hedefler önerir. Bu hedefler, görevi tamamlama amacımızla tamamen uyumlu değildir.Örneğin, bir robot nesneleri renklerine göre çöp kutularına ayırdığında, önündeki duvarın rengini mükemmel bir şekilde yeniden oluşturması gerekmez. Ayrıca her boyutun bağımsız olarak kontrol edilebilmesi için görüntülerde ilgi noktalarının belirlenmesi ve potansiyel durumların öğrenilmesi dahil olmak üzere kontrol için uygun durum temsili üzerine çalışmalar yaptık. Yakın tarihli bir anket makalesi, eyalet temsilinin öğrenilme olasılıklarını da sınıflandırdı.
Kontrole ek olarak, son zamanlarda verilerin yapılandırılmış temsilini öğrenmek için birçok çalışma yaptık ve bunların çoğu VAE'yi genişletti. SVAE, bu tür bir çerçevenin bir örneğidir ve diğer yöntemler de verileri doğrusal dinamikleri kullanarak yorumlamaya çalışır. Ek olarak, melez model yapıları, çeşitli ayrık yapılar ve Bayesci parametrik olmayan yapılar aracılığıyla gizli gösterimleri öğrenmek için bazı çalışmalar vardır.
Önceki ve sonraki çalışmamızda yaptığımız noktalarla yakından ilgili fikirleri de ortaya koyuyoruz. Daha önce de belirtildiği gibi, DVF robotik görevleri de doğrudan vizyondan öğrenmiştir. Yakın tarihli bir blog gönderisinin özeti (makale görüntüleme adresi: https://bair.berkeley.edu/blog/2018/11/30/visual-rl/) Sonuç. Gömülü kontrol ve onun halefi olan RCE ayrıca doğrusal dinamiklerin gizli durum temsilini öğrenmeyi amaçlamaktadır. Makalede bu yöntemleri karşılaştırdık ve yöntemimizin daha iyi performans gösterme eğiliminde olduğunu kanıtladık. Sonuçlarımızdan sonra, araştırmacılar tarafından önerilen PlaNet, gizli durum temsillerini öğrenmek için deterministik ve rastgele değişkenlerin bir karışımını kullanır ve bunları MPC ile kombinasyon halinde kullanır.Bunlardan MPC, değerlendirmemizdeki kıyaslama yöntemlerinden biridir. İyi sonuçlar gösterilir. Deneyin gösterdiği gibi, LQR-FLM ve MPC'nin kendi avantajları ve dezavantajları vardır.LQR-FLM'nin robot kontrolünde genellikle daha başarılı olduğunu ve MPC'nin açgözlü davranışını önlediğini gördük.
gelecek kariyeri
Gelecekteki çalışmalar için birkaç heyecan verici yön gördük ve burada kısaca iki yönden bahsedilmektedir:
Her şeyden önce, robotumuzun blokları istiflemek yerine Lego yapıları inşa etmek veya sadece bir bardağı itmek yerine daha karmaşık itme görevleri gerçekleştirmek gibi karmaşık, çok aşamalı görevleri öğrenebileceğini umuyoruz. Bunu, hedefi tamamlamak için istenen robotun ara görüntülerini sağlayarak başarabiliriz Robotun her aşamayı ayrı ayrı öğrenmesini beklersek, bu algoritma daha karmaşık ve ilginç davranışlar oluşturmak için bu stratejileri bir araya getirebilir.
İkincisi, insanlar sadece devletin temsilini öğrenmekle kalmıyor, aynı zamanda hareketleri de öğreniyor - bireysel kas hareketlerini göz önünde bulundurmak yerine, yüksek düzeyde koordineli ve karmaşık davranışlar gerçekleştirmek için bu hareketleri "makro hareketler" olarak birleştiriyoruz. Hareket temsillerini benzer şekilde öğrenebilirsek, robotların hünerli eller gibi donanımları daha etkili bir şekilde nasıl kullanacaklarını öğrenmelerini sağlayabiliriz, bu da onların karmaşık gerçek dünya ortamlarıyla başa çıkma yeteneklerini daha da geliştirir.
Orijinal bağlantı:
https://bair.berkeley.edu/blog/2019/05/20/solar/
2019 Küresel Yapay Zeka ve Robotik Zirvesi
12-14 Temmuz 2019 , Lei Feng.com ve Hong Kong Çin Üniversitesi (Shenzhen) tarafından ortaklaşa düzenlenen ve Shenzhen Yapay Zeka ve Robotik Enstitüsü tarafından ortaklaşa düzenlenen Çin Bilgisayar Federasyonu (CCF) sponsorluğunda 2019 Küresel Yapay Zeka ve Robotik Zirvesi (CCF-GAIR 2019 olarak kısaltılmıştır) Shenzhen'de resmen açılacak.
O sırada Nobel Ödülü sahibi James J. Heckman, Çinli ve yabancı akademisyenler, Dünya Zirvesi Başkanı, tanınmış Fellow ve çok sayıda ağır konuk savaşta yer alacak. Yapay zeka ve robotik bilim, üretim ve yatırım alanlarında karmaşık hayatta kalma durumunu tartışmak.
