Google, robotlara anlam bilimi anlamayı ve insanlar gibi karmaşık becerileri öğrenmeyi öğretir 3 makale
Li Lin, Google Araştırma Blogundan derlendi
Qubit Üretildi | Genel Hesap QbitAI
Robotlar, makine öğrenimi yoluyla nesneleri kavrama ve kapıları açma gibi karmaşık beceriler edinebilir.
Ancak, bu becerileri öğrenmek, önce ödül işlevini manuel olarak ayarlamamızı ve ardından robotun bunu optimize etmesini gerektirir.
Öte yandan insanlar, görevin amacını ancak başkalarının ne yaptığını gözlemleyerek veya başkalarını dinleyerek anlayabilir. Bu, daha önceki dünya anlayışımıza dayanır: Birisinin bir elmayı kestiğini görünce, amacın "iki elma yapmak" olduğunu bileceğiz, ne tür bir elma veya ne tür bir bıçak olursa olsun; biri bize onu almamızı söylerse Apple, hangisini kavramak istediğimizi biliyoruz çünkü çevremizde "elma" kelimesinin ne anlama geldiğini biliyoruz.
Bu anlamsal bir kavramdır: örneğin, "iki elma yapma" olayı ve "elma" gibi sözcüklerle temsil edilen nesnelerin kategorisi.
Robotlara anlamsal kavramları anlamalarını öğretebilir miyiz ve sınıflandırma etiketleri veya kullanıcılar tarafından sağlanan örnekler gibi basit talimatları izlemelerine izin verebilir miyiz?
Bu makale, robotlar tarafından toplanan deneyimi insan etiketli verilerle birleştiren robot öğrenimi üzerine yaptığımız son çalışmalardan bazılarını tartışıyor. Robotlar tarafından otomatik olarak toplanan deneyim miktarı çok büyüktür, ancak insanlar tarafından sağlanan etiketlerden yoksundur; insan etiketli veriler, robotların anlambilimi anlamasına yardımcı olabilir.
Robotların, insan sunumlarındaki göze çarpan olayları anlamak, insan eylemlerini taklit etmek, oyuncaklar ve kalemler gibi anlamsal kategorileri anlamak ve kullanıcı talimatlarına göre nesneleri almak için deneyimlerini nasıl kullandıklarını anlatacağız.
İnsan sunumunu derin görsel özelliklerle anlamak
İlk deney grubu, "Taklit Öğrenmeye Yönelik Denetimsiz Algısal Ödüller" makalemizden gelmektedir.
Tez projesi adresi:
https://sermanet.github.io/rewards/
Amacımız, robotların az sayıda insan etiketli gösteriler aracılığıyla kapıları açmak gibi görevleri anlamasına izin vermektir. Bu gösterileri analiz ederek, robot, görevin başarısıyla ilgili anlamsal belirgin olayları anlamalı ve ardından gerçekleştirmek için pekiştirmeli öğrenmeyi kullanmalıdır.
İnsan gösterisi (solda) ve robot taklidi (sağda)
Çok küçük veri kümelerinde denetimsiz öğrenme, makine öğrenimindeki en zorlu senaryolardan biridir.
Bu öğrenmeyi mümkün kılmak için, ImageNet üzerinde önceden eğitilmiş büyük bir görüntü tanıma sinir ağından özellikler çıkarıyoruz. Bu özelliğin anlamsal kavramlara çok duyarlı olduğu ve görünüm ve aydınlatma gibi rahatsız edici değişkenlerden etkilenmediği bilinmektedir.
Bu işlevleri, kullanıcı tarafından sağlanan gösterimi anlamak için kullanırız ve ödül işlevini, yeniden eğitime güvenmeden denetimsiz bir şekilde birkaç örnekten öğreniriz.
Ödül işlevi örneği, kapı açma görevi gözlemlenerek öğrenilir. Görev tamamlandıktan sonra, ödül sıfırdan en yükseğe çıkarılır.
Ödül işlevini gözlemleyerek öğrendikten sonra, onu robotun kapı açma görevini öğrenmesi için yönlendirmek için kullanırız ve görüntüyü yalnızca ödül işlevini değerlendirmek için kullanırız. Ön eylem gösterileri ve ödül işlevleri sayesinde, robot eylemlerinin doğruluğu% 10'dan% 100'e yükseltildi.
öğrenme süreci
İnsan eylemlerini tekrarlamak için öz denetim ve taklit kullanın
"Zaman-Kontrastlı Ağlar: Çok Görüşlü Gözlemden Kendi Kendini Denetleyen Öğrenme" başlıklı makalede, dünyayı gözlemden öğrenmek için yeni bir yöntem önerdik ve bunu kendi kendini denetleyen poz simülasyonu yoluyla kanıtladık.
Tez projesi adresi:
https://sermanet.github.io/tcn/
Yöntemimiz esas olarak denetimi sağlamak için zaman ve mekanın birlikte oluşmasına dayanır: videodaki farklı zamanlarda kareleri ayırt etmek için eğitim yoluyla, gerçekliği yararlı soyut temsillere ayırmayı ve düzenlemeyi öğrenir.
Örneğin, duruş simülasyonu görevlerinde, farklı boyutlardaki temsiller, insan veya robot vücudunun farklı eklemlerini kodlayabilir. İnsanların ve robotların vücut yapıları farklı ve insan ve robot eklemleri arasındaki eşleştirme bulanık, bu nedenle bu haritayı manuel olarak tanımlamak yerine robotun uçtan uca taklit etmeyi öğrenmesine izin veriyoruz.
Modelimiz eğitim için aynı anda hem insan hem de robot eylemlerini gözlemlediğinde, herhangi bir yazışma sağlanmasa bile, doğal olarak ikisi arasındaki uyuşmayı bulabilir. Sonuç olarak, insan ve robotlar arasındaki yazışmaları önceden bilmeden insan duruşlarını taklit edebilen bir robot elde ettik.
Robotlar, kendi kendini denetleyen öğrenme yoluyla insan pozlarını taklit eder
Yukarıda gösterilen çoktan bire ve oldukça doğrusal olmayan eklem haritalama, uçtan uca öğrenmenin bariz bir faydasıdır. Bu örnekte, insan yukarı ve aşağı hareketi birçok eklemi içerirken, robotun yalnızca bir ekleme ihtiyacı vardır.
Araştırmamız, robotların bu son derece karmaşık haritayı, insanlar net bir bilgi sağlamadan kendi başlarına keşfettiklerini gösteriyor.
Anlamsal nesne kategorisine göre tarama
Yukarıdaki deney, insanların gösteriler yoluyla robot için nasıl hedefler belirlediğini göstermektedir Bu durumda, robot, görev anlambilimiyle öne çıkan olaylar arasındaki ilişkiyi ve ayrıca eylemin ilgili özelliklerini anlamalıdır.
Ya insanlar görevi göstermek değil de ona ne yapması gerektiğini söylemek isterse?
Bu aynı zamanda robotun, dünyadaki hangi nesnelerin kullanıcı tarafından belirlenen anlamsal kategoriye karşılık geldiğini tanıması için anlambilimini anlamasını gerektirir.
"Anlamsal Kavrayışın Uçtan Uca Öğrenimi" makalesinde (kübitler bu makalenin ayrıntılarını daha önce tanıttı), manüel olarak etiketlenmiş ve otomatik olarak toplanan verilerin anlamsal kavrama görevlerini gerçekleştirmek için nasıl kullanılacağını inceledik. İçinde, robot kaotik bir kutudan "kauçuk", "oyuncak" vb. Gibi kullanıcı tanımlı kategorilerdeki nesneleri almalıdır.
Tez projesi adresi:
https://arxiv.org/abs/1707.01932
Anlamsal kavrama deneyimizde robotik kolun görevi, karşılık gelen nesneyi kullanıcı tarafından belirlenen anlamsal kategoriye göre kavramaktır.
Anlamsal yakalamayı öğrenmek için robotumuz, önceki çalışmada açıklandığı gibi çeşitli nesneleri özerk olarak almaya çalışarak önce büyük miktarda veri toplar. Robot bu verilerle nesneleri alabilir, ancak bunları anlamsal etiketlerle nasıl ilişkilendireceğini anlayamaz.
Robotun semantiği anlaması için, uygun insan denetimini başlattık. Robot, bir nesneyi başarılı bir şekilde her yakaladığında, aşağıdaki şekilde gösterildiği gibi, önceden belirlenmiş bir pozisyonda kameraya sunacaktır.
Robot nesneyi yakaladıktan sonra kameranın önüne yerleştirilecektir. Bu fotoğraflar, yakalanan gerçek nesnenin kategorisini işaretlemek için kullanılabilir.
Ardından, bu görüntülerin bir alt kümesi insanlar tarafından açıklanır. Görüntülerdeki nesnelerin pozları tutarlı olduğundan, bu etiketleri diğer görüntülere eklemek için bir sınıflandırıcı eğitmek kolaydır.
Açıklamalı görüntü robota hangi nesneleri alacağını söyleyecektir ve ayrıca robota hangi nesnenin gerçekte aldığını da söyleyebilir.
Bu etiketli veri setini kullanarak, mevcut görüntü ve robot eylemlerine göre hangi nesnelerin yakalanacağını tahmin etmek için iki akışlı bir model eğitebiliriz.
Kullandığımız ikili akış modeli, insan görsel korteksinde gözlemlenen ventral-arka ayrışmadan esinlenmiştir.Vantral akış, nesne kategorilerinin belirlenmesinden sorumluyken, dorsal akış, doğru kavrama için gereken geometrik ilişkiyi açıklamaktadır.
Buradaki kilit nokta, ventral akışın nesne etiketleri için yardımcı verileri içerebilmesi ve geri akışın, tüm sistemin daha büyük miktarda heterojen etiket verisini daha verimli bir şekilde kullanmasına izin vererek, anlamsal etiketler olmadan yardımcı verileri içerebilmesidir.
Bu şekilde, aşağıdaki videoda gösterildiği gibi, nesneyi gerekli anlamsal kategoriye göre kavramak için sınırlı sayıda insan etiketini büyük miktarda otomatik olarak toplanan robot verileriyle birleştirebiliriz:
gelecek kariyeri
Deneylerimiz, robotun olayları, nesne kategorilerini ve kullanıcı sunumlarını anlamasını sağlamak için sınırlı anlamsal etiketleme verilerinin robot tarafından otomatik olarak toplanan ve etiketlenen verilerle birleştirilebileceğini göstermiştir.
Gelecekte, robot sisteminin, robotun yeteneklerini iyileştirmek ve robot tasarlamanın mühendislik yükünü azaltmak için sınırlı kullanıcı açıklama verilerini ve sürekli artan otomatik açıklama veri kümeleri koleksiyonunu birleştirebileceğini hayal edebiliriz.
Ek olarak, robot sistemleri gerçek dünyada giderek daha fazla otomatik açıklamalı veri topluyor.Bu yardımcı veri kaynağı yalnızca robot sistemini iyileştirmek için kullanılamaz, bilgisayarla görme, konuşma tanıma ve doğal dil işleme sistemleri bundan faydalanabilir.
Elbette robotik ve anlambilimin kesişme noktası bizim tarafımızdan yaratılmadı. Doğal dil anlama, robot algılama, kavrama ve taklit öğrenme alanlarında, robotik sistemlerde anlambilim ve davranışın nasıl birleştirileceği konusunda kapsamlı araştırmalar yapılmıştır.
Bununla birlikte, yukarıda tartıştığımız deneyler, gelecekteki otomatik robotik sistemlerde kendi kendini denetleyen ve insan etiketli verilerin kombinasyonu için bir yol gösterebilir.
Bitiş
