Yukarı pozisyon! "Meta öğrenmeye" yaklaşmak
Tam metin 3682 Kelimeler, tahmini öğrenme süresi 9 dakika
https://openai.com/blog/solving-rubi
Meta-Öğrenme, derin sinir ağlarıyla ilgili üst düzey bileşenlerin tasarlanması ve eğitilmesine yönelik soyut süreci tanımlar. Sinir ağı mimarisinin otomatik tasarımı söz konusu olduğunda, "AutoML", "Few-Shot Learning" veya "Neural Architecture Search" sıklıkla alıntılanır.
Derin öğrenmeyle ilgili literatürde, "meta-öğrenme" terimi sıklıkla karşımıza çıkmaktadır. "Gradyan inişle gradyan inişle öğrenmeyi öğrenme" gibi komik konulara sahip kağıtlardan yola çıkan OpenAI, Rubik Küpünü tek elle çözebilen bir robotu başarıyla başlattı ve bu fikrin olgunlaştığını kanıtladı. Meta öğrenme, derin öğrenmenin ve yapay zekanın gelişimini teşvik etmek için en umut verici örnektir ve gelecek sınırsızdır.
OpenAI tarafından gösterilen robot el yoğun bir öğrenme eğitiminden geçmiş ve yapay zeka dünyasını ateşleyen çığır açan yeteneklere sahip. Bu başarının temeli, Temmuz 2018'de yayınlanan benzer bir çalışmadır. Araştırma görevi, görsel ipuçlarıyla eşleşen bir konfigürasyondaki bir bloğu bulmak için robotik bir el kullanmaktır. Blok konumlandırmadan Rubik küp çözmeye kadar olan bu gelişme, simülasyondaki eğitim verilerinin dağıtımını kontrol eden meta-öğrenme algoritması, yani Otomatik Etki Alanı Randomizasyonu (ADR) tarafından gerçekleştirilir.
Etki alanı randomizasyonu-veri geliştirme
Etki alanı randomizasyonu, veri geliştirme sorunlarını çözmek için Sim2Real geçişi için bir algoritmadır. İşlev yaklaşımının (ve derin öğrenmenin) temel işlevi, eğitimde öğrenilen bilgileri, hiç dahil edilmemiş verileri test etmek için uygulamaktır. Derin evrişimli sinir ağı, yanlış sınıflandırma gibi şaşırtıcı hatalara sahip olmayacak, çünkü bariz düşman gürültü enjeksiyonuna neden olmayacak, ancak özel bir modifikasyon olmadan, derin evrişimli sinir ağı görüntüyü simüle edemeyecektir ( (Sol alt resimde gösterildiği gibi) gerçek görsel verilerle eğitildi (sağ alt resimde gösterildiği gibi).
"Rubik Küp problemini robotla çözme" Yazar: Ilge Akkaya, Marcin Andrychowicz, Maciek Chociej, Mateusz Litwin, Bob McGrew, Arthur Petron, Alex Paino, Matthias Plappert, Glenn Powell, RaphaelRibas, Jonas Schneider, Nikolas Tezak, Jerry Tworek, Peter Welinder, LilianWeng, Qiming Yuan, Wojciech Zaremba, Lei Zhang
Elbette, simüle edilmiş verilerin ve gerçek verilerin dağıtımını ayarlamanın iki yolu vardır. İlk yönteme Apple araştırmacıları tarafından geliştirilen SimGAN adı verilir. SimGAN, simüle edilmiş görüntüyü olabildiğince gerçekçi hale getirmek için, Çekişmeli Üretken Ağı (Generative Adversarial Network) jeneratörünü rakip kayıpla eğitir ve gerçek ve simüle edilmiş resimleri karşılaştırmak için ek bir ayrımcı ağ sunar. Bu araştırma, göze bakış ve jest tahmininin değerlendirilmesi yoluyla daha olumlu sonuçlar çıkarmıştır. Diğer bir yaklaşım, simüle edilmiş verileri olabildiğince gerçek yapmak değil, mümkün olduğunca çeşitli hale getirmektir.
İkinci yönteme etki alanı randomizasyonu denir. Tobin ve diğerleri, bu görüşü 2017 tarihli bir makalede daha ayrıntılı olarak ele aldı:
"Alan Randomizasyonu Derin Sinir Ağlarını Simüle Edilmiş Ortamdan Gerçek Dünyaya Aktarıyor" Yazar Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, WojciechZaremba, Pieter Abbeel
Alan randomizasyonu, derin sinir ağlarının simülasyon eğitimi sırasında gerçek verilere uygulamasına izin veren Sim2Real uygulamasının anahtarı gibi görünüyor. Çoğu algoritmadan farklı olarak, etki alanı rasgeleleştirmesinin ayarlanması gereken birçok parametre vardır.Şekilde gösterilen renk blokları, ortam parlaklığı ve gölge boyutunun tümü rastgele. Bu rastgele çevresel özelliklerin tümü, aşağıdan yukarıya bir aralığa ve belirli bir örnekleme dağılımına sahiptir. Örneğin bir resim rastgele seçildiğinde, resimdeki ışığın daha parlak olma olasılığı nedir?
OpenAI, başlangıçta Dactyl'in manipülatörler aracılığıyla blokların yönünü gerçekleştirmek için yaptığı araştırmada yer aldı. Deneyden önce, etki alanı rastgele veri kursu manuel kodlamayı kabul edecektir. Bu tür alan randomizasyonu görsel dünyanın ötesine geçer Fiziksel simülasyon sistemindeki randomizasyon bileşeni, robotun parmaklarının esnek ve doğru bir şekilde hareket etmesini sağlayabilir. Görsel randomizasyon bakış açısına benzer şekilde, bu fiziksel randomizasyonlar küpün boyutunu / kütlesini ve manipülatörün parmaklarının sürtünmesini içerir (daha fazla ayrıntı için lütfen "Manipülatörlerle Rubik Küp Problemlerini Çözme" makalesinin Ek B'sine bakın).
Dactyl'den Rubik Küp çözücüsüne giden anahtar, etki alanı randomizasyonunun bir yol olmasıdır.Tanımına göre, rasgeleleştirmenin yoğunluğu otomatiktir, manuel olarak tasarlanmamıştır. Aşağıdaki ADR algoritması satırları bunu açıkça tanımlamaktadır:
Görüntü, "Rubik Küp Problemini Robotik El ile Çözmek" ten alınmıştır. Ajanın performansı parametre performans eşiğini aşarsa, rastgele seçimin gücü artacaktır (çevresel parametrelerin dağılımını tanımlayan phi ile delta tarafından verilmiştir)
Kendi tasarladığı verilerle yapay zeka
Kendinden tasarlanmış verilere sahip en iyi AI örneklerinden biri, Uber AI Labs'taki araştırmacılar tarafından geliştirilen Paired Open-Ended Trailblazer (POET) algoritmasıdır.
"Açık Blazerleri Eşleştirme algoritması: giderek daha karmaşık ve çeşitli öğrenme ortamı ve çözümleri üretmeye devam edin" Yazar: Rui Wang, Joel Lehman, Jeff Clune, Kenneth O. Stanley
POET, aracı ve yürüme öğrenme ortamını aynı anda optimize ederek iki ayaklı yürüme ajanlarını eğitir. POET ve OpenAI, Rubik Küpünü çözmek için farklı manipülatörlere sahiptir çünkü ilki, yayaların grubunu ve ortamını korumak için evrimsel bir algoritma kullanır. Bu çalışmada, ajanların bulunduğu grup ve çevre, karmaşıklığın evrimini inşa etmek için anahtar unsurlardır. Grup temelli öğrenme, bir grup ajana uyarlanmış olsa da ve pekiştirmeli öğrenme, tek bir ajanı eğitmek için kullanılsa da, POET ve otomatik alan randomizasyonu çok benzerdir. Her ikisi de otomatik bir şekilde giderek zorlaşan bir dizi eğitim veri seti geliştirdi. Bipedal'ın yürüme ortamı manuel kodlamanın işlevi nedeniyle değişmeyecek, ancak yaya grubunun farklı ortamlardaki performansının bir sonucu olarak arazi zorluğunu arttırması gerektiğinde sinyal gönderecektir.
Veri mi model mi?
Meta öğrenme araştırması genellikle veri ve model mimarisine odaklanır, ancak istisnalar da vardır. Örneğin, meta-öğrenme optimizasyonu hala model optimizasyonu kategorisine ait gibi görünüyor. Otomatik alan randomizasyonu gibi veri alanındaki meta-öğrenme, veri artırma biçiminde derinlemesine incelenmiştir.
Fiziksel verilerin nasıl geliştirilip rastgele hale getirileceğini görmüş olsak da, veri geliştirme, görüntü verileri bağlamında anlaşılması en kolay yoldur. Bu görüntü geliştirmeleri genellikle yatay çevirme ve küçük döndürme veya çevirmeyi içerir. Bu geliştirme, görüntü sınıflandırması, nesne algılama veya süper çözünürlük gibi herhangi bir bilgisayar görüşü hattında tipiktir.
Müfredat Öğrenme, verilerin öğrenme modelinde sunulma sırasını içeren başka bir veri düzeyinde optimizasyondur. Örneğin, öğrencilere öğretirken, önce 2 + 2 = 4 gibi basit örnekleri kullanabilir ve ardından 2³ = 8 gibi nispeten zor kavramları tanıtabilirsiniz. Elbette öğrenmenin meta-öğrenme denetleyicisi, veri sunumunun zorluğuna ve sırasına göre veri sıralamasına bakar. Hacohen ve Weinshall, son araştırmalarını çok yeni ve ilginç olan ICML 2019 konferansında sundular. (Aşağıda gösterildiği gibi).
Guy Hacohen ve Daphan Weinshall tarafından "Müfredatla Öğrenmenin Gücü Üzerine" yazarı Guy Hacohen ve Daphan Weinshall tarafından yazılmıştır. En soldaki gri çubuk, Vanilla SGD veri seçiminin müfredat öğrenme yönteminden daha üstün olduğunu gösterir.
Derin öğrenme, sinir ağı mimarisi araştırması veya meta öğrenme modelinin araştırma eğiliminden etkilenen, genellikle veri düzeyinde optimizasyondan daha fazla endişe duyuyor. AlexNet yapısı, büyük GPU'lar tarafından hesaplanan büyük veri kümelerinde derin evrişimli ağların kullanımında bir öncüdür. Bu altyapıyı ResNet yapısına genişletmenin bariz performans avantajları vardır. ResNet yapısı, DenseNet gibi yapay tasarımla daha da geliştirildikten sonra, daha sonra AmoebaNet gibi meta-öğrenme teknolojileri ve verimli entnet tarafından aşıldı. Görüntü sınıflandırma kıyaslamasının ilerlemesinin zaman çizelgesi paperwithcode.com adresinde bulunabilir.
Meta öğrenme sinir mimarisi, bir mimari alanı tanımlamaya çalışır ve ardından bir veya daha fazla hedef ölçüme dayalı olarak en iyi mimariyi bulur.
Gelişmiş meta-öğrenici
Nöral yapı araması, yapıları aramak, rastgele arama (RandomSearch), ızgara araması (Grid Search), Bayesian Optimizasyonu, Nöro-evrim, Takviye Öğrenimi için çok çeşitli algoritmalar uygular Ve türevlenebilir arama (Farklılaştırılabilir Arama). OpenAI'nin otomatik etki alanı randomizasyon teknolojisi ile karşılaştırıldığında, bu arama algoritmaları nispeten karmaşıktır. Otomatik alan randomizasyonu, gelişmiş arama algoritmaları ile geliştirilebilir. Örneğin, University of California, Berkeley (UCBerkeley) ve AutoAuGment (Google tarafından önerilen bir veri artırma aracı) araştırmacıları, popülasyona dayalı aramanın veri artırmada yararlı olduğunu kanıtladı.
Meta öğrenmenin performans yeteneği nedir?
Meta-öğrenmenin sinirsel yapı aramasında sıklıkla karşılaştığı bir problem, arama alanının sınırlamaları olmasıdır. Sinir mimarisi araştırması, olası bir mimarinin yapay olarak tasarlanmış kodlamasıyla başlar. Bu manuel kodlama, aramanın üretebileceği keşifleri sınırlar. Ancak, aramayı tam olarak hesaplanabilir hale getirmek için, bazı ödünleşmelerin olması gerekir.
Mevcut mimari araştırması, sinir mimarilerini yönlendirilmiş döngüsel olmayan grafikler (DAG'ler) olarak ele alır ve düğümler arasındaki bağlantıları optimize etmeye çalışır. Gaier ve Ha'nın "Weight Agnostik Sinir Ağları" ve Xie ve diğerlerinin "Görüntü Tanıma için Rasgele Bağlı Sinir Ağlarını Keşfetme" gibi makaleler ve diğer makaleler, DAG sinir yapılarının inşasının karmaşık olduğunu ve iyi anlaşılmadığını göstermektedir.
İlginç bir soru, sinir yapısı aramasının düğümler üzerindeki işlemleri optimize edebilmesi, düğümler arasındaki bağlantıları optimize edebilmesi ve ardından yeni aktivasyon işlevlerini, optimize edicileri veya toplu normalleştirme (BatchNormalization) ve diğer standardizasyon tekniklerini özgürce keşfedebilmesidir.
Meta-öğrenme denetleyicisinin ne kadar soyut olduğunu düşünmek ilginç. Örneğin, OpenAI'nin Rubik Küp Çözme Manipülatörü temelde üç "akıllı" bileşene sahiptir: Rubik Küp Çözücü, görsel bir model ve manipülatörü manipüle etmek için bir kontrol ağı. Meta öğrenme denetleyicisi bu modülerliği tam olarak anlayabilir ve gösterim ile derin öğrenme sistemi arasında hibrit bir sistem tasarlayabilir mi?
Meta öğrenmenin veri zenginleştirmesi de sınırlıdır. Çoğu veri artırma araştırması (hatta otomatik etki alanı randomizasyonu), meta-öğrenme denetleyicisinin kullanabileceği bir dizi dönüşümle sınırlıdır. Bu dönüşümler simülasyondaki görüntünün parlaklığını veya gölgelerin yoğunluğunu içerebilir. Veri geliştirme özgürlüğünü artırmanın bir yolu, bu denetleyicileri benzersiz veri noktalarını keşfedebilen üretken modellerle birleştirmektir. Bu türev modeller, yalnızca mevcut görüntüleri döndürmek veya onları daha koyu veya daha parlak yapmakla kalmaz, yeni görüntüler tasarlayabilir. Bu çok ilginç olmasına rağmen, ImageNet sınıflandırmasında veri geliştirme için kullanılabilen BigGAN veya VQ-VAE-2 gibi en gelişmiş üretim modellerinden farklı görünmektedir.
Geçiş ve meta-öğrenme
Modellerin veya veri kümelerinin optimizasyonunu açıklamak için kullanılan "otomatik makine öğrenimi" nin aksine, "meta öğrenme" genellikle aktarımı ve küçük örnek öğrenme yeteneklerini tanımlamak için kullanılır. Bu tanım, otomatik etki alanı randomizasyon yöntemi ile çözülen Sim2Real etki alanı uyarlama problemi ile tutarlıdır. Bununla birlikte, bu tanım aynı zamanda ImageNet sınıflandırmasından öğrenmenin kusurları belirlemeye geçişini de açıklamaktadır.
Rubik Küp çözme manipülatörü ile ilgili ilginç bir şey, rahatsızlıklara uyum sağlama yeteneğine sahip olmasıdır. Örneğin, elde lastik eldiven takılmasına, parmakları birbirine bağlamasına ve küpün tıkanıklığını örtmesine rağmen (görsel model tamamen yok edilmelidir, bu nedenle algılama Giiker küpünün sensörü tarafından yapılmalıdır), manipülatör çalışmaya devam edebilir. Bu transfer meta-öğrenmesi, strateji ağındaki manipülatör kontrolünü eğitmek için kullanılan LSTM katmanının sonucudur. Yazar, bu "meta öğrenmenin" kullanımının, otomatik makine öğrenimi optimizasyonundan çok, bellek geliştirme ağlarının bir özelliği olduğuna inanıyor. Bence bu, meta öğrenmeyi birleştirmenin ve tek bir terim tanımı belirlemenin zor olduğunu gösteriyor.
sonuç olarak
Manipülatörün icadı açıkça çok başarılıdır çünkü manipülatörün koordinasyon yeteneğini gösterir. Bununla birlikte, bu araştırmanın daha ilginç kısmı, meta-öğrenme verilerinin rastgele hale getirilmesidir. Bu algoritma, eğitim verilerinin tasarımı ile eş zamanlı olarak gerçekleştirilir. Jeff Clune, bu paradigmayı yapay zeka hakkındaki makalesinde tanımladı. Bu algoritma, meta-öğrenme mimarisini, meta-öğrenme algoritmasının kendisini ve etkili bir öğrenme ortamının oluşturulmasını içerir. Bu, derin öğrenme ve yapay zeka gelişimi için harika bir yoldur. Harika fırsat.
Yorum Beğen Takip Et
Yapay zeka öğrenme ve geliştirmenin kuru mallarını paylaşalım
Yeniden yazdırıyorsanız, lütfen arka planda bir mesaj bırakın ve yeniden yazdırma şartnamelerine uyun
