Yalnızca lise matematiği algoritmaları keşfedebilir mi? Google'ın açık kaynaklı AutoML-Zero ne kadar güçlü?
Çevirmen | Liu Chang
Kaynak | AI Technology Base Camp (ID: rgznai100)
Makine öğrenimi araştırması, model yapısı ve optimizasyon yöntemleri dahil olmak üzere birçok açıdan ilerleme kaydetmiştir. Ve bu tür araştırmaları otomatikleştirme çalışması (AutoML olarak adlandırılır) da önemli ilerleme kaydetmiştir. Bu ilerleme, esas olarak, şu anda bloklar (veya benzer sınırlı arama alanları) oluşturmak için karmaşık katmanlar tasarlamak için uzmanlara dayanan sinir ağlarının mimarisine odaklanmıştır.
Bu makalenin amacı, AutoML'nin daha da ileri gidebileceğini kanıtlamaktır. Artık, yapı taşları olarak yalnızca temel matematiksel işlemleri kullanarak eksiksiz makine öğrenimi algoritmalarını otomatik olarak keşfetmek mümkün.
Bu makale, bunu kanıtlamak için, öznel tasarım iradesini önemli ölçüde azaltabilen daha genel bir arama alanı kullanan yeni bir çerçeve sunar. Geniş arama alanına rağmen, evrimsel arama hala geri yayılım kullanılarak eğitilmiş iki katmanlı sinir ağları bulabilir. Daha sonra, bu basit sinir ağları bazı görevlerde aşılabilir. Bu ağlar bile normalleştirilmiş gradyan, ağırlık ortalaması vb. Gibi mevcut en iyi optimizasyon algoritmalarını kullanır.
Ek olarak, bu arama algoritmayı farklı görev türlerine uyarlayabilir: örneğin, çok az veri olduğunda bırakma benzeri bir etki ortaya çıkabilir. Makine öğrenimi algoritmalarının ilk başarısını sıfırdan keşfetmenin, bu araştırma alanı için çok umut verici yeni bir yöne işaret ettiğine inanıyoruz.
Giriş
Son yıllarda, sinir ağları birçok temel görevde mükemmel performans elde etti. Makine öğrenimi araştırmasının uzunluğu ve zorluğu, insan araştırma zamanı yerine makine hesaplama zamanını harcayarak makine öğrenimi teknolojisinde ilerleme sağlamak olan AutoML adlı yeni bir alan ortaya çıkardı. Bu çalışma verimli sonuçlar verdi, ancak şu ana kadar mevcut araştırmalar büyük ölçüde insanlar tarafından tasarlanan arama alanlarına dayanıyor. Yaygın bir örnek, uzmanlar tarafından yapı taşları olarak tasarlanan karmaşık katmanları kullanan ve arama alanını sınırlamak için geri yayılım kurallarına uyan sinir ağı mimarisi araştırmasıdır.
Benzer şekilde, diğer AutoML çalışmaları, geri yayılım sırasında kullanılan öğrenme kuralları, LSTM'nin kapılı yapısı veya veri büyütme gibi arama alanını tek bir algoritmayla sınırlamanın yollarını buldu; bu araştırma çalışmasında, diğer tüm algoritmalar Halen elle tasarlanmıştır. Bu yöntem, hesaplama süresinden tasarruf sağlayabilir, ancak iki dezavantajı vardır. Her şeyden önce, yapay olarak tasarlanmış blok yapısı, arama sonuçlarını yapay olarak tasarlanmış algoritmaya yönlendirecek ve bu da AutoML'nin yenilik yeteneğini azaltabilir. Daha az seçenek de yeniliği sınırlar çünkü aranamayan içeriği keşfetmenin bir yolu yoktur. İkincisi, kısıtlı arama alanının dikkatlice birleştirilmesi gerekiyor, bu da araştırmacılara yeni yükler getiriyor ve sözde insan zamanından tasarruf etme hedefini ihlal ediyor.
Bu sorunu çözmek için, bu makale, yalnızca birkaç kısıtlama ve basit matematiksel işlem modülleri kullanarak tüm makine öğrenimi algoritmalarını otomatik olarak aramak için bir yöntem önermektedir. Bu yönteme AutoML-Zero diyoruz ve amacı en az insan müdahalesi ile öğrenmektir.
Başka bir deyişle, AutoML-Zero, ayrıntılı uzamsal modelleri araştırmayı, süreçleri optimize etmeyi ve aynı zamanda işlemleri başlatmayı, böylece manuel tasarımın iş yükünü azaltmayı ve hatta sinirsel olmayan ağ algoritmalarını keşfetmeyi amaçlamaktadır. Bunun bugün uygulanabilir olduğunu kanıtlamak için, bu makale bu zorluğa bir ön çözüm önermektedir.
AutoML-Zero arama alanının çok yönlülüğü, karşılık gelen alanı aramayı mevcut AutoML algoritmasından daha zor hale getirir. Mevcut AutoML arama alanı yoğun bir şekilde inşa edilmiştir ve iyi bir çözüme sahiptir, bu nedenle arama yönteminin kendisi artık vurgulanmamaktadır. Örneğin, aynı arama alanında yapılan bir karşılaştırma, önde gelen teknolojinin genellikle basit rastgele aramadan (RS) sadece biraz daha iyi olduğunu ortaya koymaktadır.
Ve AutoML-Zero farklıdır: Arama alanı daha geniş olduğu için nihai sonuç çok seyrekleşir. Önerdiğimiz çerçevemiz, her seferinde bir numuneyi tahmin edip öğrenebilen üç bileşenli işlev içeren bilgisayar programları olarak makine öğrenimi algoritmalarını temsil eder. Bu fonksiyonlardaki talimatlar hafızaya temel matematiksel işlemleri atar. Her komut tarafından kullanılan işlem ve bellek adresi, bileşen işlevinin boyutu gibi arama alanındaki serbest parametrelerdir.
Genel olarak, bu makalenin katkıları şunlardır:
-
AutoML-Zero, minimum insan müdahalesi ile makine öğrenimi algoritmalarını sıfırdan otomatik olarak arayabilir;
-
Yalnızca temel matematiksel işlemleri birleştiren kaynak kodu ve arama alanına sahip yeni çerçeve;
-
Ayrıntılı deneysel sonuçlar, ML algoritmalarını keşfetmek için evrimsel arama algoritmalarını kullanma potansiyelini göstermektedir.
Kod adresi:
https://github.com/google-research/google-research/tree/master/automl_zero#automl-zero
yöntem
AutoML-zero yöntemi iki kısma ayrılabilir, biri arama alanı ve diğeri arama yöntemidir.
Arama alanı
Yazar, algoritmaları skaler, vektör ve matris değişkenleri için ayrı adres alanlarına sahip daha küçük sanal bellekler üzerinde çalışan bilgisayar programları olarak temsil eder. Bunların tümü kayan nokta sayılarıdır ve görev girişi özellik haritasının boyutlarını paylaşır.
Yazar, programı bir dizi talimat olarak ifade eder. Her talimatın işlevini belirlemek için bir işlemi vardır.Seçim işleminin yanlılığını önlemek için, bu makale basit bir standart kullanır: üst düzey öğrenme ile belirlenmesi gerekir. Yazar maksatlı olarak makine öğrenimi kavramlarını, matris çarpanlara ayırmayı ve türevleri dışladı.
Denetimli öğrenme çalışmasından esinlenen yazar, algoritmayı üç bileşen işlevli bir program olarak ifade etti: Kurulum / Tahmin / Öğren. Aşağıda gösterildiği gibi:
Aşağıdaki şekildeki evrim süreci, yukarıdaki işlevlerin kullanımını göstermektedir. Aşağıdaki şekilde iki for döngüsü, eğitim ve doğrulama aşamalarını uygular. Basit olması için, bir seferde bir örnek işlenir. Eğitim aşamasında, dönüşümlü olarak "tahmin" ve "öğrenme" gerçekleştirilir.
Arama yöntemi
Arama deneyi, bileşen işlevindeki talimatları değiştirerek makine öğrenme algoritmasını keşfetmelidir. Bu makale, düzenlenmiş evrimsel arama yöntemini kullanır çünkü çok basittir ve son zamanlarda mimari aramada iyi sonuçlar elde etmiştir. Bu yöntem aşağıdaki şekilde gösterilmektedir.
Ebeveyn tarafından üretilen çocuğun mutasyonu, arama alanı için özelleştirilmelidir; bu makale, üç tür eylemde rastgele seçim kullanır: (i) bileşen işlevinde rastgele komutlar eklemek veya rastgele konumlarda komutları silmek, (ii) bileşenler eklemek Fonksiyondaki tüm talimatları rastgele seçin veya (iii) komutu rastgele seçimle değiştirerek komutun parametrelerinden birini değiştirin. Aşağıda gösterildiği gibi.
Deney
Deneyin sonraki bölümünde, bu makale şu üç soruyu yanıtlayacaktır: "AutoML-Zero uzayında arama yapmak ne kadar zor?", "Bu makalenin çerçevesi, minimum manuel girişle makul bir algoritma bulmak için kullanılabilir mi?" Ve "Arama deneyinde kullanılan görev türünü değiştirerek farklı algoritmalar keşfedebilir misiniz?"
1. Arama alanında basit bir sinir ağı bulun
Aşağıdaki şekil 4 görev türünün analiz sonuçlarını özetler: tam bir algoritma bulundu / yalnızca doğrusal yöntemleri öğrenme / afin regresyon verilerini öğrenme. AutoML-Zero arama alanı evrenseldir, ancak bir bedeli vardır: bazı basit görevler için bile, iyi algoritmalar seyrektir. Görev gittikçe zorlaştıkça, çözüm giderek daha seyrek hale geliyor ve performansı RS'den çok daha iyi.
2. Minimum manuel girişle arama yapın
Arama yoluyla doğrusal regresyon, geri yayılımlı iki katmanlı bir sinir ağı ve hatta manuel tasarımın karmaşıklığını aşan bir temel algoritma buldum. Yukarıdaki şekil, deneyimizdeki bir örneği göstermektedir, evrimsel algoritmanın ikili sınıflandırma görevini adım adım nasıl çözdüğünü görebilirsiniz. İlk olarak, herhangi bir optimizasyon yöntemi olmayan doğrusal bir modeldi ve daha sonra optimize etmek için SGD'yi kademeli olarak keşfetti, ardından rastgele öğrenme oranı eklemeye başladı ve ardından ReLU aktivasyon fonksiyonunu, rastgele ağırlık başlatma, gradyan normalizasyonu vb. El ile tasarlanmış ağ yapısına ve optimizasyon yöntemlerine yakın.
3. Algoritmanın evrenselliğini keşfedin
Bu bölümde yazar, üç farklı görev türünü arayarak bu yöntemin daha geniş uygulanabilirliğini gösterecektir. Her görev türünün kendi zorlukları vardır (örneğin, "çok az veri"). Zorluklarla başa çıkmak için evrimsel adaptasyon algoritmaları sürecini göstereceğiz. Sıfırdan makul bir model elde ettiğimiz için, popülasyonu yalnızca aşağıdaki şekilde gösterilen etkili sinir ağıyla başlatmamız gerekiyor, bu da zamandan tasarruf sağlayabilir.
sonuç olarak
Bu makalede yazar, AutoML için iddialı bir hedef ortaya koyuyor: temel işlemlerden tüm makine öğrenimi algoritmasını otomatik olarak keşfetmek ve arama alanındaki kişilerin getirdiği tercihi azaltarak, bunun sonunda yeni makine öğrenimi içeriği oluşturacağı umulmaktadır.
Bu makale, bu araştırma yönünün potansiyelini kanıtlamak için makine öğrenimi algoritmasını temsil etmek için yeni bir çerçeve oluşturur Algoritma, makine öğrenimi algoritmasını üç bileşen işlevinden (Kurulum, Tahmin, Öğren) oluşan bir bilgisayar programı olarak temsil eder. Boş bileşen işlevinden başlayarak, yalnızca temel matematiksel işlemleri kullanarak, bu makaledeki algoritma kademeli olarak doğrusal regresyon, sinir ağı, gradyan inişi, ağırlık ortalaması, normalleştirilmiş gradyan vb. Bu sonuçlar, algoritmanın çok umut verici olduğunu gösteriyor, ancak daha yapılacak çok iş var.
Kağıt adresi:
https://arxiv.org/abs/2003.03384
Microsoft CEO'su Satya Nadella: Tekerleği yeniden icat etmeyin, teknolojinin yoğunluğunu artırın
GitHub, en iyi Apache projesi olan ShardingSphere'in açık kaynak yolu olan 10.000'den fazla yıldıza sahiptir
KongHong Kong Bilim ve Teknoloji Üniversitesi Akademisyeni Zheng Guangting geleceği sordu ve en son AI uygulamalarını ve uygulamalarını ortaya çıkardı
Büyük promosyon altında akıllı operasyon ve bakım zorluğu: Ali "çifte 11 kedi gecesine" nasıl direniyor?
Ethereum 2.0'da Saklama Oyunu ve MPC uygulaması
Sizler için çok dikkatli bir şekilde 9 MySQL mülakat sorusu yazdım, toplamanız tavsiye edilir!
