Kuru Ürünler AutoML ve Sinir Mimarisi Aramasının Ön Çalışması
AI Technology Review Press : Bu makale An Opinionated Introduction to AutoML and Neural Architecture Search'ten derlenmiştir (
CMU ve DeepMind'den araştırmacılar kısa süre önce, şu anda makine öğrenimi alanında önemli bir sorun olan sinir ağı yapısı aramasına bir alternatif sağlayan Farklılaştırılabilir Ağ Yapısı Araması (DARTS) adlı ilginç yeni bir makale yayınladılar. Popüler. Sinir ağı yapısı arama geçen yıl heyecanlandı. Google CEO'su Sundar Pichai ve Google AI başkanı Jeff Dean, Yapay sinir ağı yapısı araması ve gereken büyük miktarda bilgi işlem gücü, makine öğreniminin yaygınlaştırılması için kritik öneme sahiptir. . Teknoloji medyası, Google'ın sinir ağı yapısı aramasıyla ilgili çalışmasını bildirmek için karıştırıldı.
Google'ın AutoML ve sinir ağı yapısı aramasının başlıklarını bildirin
Jeff Dean, Mart 2018'de düzenlenen TensorFlow DevSummit konferansında yaptığı açılış konuşmasında (22:20 civarında başlayacak) şunları söyledi: Google, gelecekte makine öğrenimi uzmanlarını 100 kat daha fazla bilgi işlem gücüyle değiştirebilir . Daha fazla insanın makine öğrenimini kullanmasını sağlamak için neden 100 kat daha fazla bilgi işlem gücüne ihtiyacımız olduğunu göstermek için bir örnek olarak (verdiği tek örnek) çok büyük bilgi işlem gücü gerektiren sinir ağı yapısı araştırmasını verdi.
Jeff Dean'in TensorFlow DevSummit konferansındaki açılış konuşması
Sinir ağı yapısı araması nedir? Makine öğrenimi tekniklerini makine öğrenimi dışındaki uzmanların kullanımına sunmanın anahtarı bu mu?
Bu yazıda bu konuları derinlemesine inceleyeceğim ve sonraki makalede Google'ın AutoML'sine odaklanacağım. Sinir ağı yapısı araması, AutoML adlı daha geniş bir alanın parçasıdır. AutoML son yıllarda çok ilgi gördü ve önce bunu tartışacağız.
içindekiler:
AutoML nedir?
AutoML kullanışlı mı?
Sinir ağı yapısı araması nedir?
DARTS nedir?
Sinir ağı yapısı araması yararlı mı?
Makine öğrenimi uygulayıcılarının daha verimli çalışması nasıl sağlanır? AutoML ile gelişmiş makine öğrenimi karşılaştırması
AutoML nedir?
Geleneksel olarak, AutoML terimi, model seçimi ve / veya hiperparametre optimizasyonu için otomatikleştirilmiş yöntemleri tanımlamak için kullanılmıştır. Bu yöntemler, rastgele ormanlar, gradyan artırma makineleri, sinir ağları vb. Gibi birçok algoritma türüne uygulanabilir. AutoML alanı, açık kaynak AutoML kitaplıklarını, seminerleri, araştırmaları ve yarışmaları içerir. Yeni başlayanlar, bir model için farklı hiperparametreleri test ederken genellikle tahmine dayandıklarını düşünürler ve sürecin bu bölümünü otomatikleştirmek makine öğrenimini kolaylaştırabilir. Deneyimli makine öğrenimi uygulayıcıları için bile, bu otomatik süreç onları hızlandırabilir.
Sektörde birçok AutoML kitaplığı vardır, bunların arasında AutoWEKA ilk olarak 2013 yılında piyasaya sürülmüştür ve modelleri ve hiperparametreleri otomatik olarak seçebilir. Diğer önemli AutoML kitaplıkları arasında auto-sklearn (AutoWEKA'yı python ortamına genişletir), H2O AutoML ve TPOT bulunur. AutoML.org (eski adıyla ML4AAD, Otomatik Algoritma Tasarımı için Makine Öğrenimi) grubu, 2014 yılından beri ICML makine öğrenimi konferanslarında AutoML seminerleri düzenlemektedir.
AutoML kullanışlı mı?
AutoML, modelleri seçmek ve hiper parametreleri optimize etmek için bir yol sağlar. Bir problemin olası performansı için kıyaslama sonuçları elde etmek için de kullanılabilir. Bu, veri bilimcilerinin değiştirileceği anlamına mı geliyor? Öyle değil, çünkü makine öğrenimi uygulayıcılarının yapacak başka işleri olduğunu biliyoruz.
Birçok makine öğrenimi projesi için, bir model seçmek, bir makine öğrenimi ürünü oluşturmanın karmaşık sürecinin yalnızca bir parçasıdır. Bir önceki yazıda da belirttiğim gibi, katılımcılar projenin çeşitli kısımlarının birbirleriyle nasıl ilişkili olduğunu anlamazlarsa proje kaçınılmaz olarak başarısız olacaktır. Sürece dahil olabilecek 30'dan fazla farklı adım düşünebilirim. Makine öğreniminin (özellikle derin öğrenmenin) en çok zaman alan iki yönünün Verileri temizleyin (Evet, bu makine öğreniminin ayrılmaz bir parçasıdır) ve eğitim modelleri. AutoML, modellerin seçilmesine ve hiperparametrelerin seçilmesine yardımcı olabilse de, hangi veri bilimi becerilerine ihtiyaç duyulduğunu ve hala çözülmemiş sorunları çözmemiz gerekiyor.
Son adımda makine öğrenimi uygulayıcılarını daha verimli hale getirmek için AutoML yöntemine bazı alternatifler önereceğim.
Sinir ağı yapısı araması nedir?
Artık AutoML'nin bazı içeriğini sunduğumuza göre, bu alanın özellikle aktif olan bir alt kümesine bir göz atalım: Sinir ağı yapısı araması . Google CEO'su Sundar Pichai blogunda şunları yazdı: "Sinir ağlarını tasarlamak çok zaman alır ve profesyonel bilgi için son derece yüksek gereksinimleri, tasarıma yalnızca az sayıda araştırmacı ve mühendisi dahil eder. Bu biziz AutoML yöntemini oluşturmanın nedeni, bununla birlikte sinir ağları da sinir ağları tasarlayabilir. "
Pichai, "sinir ağlarının aynı zamanda sinir ağları tasarlayabileceğini" söyledi. Sinir ağı yapısı araması ; Genellikle kullanılır Takviye öğrenme veya evrimsel algoritma Yeni bir sinir ağı yapısı tasarlamak için. Bu yararlıdır çünkü insanların düşündüğünden çok daha karmaşık ağ yapılarını keşfetmemize izin verir ve bu ağ yapıları belirli hedefler için optimize edilebilir. Sinir ağı yapısı araması genellikle çok fazla bilgi işlem gücü gerektirir.
Kesin olmak gerekirse, sinir ağı yapısı araması genellikle bir sinir ağı oluşturmak için bir grup tekrarlanan birimde bir araya getirilebilen katmanlar (genellikle "birimler" olarak adlandırılır) gibi şeyleri öğrenmeyi içerir:
Zoph ve diğerleri tarafından 2017'de yayınlanan bir makaleden. Solda birim yığının tam sinir ağı ve sağda birimin iç yapısı
Sinirsel yapı aramasıyla ilgili birçok akademik makale var, bu nedenle burada yakın zamanda yayınlanan birkaç makaleye odaklanacağım:
Mayıs 2017'de düzenlenen Google I / O konferansında, Google AI araştırmacıları Quoc Le ve Barret Zoph araştırma sonuçlarını yayınladı https://arxiv.org/pdf/1611.01578.pdf, AutoML terimi hızla Yaygın. Araştırma, bilgisayarla görme alanında Cifar10 problemi ve NLP alanındaki Penn Tree Bank problemi için yeni bir ağ yapısı bulmak için pekiştirmeli öğrenmeyi kullanıyor ve mevcut ağ yapısına benzer sonuçlar elde etti.
Le ve Zoph'un blog gönderisinden: Soldaki daha basit mimari insanlar tarafından tasarlandı ve sağdaki daha karmaşık mimari sinir ağları tarafından tasarlandı.
Ölçeklenebilir Görüntü Tanıma için Aktarılabilir Mimarileri Öğrenmek belgesinde önerilen NASNet'i geçirin (https://arxiv.org/abs/1707.07012). Bu araştırma, küçük veri kümesi Cifar10 üzerinde bir ağ yapısı yapı taşı arar ve ardından büyük veri kümesi ImageNet için bir ağ oluşturur. Bu araştırma çok fazla hesaplama gerektirir ve ağ yapısını öğrenmek 1.800 GPU günü (1 GPU üzerinde 5 yıllık çalışmaya eşdeğer) aldı (Google ekibi 4 günlük eğitim için 500 GPU kullandı!) .
AmoebaNet Regularized Evolution for Image Classifier Architecture Arama belgesinde önerilmiştir (https://arxiv.org/abs/1802.01548). Bu araştırma NASNet'ten daha fazla hesaplama gerektiriyor, 3150 GPU günü sürüyor (Yaklaşık 9 yıldır 1 GPU'ya eşdeğer) ağ yapısını öğrenmek için (Google ekibi 7 günlük eğitim için 450 K40 GPU kullandı!). AmoebaNet, yapay zekadan gelişen mimarinin elle ve pekiştirmeli öğrenme ile tasarlanan görüntü sınıflandırıcılara rakip olabileceğini ve hatta onları aşabileceğini gösteren evrimsel algoritmalarla öğrenilen "birimler" den oluşur. fast.ai bu mimariyi geliştirdi, öğrenme sürecini hızlandırdı ve eğitim sürecinde görüntünün boyutunu değiştirdi. AmoebaNet, ImageNet'i tek bir makinede eğitmenin en ucuz yolu haline geldi!
Etkili sinir ağı yapısı araması (ENAS, https://arxiv.org/pdf/1802.03268.pdf): Kullanılan GPU saatleri, özellikle standart sinir ağı yapılarıyla karşılaştırıldığında, mevcut otomatik model tasarım yöntemlerinden çok daha azdır Arama için gereken bilgi işlem gücü 1.000 kat daha azdır. Bu çalışma, 16 saatlik eğitim için yalnızca tek bir GPU kullandı!
DARTS nedir?
Farklılaştırılabilir ağ yapısı araması (DARTS, https://www.groundai.com/project/darts-differentiable-architecture-search/). Bu araştırma yakın zamanda Carnegie Mellon Üniversitesi ve DeepMind'den bir ekip tarafından yayınlandı ve bu fikirle çok ilgileniyorum. DARTS, aday ağ yapılarının alanının ayrı olmaktan çok sürekli olduğunu varsayar ve bu da gradyan tabanlı yöntemler kullanmasına olanak tanır. Bu, çoğu sinir mimarisi arama algoritması tarafından kullanılan kara kutu aramasından çok daha etkilidir.
DARTS'tan, tüm olası ağ yapısı alanlarını ayrı değil, sürekli olarak ele alır
Cifar-10 için bir ağ yapısını öğrenmek, DARTS yalnızca 4 GPU günü gerektirir Buna karşılık, NASNet'in 1.800 GPU günü ve AmoebaNet'in 3.150 GPU günü vardır (doğruluk aynıdır). Bu, verimlilikte büyük bir gelişmedir! Daha fazla araştırmaya ihtiyaç duyulmasına rağmen, bu umut verici bir araştırma yönüdür. Google sık sık sinir mimarisi aramasının çok büyük bir bilgi işlem gücü gerektirdiğini vurguluyor ve bu da etkili ağ yapısı arama yöntemlerinin tam olarak keşfedilemeyebileceğini gösteriyor.
Sinir mimarisi araması yararlı mı?
Jeff Dean, TensorFlow DevSummit açılış konuşmasında (22: 20'den itibaren), derin öğrenme çalışmasının önemli bir kısmının farklı ağ yapılarını denemek olduğunu öne sürdü. Bu, Dean'in kısa konuşmasında vurguladığı tek makine öğrenimi adımıdır ve odak noktası beni şaşırttı. Sundar Pichai'nin blog yazısı benzer iddialar içeriyor.
Jeff Deanin slaydı, sinir ağı yapısı aramasının en doğru olanı bulmak için 20 farklı modeli deneyebileceğini gösteriyor.
Ancak, seçim modeli, makine öğrenimi ürünleri oluşturmanın karmaşık sürecinin yalnızca bir parçasıdır. Çoğu durumda, ağ yapısı seçimi en zor, zaman alıcı veya en önemli sorun olmaktan uzaktır. Şu anda, her sorunun kendi benzersiz ağ yapısıyla en iyi şekilde modellendiğini kanıtlayacak hiçbir kanıt yoktur ve çoğu uygulayıcı, bunun olma ihtimalinin düşük olduğuna inanmaktadır. .
Google gibi kuruluşlar ağ yapısı tasarımına ve keşfettikleri ağ yapısını başkalarıyla paylaşmaya kararlıdır. Bu tür hizmetler çok önemli ve kullanışlıdır. Ancak, kendini temel sinir yapılarının tasarımına adamış küçük bir grup araştırmacı, altyapı arama yöntemlerine ihtiyaç duyar. Geri kalanımız buldukları ağ yapısını kullanmak için transfer öğrenmeyi kullanabiliriz.
Makine öğrenimi uygulayıcılarının daha verimli çalışmasını nasıl sağlayabilirim? AutoML ve Gelişmiş Makine Öğrenimi (Artırılmış Makine Öğrenimi)
Sinir ağı yapısı araması, AutoML alanının bir parçasıdır. Bu alanın odaklandığı temel konular şunlardır: Model seçimi ve hiperparametre optimizasyon sürecini nasıl otomatikleştiriyoruz? ? Ancak otomasyon, insan katılımının önemli rolünü görmezden geliyor. Başka bir soru sormak istiyorum: Makine öğrenimini daha verimli hale getirmek için insanlar ve bilgisayarlar birlikte nasıl çalışabilir? Makineyi geliştirmenin amacı, insanların ve makinelerin farklı avantajlarından yararlanmak için nasıl birlikte çalışması gerektiğini belirlemektir.
Gelişmiş makine öğreniminin bir örneği, fastai kitaplığında (PyTorch'un üzerinde çalışan yüksek seviyeli bir API) uygulanabilen Leslie Smith'in öğrenme oranı denetleyicisidir ve biz de bunu ücretsiz derin öğrenme kurslarımızda anahtar bir teknoloji olarak kullanıyoruz. Öğrenme oranı, model eğitiminin hızını ve hatta modelin başarıyla eğitilip eğitilmediğini belirleyebilen bir hiper parametredir. Öğrenme oranı sorgulayıcı, insanların oluşturulan grafiğe bakarak uygun öğrenme oranını bulmasını sağlar. Bu sorunu AutoML'den daha hızlı çözer, veri bilimcilerinin eğitim sürecini daha iyi anlamasını sağlar ve modelleri eğitmek için daha güçlü çok adımlı yöntemleri teşvik eder.
Surmenok'tan öğrenme oranı denetleyicisiyle ilgili, öğrenme oranı ve kayıp arasındaki ilişkiyi gösteren bir blog yazısı
Otomatik hiperparametre seçimine odaklanmanın diğer bir problemi, belirli model türlerinin daha uygulanabilir olabileceği, daha az hiperparametrenin ayarlanmasını gerektirdiği ve hiperparametre seçimine daha az duyarlı olduğu durumu göz ardı etmesidir. Örneğin, Rastgele ormanın gradyan artırma makinesinden (Grandient Boosting Machine, GBM) daha iyi olduğu önemli nokta, rastgele ormanın daha kararlı olması ve GBM'nin genellikle hiperparametrelerdeki küçük değişikliklere karşı çok duyarlı olmasıdır. Bu nedenle, rastgele ormanlar endüstride yaygın olarak kullanılmaktadır. Hiperparametreleri etkili bir şekilde kaldırmanın yolları üzerine yapılan araştırmalar (daha akıllı varsayılanlar veya yeni modeller aracılığıyla) çok büyük bir etkiye sahip olacaktır. . 2013'te derin öğrenmeyle ilgilenmeye başladığımda, çok fazla hiperparametre karşısında bunalmıştım ve yeni araştırma ve araçların birçok hiperparametrenin (özellikle yeni başlayanlar için) ortadan kaldırılmasına yardımcı olduğu için mutluyum. Örneğin, fast.ai kursunda, yeni başlayanların sadece öğrenme oranını bir hiperparametre olarak seçmeleri gerekir ve biz de bunu yapmak için size bir araç bile vereceğiz!
(Lütfen takip makalelerini dört gözle bekleyin)
Derin sinir ağları hakkında daha fazla bilgi edinmek ister misiniz?
"Orijinali oku" yu tıklamaya hoş geldiniz
Veya AI Araştırma Topluluğu topluluğuna geçin ~
