Haberler Google'ın açık kaynaklı AdaNet: hızlı ve esnek, hafif bir AutoML çerçevesi
AI Technology Review Editörünün Notu: Son zamanlarda Google, TensorFlow'u temel alan ve yalnızca küçük bir miktar uzman müdahalesiyle yüksek kaliteli modelleri otomatik olarak öğrenebilen hafif AutoML çerçevesi AdaNet'i açık kaynaklı hale getirdi. Öğrenme garantileri sağlarken aynı zamanda öğrenme garantileri de sağlar. Hızlı ve esnek kalabilir. AdaNet'in sadece sinir ağı mimarisini öğrenmekle kalmayıp aynı zamanda daha iyi modeller elde etmek için entegrasyonu öğrenen genel bir çerçeve sağladığını belirtmekte fayda var. AI teknolojisi incelemeleri, Google AI tarafından blogda aşağıdaki gibi yayınlanan AutoML makalesine göre derlenir.
Farklı makine öğrenimi modellerinin tahminlerini entegre eden model topluluğu, optimum performans elde etmek için sinir ağlarında yaygın olarak kullanılmaktadır.Uzun bir geçmiş ve teoriden faydalanır ve Netflix Ödülü ve çeşitli Kaggle yarışmaları gibi zorluklarda en üst sırada yer aldı. Ancak, zaman alan eğitim ve kendi alan uzmanlığını gerektiren makine öğrenimi modellerinin seçim mekanizması nedeniyle, pratikte yaygın olarak kullanılmamaktadır. Ancak, bilgi işlem gücü ve TPU ve diğer özel derin öğrenme donanımları daha erişilebilir hale geldikçe, daha büyük makine öğrenimi modellerine izin verebiliriz ve model entegrasyon yöntemleri, olağanüstü performans getirebilecek bir seçenek haline geldi. Şimdi bir aracın otomatik olarak sinir mimarisini arayabileceğini ve en iyi sinir mimarisini yüksek kaliteli bir modele entegre etmeyi öğrenebileceğini hayal edin.
Artık Google, az miktarda uzman müdahalesi ile yüksek kaliteli modelleri otomatik olarak öğrenebilen, TensorFlow'a dayalı hafif bir çerçeve olan açık kaynaklı AdaNet'e sahip. AdaNet, hızlı ve esnekliği korurken öğrenme garantileri sağlarken, Google'ın son zamanlardaki pekiştirmeli öğrenme ve evrim tabanlı AutoML sonuçları temelinde oluşturulmuştur. Mesele şu ki, AdaNet sadece sinir ağı mimarisini öğrenmekle kalmayıp aynı zamanda daha iyi modeller elde etmek için entegrasyonu da öğrenebilen genel bir çerçeve sağlıyor.
AdaNet'in kullanımı kolaydır ve makine öğrenimi uygulayıcılarının genellikle optimum sinir ağı mimarisini seçmek için harcadıkları zamandan tasarruf etmek için yüksek kaliteli modeller oluşturabilir.Uyarlanabilir bir öğrenme algoritması yürütecek ve birçok alt ağın entegrasyonundan bir sonuç öğrenecektir. Sinir ağı mimarisi. AdaNet, farklı derinlik ve genişlikteki alt ağlar aracılığıyla çeşitli farklı entegrasyonlar ve performans iyileştirme ile parametre sayısı arasında bir denge oluşturabilir.
AdaNet, sinir ağlarının entegrasyonunu uyarlamalı olarak artırır. Her yinelemede AdaNet, her aday sinir ağının topluluk kaybını ölçer ve optimum sinir ağını bir sonraki yinelemeye aktarmayı seçer.
Hızlı ve kullanımı kolay
AdaNet, TensorFlow Estimator arayüzünü kullanır, eğitim, değerlendirme, tahmin ve çıktıları kapsayarak makine öğrenimi programlamasını büyük ölçüde basitleştirir ve TensorFlow Hub modülleri, TensorFlow Model Analizi ve Google Cloudun Hyperparameter Tuner gibi açık kaynak araçlarını entegre eder. Dağıtılmış eğitim desteği, eğitim süresini büyük ölçüde kısaltır ve performans, yeni CPU'lar ve hızlandırıcılar (GPU gibi) eklendikten sonra doğrusal olarak iyileştirilebilir.
CIFAR-100'de AdaNet'in her eğitim adımına (x ekseni) karşılık gelen doğruluk (y ekseni). Mavi çizgi eğitim setindeki doğruluğu, kırmızı çizgi ise test setindeki performansı temsil eder. Her bir milyon adımda bir yeni bir alt ağ eğitilir ve sonuçta tüm topluluk modelinin performansını iyileştirir. Gri ve yeşil çizgiler, yeni eklenen alt ağın önceki entegrasyon doğruluğunu gösterir.
En iyi TensorFlow işlevlerinden biri olan TensorBoard, eğitim sırasında model göstergelerini görselleştirebilir, böylece AdaNet, alt ağ eğitimini, entegrasyonunu ve performansı izlemek için TensorBoard ile sorunsuz bir şekilde entegre edilebilir. AdaNet eğitimi tamamladıktan sonra, TensorFlow Sunumu kullanılarak dağıtılabilen bir SavedMode çıktısı verecektir.
Öğrenme garantisi
Sinir ağı entegrasyonu oluşturmada bazı zorluklar vardır: Dikkate alınacak en iyi alt ağ mimarisi nedir? En iyisi aynı mimariyi yeniden kullanmak mı yoksa farklılaşmayı teşvik etmek mi? Daha fazla parametresi olan karmaşık alt ağlar, eğitim setinde daha iyi performans gösterme eğiliminde olsalar da, daha fazla karmaşıklık nedeniyle bilinmeyen verilere genellenmeleri de zor olabilir. Bu zorluklar model performansının değerlendirilmesinden kaynaklanmaktadır.Performansı değerlendirmek için verilerin bir kısmını eğitim setinden ayırabiliriz, ancak bu, sinir ağını eğitmek için kullanılabilecek örnek boyutunu azaltabilir.
Aradaki fark, AdaNet'in yönteminin (ICML 2017'nin AdaNet: Yapay Sinir Ağlarının Uyarlanabilir Yapısal Öğrenimi makalesine bakın) bir hedefi optimize ederek, eğitim setinin entegrasyon performansını ve bilinmeyen verilerin genelleme yeteneğini ölçmesidir. . Burada insan sezgisine uygun bir ortam benimsenmiştir: AdaNet, bu alt ağı ancak bir aday alt ağ tarafından entegre modelin eğitim kaybının optimizasyonu genelleme yeteneği üzerindeki olumsuz etkisini aştığında entegre edecektir. Bu şunları garanti eder:
İlk olarak, entegre genelleme hatası, eğitim hatası ve karmaşıklığı ile sınırlıdır;
İkincisi, bu hedefi optimize ederek kısıtlama doğrudan en aza indirilebilir.
Bu hedefi optimize etmenin asıl faydası, entegre aday alt ağına katılmayı seçerken kenara koyma ihtiyacını ortadan kaldırabilmesidir. Bunun getirdiği ek fayda, AdaNet'in alt ağı eğitmek için daha fazla eğitim verisi kullanabilmesidir.
Daha fazla bilgi için lütfen AdaNet amaç işlevi öğreticisine bakın (https://github.com/tensorflow/adanet/blob/v0.1.0/adanet/examples/tutorials/adanet_objective.ipynb).
Ölçeklenebilirlik
Google, araştırma ve ürünler için yararlı bir AutoML çerçevesi oluşturmanın anahtarının, yalnızca makul varsayılan değerler sağlamakla kalmayıp, aynı zamanda kullanıcıların kendi alt ağlarını / modellerini tanımlamaya çalışmasına da izin verdiğine inanmaktadır. Sonunda, makine öğrenimi araştırmacıları, uygulayıcıları ve meraklıları kendi AdaNet adanet.subnetwork.Builder'larını tanımlamak için tf.layers gibi üst düzey TensorFlow API'lerini kullanmaya davet edilebilir.
TensorFlow modelini kendi sistemine entegre eden kullanıcılar için TensorFlow kodunu AdaNet alt ağına kolayca aktarabilir, öğrenme garantisini alırken modelin performansını iyileştirmek için adanet.Estimator'ı kullanabilirler. AdaNet, tanımladıkları aday alt ağ arama alanını keşfedecek ve alt ağları entegre etmeyi öğrenecek. Örneğin, Google, NASNet-A CIFAR mimarisinin açık kaynağını uyguladı, onu bir alt ağa taşıdı ve CIFAR-10 üzerinde AdaNet'in 8 yinelemesiyle optimum sonuçlarını iyileştirdi. Ek olarak, Google'ın modeli, daha az parametre ile aşağıdaki sonuçları elde eder:
CIFAR-10 veri setinde, Zoph et al., 2018 VS'de gösterilen NASNet-A modelinin performansı, birden fazla küçük NASNet-A alt ağıyla birlikte AdaNet'in performansını öğreniyor.
Kullanıcılar ayrıca sabit veya özel tf.contrib.estimator'ı kullanabilir. AdaNet hedefinin bir parçası olarak regresyon, sınıflandırma ve çok görevli öğrenme problemlerini eğitmek için kendi tanımlanmış kayıp işlevlerini kullanacaklar.
Kullanıcılar ayrıca keşfedilecek aday alt ağ arama alanını tam olarak tanımlamak için adanet.subnetwork.Generator kategorisini genişletebilir. Bu, arama alanlarını mevcut donanıma göre genişletmelerine veya daraltmalarına olanak tanır. Alt ağın eğitim alanı basit veya karmaşık olabilir. Basit olduğunda, aynı alt ağ ayarlarını birden çok kez kopyalayabilirsiniz, ancak birkaç farklı rastgele çekirdek kullanabilirsiniz. Karmaşık olduğunda, sayıyı eğitmek için farklı hiperparametre kombinasyonları kullanabilirsiniz. On farklı alt ağ ve ardından AdaNet, son entegre modele dahil etmek için bunlardan birini seçer.
AdaNet'i bağımsız olarak denemekle ilgileniyorsanız, Github deposuna (https://github.com/tensorflow/adanet) gidebilir ve ilgili öğreticiyi (https://github.com/tensorflow/adanet/tree/v0.1.0) görüntüleyebilirsiniz. / adanet / örnekler).
Via: Google AI Blogu (Charles Weill, AdaNet Tanıtımı: Öğrenme Garantileriyle Hızlı ve Esnek AutoML), AI teknolojisi inceleme derlemesi
