Google AutoML'nin yeni çalışması AutoML-Zero: sıfırdan makine öğrenimi algoritmaları oluşturun
[Xinzhiyuan Kılavuzu] Piyasada pek çok otomatik makine öğrenimi algoritması var, ancak bunlar yeterince popüler değil. Bu algoritmalar arama alanını sınırladığından, birçok araştırmacının yine de makine öğrenimi modelinin yapısını kendilerinin ve Google'ın bu sefer Yayınlanan AutoML-Zero arama alanı tamamen sınırsızdır ve en temel matematiksel formüllerden başlayabilir. "Xinzhiyuan acilen baş yazar, editör, operasyon müdürü, hesap yöneticisi işe alıyor ve daha fazlasını öğrenmek için HR WeChat'i (Dr-wly) ekliyor."
AutoML, makine öğrenimi modellerinin manuel müdahale olmadan oluşturulabilmesi için özellik mühendisliği, model seçimi ve parametre ayarı gibi özellikler, modeller, optimizasyon ve değerlendirmeyle ilgili önemli adımları otomatik olarak öğrenmeye çalışır. Google'ın önerdiği yöntem öncekilerden nasıl farklı?
Yeni yöntem, yalnızca temel matematiksel formülleri kullanarak yeni algoritmaları otomatik olarak arayabilir
Automl-Zero, yalnızca temel matematiksel işlemleri kullanarak, boş veya rastgele programlardan başlayarak makine öğrenimi algoritmalarını otomatik olarak keşfetmeyi amaçlamaktadır. o Model yapısı ve öğrenme stratejileri dahil olmak üzere makine öğrenimi algoritmalarının tüm yönlerini aynı anda tercih etmeden arayabilir .
Automl-Zero geniş bir arama alanına sahip olmasına rağmen, evrimsel arama iyi performans gösteriyor gibi görünüyor. Arama sayesinde, doğrusal bir regresyon, geri yayılımlı iki katmanlı sinir ağı buldum , Manuel tasarımın karmaşıklığını aşan bir temel algoritma bile.
Yukarıdaki şekil, deneyimizdeki bir örneği göstermektedir, evrimsel algoritmanın ikili sınıflandırma görevini adım adım nasıl çözdüğünü görebilirsiniz. İlk olarak, herhangi bir optimizasyon yöntemi olmayan doğrusal bir modeldi ve daha sonra optimize etmek için SGD'yi kademeli olarak keşfetti, ardından rastgele öğrenme oranı eklemeye başladı ve sonra ReLU aktivasyon fonksiyonunu, rastgele ağırlık başlatma, gradyan normalizasyonunu keşfetti. Bekle, el yapımı ağ yapımıza ve optimizasyon yöntemimize gittikçe yaklaşıyor.
Daha fazla ayrıntı öğrenmek istiyorsanız, bunu gazetede bulabilirsiniz. Orijinal bağlantı: https://arxiv.org/abs/2003.03384
Neredeyse sıfırdan, geleneksel montaj tabanlı otomatik makine öğreniminden çok farklı
Aşağıdaki adımlarla elle tipik bir makine öğrenimi modeli oluşturuyoruz, Veri ön işleme, model oluşturma, öğrenme, tahmin , Ve AutoML-Zero'nun çalışma prensibi, basitçe, her adımda yer alan temel matematiksel yöntemleri bir sepete koymak ve ardından rastgele sepetten alıp karşılık gelen adıma yerleştirmek olarak anlaşılabilir. Sürekli olarak en iyi kombinasyonu elde etmek için evrimsel aramayı kullanın .
AutoML-Zero ile önceki otomatik makine öğrenimi arasındaki benzerlikler ve farklılıklar nelerdir? Önceki otomatik öğrenme, esas olarak, uzmanlar tarafından yapı taşları veya benzeri sınırlı arama alanları olarak tasarlanan karmaşık katmanlara dayanan mimariye odaklanıyordu. Amacımız, AutoML'nin daha ileri gidebileceğini kanıtlamaktır: eksiksiz bir makine öğrenimi yöntemini keşfetmek için temel matematiksel işlemleri yapı taşları olarak kullanın. Bunu yeni bir çerçeve sunarak kanıtlıyoruz, Bu arama alanında, insan deneyiminin önyargısı önemli ölçüde azaltılabilir. Ve ilginç bir şey buldum.
Geleneksel otomatik makine öğreniminde kullanılan yöntemleri açıklamak için otomatik sklearn kullanıyoruz.Ayrıntılarla ilgilenen öğrenciler bu makaleyi okuyabilir.
Orijinal bağlantı:
Yazar, scikit-learn'e dayalı güçlü ve yeni bir AutoML sistemi geliştirdi (15 sınıflandırıcı, 14 özellik ön işleme yöntemi ve 4 veri ön işleme yöntemi kullanarak, 110 hiperparametreli yapılandırılmış bir arama alanıyla sonuçlanır) . Bu sistem, benzer veri kümelerindeki performansı otomatik olarak karşılaştırarak ve otomatik olarak oluşturulan bu modellerin performansını sınırlı bir parametre alanında değerlendirerek en iyi makine öğrenimi yöntemini otomatik olarak arar.
Python ile geleneksel AutoML nasıl uygulanır
Bu noktada, AutoML-Zero'nun daha evrensel olduğunu ve bilinmeyen makine öğrenimi yöntemlerini keşfedebileceğini, auto-sklearn ise yalnızca mevcut yapı ve parametrelerde en iyiyi otomatik olarak bulduğunu anlamalısınız.
Basit bir örnek vermek için Python kullanalım:
autosklearn.classification dosyasını içe aktar sklearn.model_selection'ı içe aktar sklearn.datasets'i içe aktar sklearn.metrics'i içe aktar X, y = sklearn.datasets.load_digits (return_X_y = True) X_train, X_test, y_train, y_test = \ sklearn.model_selection.train_test_split (X, y, random_state = 1) AutoML = autosklearn.classification.AutoSklearnClassifier () AutoML.fit (X_train, y_train) y_hat = AutoML.predict (X_test) print ("Doğruluk puanı", sklearn.metrics.accuracy_score (y_test, y_hat))Kendiniz denemek istiyorsanız, gereken Python bilimsel hesaplama kitaplıklarının çoğunu entegre eden Anaconda'yı yükleyebilir ve ardından conda aracılığıyla otomatik sklearn'ı kurabilirsiniz.
