On ana akım modülü bir arada bütünleştirerek yeni nesil süper parametre ayarlama ve açık kaynaklı yeni yapılar çağırın
Bitiricilik | Kayn
Editör | Jane
Kaynak | AI Technology Base Camp (ID: rgznai100)
Optuna, makine öğrenimi görevleri için tasarlanmış otomatik bir hiperparametre optimizasyon yazılımı çerçevesidir.Kullanıcıların, özellikle benzer yazılımlar arasında arama alanını dinamik olarak ayarlamasına olanak tanıyan, çalıştırma tanımına göre tasarlanmış bir optimizasyon yazılımıdır. Shouchuang, yeni nesil hiperparametre ayarlama çerçevesinin temsilcisidir. Ardından, herkesin yeni nesil hiperparametre ayarlama çerçevesi olan Optuna'yı anlamasına izin verin.
Hiperparametre Ayarına Giriş
Bir sinir ağını eğitirken, derinlik, genişlik, her katmanın çözünürlüğü vb. Gibi model yapısı ölçeği, modelin nihai performansını etkileyecektir.Genellikle hiperparametre ayarı olarak adlandırılan bu parametre kombinasyonlarından mevcut görev için en uygun parametreleri bulun. .
Geleneksel hiperparametre ayarlama yöntemi, parametreleri ampirik olarak manuel olarak ayarlamak, deneysel sonuçları kaydetmek ve daha sonra manuel analiz ve karşılaştırma yoluyla bir sonraki parametre ayarlama yönünü belirlemektir Bu yöntem zahmetli, verimsiz ve hataya açıktır. Optuna'nın ortaya çıkışı Çok Hiperparametre ayarının zorluğunu azaltın, Pptuna'nın nasıl çalıştığına bir göz atalım!
Optuna çalışma yöntemleri ve özellikleri
1. İşlemle tanımlayın
İlk olarak Optuna'yı pip komutuyla kurun:
Katman arama sayısını örnek olarak alırsak, optimize etmemiz gereken şey, sınıflandırma için çok katmanlı bir algılayıcı katmanlarının sayısı ve her katmandaki nöronların sayısıdır:
Çalışan kodu (5-11. Satırlar) deneme işlevine yeniden yerleştirin. Deneme işlevi, kodun tek bir çalıştırılmasıyla bir dizi parametre kombinasyonunun sonucunu elde eder:
Ardından katman sayısı hakkında bir for döngüsü ekleyin:
Ve her katmandaki nöron sayısının for döngüsü:
Son olarak, bir çalışma nesnesi tanımlayın ve deneme eğitimi sonucunu optimizasyon hedefi olarak kullanın. En uygun hiperparametre kombinasyonunu birden fazla deney aracılığıyla bulabilirsiniz. Burada ayarlanan deney sayısı (n_trials = 100) 100'dür:
Yukarıdaki adımları tamamladıktan sonra programı çalıştırabilir ve optuna'nın arama sürecini otomatik olarak tamamlamasına izin verebilirsiniz.Bu nedenle Optuan, otomasyon için özel olarak tasarlanmış bir çerçevedir. Ek olarak, kod yazmanın çok basit ve çok esnek olduğunu görebiliriz.Arama alanı ve zaman sayısının üst limiti herhangi bir zamanda ayarlanabilir, bu da Optuna'nın çalışma tanımının özelliklerini yansıtır.
2. Paralel dağıtılmış hesaplama
Yukarıdaki örnekte, yalnızca çok basit bir örnek ağ kullanıyoruz, ancak çoğu durumda ağ ve veri kümesi örnekten çok daha büyüktür. Şu anda, Optuna'nın başka bir özelliği yansıtılmaktadır:
Yukarıdaki kodda, arama sürecini paralel hale getiriyoruz, böylece gerçek çalışma zamanı etkisi aşağıdaki şekle benziyor:
Paralel işleme, ayarlama için gereken süreyi büyük ölçüde azaltarak optimizasyon sürecini hızlandırabilir. Buna ek olarak, Optuna ayrıca bir budama optimizasyon işlevine, yani paralelleştirilmiş deneylerde düşük kaliteli parametre deneylerinin erken sonlandırılmasına ve dolayısıyla verimliliği artırmaya sahiptir.
3. Birden çok görev türünü ve çerçeveyi destekleyin
Optuna yalnızca deneysel parametre ayarlaması için kullanılamaz, aynı zamanda üretim işlemlerine ve veri analizi görevlerine de kolayca dağıtılabilir:
Optuna'nın çevreye bağımlılığı çok basittir ve görevleri bağımsız olarak tamamlayabilir:
Ek olarak, Optuna ayrıca Tensorflow, Keras, PyTorch, MXNet gibi diğer birçok derin öğrenme çerçevesini ve modülünü destekler.
Optuna'yı kullanın
Optuna, pip veya conda komutları aracılığıyla kurulabilir. Şu anda python3.5 ve üzerini destekler. Daha fazla bilgi için lütfen resmi web sitesine, resmi belgelere ve Github ana sayfasına bakın.
https://optuna.org/
https://optuna.readthedocs.io/en/stable/
https: // github .com / optuna / optuna
