Manuel ayarlama yavaş ve rastgele arama kaynakları israf ediyor mu? Deepmind eşzamansız optimizasyon algoritması PBT, sinir ağı sorunlu noktalarını çözüyor
Lei Feng'e göre: Go ve Atari oyunları, görüntü tanıma ve dil çevirisi alanlarında sinir ağları büyük başarı elde etti. Ancak genellikle gözden kaçan bir şey, sinir ağlarının bu özel uygulamalardaki başarısının genellikle araştırmanın başlangıcında yapılan bir dizi seçime bağlı olmasıdır, bunlar arasında ne tür bir ağ kullanılacağı, eğitim için kullanılan veriler ve yöntemler vb. Şu anda, bu seçenekler (hiperparametreler olarak da adlandırılır) deneyim, rastgele arama veya hesaplama açısından yoğun arama süreçleri yoluyla seçilir. Parametrelerin nasıl seçileceği ve ayarlanacağı genellikle sinir ağlarının eğitiminde önemli bir konu haline gelir.
Lei Feng.com, Deepmind'ın "Nüfus Ağının Nüfus Temelli Eğitimi" başlıklı yeni bir makalesinde, Deepmind'in sinir ağlarını eğitmek için PBT (Popülasyon Temelli Eğitim) adlı yeni bir yöntem önerdiğini ve deneycilerin hızlı bir şekilde En iyi hiperparametre seti ve modeli. Bu teknoloji, bir dizi ağı aynı anda eğitebilir ve optimize edebilir, böylece en iyi ayarlar hızla bulunabilir. Daha da önemlisi, bu ek hesaplama yükü getirmez, geleneksel teknikler kadar hızlı bir şekilde yapılabilir ve mevcut makine öğrenimi ardışık düzenlerine entegre edilmesi kolaydır.
Bu teknik, hiperparametre optimizasyonu, rastgele arama ve manuel hata ayıklama için en yaygın kullanılan iki yöntemin birleşimidir. Rastgele arama, sinir ağının popülasyonunu paralel olarak eğitecek ve eğitimin sonunda en yüksek performanslı modeli seçecektir. Normalde bu, grubun sadece küçük bir kısmının iyi hiperparametre eğitimi alacağı, ancak daha fazla grubun zayıf eğitim sonuçları olacağı ve bilgisayar kaynaklarını boşa harcayacağı anlamına gelir.
Hiperparametreler için rastgele arama, birden çok hiperparametrenin paralel ve bağımsız olarak eğitilmesi anlamına gelir. Bazı hiperparametreler modelin iyi performans göstermesini sağlar, ancak çoğu
Hiperparametrelerin manuel olarak ayarlanmasını kullanırsak, araştırmacılar en iyi hiperparametreleri tahmin etmeli, modelleri eğitmek ve performansı değerlendirmek için kullanmalıdır.Bu süreç, araştırmacılar ağın performansından memnun olana kadar tekrarlanmaya devam edecektir. Manüel ayarlama daha iyi performans getirebilse de, dezavantajı mükemmel ayarları bulmanın uzun bir zaman, bazen haftalar hatta aylar sürmesidir. Bayesian optimizasyonu gibi bazı otomatik yöntemler olmasına rağmen, yine de uzun zaman alır ve en iyi hiperparametreleri bulmak için çok sayıda sürekli eğitim gerektirir.
Manuel ayarlama ve Bayes optimizasyonu gibi yöntemler, genellikle yavaş olan birden fazla eğitim sürecini aynı anda gözlemleyerek hiperparametreleri değiştirir.
Rastgele arama gibi, PBT önce birden fazla sinir ağını ve rastgele hiperparametreleri paralel olarak eğitir, ancak her ağ bağımsız olarak eğitilmez, ancak hiper parametreleri iyileştirmek ve bilgi işlem kaynaklarını daha fazlasına yönlendirmek için diğer gruplardan gelen bilgileri kullanır. Mükemmel model. Bu algoritma genetik algoritmadan esinlenmiştir. Her grup üyesine "işçi" adı verilir ve daha iyi performans gösteren başka bir "çalışan" dan model parametrelerini kopyalamak gibi diğer grup üyelerinin bilgilerini kullanabilir. Mevcut değeri rastgele değiştirerek yeni hiperparametreleri keşfetmek de mümkündür.
Sinir ağı gruplarının sürekli derinlemesine eğitimi ile, bu geliştirme ve keşif süreci, tüm gruplardaki "işçilerin" iyi bir temel performans düzeyine sahip olmasını sağlamak için düzenli olarak yürütülecektir ve bu temelde, yeni süper parametre. Bu, PBT'nin hızlı bir şekilde iyi hiperparametreleri kullanabileceği, daha etkili modeller için daha fazla eğitim süresi sağlayabileceği ve en iyi yapılandırmayı otomatik olarak öğrenmek için eğitim süreci boyunca hiperparametre değerlerini ayarlayabileceği anlamına gelir.
PBT rastgele aramayla başlar, ancak daha etkili sonuçların karşılıklı kullanımına izin verir ve eğitim ilerledikçe yeni hiper parametreleri keşfeder
Deneyler, PBT'nin tüm görev ve alanda çok etkili olduğunu göstermektedir. Deepmind, bir dizi zorlu takviye öğrenme problemini titizlikle test etmek için DeepMind Lab, Atari ve StarCraft II'deki en gelişmiş yöntemleri kullandı.Her durumda, PBT'nin kararlı eğitim yöntemi hızlı bir şekilde iyi hiperparametreleri bulabilir. Ve en son temelin ötesinde sonuçlar aldı.
Ek olarak, PBT'nin ayrıca Generative Adversarial Networks (GAN) eğitiminde belirli bir gelişme vardır. Deepmind'in Başlangıç Puanını en üst düzeye çıkarmak için PBT çerçevesini kullanan testinde (Lei Feng.com'un notu: Başlangıç Puanı, görsel doğruluğu ölçmek için kullanılan göstergelerden biridir), sonuç 6.45'ten 6.9'a önemli ölçüde iyileştirildi.
Deepmind ayrıca Google'ın en gelişmiş makine çevirisi sinir ağlarından birine PBT uygular. Bu sinir ağları genellikle iyi tasarlanmış hiperparametre programları üzerine eğitilir ve bu programların geliştirilmesi genellikle aylar alır. PBT'yi kullanmak, mevcut performansla eşleşebilen veya aşan ancak herhangi bir ayarlama gerektirmeyen ve genellikle yalnızca bir eğitim seansı gerektiren hiperparametre çizelgelerini otomatik olarak bulabilir.
Resim, CPSAR-10 ve Kapalı Ağda (FuN) GAN'larla "Bayan Pacman" (Bayan Pacman) oyununun eğitim süreci sırasında grubun gelişimini göstermektedir. Pembe nokta ilk ajanı temsil eder ve mavi nokta son ajandır.
Deepmind, bu teknolojinin genişleme için hala çok yer olduğuna inanıyor. PBT, yeni hiperparametreleri tanıtan yeni algoritmaları ve sinir ağı mimarilerini eğitmek için özellikle etkilidir.Bu sürecin sürekli iyileştirilmesiyle, PBT'nin daha karmaşık ve güçlü sinir ağı modellerini bulmak ve geliştirmek için daha iyi kullanılması beklenmektedir.
Makalenin tamamını okumak için burayı tıklayın.
