Nanjing Üniversitesi'nden Shenyi Zhao: SCOPE algoritması ve dışbükey olmayan model
Selam millet. Bu, akademik rapor sütunudur. Temel okuma becerilerinin editörü, bilim ve teknoloji alanındaki en iyi akademik raporları herkes için sunmak, öğrenciler için kuru ürünleri kaydetmek ve ilk elden PPT elde etmenin yollarını bulmak ve yeterince canlı video bulmak için zaman zaman seçer ve toplantıyı bizzat yönetir. Kuru yiyecekler, yeterince taze! Fazla bir şey söylemeyin, sadece bir göz atın. Bu seçkin genç akademisyenlerin ve uzmanların akademik raporlarının boş zamanlarınızda okumanızı daha değerli hale getireceğini umuyorum.
Yapay zeka forumu artık uçsuz bucaksız bir duman denizi ve zor ve kuru dersler var ama yüz tanesi dışında. "AI Future Talk · Gençlik Akademik Forumu" konferansları dizisi, tamamen Baidu tarafından desteklenen, Çin Bilimler Akademisi Üniversitesi tarafından düzenlenmektedir ve temel okuma, işbirliğine dayalı bir öz medyadır. Ev sahibi Çin Bilimler Üniversitesi Öğrenci Birliği ve ortak organizatörler Çin Bilimler Akademisi Bilgisayar Teknolojisi Enstitüsü Mezunlar Birliği, Ağ Merkezi Mezunlar Birliği, Yapay Zeka Okulu Öğrenci Birliği, Kimya Mühendisliği Okulu Öğrenci Birliği, Kamu Politikası ve Yönetim Okulu Öğrenci Birliği ve Mikroelektronik Okulu Öğrenci Birliği. "AI Future Talk Gençlik Akademik Forumu" nun altıncı "Makine Öğrenimi" özel oturumu 23 Haziran 2019 öğleden sonra Çin Bilimler Akademisi'nde yapıldı. Nanjing Üniversitesi'nden Zhao Shenyi, "KAPSAM: Öğrenme için Ölçeklenebilir Bileşik Optimizasyon" başlıklı bir rapor getirdi.
Shen-Yi Zhao şu anda Nanjing Üniversitesi Bilgisayar Bilimi ve Teknolojisi Bölümü'nde Dr. Wu-Jun Li gözetiminde doktora adayıdır. Bundan önce Nanjing Matematik Bölümü'nden lisans derecesini almıştır. Üniversite.Araştırma ilgi alanları arasında büyük ölçekli makine öğrenimi için paralel ve dağıtılmış optimizasyon yer alıyor. Yapay zeka ve makine öğrenimiyle ilgili en önemli konferanslarda ilk yazılan dört makale yayınladı. Ulusal burs ve Baidu bursu da dahil olmak üzere birçok ödül kazandı.
Rapor içeriği: Lojistik regresyon (LR) ve destek vektör makinesi (SVM) gibi birçok makine öğrenimi modeli, bileşik optimizasyon problemleri olarak formüle edilebilir. Son zamanlarda, büyük ölçekli kompoziti çözmek için birçok dağıtılmış stokastik optimizasyon (DSO) yöntemi önerilmiştir. Geleneksel toplu yöntemlerden daha iyi performans gösteren optimizasyon problemleri. Bununla birlikte, bu DSO yöntemlerinin çoğu yeterince ölçeklenebilir olmayabilir. Bu konuşmada, öğrenme için ölçeklenebilir bileşik optimizasyon (SCOPE) adı verilen yeni bir DSO yöntemini tanıtacağım. hem hesaplama açısından verimli hem de iletişim açısından verimli. Teorik analiz, SCOPE'un, kayıp işlevi düzgün ve güçlü bir şekilde dışbükey olduğunda doğrusal yakınsama oranıyla yakınsak olduğunu gösterir.Ayrıca, gerçek veri kümelerindeki ampirik sonuçlar, SCOPE'nin diğer son teknoloji hem toplu öğrenme yöntemleri hem de DSO yöntemleri dahil olmak üzere dağıtılmış öğrenme yöntemleri.
KAPSAM: Öğrenme için Ölçeklenebilir Bileşik Optimizasyon
Dr. Zhao Shenyi'nin raporunun ana içeriği dört yönden oluşmaktadır: arka plan girişi, SCOPE yöntemi, dışbükey olmayan model ve sonuçlar. İlk önce bir modelin nasıl öğrenileceğini tanıttı, yani önce ilgili verileri toplayıp modeli seçtikten sonra ilgili optimize ediciyi seçtikten sonra yineleme yoluyla en uygun modeli elde etti. Buna dayanarak sentetik bir optimizasyon yöntemi tanıtıldı.Kayıp fonksiyonu, tüm örneklemlerin kayıp fonksiyonlarının ortalamasıdır ve optimizasyon amacı, modelin parametre değerlerini teorik optimal parametre değerlerinden çok küçük bir mesafede elde etmek için kayıp fonksiyonunu en aza indirmektir. Ve objektif fonksiyonlarını ve stokastik gradyan iniş (SGD, Stokastik Gradyan İniş) optimizasyon yöntemini tanıtmak için lojistik regresyon (LR, Lojistik Regresyon) ve Destek Vektör Makinesi (SVM, Destek Vektör Makinesi) örnek alın.
140.000 görüntü içeren ImageNet veri kümesi ve 2.5 milyon sözcük içeren İngilizce Wikipedia veri kümesi gibi mevcut veri kümeleri gittikçe büyüyor. Genel olarak, veri kümesinin örneği Sayı ne kadar fazla olursa, eğitimle elde edilen modelin genellemesi o kadar iyi olur. Veri setinin büyük ölçeği nedeniyle, hesaplama verimliliğini artırmak için modeli eğitmek için dağıtılmış bir yönteme ihtiyaç vardır. Bu, geleneksel dağıtılmış algoritmaya götürür: dağıtılmış bir sistemde farklı çalışanlar vardır, her çalışanın kendi veri kümesi vardır ve her işçi sahip olduğu veri kümesini örnekler ve ardından her çalışanın gradyanını ayrı ayrı hesaplar , Ve modelin genel parametrelerini güncellemek için bu gradyanları sunucuya gönderin ve ardından modelin güncellenmiş genel parametrelerini her bir çalışana geri gönderin ve model birleşene kadar yinelemeli optimizasyona devam edin. Ek olarak, asenkron SGD, SVRG, SDCA ve SAGA, merkezi olmayan SGD ve blok koordinat iniş algoritmaları gibi başka birçok dağıtılmış algoritma vardır. Ancak bu algoritmaların bir problemi vardır, yani sık iletişim gerektirirler, yani bir gradyan her hesaplandığında diğer makinelerle iletişim kurmaları gerekir. Bu, O (NT) iletişim ek yükü getirecektir. N genellikle çok büyüktür, dolayısıyla algoritma Hız çok yavaşlıyor.
Sık iletişim sorununu çözmek için, ekipleri SCOPE adlı yeni bir dağıtılmış SGD algoritması önerdi. Bu yöntemin üç ana katkısı vardır: biri yerel öğrenmedir, her işçi daha özerk olabilir ve iletişim ek yükünü azaltabilir; ikincisi pürüzsüz katı dışbükey işlevler için doğrusal yakınsama hızıdır; üçüncüsü kurtarma kuralları kullanılabilir Yüksek boyutlu seyrek verilerle uğraşmak için.
Daha sonra Dr. Shenyi Zhao SCOPE algoritmasının çerçevesini tanıttı: dağıtılmış bir sistemde farklı çalışanlar vardır ve her çalışanın kendi veri kümesi vardır. Her işçi sahip olduğu veri kümesini örnekler ve her çalışanın gradyanını hesaplar. Her çalışanın model parametre değerini güncellemek ve ardından tüm çalışanların model parametre değerini sunucuya iletmek için hesaplanan gradyan aracılığıyla, güncellenen genel model parametre değeri, sunucuya iletilen tüm parametre değerlerinin ortalama değeridir ve ardından Modelin genel parametre değeri her bir çalışana geri gönderilir ve model yakınlaşana kadar yinelemeli optimizasyona devam edilir. Geleneksel dağıtılmış algoritmadan farkı, bu yöntemin her çalışanın model parametresinin gradyan değeri yerine her çalışanın model parametresi değerini sunucuya geçirmesidir. Dr. Zhao Shenyi SCOPE çerçevesini tanıttıktan sonra, SCOPE algoritmasını ayrıntılı olarak açıkladı.SVRG algoritmasından esinlenerek, SCOPE algoritmasıyla hesaplanan gradyan tam bir gradyan; yerel öğrenme stratejisi benimsenir ve her çalışanın güncellenmesi için her çalışanın yerel verileri kullanılır. Farklı örneklerin farklı momentlerdeki parametre değerlerini modelleyin; algoritmanın iç döngüsünde iletişim yoktur.
Dr. Zhao Shenyi nesnel işlevi açıkladığında, önce yerel amaç işlevini, yani her işçinin yerel optimal parametrelerini elde etmek için amaç işlevini en aza indirerek açıkladı. Buradan da yerel-küresel fark indeksine ve bu indeks aracılığıyla iyi veri bölünmesinin nasıl elde edileceğine yol açar. Daha sonra SCOPE algoritmasının yakınsaması tartışılmış ve SCOPE algoritması ve düzgün olmayan düzenli koşullar altında yakınsaması daha ayrıntılı tartışılmıştır. SCOPE algoritmasının iletişim karmaşıklığı sayesinde, yerel öğrenmenin iletişim sayısını azaltabileceği sonucuna varılabilir.
Deneysel sonuçları göstermeden önce, SCOPE algoritmasının yüksek boyutlu seyrek verileri işlemek için nasıl kullanılacağını, yani sadece modeldeki örnekteki sıfır olmayan koordinat konumlarına karşılık gelen parametre değerlerini güncellemeyi anlattım Eşdeğerlik koşulları restorasyon kuralları ile garanti edilebilir. Ardından, lojistik regresyon modelinin deneysel sonuçlarından ve rcv1 ve avazu veri kümeleri üzerinde 8 CPU kullanarak eğitilen Lasso modelinden bahsettim. Deneysel sonuçlar, gradyan ve yakınsama süresi açısından SCOPE yönteminin diğer yöntemlere göre büyük avantajlara sahip olduğunu ve belirli bir işçi aralığında çalışan sayısının artmasıyla modelin ivmesinin doğrusal olarak arttığını göstermektedir.
Daha sonra dışbükey olmayan işlev modelinden bahsettik. Dışbükey olmayan işlev, modelin birçok yerel minimuma sahip olduğu anlamına gelir. Şu anda, yerel öğrenme stratejisi sınırlıdır. Olası neden, eğitim örneklerinin sayısının yeterince büyük olmamasıdır. Bu problemi çözmek için, eşzamanlı SGD algoritmasında her bir işçi gradyanını sıkıştırmak için bir GMC algoritması önerilmiştir; bu, modelin maliyetini O (d) 'den O (rd)' ye düşürebilir, burada r1%. Ve ayrıca CIFAR10 veri setinde konveks olmayan fonksiyon eğitimi ResNet20 ve AlexNet modellerinin deneysel sonuçlarını gösterir.
Son olarak, Dr. Shenyi Zhao raporun içeriğini özetledi: iletişim için SGD algoritmasının etkili dağıtımı, dışbükey işlev modelleri için, yerel öğrenme stratejisinin SCOPE algoritmasını kullanabilirsiniz; dışbükey olmayan işlev modelleri için, seyrek iletişim için sıkıştırılmış gradyanı kullanabilirsiniz. GMC algoritması.
Yorum Beğen Takip Et
AI öğrenme ve geliştirmenin kuru mallarını paylaşalım
Tam platform yapay zeka dikey öz medya "temel okuma" yı takip etmeye hoş geldiniz
