Dağıtılmış makine öğrenimi çağı mı geliyor? Google, "Federe Öğrenimi" başlatıyor
Geleneksel makine öğrenimi yöntemlerinin eğitim verilerini belirli bir makinede veya tek bir veri merkezinde yoğunlaştırması gerekir. Google gibi bulut hizmeti devleri, verileri işlemek için büyük ölçekli bir bulut bilişim altyapısı da oluşturdu. Şimdi, modelleri eğitmek için mobil cihazlarda insan-bilgisayar etkileşimini kullanmak için Google, yeni bir Birleşik Öğrenme terimi icat etti.
Google, bunun makine öğreniminin gelecekteki bir başka büyük yönü olacağını söyledi.
Öyleyse, Federe Öğrenme nedir?
"Ortak öğrenme" anlamına gelir İşbirliği biçiminde paylaşılan bir tahmin modelini öğrenmek için birden fazla akıllı telefonu etkinleştirin. Aynı zamanda, tüm eğitim verileri terminal cihazında saklanır. Bu, Birleşik Öğrenim yaklaşımında verileri bulutta depolamanın artık büyük ölçekli makine öğrenimi için gerekli bir ön koşul olmadığı anlamına gelir.
En önemli nokta: Federe Öğrenme, sadece tahmin yapmak için akıllı telefonlarda yerel modeller çalıştırmakla ilgili değildir (Mobile Vision API ve Cihaz Üzerinde Akıllı Yanıt gibi), bir adım daha ileri gider. Mobil cihazların model eğitiminde işbirliği yapmasına izin verin.
çalışma prensibi
Federe Öğrenme şu şekilde çalışır:
-
Akıllı telefon modelin güncel sürümünü indirin
-
Yerel verileri öğrenerek modeli geliştirin
-
Modeldeki iyileştirmeleri nispeten küçük bir özel güncelleme halinde özetleyin
-
Güncelleme şifreli olarak buluta gönderilir
-
Paylaşılan modelde bir iyileştirme olarak diğer kullanıcıların güncellemeleriyle anında entegrasyon
Tüm eğitim verileri hala her son kullanıcının cihazındadır ve kişisel güncellemeler buluta kaydedilmez.
Leifeng.com, tüm süreçte üç temel bağlantı olduğunu öğrendi:
Kullanıcının kullanımına göre her cep telefonu modeli yerel olarak kişiselleştirir
Genel bir model değiştirme planı oluşturun
Paylaşılan modellere uygulandı
Süreç döngüye devam edecek.
Google, Federe Öğrenmenin temel avantajlarının şunlar olduğunu belirtti:
-
Daha akıllı model
-
Düşük gecikme süresi
-
Düşük güç tüketimi
-
Kullanıcı gizliliğini koruyun
Ek olarak, paylaşılan modele güncellemeler sağlamanın yanı sıra; yerel olarak geliştirilmiş modeller anında kullanılabilir, bu da kullanıcılara kişiselleştirilmiş bir deneyim sağlayabilir.
Google Girişi
Google şu anda Google Giriş Yöntemi Gboard'da Birleşik Öğrenimi test etmektedir. Gboard, kullanıcının sonunda önerilen öğeyi tıklayıp tıklamadığına bakılmaksızın önerilen bir arama öğesini görüntülediğinde, akıllı telefon ilgili bilgileri yerel olarak depolar. Federated Learning, cihaz geçmiş verilerini işleyecek ve ardından Gboard alma öneri modelinde iyileştirmeler önerecektir.
Öneri algoritmasına benzer, ancak model güncellemesi yerel olarak gerçekleşir ve ardından buluta entegre edilir.
Teknik zorluklar ve çözümler
Google, Federe Öğrenimi uygulamada birçok algoritmik ve teknik zorluğun olduğunu belirtti, örneğin:
Tipik bir makine öğrenimi sisteminde, çok büyük veri kümeleri buluttaki birden çok sunucu arasında eşit olarak bölünecek ve bunlar üzerinde stokastik gradyan iniş (SGD) gibi optimizasyon algoritmaları çalışacaktır. Bu tür yinelemeli algoritma, eğitim verileriyle düşük gecikmeli, yüksek verimli bağlantı gerektirir. Federe Öğrenme durumunda, veriler milyonlarca mobil cihaza çok eşit olmayan bir şekilde dağıtılır. Buna karşılık, akıllı telefonlar daha yüksek gecikme süresine ve daha düşük ağ verimliliğine sahiptir ve yalnızca kullanıcıların günlük kullanımını sağlama öncülüğünde aralıklı olarak eğitim alabilirler.
Bu bant genişliği ve gecikme sorunlarını çözmek için Google, Birleşik Ortalama adlı bir dizi algoritma geliştirdi. Leifeng.com bunu öğrendi Yerel Birleşik Öğrenme sürümü ile karşılaştırıldığında, stokastik gradyan inişi , Bu algoritmanın derin sinir ağlarını eğitmek için iletişim gereksinimleri 10 ila 100 kat daha düşüktür. Google'ın temel fikri, yalnızca optimizasyonları değil, daha yüksek kaliteli güncellemeleri de hesaplamak için akıllı mobil cihazların güçlü işlemcilerini kullanmaktır. İyi bir model oluşturmak için, yüksek kaliteli güncellemeler daha az yineleme anlamına gelecektir. Bu nedenle, model eğitimi iletişim gereksinimlerini azaltabilir.
Yukarı bağlantı hızı genellikle aşağı bağlantı hızından çok daha yavaş olduğundan, Google ayrıca yukarı bağlantı iletişimi talebini tekrar 100 kata kadar azaltmak için nispeten yeni bir yol geliştirdi: güncellemeleri sıkıştırmak için rastgele dönüş ve nicemleme kullanmak. Bu çözümler derin ağları eğitmeye odaklansa da, Google ayrıca yüksek boyutlu seyrek dışbükey modeller için, özellikle isabet oranı tahmininde ve diğer konularda iyi olan bir algoritma tasarladı.
Birleşik Öğrenimi milyonlarca farklı akıllı telefona dağıtmak, çok karmaşık teknoloji entegrasyonu gerektirir. Cihazdaki yerel model eğitimi, TensorFlow'un mini bir sürümünü kullanır. Çok ayrıntılı planlama sistemi, modelin yalnızca kullanıcının cep telefonu boşta, fişe takılı ve Wi-Fi kullanılabilir olduğunda eğitilmesini sağlar. Dolayısıyla, akıllı telefonların günlük kullanımında, Federe Öğrenme performansı etkilemeyecektir.
Google, Birleşik Öğrenimin kullanıcı deneyiminden ödün vermeyeceğini vurgulamaktadır. Bu öncül garantilidir, kullanıcının cep telefonu Federated Learning'e katılacaktır.
Ardından, sistemin model güncellemelerini güvenli, verimli, ölçeklenebilir ve hataya dayanıklı bir şekilde entegre etmesi gerekir.
Federe öğrenmenin, kullanıcı verilerini bulutta depolaması gerekmez. Ancak, kullanıcı gizliliğinin ifşa edilmesini önlemek için Google daha da ileri gitti ve şifreleme teknolojisini kullanan Güvenli Toplama adlı bir protokol geliştirdi. Bu taslak nedeniyle, sistem sunucusu yalnızca en az 100 veya 1000 kullanıcıyı içeren ortalama güncellemeleri çözebilir. Entegrasyondan önce, kullanıcıların bireysel güncellemeleri görüntülenemez.
Leifeng.com'a göre, bu, derin ağ düzeyindeki sorunlar ve gerçek iletişim darboğazları için değerli olan bu tür dünyanın ilk protokolüdür. Google, Federe Ortalama Alma'nın sunucuların yalnızca entegrasyondan sonra güncellenmesine izin verecek şekilde tasarlandığını ve böylece Güvenli Toplama'nın kullanışlı olabileceğini söyledi. Ek olarak, taslak genel bir potansiyele sahiptir ve diğer konulara uygulanabilir. Google, sözleşmenin ürün düzeyinde uygulama uygulamasının geliştirilmesini hızlandırmaktadır.
özet
Google, Federe öğrenmenin potansiyelinin çok büyük olduğunu ve şimdi sadece kürkünü keşfetmeye başladığını söyledi. Ancak tüm makine öğrenimi problemleriyle başa çıkmak için kullanılamaz. Diğer birçok model için, gerekli eğitim verileri bulutta zaten mevcuttur (Gmailin spam filtresini eğitmek gibi). Bu nedenle Google, bulut tabanlı ML'yi keşfetmeye devam edeceğini, ancak aynı zamanda Birleşik Öğrenimin özelliklerini genişletmeye devam etmeye "karar verdi" dedi. Şu anda, Google Input'un arama önerisine ek olarak Google, cep telefonu giriş alışkanlıklarına dayalı olarak dil modelini geliştirmeyi ve resim tarama verilerine dayalı olarak resimlerin düzenini iyileştirmeyi umuyor.
Birleşik Öğrenimin uygulanması, makine öğrenimi geliştiricilerinin yeni geliştirme araçlarını ve yeni fikirleri benimsemesini gerektirir - model geliştirme ve eğitimden model değerlendirmeye kadar.
Gelecekte, Federe Öğrenmenin yapay zeka alanında önemli bir konu olup olmayacağı veya ağ teknolojisi gibi laboratuvarda kalıp kalmayacağı, bekleyip göreceğiz.
googleblog aracılığıyla
