VMware ile birlikte, birleşik öğrenim için dünyanın ilk tam kapsayıcıya alınmış bulut yerel dağıtım çözümü, ilk deneyimleyen
Lieyun.com Beijing 15 Kasım'da bildirdi
31 Ekim'de FATE v1.1 resmi olarak yayınlandı. Bu versiyonda, FATE ve VMware China Ar-Ge Açık İnovasyon Merkezi Cloud Native Lab ekibi "büyük bir olay" gerçekleştirdi ve KubeFATE projesini birlikte yayınladı, FATE'in tüm bileşenlerini konteynerler halinde kapsülleyerek Docker Compose kullanımı gerçekleştirildi. Veya Kubernetes (Helm Charts) dağıtılabilir. Modern uygulamalar DevOps yöntemiyle geliştirilir ve uygulamaları kapsayıcılara dayalı olarak dağıtmanın avantajları oldukça açıktır.Uygulamalar yalnızca kapsayıcıları destekleyen platformlarda gelişigüzel çalışmaz, aynı zamanda gerektiğinde çok eşgörünümlü yatay genişletmeyi esnek bir şekilde gerçekleştirebilir. Proje artık GitHub'da yayınlandı: https://github.com/FederatedAI/KubeFATE
Şu anda, yabancı AWS, Azure, yerel Alibaba Cloud, Tencent Cloud vb. Gibi ana akım bulut platformlarının tümü, kapsayıcılara ve Kubernetes'e dayalı bulut yerel hizmetlerine sahip olup, kapsayıcı uygulamalarının dağıtımını ve çalışmasını standartlaştırır ve ticarileştirir. KubeFATE projesi sayesinde, geliştiriciler FATE projelerini genel veya özel bulutlarda kolayca dağıtabilir ve kullanabilir.
Ek olarak, bu FATE v1.1 sürümü, algoritmalar ve işlevler temelinde büyük yükseltmeler ve iyileştirmeler yaptı: yalnızca yatay birleşik öğrenme genel algoritma çerçevesini başlatmakla kalmadı, aynı zamanda DNN ve regresyon gibi birden fazla birleşik algoritmalar ekledi ve çok partili dikey federasyon modellemesini desteklemeye başladı. , Kıvılcım motorunu destekler, FATEServing hizmet yönetimini destekler, Secureboost çevrimiçi tahmini destekler, vb .; sürüm 1.1, daha zengin işlevler, daha kapsamlı algoritmalar ile federe öğrenme modelleme deneyimini bir kez daha iyileştirir ve daha fazla şirketin ve kullanıcının FATE teknolojisine katılmasına yardımcı olur Ve derinlemesine araştırma uygulaması.
FederatedML: Yatay algoritma geliştirmeyi desteklemek için ölçeklenebilir bir yatay algoritma çerçevesi sağlar
Yeni sürümde, FATE geliştirmeyi kolaylaştırıyor, geliştiriciler algoritmanın kendisine daha fazla dikkat ve çerçeveye daha genel iletişim aktarımı içeriği verebiliyor. FATE v1.1, genişletmesi kolay bir yatay federe öğrenme genel algoritma çerçevesi sağlar ve Güvenli Toplamayı destekler.Yatay birleşik öğrenmenin ana sürecini özetleyerek, geliştiriciler yatay birleşik öğrenme algoritmalarını kolayca uygulayabilir.
Algoritmalar açısından FATE, yatay DNN, dikey doğrusal regresyon ve dikey Poisson regresyonu gibi birleşik algoritmalar için destek ekledi ve daha fazla algoritma, daha fazla modelleme senaryosunu zenginleştiren ve FATE'in pratikliğini artıran çok partili federasyon modellemesini destekliyor. Seks. Doğrusal regresyonun sürekli etiketleri ve diğer uygulama senaryolarını tahmin etmede çok güçlü olduğunu, Poisson regresyonunun ise geliştiricilere sayı ve sıklığı tahmin etmede daha iyi yardımcı olabileceğini belirtmek gerekir. Örneğin, sigorta satın alma ve kaza riskini değerlendirme gibi senaryolarda, Poisson regresyonu Çam regresyonu sıklığı tahmin edebilir.
Bu sürümden başlayarak, FATE ayrıca, dikey senaryolarda birden çok veri sağlayıcısının federasyon modellerini birlikte eğitmesine olanak tanıyan çok partili dikey federasyon modellemesini resmi olarak desteklemeye başladı.
Son olarak, FATE ayrıca Spark'a bağlanmaya çalıştı. FATE v1.1, mevcut kaynakları doğrudan yeniden kullanmak için mevcut Spark kümelerine sahip geliştiricileri destekler. Spark, bilgi işlem motoru olarak seçilebilir ve gerçek koşullara göre esnek bir şekilde yapılandırılabilir. Daha fazla bilgi için lütfen GitHub'a gidin: https://github.com/FederatedAI/FATE/tree/master/federatedml
FATEFlow: Yüksek Performanslı Birleşik Öğrenme Ardışık Düzen Üretim Hizmeti
FATEFlow, kullanıcılar için uçtan uca bir federal öğrenim Boru Hattı üretim hizmeti oluşturan bir federal öğrenme modelleme Boru hattı planlama ve yaşam döngüsü yönetimi aracıdır. V1.1 sürümünde, FATEFlow temel olarak kararlılık ve kullanım kolaylığı açısından iyileştirilmiştir, örneğin:
Dosyaların karşıya yüklenmesi ve indirilmesi, büyük dosyalar ve diğer sistemlerle bağlantı için çok yardımcı olan iş durumunu görüntülemeyi destekler;
Bekleyen işlerin iptalini destekleyin;
İş için zaman aşımı süresini ayarlama desteği;
Sorun giderme verimliliğini artırmak için iş günlüklerini optimize edin ve bunları iş kimliğinden sonra adlandırılan bir günlük klasöründe saklayın;
FATEBoard: Basit ve verimli, birleşik öğrenme modelleme sürecinin görselleştirilmesi
FATEBoard, birleşik öğrenme modellemesi için bir görselleştirme aracıdır. Son kullanıcılar için model eğitiminin tüm sürecini görselleştirir ve ölçer, kullanıcıların modelleri daha basit ve verimli bir şekilde keşfetmelerine ve anlamalarına yardımcı olur. Yeni sürümde, iş iş akışı ekranı daha da optimize edildi ve bileşen verileri ile model giriş ve çıkış bağlantı noktaları ayrıldı, daha sezgisel veri aktarımı ve model aktarım ekranı sağlandı;
Buna ek olarak, model eğitimi sırasında değerlendirme sonuçlarının görselleştirilmesi artık desteklenmektedir; bu, ara eğitim sürecinin ve sonuçlarının gerçek zamanlı olarak dikkate alınması ve izlenmesi için uygundur; aynı zamanda, modeldeki her bir karar ağacını açıkça gözlemlemekle kalmayıp, aynı zamanda farklı görüntüleyen güvenli destek ağaç modelinin görsel bir görüntüsünü de sağlar. Etiketin altındaki ağaç modeli.
FATEServing: hizmet yönetimi, otomatik kurtarma modelini yeniden başlat
Yeni sürümde, model başarıyla yüklendikten sonra yerel bir dosyaya kaydedilecek ve önceden yüklenen model yeniden başlatıldıktan sonra yerel dosyadan geri yüklenecektir.
Ek olarak, v1.1 sürümü zookeeper'ı, sınırlı hizmet yönetimi işlevleri sağlayan, grpc arayüzlerini dinamik olarak kaydedebilen ve bazı makine aksaklıkları durumunda trafiği otomatik olarak değiştirebilen kayıt merkezi olarak tanıtır.
KubeFATE: FATE dağıtım yeteneği yükseltmesi
FATE v1.1 sürümü, FATE kullanım eşiğini büyük ölçüde azaltan ve geliştiricilerin "başlangıç çizgisine düşmesini" önleyen paketlenmiş Docker konteyner görüntüleri sağlar. Kurumsal bir geliştiriciyseniz, FATE'i çevrimdışı dağıtma yeteneğinin de geliştirildiğini görebilirsiniz.Harbour'ın açık kaynaklı konteyner imaj ambarının yardımıyla, işletim ve bakımı azaltmak için İnternet'teki görüntüleri otomatik olarak senkronize edebilirsiniz.
KubeFATE temel olarak iki dağıtım yöntemi sağlar: Docker compose ve Kubernetes (Helm Chart).
Docker-Compose, FATE'nin tüm bileşenlerini tek bir düğümde dağıtabilir ve birden çok ortağın dağıtımını destekler. Geliştiricilerin kodu derlemesine gerek yoktur, hızlı bir şekilde bir test ortamı oluşturmak için Docker compose'u kullanabilirler. Şu anda Docker compose, geliştiricilerin FATE işlevlerine aşinalıklarına ve anlayışlarına yardımcı olan FATE'i bir veya daha fazla düğümde dağıtabilir.
Docker-Compose'un tek düğümlü dağıtım yöntemi test için konumlandırılmıştır. Bir üretim ortamında, çok düğümlü dağıtım genellikle gereklidir, bu durumda Kubernetes daha iyidir. KubeFATE, Helm Charts'ın FATE'i Kubernetes'e dağıtmasını sağlar.FATE, Kubernetes'i destekleyen bulut üzerinde doğrudan dağıtılabilir ve dağıtım ayrıntıları, GPU'lu düğümlerde bilgi işlem modüllerinin dağıtılması gibi gereksinimlere göre özelleştirilebilir.
Harbor, ayna erişim kontrolü, uzaktan senkronizasyon ve güvenlik açığı taraması gibi güçlü yetenekler sağlayan açık kaynaklı bir ayna havuzudur. Çoğu yerel kullanıcı, yansıtmayı yönetmek için Harbor'ı kullanır. KubeFATE projesi, Docker Hub gibi bulut hizmetlerine güvenmeden yerel görüntü yönetimi yetenekleri sağlayabilen ve verimliliği ve güvenliği büyük ölçüde artıran Harbor'u entegre ediyor. Ayrıca Harbor, görüntüleri her iki yönde de kamuya açık bulutlar veya veri merkezleri arasında kopyalayabilen ve arızalardan otomatik olarak kurtarabilen, böylece operasyon ve bakımın karmaşıklığını basitleştiren uzak görüntüleri de kopyalayabilir.
Genel olarak, FATE v1.1 sürümü, birden fazla birleşik algoritmalar için destek ekleyerek birleşik öğrenme modellemesine daha zengin ve daha güçlü işlevler getiriyor.Aynı zamanda, FATE'i kullanma eşiğini basitleştirmek için VMware ile KubeFATE'i başlattı ve yeni geliştiriciler için daha fazlası Dostça. Federal öğrenimle ilgilenen meslektaşlarımızı koda katkıda bulunmaya ve Sorunları veya Çekme Taleplerini göndermeye davet ediyoruz. Ayrıntılar için, lütfen FATE resmi web sitesi proje katkı kılavuzuna bakın: https://fate.fedai.org/contribute/
