Veri adası, yapay zekanın finans sektörüne girişini etkiliyor mu? WeBank, oyunu böyle kırmak için federal öğrenme ve GPU kullanıyor
Bilgelik şeyler (herkese açık hesap: zhidxcom) metin | Xinyuan
Son iki yılda, giderek daha fazla şirket, daha fazla veri değerinden yararlanmak için yapay zekayı (AI) nasıl kullanacağını düşünüyor. Bununla birlikte, AI eğitimi almak için gittikçe zorlaşan çok fazla veri gerektirir.
Bilgilendirme ve zengin verilere erken bir başlangıç yapan finans sektörü bile yüksek kaliteli veri eksikliğinden muzdariptir.
Finans endüstrisi çok fazla veriye sahip gibi görünüyor, ancak aslında pek çok veri profesyonel olarak etiketlenmemiş ve çok az etkili veri var. Büyük miktarda verinin kontrolü farklı kurum ve departmanlara dağılmış durumda. "Veri adaları" sorunu ciddidir. Ayrıca, veri gizliliğini koruma mevzuatı daha katı hale geliyor. Ve paylaşım çok sayıda kısıtlamaya tabidir.
Hem yüksek istihbarat hem de yüksek gizlilik güvenliğine nasıl sahip olunur? Yapay zekanın getirdiği verimlilik ve maliyet optimizasyonundan yalnızca büyük miktarda veriye sahip kuruluşlar faydalanabilir mi?
Endüstri ve akademi tarafından tartışılan çözüm yöntemi yavaş yavaş gelişen bir teknolojiye odaklandı Federe Öğrenme .
Birleşik öğrenme, verilerin yerel alandan ayrılmaması temelinde birden fazla tarafın ortak bir model oluşturmasına olanak tanır. Tek başına herhangi bir taraf tarafından eğitilen AI modelinden daha doğrudur ve gizliliği ihlal etmez.
Çin'deki bu teknolojinin öncüsü, finans endüstrisinin "teknolojik temsilcisi" olan WeBank'tır. Departmanlar arası ve kurumlar arası veri füzyon sorunlarını çözmek için federe öğrenmeyi kullanan ilk şirkettir ve birleşik öğrenmeyi kullanmak için Tencent Cloud'dan çağrılan NVIDIA GPU kaynaklarını kullanır. Teknoloji, küçük ve mikro işletmelerin% 70'inden fazlasının geçmişe dönük kredi bilgisi olmadan sorununu çözdü ve işletmelere verilen kredi miktarı 1 milyarı aştı.
Çin'deki ilk özel banka ve internet bankası olan WeBank, yapay zeka, büyük veri ve blok zinciri gibi teknolojik yeniliklerle kapsayıcı finansmanın uygulanmasını aktif olarak teşvik ediyor. Uluslararası üne sahip AI bilimcisi Profesör Yang Qiang liderliğindeki WeBank AI ekibi, araştırma ve uygulama finans alanında köklü bir geleneksel makine öğrenimi ve federal öğrenme birikimine sahiptir.
Günümüzde, veri adaları ve gizlilik koruması, geleneksel endüstrilerde AI'nın karşılaştığı yaygın sorunlardır.
Weizhong tarafından araştırılan yöntemler, geleneksel finansal kurumlar ve istihbarata doğru ilerleyen diğer işletmeler için de referans değerine sahiptir.
1. Veri açığını ortadan kaldırın ve Weizhong için başka bir yol bulun
Birleşik öğrenmenin teknik zorluklarını, uygulama değerini ve iniş deneyimini tam olarak anlamak için, yakın zamanda WeBank'ın Yapay Zeka Departmanında kıdemli bir algoritma araştırmacısı olan Huang Qijun ile derinlemesine bir alışveriş yaptık.
İlk soru, federe öğrenme yönteminin veri toplama, veri koruma ve performans geliştirmeyi nasıl hesaba kattığıdır?
Huang Qijun bize söyledi, Birleşik öğrenme ile geleneksel makine öğrenimi arasındaki en büyük fark, alışverişi yapılan verilerin gizli olmasıdır.
Geleneksel makine öğrenimi, modelleri eğitmek için genellikle verileri bulut veri merkezlerine taşır, ancak gizlilik uyumluluğu sorunlarıyla karşılaşıldığında bu tür bir yöntem işe yaramaz.
Federe öğrenme, tüm tarafların verilerini taşımaz. Şifrelenmiş bilgi alışverişi ve model parametreleri yoluyla sanal bir paylaşılan model oluşturur ve birden çok tarafın verilerinin avantajlarını birleştirir.Bu sanal model, tüm tarafların verilerini doğrudan toplayarak eğitilen modele eşdeğer veya ona yakındır.
Federal Öğrenim Sistemi Mimarisi
WeBank, üç federe öğrenme modu önerir: yatay birleşik öğrenme, dikey birleşik öğrenme ve birleşik transfer öğrenme.
Yatay birleşik öğrenmedeki katılımcıların birkaç ortak kullanıcısı vardır, ancak birçok ortak kullanıcı özelliği vardır. Örneğin, Google her cep telefonunu ayrı ayrı modeller, ardından model parametrelerini şifreler ve buluta iletir, genel modeli günceller ve her cep telefonuna iletir.
Dikey birleşik öğrenme tam tersidir.Katılımcıların birkaç ortak kullanıcı özelliği vardır, ancak birçok ortak kullanıcı vardır. Örneğin, banka A bir kullanıcının kredi derecelendirmesine sahiptir ve e-ticaret şirketi B aynı kullanıcı grubunun satın alma kayıtlarına sahiptir Daha eksiksiz bir modeli sentezlemek için iki değişim şifreli model parametresi.
Birleşik transfer öğrenimi, ortak kullanıcıları veya ortak özellikleri olmayan tüm katılımcılar için uygundur. Bununla birlikte, bu yöntem hala araştırma aşamasındadır ve gerçek endüstriyel uygulamanın daha fazla geliştirilmesi gerekmektedir.
Birleşik öğrenmenin sınıflandırılması
Teorik bir bakış açısından, federe öğrenme tüm taraflar için bir kazan-kazan durumu sağlayabilir. Ancak teori hakkında konuşmak yeterli değil. Gerçek uygulama senaryolarında daha fazla rol oynaması nasıl sağlanır?
2018'den 2019'un başına kadar WeBank AI ekibi, teorik araştırma, araç yazılımı, teknik standartlar ve endüstri uygulamaları için kademeli olarak çok seviyeli bir federal öğrenme ekolojik çerçevesi oluşturdu ve katılmaları için Tencent, Huawei, JD.com ve Ping An gibi ekolojik ortakları çekti.
Ocak 2019'da Weizhong, dünyanın ilk endüstriyel sınıf federe öğrenme açık kaynak çerçevesi FATE'yi (Federated AI Technology Enabler) başlattı ve federe öğrenimi finansal hizmetlere uygulamaya başladı.
Bu çerçeve, bir dizi "kullanıma hazır" birleşik öğrenme algoritmalarının yanı sıra kapsamlı modelleme yardımı ve model değerlendirme araçlarının yanı sıra, birleşik öğrenme bilgi güvenliği denetiminin zor sorununu çözmek için bir dizi kolay etki alanları arası etkileşimli bilgi yönetimi çözümleri sağlar.
Diğer bir deyişle, federe öğrenmeyi uygulamak isteyen şirketler, temel teknolojiye çok fazla enerji harcamadan veri gizliliğini koruma öncülüğünde çok partili veri birliğinin getirdiği iş düzeyindeki iyileşmenin keyfini çıkarabilir.
Kredi riski kontrolü, kara para aklamayı önleme, müşteri hisse senedi fiyatlandırması ... FATE piyasaya sürüldüğünden bu yana finans alanında giderek daha derinleşti.
Kadere dayalı ortak modelleme
25 Haziran 2019'da WeBank, Linux Vakfı'nın altın üyeleri arasındaki tek finans kurumu oldu ve FATE projesine Linux Vakfı'na katkıda bulundu. Bugün, FATE açık kaynak topluluğu haline geldi Sektördeki en büyük federal öğrenim geliştirici topluluğu 128 kurum, işletme ve 145 üniversiteyi uygulama ve ortak inşaat için bünyesine katmıştır.
Huang Qijun'a göre, GitHub'daki federal öğrenim çerçevelerinin çoğu önceden yatay federal öğrenme yönüne aitti. Boylamsal federe öğrenmede kullanılabilir bir seviyeye ulaşan tek çerçeve yalnızca FATE'dir.
Federe öğrenmenin temel platformu ve mimarisi diğer platformlardan farklı olduğundan, Weizhong kasıtlı olarak dağıtılmış bilgi işlem ve depolama için bir çerçeve oluşturmuştur ve ayrıca siteler arası iletimi destekler.
Şu anda FATE, TensorFlow, PyTorch ve diğer derin öğrenme çerçevelerini tek bir makinede başarıyla gerçekleştirdi ve gelecekte dağıtılmış sistemleri denemeyi planlıyor.
2. Şifreleme verilerde bir artış getiriyor, WeChat federasyonu ağır baskıya direnmeyi nasıl öğreniyor?
İster güçlü algoritma ve güvenlik teknolojisi gücü, ister zengin mühendislik deneyimi olsun, WeBank yerel federal öğrenme alanında liderdir.
Ancak federal öğrenimi ilerletmenin yolu sorunsuz bir seyir izlememiştir. Birleşik öğrenim değişim şifreleme durumunda, veri hacmi fırlayarak daha yüksek hesaplama ve iletişim yetenekleri gerektirmesine neden oldu.
Bilgi işlem, Geleneksel makine öğrenimi, 32 bitlik yonga talimatlarıyla desteklenirken, federe öğrenmenin Paillier / RSA algoritması, 2048 bit veya daha uzun büyük tamsayı modüler üs alma ve modüler çarpma gibi karmaşık işlemlere dayanır.
İletim açısından, Geleneksel makine öğreniminin parametre toplama, intranet iletimini kullanırken, federe öğrenme ile şifrelenen veri hacmi 30 kattan fazla büyür ve birden çok iletim turu gerekir.
Hesaplama ve iletişim yetenekleri yetersizse, algoritma performansı kaybolacaktır. Öyleyse Weizhong, bilgi işlem ve iletişim için hızla artan talebi desteklemek için hızlandırılmış bilgi işlem altyapısını nasıl değerlendiriyor?
Öncelikle birleşik öğrenme algoritmasının birkaç özelliğine bir göz atalım:
(1) Son derece paralel bilgi işlem: Veri yoğun durum hesaplaması, farklı veri hesaplamaları birbirini etkilemez;
(2) Hafif işlemleri tekrarlayın: Hesaplama formülü karmaşık değildir, ancak tekrarlanan yürütme sayısı çok fazladır;
(3) Bilgisayar yoğun görevler: Veri G / Ç süresi, hesaplama süresinin% 0,1'inden azdır;
(4) Toplu büyük veri: Veriler gruplar halinde oluşturulur ve veri miktarı çok büyüktür.
Bu özellikler, çok iş parçacıklı paralel hesaplamada iyi olan GPU'larla oldukça uyumludur.
Bununla birlikte, sadece hızlandırma şemasının performansına odaklanmak yeterli değildir.İşletme esnekliği, rahatlığı ve kararlılığı da dikkate alınmalıdır.
Genel olarak, işletmelerin altyapıyı seçmesinin iki yolu vardır: Yerel dağıtım veya özel bulut hizmetleri, veri güvenliği üzerinde daha yüksek bir kontrole sahipken, bulut hizmetleri geliştirme döngüsünü kısaltabilir, bilgi işlem kaynaklarını esnek bir şekilde yapılandırabilir ve başlangıç maliyetlerini azaltabilir.
WeChat Federated Learning tarafından şu anda benimsenen program, NVIDIA Tesla V100 GPU tabanlı Tencent Cloud platformu aracılığıyla, birleşik öğrenme bilgi işlem görevlerini hızlandırmak için GPU yüksek hızlı ara bağlantı teknolojisi NVLink ile birleştirildi.
Huang Qijun, "Federal öğrenme yüksek bilgi işlem gücü gerektirir. Donanım çözümü makul fiyatlı olduğu ve hızlandırma görevlerine yönelik talebi karşılayabildiği sürece, denemeye hazırız." Dedi.
Ona göre NVIDIA V100 zaten çok olgun bir çözüm ve sonuçlar oldukça iyi. Tek bir Intel Xeon 6100 serisi CPU kullanmaya kıyasla test ettikten sonra, 20'den fazla CPU sunucusunu değiştirmek için 1 adet 8 kartlı GPU sunucusu kullanın .
Sadece bu değil, Huang Qijun, NVIDIA'nın yazılımının Weizhong Federasyonu'nun öğrenimine de çok yardımcı olduğunu söyledi.
NVIDIA yazılım platformu, çok sayıda makine öğrenimi ve derin öğrenme açık kaynak kitaplığı sağlar. Federal araştırmanın çalışması sırasında Huang Qijun ve diğerleri, NVIDIA laboratuvarındaki CGBN kütüphanesine atıfta bulunmaya odaklandılar ve bu kitap çoğunlukla çok sayıda operasyon gerçekleştirdiler.
Ek olarak, NVIDIA ayrıca eksiksiz bir GPU programlama geliştirme ortamı ve ihtiyaçları karşılamak için çeşitli geliştirme araçları sağlar , Ve sistem tasarımı ve optimizasyonunda çok fazla rehberlik ve referans verdi. Huang Qijun buna inanıyor Bu, geliştirme maliyetlerinin azaltılmasına yardımcı olur.
Örneğin algoritmayı yazdıktan sonra GPU hızlandırma etkisinin beklendiği gibi olmadığını fark ederseniz detaylı bir analiz yapmak için SDK ile birlikte gelen Profil aracını kullanabilirsiniz.Sadece çok fazla yazmaç kullanmak gibi problemi size doğrudan anlatmakla kalmayacak, aynı zamanda size rehberlik edecektir. Kayıt uygulamalarının nasıl optimize edileceği, paralellik ve kayıt mesleği arasındaki ilişkinin nasıl dengeleneceği gibi problemleri adım adım çözmek.
Huang Qijun, sorun çözüldükten sonra "etkinin hemen 2-3 kat arttığını" hatırlattı.
NVIDIA GPU platformu temelinde Weizhong Federated Learning, GPU'nun hızlanma potansiyelinden daha fazla yararlanmak için üç optimizasyon yöntemi de önerdi.
İlk adım, bölme ve yönetme fikrine dayalı eleman düzeyinde paralellik yapmak ve büyük tamsayı çarpımlarını özyineleme yoluyla paralel küçük tamsayı çarpmalarına ayırmaktır;
İkinci adım, hesaplama karmaşıklığını azaltmak ve modüler işlemden tamamen kaçınmak için kare çarpma algoritmasını ve Montgomery algoritmasını birleştirmektir;
Üçüncü adım, ara hesaplama sonucunu azaltmak için ara artık teoremi kullanmaktır.
Optimizasyon sonrası değerlendirme sonuçları, geleneksel yöntemle karşılaştırıldığında, Nebulas Clustar'ın GPU tabanlı optimizasyon şemasının homomorfik şifreleme verimliliğini 5,8 kat, homomorfik şifre çözme verimliliğini 5,93 kat ve şifreli durum çarpma verimliliğini 31,4 kat artırdığını gösteriyor. , Yoğun durum toplama verimliliğini 419 kat artırır.
GPU hızlandırılmış birleşik öğrenme optimizasyon programı etkisi
Huang Qijun, WeBank AI ekibinin daha yüksek bilgi işlem gücü desteğini daha da keşfetmeyi umduğunu söyledi.
3. Finansal önleme ve kontrolden hassas tıbba kadar, federal öğrenme uygulamaları giderek daha yaygın hale geliyor
Akademideki araştırmaların artmasının ardından, federe öğrenme teknolojisi giderek daha fazla endüstri uygulamasına girdi, finans, perakende ve tıp gibi tipik AI uygulama senaryolarında daha az etkili veri ve veri uyumluluğu sorununu çözdü ve alanlar arası veri paylaşımını teşvik etti. Ve füzyon.
1. Finansal risk kontrolü: küçük ve mikro işletme kredileri sorununu çözme
Finans alanında, federal öğrenme, risk ölçüm yeteneklerini önemli ölçüde geliştirmeye ve genel finansal ürün fiyatlarını düşürmeye yardımcı olabilir.
Örneğin, küçük ve mikro işletme kredileri için, bankalar genellikle sadece bazı ulusal politikaların izin verdiği kredi raporlarına ve vergi verilerine sahiptir, ancak küçük ve mikro işletmelerin% 70'inden fazlası beyaz hesaplardır ve herhangi bir kredi kaydı veya vergi kaydı yoktur. Faturalar, kurumsal kredi risklerini değerlendirmek için çok faydalıdır, ancak şu anda fatura verilerinin% 70-80'i, hassas ve doğrudan bankalara ifşa edilmesi zahmetli olan vergi kontrollü fatura makineleri tarafından kaydedilmektedir.
Küçük ve mikro işletmeler için kredi riski yönetimi sorunları
WeBank, orijinal verilerin değiş tokuş edilmemesini sağlama öncülüne dayanarak, kredi müşteri kredi verilerini ve fatura kayıt bilgilerini birlikte modelleyecek, risk kontrol modelini optimize edecek ve geçmiş kredi bilgileri olmadan küçük ve mikro işletmelerin% 70'inden fazlasının sorununu çözecektir. Şu anda, bu ortak modelleme ile desteklenen kurumsal kredi ihracı miktarı 1 milyarı aştı .
WeBank ayrıca, verilere güvenen kuruluşların veri gizliliğini korurken verilerin değerini daha da keşfetmelerine ve yapay zekanın uygulanmasını teşvik etmelerine yardımcı olmak için Tencent Cloud Aegis Sandbox ile ortaklık kurdu.
2. Hassas drenaj: bilgi ve kaynak eşleştirme verimliliğini artırın
Akıllı perakendede kişiselleştirilmiş ürün önerisi ve hedefli reklamcılık gibi hizmetler, yolcu akışını çekmek ve kullanıcı alışkanlıklarını geliştirmek için çok önemlidir. Ancak pratik uygulamalarda, bu hizmetlerde yer alan veri özellikleri genellikle farklı departmanlara veya işletmelere dağılmıştır.
Örneğin, bankaların satın alma gücü, sosyal platformlar kullanıcıların kişisel tercihleri, e-ticaret platformları ise ürün özellikleri niteliğinde. Bu veriler birleştirilirse, daha doğru bir pazarlama modeli ve öneri modeli oluşturulabilir, ancak gizlilik sorunu üstesinden gelinemeyen bir eşiktir ve federe öğrenme, uygulanabilir bir yol haline gelir.
Üç tarafın verilerini birbirleriyle iletişim kurmaktan korumak temelinde, federe öğrenme, tek başına modellemeden daha doğru olan bir AI modeli oluşturur. WeBank, tedarik ve stoklamanın doğruluğunu% 21,4 oranında artırmak için federal öğrenmeyi kullandı.
3. Akıllı sağlık hizmetleri: Eksik veri etiketleme darboğazını aşmak
Tıp alanındaki veriler, yüksek gizlilik ve veri parçalanması ile karakterize edilir ve tek bir kuruluş genellikle yeterli örneklerden yoksundur.
Veri etiketleme de ciddi şekilde eksik. Bir zamanlar biri, tıbbi verileri üçüncü taraf şirketlere koymak için 10.000 kişinin etkili veri toplamasının 10 yıla kadar süreceğini tahmin etmişti.
Federe öğrenme, veri alışverişi olmadan paylaşılan bir model oluşturmak için birden çok hastaneden ve birden çok departmandan hasta veri kaynaklarını toplayabilir. Etki, her hastane tarafından kendi veri setini kullanarak eğitilen AI modelinden çok daha büyüktür. , Tüm hastaneler birlikte yararlanır.
Federal öğrenme, tıbbi büyük verinin sıkıntılı noktalarını çözer
Sonuç: Federe öğrenme, kapsayıcı yapay zeka için yeni ve etkili bir yol
Yapay zeka daha fazla sektöre inerken, gizlilik ve güvenlik sorunları da gölgede.Veri gizliliği korumasını hesaba katan ve AI modelini optimize eden federe öğrenme yöntemi büyük bir gelişme potansiyeline sahip.
NVIDIA V100 GPU'nun hızlanmasıyla Weizhong Federated Learning, akıllı seyahat ve endüstriyel kalite denetimi gibi daha fazla AI uygulama senaryosunun kilidini art arda açtı ve teknik olarak uyumlu bir şekilde veri siloları açtı.
Artık federe öğrenme yeni bir toplu uygulama aşamasına girdiğine göre, daha fazla şirket ve akademik kurum federe öğrenme ekosistemine katılıyor. Güvenlik uyumluluğunun, savunma saldırılarının, algoritma verimliliğinin ve ittifak mekanizmalarının daha da iyileştirilmesiyle, federe öğrenme daha sağlıklı bir yapay zekayı teşvik edecek İniş ve güçlendirme.
Okuduğunuz için teşekkürler. Gemide takip etmek ve sizi teknolojide ön plana çıkarmak için tıklayın ~
