Finansal Yapılandırılmamış Veri Depolamasının Geliştirme Trendleri ve Çözümleri
İşlem bilgilerinin veritabanına kaydedilmesine ek olarak, geleneksel bankaların ve sigorta endüstrilerinin manuel sayaçları, kredi başvurusu, taahhüt ve tazminat ödeme hizmetleri genellikle büyük miktarda yapılandırılmamış veri üretir: Kimlik kartı fotoğrafları, taranmış kağıt belgeler, adli belgelerin taranmış kopyaları, yerinde fotoğraflar Vb, finans sektörünün ilgili düzenlemelerine göre, denetim sonrası denetimi kolaylaştırmak ve olası yasal risklerden kaçınmak için bu belgelerin uzun süre saklanması gerekmektedir.
İnternet finansmanının hızla gelişmesiyle birlikte, finans endüstrisindeki rekabet gittikçe şiddetlendi ve giderek daha fazla finans şirketi, finansal teknolojinin şirketlerin müşteri edinme maliyetlerini ve müşteri hizmetleri maliyetlerini azaltmasına ve ofis verimliliğini ve risk değerlendirme verimliliğini artırmasına yardımcı olabileceğini umuyor. Bu amaçla, büyük finans kurumları aşağıdakiler gibi finansal teknoloji projeleri uygulamak için yarışıyor: Akıllı sayaç , İş yerlerinde iş açmanın maliyetini düşürmek Kağıtsız sayaç , Sayaç işinin ve hizmetin verimliliğini artırmak; Akıllı telefon istemcisi talep edin Kullanıcı iddialarının verimliliğini artırmak için; Akıllı kredi incelemesi , Risk değerlendirmesinin verimliliğini artırmak ve insan gücü girdisinin maliyetini azaltmak; Altyapı bulutlaştırma , Konteynerleştirme, temel kaynakların kullanımını ve yönetim verimliliğini artırın.
Bu yeni finansal teknolojilerin arkasında, belli ki çok büyük Resimler, belgeler, ses ve video gibi yapılandırılmamış veriler , Dosya sayısı ve veri hacmi, orijinal depolama sistemi mimarisine daha fazla yeni zorluk getiren çok hızlı bir büyüme göstermiştir.
Büyük Yapılandırılmamış Verilerin Getirdiği Zorluklar
İşletme departmanları için çok sayıda küçük dosyanın erişim performansı çok önemlidir ve doğrudan son kullanıcıların deneyimleriyle ilgilidir.Bir anonim bankanın bir il şubesinin sayaç sistemi ve kredi sistemi her yıl yüz milyonlarca dosya ekleyecektir. Depolama büyük bir zorluktur ve birçok banka zaten büyük bir dosya yoğunluğuna nasıl ulaşılacağını düşünüyor.
VTM (Remote Virtual Banking Service System) ve ikili kayıt sistemlerinin piyasaya sürülmesiyle birlikte depolama kapasitesi talebi hızla artmıştır.Örneğin, sigorta şirketlerinin çift kaydedilmiş verileri banka sigortacılığına yarım yılda yüzlerce TB veri ekleyebilir. Depolamanın yüksek verim kapasitesi sağlayıp sağlamadığı, Ses ve video dosyalarının okuma ve yazma performansının sağlanması önemli bir husustur.
Çoğu finans kuruluşu, çevrimiçi birleşik depolama ve tarihsel verilerin sorgulanmasını gerçekleştirmek için dağıtılmış veritabanları ve büyük veri teknolojilerini benimsemiştir. Yapılandırılmamış verilerin depolama ölçeği PB düzeyine veya hatta EB düzeyine ulaşabilir. Bu durumda veriler nasıl gerçekleştirilir Birleşik depolama ve yönetim, geçmiş verilerin gerçek zamanlı sorgusu ve gelecekteki büyük veri analizi, son derece akıllı depolama yönetimi özellikleri için daha yüksek gereksinimleri ortaya koymaktadır.
Mevcut IaaS katman bulutlaştırması büyük bir eğilimdir. Özel bulutlar, bilgi işlem ve depolama kaynaklarının bulutlaştırılmasını gerçekleştirmiştir ve dağıtılmış veritabanları yapılandırılmış verilerin bulutlaştırılmasını gerçekleştirmiştir. Bulutlaştırmadan sonra, kaynaklar talep üzerine esnek bir şekilde tahsis edilebilir ve genişletilebilir. Bununla birlikte, yapılandırılmamış veri depolamasının bulutlaştırılması, özellikle ses ve video verilerinin eklenmesi ile iyi bir çözümden yoksundur, giderek daha fazla depolama alanı kaplar ve bu verilerin birim değeri yüksek değildir.Birim depolama maliyeti nasıl düşürülür? Ayrıca dikkate alınması gerekiyor.
Büyük faturaların, sertifikaların, sözleşmelerin ve önemli bankacılık ve sigorta sistemlerinin diğer belgelerinin (sayaçlar, kredi, taahhüt, talepler vb.), Finans sektöründe yapılandırılmamış veri depolamasının büyük ve sürekli birikiminin neden olduğu depolama performansı ve ölçeklenebilirlik darboğazları sorununu çözmek Teknolojinin gelişimi dört aşamadan geçti:
NAS depolama aşaması
Finans sektörünün ilk aşamasında, dosya sayısının az olduğu ve depolama kapasitesinin büyük olmadığı zamanlarda, finansal müşteriler genellikle görüntü verilerini depolamak için NAS harici depolama cihazlarını kullandılar.Ancak, dosyaların muazzam büyümesiyle, tek bir NAS tarafından yönetilebilen dosyaların sayısı ve kapasitesi ortaya çıktı. Darboğaz. Gerçek projelerde, kullanıcıların dosya sayısı on milyonlara ulaştığında erişim gecikmesinin ikinci seviyeye ulaşabileceğini gördük ki bu da son kullanıcıların finansal hizmet deneyimini doğrudan etkileyecektir. Birden fazla NAS harici depolama cihazının eklenmesi, daha büyük depolama yönetimi karmaşıklığına neden olur ve aynı uygulama sistemi verilerinin farklı cihazlarda depolanması, veri parçalanmasına neden olur. Orta ve büyük ölçekli işletmelerde BT personeli, BT operasyonu ve bakım değişikliği onay sürecini tamamlamak için çok zaman harcayacak ve aynı zamanda, bu tür sık değişikliklerin neden olabileceği BT operasyon ve bakım risklerine karşı her zaman dikkat etmelidirler ve gerçekten iş için değer yaratmaya odaklanamazlar.
ECM aşaması
Dosya sayısındaki artışla birlikte, finans kurumları ECM'yi (Kurumsal İçerik Yönetim Sistemi) uygulamaya başladı. Birden çok NAS harici depolama cihazının ECM birleşik yönetimini ve harici olarak birleşik bir ad alanı sağlamak için dinamik olarak NAS ekleyebilir. Dosya yönetiminin ölçeği, tek bir NAS depolama alanı büyük ölçüde arttı. ECM sistemi aynı zamanda, iş sistemleri arasında dosya erişimini gerçekleştirebilen ve dosya yönetimi ihtiyaçlarını karşılayabilen dosya öznitelik depolamasını ve öznitelik almayı da destekler.
Ancak, ECM arayüzü standart olmayan bir protokol olduğundan, özel uygulama geliştirmeye ihtiyaç duyulmaktadır ve uygulama dönüşümünün maliyeti yüksektir Şu anda esas olarak finansal sayaçlarda, kredi ve denetim sonrası görüntüleme sistemlerinde kullanılmaktadır. Daha da önemlisi, ECM'nin yatırım maliyeti nispeten yüksektir. 100 terabaytlık verinin depolama maliyeti milyonlar kadar yüksektir.Ses ve video ve diğer düşük değerli yoğunluklu verileri depolamak için uygun değildir ve bakım maliyeti de çok yüksektir.
Dağıtılmış veritabanı aşaması
Finans endüstrisinde büyük veri teknolojisinin ve MPP dağıtılmış veritabanlarının yükselişiyle finans endüstrisi, yapılandırılmamış veri depolama sorununu çözmek için bu teknolojileri kullanmaya çalışıyor.Gerçekten çok büyük küçük dosyaların performansında ve ölçeklenebilirliğinde büyük bir atılım var ve dağıtılmış veritabanları gerçekleştirilebilir. Dosya meta verilerinin birleşik olarak depolanması ve alınması, içerik yönetimi talebini karşılar.
Ancak dağıtılmış veritabanı, yapılandırılmış bir depolama mimarisidir ve dosya depolamayı değiştirmenin birçok sınırlaması vardır. Öncelikle, MPP dağıtılmış veritabanı mimarisinin sınırlamaları nedeniyle, geleneksel depolamanın silme kodlaması (dağıtılmış RAID'e benzer), dosya tekilleştirme gibi bazı gelişmiş işlevlerini uygulamak zordur, bu da yüksek depolama maliyetlerine neden olur ve ses ve video için uygun değildir. Düşük değerli yoğunluklu verilerin depolanması. İkinci olarak, SQL arayüzü ile sınırlı olan izin yönetimi, kota yönetimi ve dizin anlık görüntü geri alma gibi geleneksel NAS depolamasının temel işlevleri dizinler ve alt dizinler için uygulanamaz ve bu da veri güvenliği mekanizmalarının ve veri güvenilirliği garanti mekanizmalarının eksikliğine neden olur. Ek olarak, SQL ve NoSQL, kurumsal kullanıcılar için uygun olmayan, zayıf standardizasyon ve karmaşık arayüzlerle dosyalar olarak saklanır. Bazı finans kurumları bu teknik çözümü denedikten sonra, yaygın bir uygulama biçimi haline gelemedi.
Nesne depolama aşaması
Buna karşılık, son yıllarda mobil internet ve akıllı telefonların hızla gelişmesiyle birlikte İnternet endüstrisi, WeChat, canlı yayın, kısa video Yeni uygulamaların getirdiği yapılandırılmamış veri miktarı finans sektörünü çok aştı. Büyük miktarda veri ve dosya sayısı nedeniyle, uygun maliyetli bir depolama çözümü bulmak gerekiyor.İnternet, büyük veri depolama sorununu çözmek için on yıl önce x86 sunucu tabanlı dağıtılmış mimariyi kullanmaya başladı. Ortaya çıkan teknolojiler arasında Google'ın GoogleFS'si, Amazon'un S3'ü, Ali'nin FastDFS'si HTTP erişim protokolüne dayalı dosya depolama çözümleri için AWS S3 nesne depolaması, Amazonun genel bulut etkisi nedeniyle giderek İnternet endüstrisinde fiili standart haline geldi. Ali, Tencent ve Huawei'nin genel bulutlarının tümü, S3 protokolüyle uyumlu nesne depolama teknolojilerini kullanır.
Nesne depolamanın teknik özelliği, x86 sunucusu + dağıtılmış depolama yazılımı teknolojisine dayalı birleşik bir depolama havuzu oluşturmak ve sunucunun yerel diskini, güçlü ölçeklenebilirliğe sahip büyük ölçekli PB düzeyinde veya hatta EB düzeyinde bir depolama kümesi gerçekleştirmek için kullanmaktır. Yazılım ve donanımın ayrıştırılması, NAS gibi ekipmanı güncellerken veri geçişini tamamlamaya gerek kalmadan donanımın dinamik olarak ortadan kaldırılmasını ve güncellenmesini gerçekleştirebilir. Basitleştirilmiş bir dosya işlem arayüzü ile, tek bir ad alanında yönetilebilen dosya sayısı, NAS'ınkinden yüzlerce kat daha fazladır. HTTP protokolüne dayalı SDK erişimi, işletim sistemini kurmaya gerek yoktur, uygulamalara doğrudan erişilebilir, uygulama bulutlaştırma ve konteynerleştirme senaryoları ve mobil APP program erişim senaryoları için uygundur. Altyapı standardizasyon gereksinimleri doğrultusunda ve genel bulutlarla uyumlu protokol standardizasyonu, uygulama sistemlerinin genel ve özel bulutlar arasında sorunsuz geçişini kolaylaştırır.
Nesne depolamanın temel özelliklerine ek olarak, Shanyan dağıtılmış nesne depolama yazılımı finans sektörüne odaklanır ve finansal müşterilerin yerel özel bulut depolama kaynak havuzları oluşturmasına yardımcı olur. Aynı zamanda, İnternet nesne depolama teknolojisi derinlemesine ürün haline getirildi ve daha fazla özellik tanıtıldı. Nesne depolamaya sorunsuz geçiş sağlamak için finans endüstrisindeki geleneksel uygulamaları destekleyen FTP / dosya arayüzü ile uyumludur. Kurumsal içerik yönetimi ihtiyaçlarını karşılamak için ECM işlevi yerine dosya meta verilerini ve meta veri almayı destekleyin. Destek dizin anlık görüntüsü ve anlık görüntü stratejisi, çok sürümlü dosya ve hızlı geri alma, yapılandırılmamış verilerin ücretsiz yedeklemesini gerçekleştirin ve yetersiz teyp kitaplığı yedekleme bant genişliği ve yavaş alım sorununu çözün. İşletmeye yakın okuma ve yazma erişimini gerçekleştirmek için çoklu veri merkezi felaket kurtarma ve veri merkezi AA modunu destekleyin. Bir dizi ortam, finansal temel iş sistemlerinin performansını ve ses ve video depolamanın maliyet tabanlı uygulama gereksinimlerini dikkate alarak hem çoğaltma hem de silme kodlamasını (dağıtılmış RAID'e benzer) destekler. Geçmişteki soğuk verilerin depolama maliyetini düşürürken iş performansını karşılamak için soğuk ve sıcak verilerin otomatik katmanlandırılmasını destekler.
Özetle, Finansal teknolojinin sürekli olarak tanıtılmasıyla, daha fazla yapılandırılmamış veri türü ve veri hacminin daha hızlı büyümesi vardır. Depolama, verilerin birleşik yönetimini ve kullanımını gerektirir. Gelecekte, büyük finansal verilerin değer madenciliğini gerçekleştirmek ve finans endüstrisinin hızla gelişen gelişimini desteklemek için büyük veri analizi ve yapay zeka teknolojisi birleştirilecek.
Bu makalenin yazarı şunları sunar:
Qiu Shanggao (CTO ve Shanyan Data'nın kurucusu), 10 yıldır BT sektöründe çalışıyor. Kıdemli bir Ar-Ge mühendisi ve Huawei'nin kıdemli Ar-Ge yöneticisiydi. 2009'da Huawei'nin ilk nesil bulut platformu ürününün Ar-Ge'sine katıldı. 2011 yılında Huawei'nin nesne depolama teknolojisi araştırma proje yöneticisi olarak görev yaptı. Yeni nesil nesne depolama teknolojisine öncülük eden Shanyan Data, 2014 yılında kurucu ortak olarak kurdu.
