Baidu bulut disk CDS ve nesne depolama BOS teknolojisinin derinlemesine analizi
BAT'da Baidu, genel bulutta birçok teknolojik yeniliğe sahiptir. Örneğin 2013 yılında büyük ilgi gören ARM depolama sunucusu buna iyi bir örnek. Baidu Cloud, geçtiğimiz iki yılda çalışmalar yapmaya başladı ve bulut depolama sistemi birçok yeniliğe sahip. Şu anda Baidu Cloud Storage, VPN / özel hatlar, veri içe aktarma ve depolama ağ geçitleri tarafından desteklenen blok depolama, nesne depolama ve dosya depolamaya dayalı bir ürün sistemi oluşturmuştur. Bunların arasında, Baidu Nesne Depolama BOS, Baidu'nun ağ diskinde binlerce petabaytlık devasa veriyi destekler.Hiyerarşik depolama ve akıllı depolama kavramı Çin'de ilktir. İlki üç depolama türünden oluşur: standart, düşük frekanslı ve soğuk depolama ve ikincisi görüntü işleme ve görüntü depolamayı içerir. Denetim, Android toplu paketleme ve diğer birçok işleme yeteneği.
Baidu Geliştirici Merkezi'nin ev sahipliği yaptığı ve 24 Haziran'da Geekbang Technology'nin ev sahipliğini yaptığı 72. Baidu Teknoloji Salonunda, Baidu Bulut Bilişim Bölümü kıdemli ürün yöneticisi Jiang Jichuan, Baidu Bulut Bilişim Bölümü kıdemli mühendisi Yang Yongqiang ve kıdemli Baidu Bulut Bilişim Bölümü Mühendis Niu Xianhui, bulut depolama teknolojisinin karşı karşıya olduğu mevcut zorlukları paylaştı.Bu zorluklara yanıt olarak, Baidu bulut depolama teknolojisi, blok depolama ve nesne depolama gibi çözümlerin yanı sıra sistem mimarisi evrimi ve çözümlerin arkasındaki temel teknik uygulamaları tanıttı.
Baidu bulut depolama ürünleri ve çözümleri
Baidu Bulut Bilişim Bölümü Kıdemli Ürün Müdürü Jiang Jichuan açılış konuşması yaptı ve yeni yapay zeka (AI), büyük veri (Büyük Veri) ve bulut bilişim (Bulut) çağında bulut depolamanın iki büyük zorlukla karşı karşıya olduğunu açıkladı. :
-
Veri patlaması . ABC çağının en önemli özelliklerinden biri, ses verileri, LBS verileri ve endüstri verileri dahil olmak üzere farklı uygulama senaryoları için veri depolama gereksinimlerinin hızla artmasıdır. Analize göre veri hacmi 2020 yılına kadar 40ZB'ye ulaşacak.
-
Veri analizi ve tanımlama . Veri değerlidir.İş değeri yaratmak için verileri analiz ederek ve tanımlayarak iş yasalarının nasıl keşfedileceği, tüm geliştiricilerin ve şirketlerin bugün gerçekleştirmesi gereken önemli bir önermedir.Bu önermenin temeli, verilerin verimli ve güvenilir bir şekilde depolanmasıdır.
Jiang Jichuan, bir yandan bulut depolamanın misyonunun geleneksel işletmelerin değişikliklere yanıt vermesine, daha yüksek performans için müşteri gereksinimlerini karşılamasına, daha kısa yanıt süresine ve rekabet gücü kazanmak için maliyetleri azaltmasına yardımcı olmak olduğunu; diğer yandan da büyük hacimler gibi yeni işletmelerin ihtiyaçlarına uyum sağlaması gerektiğini söyledi. Yapılandırılmamış veri depolama, büyük veri analizi, zengin medya işleme. Bu senaryoda Baidu Cloud, farklı uygulama senaryolarının ihtiyaçlarını karşılamak için blok depolama, dosya depolama ve nesne depolama gibi birden çok depolama türü sağlar.
Baidu Bulut Depolama-Bulut Disk CDS
Baidu Cloud Block Storage, temel olarak bulut ana bilgisayarlarının kalıcı depolama gereksinimlerini karşılamak için kullanılır. Üç ana özelliği vardır: 1. Bilgi işlem ve depolamanın ayrılması Örneğin, kullanıcının bulut ana bilgisayarı arızalanırsa, veri kaybını ve iş kesintisini önlemek için bulut diski kolayca başka bir ana bilgisayara monte edilebilir. İki, esneklik, her zaman genişleme desteği , Kullanıcılar bulut diskini istedikleri zaman 5T'ye kadar genişletebilir. Üç, anlık görüntüler sağlayın , Veri yedekleme ve kurtarma için uygundur.Depolama ürünleri için, müşterilerin en çok önemsediği nokta veri güvenliği ve kaybı olmamasıdır.Bulut disk tarafından sağlanan anlık görüntü işlevi, depolanan veriler için iyi bir korumadır.
Baidu Cloud Storage-Object Storage BOS
Baidu Cloud'un nesne depolaması, İnternet odaklı bir depolama hizmetidir.İnternet üzerinden erişimi kolaylaştırmak için, nesne depolaması düz bir dizin yapısı sağlar ve Nesne kaynaklarını düzenlemek ve yönetmek için Kepçeleri kullanır. Baidu Cloud BOS, Çin'deki en büyük nesne depolama hizmetidir ve Baidu Netdisk'te binlerce petabayt depolamayı destekler. BOS, temel olarak dört tür uygulama senaryosuna hizmet etmek için kullanılır: UGC içerik depolama ve paylaşma, veri analizi, yedekleme ve arşivleme ve web sitesi / uygulama içeriği dağıtımı. EC kodlama çoklu kopyalama teknolojisi sayesinde, veri güvenilirliği% 99,999999999'a ulaşır.
Baidu Bulut Blok Depolama Mimarisinin Analizi
Ardından, Baidu Bulut Bilişim Bölümü'nün kıdemli mühendisi Yang Yongqiang, Baidu Cloud'un blok depolama mimarisinin teknik açıdan ayrıntılı bir analizini yaptı.
Bu mimari nasıl uygulanır?
Yang Yongqiang ilk olarak, sistem tasarımı perspektifinden üç tip blok depolama API'sini açıklar: birinci tip, kontrol, yani bulut disklerinin oluşturulması ve silinmesi; ikincisi, anlık görüntü, klonlama ve geri alma işlevlerini içeren özel ürün yığınlaması; üçüncü tip En önemli şey diskin okunması ve yazılması gerektiğidir. Daha sonra Yang Yongqiang, sanal ekipman şeması, sistem mimarisi, veri dağıtımı, okuma ve yazma süreci, bağımsız depolama motoru ve hibrit depolama yönlerinden tüm sistemin pratik yöntemini tanıttı.
Sanal cihaz çözümü . Baidu, performans ve çalışabilirlik perspektiflerinden kendi sanal cihaz çözümünü yaptı. Spesifik uygulama süreci, qemu'da cds sanal cihaz çözümünü uygulamaktır.Bu sanal cihazın talebi, bir ardışık düzen veya paylaşılan bellek aracılığıyla başka bir işleme aktarılır ve başka bir işlem cds-aracı, arka uç dağıtılmış depolamanın lib'ini çalıştırır.
Bu çözümde, dağıtılmış depolama için kitaplığın, temel olarak üç gereksinim nedeniyle sık sık yükseltilmesi gerekir: 1. Hız sınırı vb. Gibi ürün özelliklerinin artışı; 2. Dağıtılmış depolamanın erişim optimizasyonu, bazı optimizasyonlar, lib işbirliğini gerektirir Evet, 3. Bu kitaplığın mantığı göreceli olarak karmaşıktır ve birçok küçük düzeltme çevrimiçidir. CD-aracı ayrı bir işlemdir, bu nedenle anlamsız bir yükseltme yapabilirsiniz.
sistem yapısı . Sistem mimarisi, birim yönetimi ve blok sistemi olmak üzere iki bölüme ayrılmıştır. Bu mimari bir replikasyon yapısıdır ve bu replikasyon yapısı, endüstride daha riskli bir yöntemdir ve gecikme açısından daha iyi bir uzlaşma sağlar.
Bu makale esas olarak sanal cihaz çözümünün ve sistem mimarisinin iki yönünü tanıtır.Özel uygulama ve mimari diyagramı ayrıntılı bir anlayış için PPT'den indirilebilir. Öğretmen Yang, tüm sistemin tasarımında, sistemin yüksek kullanılabilirliği, yüksek güvenilirliği, gecikme hassasiyeti ve rastgele okuma ve yazmanın en önemli teknik kilit noktalar olduğunu ve ayrıca tüm sistem tasarımının temelini oluşturduğunu söyledi.
Baidu Hiper Ölçekli Nesne Depolama BOS
Baidu Bulut Bilişim Bölümünün kıdemli mühendisi Niu Xian, BOS yazılım yapısı, API, ürün özellikleri, depolama motoru, donanım seçimi ve optimizasyonu perspektiflerinden Baidu Nesne Depolamasının kapsamlı bir analizini ve yorumunu yaptı. Niu Xianhui, Kova ve Nesnenin BOS'taki en temel kavramlar olduğunu tanıttı. BOS, resimler ve videolar gibi çeşitli ikili verileri destekler. Tek bir dosyanın maksimum kapasitesi, depolama, yüksek kullanılabilirlik, yüksek güvenilirlik ve yüksek ölçeklenebilirlik ile 5 TB'tır.
BOS yazılım mimarisi
BOS'un tüm yazılım çerçevesi, İstemci istemcisi, Ön uç ön ucu, Kontrol merkezi, Proxy aracı katmanı, Depolama katmanı, Donanım donanım ekipmanına bölünmüştür.
Baidu, temel olarak depolama motoruyla etkileşim işlevini çözmek için kullanılan birleşik bir Proxy sağlar. Tüm tasarım yukarıdan aşağıya, soldan sağa, bu da BOS yazılım tasarımının katmanlamasını daha iyi ifade ediyor.
BOS'un hız optimizasyonu ve güvenliği
Verilerin yüklenmesini hızlandırmak açısından, Baidu bunu iki yönden gerçekleştiriyor: yükleme ağ optimizasyonu ve yükleme aracı optimizasyonu.
-
Ağ optimizasyonunu yükle . Baidu'nun yükleme ağı optimizasyonunun üç ana noktası vardır. 1. BGP Sınır Ağ Geçidi Protokolü; 2. CDN içerik dağıtım ağı. Baidu, çeşitli yerlerde CDN'ler kurmuştur.Zayıf ağ koşullarına sahip yerlerde, özel bir CDN ağı kullanmayı seçebilirsiniz: 3. Özel hatlar. Nispeten yüksek veri güvenliği gereksinimleri olan ve genel ağı kullanmak istemeyen kullanıcılar, özel hatlar biçimini kullanabilir.
-
Araç optimizasyonunu yükle . Baidu tarafından sağlanan yükleme araçları, verilerin hızlı bir şekilde yüklenmesine yardımcı olmak için Çoklu Yükleme, CLI, toplu yükleme, Senkronizasyon ve istemci tarafı sıkıştırma, sunucu tarafı otomatik açma vb. İçerir.
Niu Xianhui, bulut verileri için en önemli şeyin veri güvenliği olduğunu söyledi.Baidu, kimlik doğrulama, geçici yetkilendirme ve alt hesap yönetimi gibi eksiksiz bir güvenlik mekanizması seti sağlar. Mobil dağıtım senaryoları için STS sağlanır. Bu, ana AK ve SK dağıtımının neden olduğu temel sızıntıyı etkili bir şekilde azaltabilir.
Kullanıcılar veri güvenliğini beklerken, şifreleme hizmetlerinin de GET ve PUT gibi veri işlevlerinin performansını etkilemeyeceğini bekler.Bu durumda Baidu şeffaf şifrelemeyi destekler.Aynı zamanda akıllı ağ kartında şifreleme ve şifre çözme işlevleri vardır. CPU'nun ek yükünü ve maliyetini azaltabilir.
Donanım seçimi ve optimizasyonu
Baidu, yazılım optimizasyonuna ek olarak çok sayıda donanım seçimi ve optimizasyonuna da sahiptir: tam kabinetler, yüksek yoğunluklu ve mavi ışınlı depolama Makineler ayrıca elektrik kesintisi ve anahtar arızasının etkisini en aza indirmek için çift güç ve çift ağ gerektirir.
Sonuna yaz
Bulut depolama ürünlerinin tasarımında, genellikle tüm endüstrinin geliştirme durumunu ve kullanıcıların genel ihtiyaçlarını dikkate almak gerekir. Bulut depolamanın geliştirilmesi bir gecede gerçekleştirilmez. Bir süreç gerektirir. Baidu Cloud, çeşitli depolama ürünleri ve pratik araçlar sağlar. Tüm süreci daha sorunsuz hale getirin.
