Titanyum medya derinliği | Bulut bilişim çağında veritabanı savaşı
"Bulut bilgi işlem, şüphesiz bugün bir numaralı bilgi işlem trendi ve aynı şey veritabanı alanında da geçerli. Müşteriler, bulut modelinin hesaplanmasını, esnek olmasını ve neredeyse sınırsız ölçek genişletmesinin yanı sıra düşük maliyetli kurulum ve yönetim olmasını giderek daha fazla tercih ediyor." SQLServer Çin Ar-Ge ekibinin (şu anda Microsoft Asya Pasifik Ar-Ge Grubunun CTO'su) genel müdürü Prakash Sundaresan, "Veritabanının Yeni Yolculuğu-40 Yıllık İlişkisel Veritabanı" temasıyla bir yuvarlak masa diyalog oturumunda konuştu. O yıl 2010'du.
Aynı yıl bulut bilişim teknolojisinin yükselişi, tüm veritabanı pazarına çalkantılı bir durum kazandırdı; bu, AWS Aurora liderliğindeki ABD veritabanı şirketlerinin ve Alibaba Cloud liderliğindeki Çinli veritabanı şirketlerinin yeni bir veritabanı bulut erişimi çağı açtığı gerçeğine yansıdı. . Bu aşamada, geleneksel bağımsız mimaride depolanan kullanıcı verilerini kademeli olarak buluta taşımak için platform yönetimi ve kontrolünden yararlandılar ve bulutta yerel veritabanlarının embriyonik biçimi ortaya çıkmaya başladı.
Sun Bokainin konuşmasından dört yıl sonra AWS, sektörün ilk bulut tabanlı veritabanı Aurorayı piyasaya sürdü. Alibaba Cloud, 3 yıl sonra Eylül ayında, bulut tabanlı veritabanı PolarDB'yi Çin'de piyasaya sürmeye öncülük etti ve Nisan 2018'de resmi olarak ticarileştirildi.
Aynı yılın Kasım ayında, Tencent Cloud aynı şeyi takip etti ve kendi geliştirdiği yeni nesil bulut yerel verileri CynosDB'yi yayınladı. "CynosDB'nin piyasaya sürülmesi, Tencent Cloudun veritabanı ürün matrisini zenginleştirme ve Tencent Cloudun ürün teknik özelliklerini geliştirmede bir kilometre taşı oldu. Tencent Bulut Veritabanı Ürünü Direktörü Zhu milyon, basın toplantısında yaptığı açıklamada, uyumluluk özellikleri ve nihai maliyet etkinliği, kuruluşun "bulut" sürecini büyük ölçüde destekleyecektir. "Dedi.
Alibaba Cloud, "hızlı yinelemenin" ürün geliştirme paradigmasının evrimi olduğunu anlayan bir İnternet teknolojisi şirketi olarak, bu yıl 21 Mayıs'ta PolarDB'nin büyük bir güncellemesini yayınladı ve "şirketlerin çevrimiçi olarak entegre olmasına yardımcı olmak için geleneksel veritabanlarını tek bir tıklamayla buluta taşıma yeteneği sağladı MySQL, PostgreSQL ve Oracle veritabanları kolayca buluta taşınır ve geçiş birkaç saat içinde tamamlanır. Alibaba Cloudun kesin hesaplamalarına göre, buluttaki veritabanının maliyeti geleneksel veritabanının 1 / 6'sından daha az. Gün itibarıyla neredeyse Alibaba Cloud'da 400.000 veritabanı var. Alibaba Bulut Akıllı Veritabanı Bölümü başkanı Li Feifei basın toplantısında yaptığı açıklamada, "İlişkisel veritabanı 1970'lerden beri 50 yıldan daha eski. Mevcut veritabanı önemli bir değişim noktasına, yani Taşıma yaşından otomobil yaşına geçiş. "
Veritabanı pazarının yapısı sessizce değişiyor
Trend altında, genellikle yeni teknolojinin maliyet ve teknoloji açısından mutlak bir öncü avantaja sahip olduğunu gösterir.Eski teknoloji için, bu bir kuşatma eylemi olarak yazgılıdır. Tanınmış bir Amerikan bilim ve teknoloji analiz organizasyonu olan Gartner, 2023 yılına kadar dünya veri tabanlarının dörtte üçünün bulutta çalışacağını tahmin etti. Diğer bir deyişle, önümüzdeki beş yıl içinde, geçmişte çevrimdışı veritabanlarının hakim olduğu pazar durumu, yavaş yavaş bulut tabanlı veritabanlarına yönelik yeni bir pazar durumuna dönüşecektir.
Geleneksel ticari veritabanı pazarının gelecekte düşüş eğilimi göstermesi bekleniyor. Kaynak: Gartner, Essence Securities Araştırma Merkezi
Örnek olarak geleneksel veritabanı pazarını ele alalım. Temel piyasa işlem biçimi, geleneksel yazılım lisanslarının satışıdır. Çevrimdışı kullanıcıların, ihtiyaçlarına göre "çekirdek" e göre satın almaları gerekir. Bir "çekirdek" in yıllık maliyeti yaklaşık 200.000 yuan'dır. Sonraki aşamada veritabanını yükseltme maliyeti de dahil olmak üzere, yüksek ilk dağıtım maliyeti, çoğu başlangıç şirketini dışarıda tutar. Oracle, kısa bir süre önce, büyük bir devlet iktisadi teşebbüsüyle uzun vadeli bir müzakereye başlamıştı ve ona ürün satma temelinde 60 milyonluk tek seferlik bir hizmet ücreti ödemeye çalışıyordu.
Geçtiğimiz birkaç on yılın geleneksel veritabanlarının en önemli özelliği olduğu hissedilebilir.İlgili verilere göre, veritabanı pazarının toplam büyüklüğü 2017 itibariyle 36,8 milyar ABD doları kadar yüksekti ve bunun bir zamanlar geleneksel veritabanları% 80'den fazlasını oluşturuyordu. Bununla birlikte, geleneksel veritabanlarının azalmasıyla, şirketler bulut tabanlı verilere geçmek zorunda kalıyor ki bu, son yıllarda geleneksel veritabanlarının payındaki düşüşe yansımaktadır. Üçüncü taraf istatistiklerine göre, 2021 yılına kadar geleneksel ticari veritabanı pazarı% 20 ila% 30 oranında düşecek. Alibaba Bulut Akıllı Veritabanı Bölümü başkanı Li Feifei, "Alibaba Cloudun en iyi müşterilerinin% 94'ü Alibaba Bulut veritabanı hizmetimizi kullanıyor. Bulut veritabanının kullanım oranı ve Alibaba Cloudun en iyi müşterilerinin geçiş oranı çok iyi." Geleneksel veritabanlarının orijinal sağlam savunma hattının bulut satıcıları tarafından parçalandığını görmek zor değil ve devir teslim uzun süre bir oyun meselesi olacak.
MongoDB'nin gelir yapısına da bir göz atabilirsiniz. 2016 mali yılında, Atlas'ın geliri yalnızca% 1'di; 2017 mali yılında% 7'ye yükseldi ve 2018 mali yılının ilk çeyreğinde toplam gelirin% 11'ini oluşturdu. MongoDB Atlas, ekibi tarafından genel bulut hizmeti satıcıları ile işbirliği içinde oluşturulan ve müşteriler için dağıtılan bir bulut veritabanıdır. Atlas gelirinin hızlı büyümesi, pazarın bu veritabanı bulut modelini tanımasını yansıtabilir.
Teknik uygunluk perspektifinden analiz edildiğinde, geleneksel veritabanı mevcut fiziksel makineye bağlanmalıdır ve çekirdeği özellikle karmaşık ve karmaşık hale gelmiştir, bu da doğrudan yinelemesine yol açar. Hız çok yavaşlıyor. Aynı zamanda, kullanıcının iş talep kapasitesi önceki tahmin edilen kapasiteden daha büyük olduğunda, o zamanki geleneksel veritabanının düşük ölçeklenebilirliği gerilmiş gibi görünür. Buna karşılık, bulut bilişimin doğal esnekliği ve açık kaynak veritabanlarının kullanım kolaylığı ve açıklığı, bulut tabanlı veritabanlarının İnternet'in "büyük veri patlaması çağına" uyum sağlamasına olanak tanır.
Aynı zamanda, İnternet çağının getirdiği veri hacmindeki hızlı artış ve giderek karmaşıklaşan veri türleri, kurumsal BT mimarisini geleneksel iş yazılımından İnternet mimarisine dönüşmeye zorlayacak, böylece öngörülemeyen yoğun ve vadi trafiği ve hızlı iş inovasyonu ile başa çıkacaktır. Alibaba teknik ekibi, "Son On Yılda Taobao Teknolojisi" kitabında, teknik personelin 2004 yılı civarında, üç muadili IOE (IBM mini bilgisayar, Oracle veri tabanı, EMC depolama ekipmanı) satın almak için para harcadığını hatırlattı. Her yıl satış promosyonu. Taobao, başlangıçta tek bir geleneksel veritabanından 4 düğüme, 16 düğüme ve son olarak 20 düğüme geçti ve o sırada dünyanın en büyük Oracle kümesi oldu.
Bununla birlikte, iki ölümcül sorun, ücretsiz geleneksel ticari veri tabanları yaratmak için yerel niyetlerin olasılığını doğrudan kilitlemektedir: Birincisi, geleneksel ticari veri tabanlarının, büyük tüketici tabanının getirdiği daha karmaşık veri türleriyle karşılaştıklarında dönüştürülmesidir. İkincisi, geleneksel veri tabanlarının çekirdek teknolojisi birkaç şirketin elinde ve güvenlik konularında büyük belirsizlikler var Burada, Snowden'ın daha sonra patlak verdiği Prism Gate olayına başvurabilirsiniz.
Böylesine genel bir ortamda, yandaki IOE özellikle ani durumdadır.İleriye bakan ve kendini savunan (rekabeti korumak için) çoğu veritabanı şirketi için bir IOE hareketi çok yakındır. De-IOE sürecinde en önemli nokta, destek sisteminin bulutlanmasını destekleyen bir operasyon ve bakım yönetim sistemi kurmaktır. Ali için, bulut bilişim teknolojisinin tanıtımı, bilgi işlem kaynaklarının esnek bir şekilde konuşlandırılmasına izin verirken bir miktar belirsizlik de getirdi. Geleneksel iş bölümü arayüzü, iş süreci ve acil durum planı, özellikle yıkıcı bir test olacak olan yazılım bakımı açısından, sistem bulutlaşma derecesinin güçlendirilmesiyle birlikte kademeli olarak değişecektir.
Dönüşüm ilk olarak erişim katmanında kapsamlı bir bulut masaüstünün uygulanmasıyla resmi olarak başladı, ardından CRM sisteminin erişim modülü için bir bulutlaştırma pilotu ve BOSS sisteminin ayrıntılı faturalarının depolanması izledi. Alibaba Cloud, donanımın sanal makine ve X86 dönüşümüne ek olarak, uygulama yazılımlarının dağıtık veri tabanlarına ve açık kaynak veri tabanlarına dayalı olarak dönüştürülmesine de odaklanıyor.Bazı yeni üretim sistemlerinde sistem yapımı için bulut bilişim teknolojisi kullanılıyor. Ali için bu, "yeniden doğmuş" bir tedaviden başka bir şey değildir. Kemik değişikliğinden sonra yeni bir hayat ... Geçen yılın saat 11'in iki katının ilk saniyesinde, bu saniyede nihai esnekliğe sahip bulut veritabanı, zirvenin yüz katı anlık artışa dayandı ve geçen yılın iki katı 11'i de destekledi. 213,5 milyara kadar satış.
Bulut yerel veritabanı mimarisindeki değişiklikler
Bulut yerel veritabanına girmek istiyorsanız, önce ürünün kendisinin oynadığı role geri dönmelisiniz. Günümüzde, verilerin işlenmesi artık yalnızca bilgi işlem gücüne dayalı değildir. Esas olarak, kullanıcıların ihtiyaçlarıyla yakından ilgili olan ve daha sonra bulut tabanlı bir veritabanı çerçevesine, yani "eksiksiz altyapı bulutlaştırması, temel teknoloji olan akıllı algoritmaların araştırılmasına odaklanmaktadır. İnternet ve üst üste yerleştirilmiş "büyük veri + zeka" platformu. Bulut tabanlı veritabanı çerçevesini izleyerek ve ardından onu iyileştirerek, temel bağlamın üç öğesi yavaş yavaş netleşti, yani "bulut bilişim yalnızca çerçevede temel bilgi işlem gücü olarak kullanılır; endüstri algoritmaları, verileri akıllıca işlemek için ana araçtır; veri oluşturmak + "Akıllı Çiçek Platformunun" temeli, altyapının bulutlaştırılması ve temel teknolojilerin İnternetleştirilmesidir. "Bulut tabanlı veritabanı modeli hakkında daha fazla düşündüğümüzde, orijinal veritabanının aslında" veri merkezi "rolünü oynadığını düşünmek zor değil .
Peki, "veri merkezi" nedir? Yani, veri teknolojisi aracılığıyla, toplu veriler toplanır, hesaplanır, depolanır ve işlenir ve standartlar ve kalibreler birleştirilir. Veri merkezi verileri birleştirdikten sonra, standart verileri oluşturacak ve ardından depolayacak ve ardından müşterilere verimli hizmetler sunmak için büyük bir veri varlığı katmanı oluşturacaktır. Alibaba Cloud PolarDB'yi örnek olarak alın.Orijinal RAFT protokolüne dayalı yeni bir konsensüs protokolü (ParallelRaft) geliştirdi.Veri tutarlılığını sağlama öncülüğünde, konsensüs protokolünün ardından PolarFS'nin paralel yazma performansını iyileştirdi. Yük koşulları altında, ortalama gecikme yarı yarıya azaltılır ve sistem verimi iki katına çıkar. Bu aynı zamanda PolarDB'nin neden artık tek bir ürün olmadığını, ancak şirketlerin veritabanlarını buluta taşımalarına yardımcı olacak eksiksiz bir ekolojik çerçeve olduğunu da açıklıyor. Alibaba Bulut Veritabanı Ürün Direktörü Cao Wei, Titanium Media'ya yanıt olarak, "İstihbarat sağlamak veritabanı geliştirmenin gelecekteki yönüdür. PolarDB, kullanıcılara çok boyutlu analiz ve analiz hesaplamaları sağlamak için sonraki sürümlerde" veri merkezi "kavramına odaklanmaya devam edecek. kabiliyet."
Aynı zamanda, bulut veritabanlarının mimari yönünü netleştirmek, bulut veritabanlarının doğasını anlamanın da anahtarıdır. Mevcut çok modlu mimari, bulutta yerel veri geliştirmenin ana akım trendi haline geldi, yani bir veritabanı platformu, uygulamalardaki yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verilerin birleşik yönetim gereksinimlerini karşılama dahil olmak üzere birden çok depolama yöntemini destekler. Genel olarak, yapılandırılmış veriler özellikle form türünün veri depolama yapısını ifade eder ve tipik uygulamalar, bankaların temel işlemleri gibi geleneksel işlerdir; yarı yapılandırılmış veriler, kullanıcı portreleri, IoT cihaz günlüğü toplama ve uygulama tıklama akışı analizi gibi senaryolarda büyük ölçüde iyileştirilir. Büyük ölçekli kullanım; yapılandırılmamış veriler, esas olarak finansal teknolojide kullanılan büyük görüntü, video ve belge işleme hizmetlerine odaklanır. Çok modlu mimari, kullanım, işletim ve bakım maliyetlerini azaltırken, departmanlar arası ve işletmeler arası verilerin birleşik depolama ve yönetimini tamamlayarak, çok işli veri entegrasyonu sağlar ve çeşitlendirilmiş hizmetleri destekler.
Ek olarak, "bilgi işlem-depolama katmanının" ayrılması artık ana akım bir teknoloji yönüne dönüşmüştür. Öyleyse, "bilgi işlem-depolama katmanı" ayrımı ile ne kastedilmektedir? Yani, protokol analizi ve hesaplama gibi modülleri temel depolamadan ayırmaktır, veritabanı bulut platformu daha sonra depolamanın elastik yatay genişlemesini sağlamak için depolama katmanını parçalar.Aynı zamanda, bilgi işlem katmanının durumsuz tasarımı, bilgi işlem katmanının düğüm sayısını artırarak bilgi işlem kapasitesini doğrusal olarak artırmasına olanak tanır. , Böylece tüm veritabanı bulut platformunun esneklik seviyesi genişliyor. Kısaca veritabanının depolama motoru ve SQL motorunun birbirine gevşek bir şekilde bağlandığı ve bağımsız olarak çalıştığı mimariyi ifade eder.
Genel olarak konuşursak, bu tür bir ayırma mimarisi üç modülden oluşur: depolama, SQL ve meta veriler. Depolama katmanı, verilerin depolama yönetiminin işlenmesinden sorumlu olan veritabanının depolama motorudur.Ayrıca, verilerin ACID özelliklerini sağlamak için yönlendirme ve işlem kontrolünü içerir.Ayrıca, depolama katmanı ayrıca indeksleme, sorgu durumu filtreleme ve sıralama gibi bir dizi işleve sahip olmalıdır. SQL katmanı, temelde SQL isteklerini işlemek, üst katmanı uygulamalarla bağlamak, uygulama erişim isteklerini depolama katmanına dağıtmak ve depolama katmanının döndürdüğü veri sonuçlarını almaktan sorumlu olan ara katman katmanıdır ve meta veri alanı tüm veritabanının tüm meta verilerini depolamaktan sorumludur. Veri bilgisi. Şu anda AWS Aurora, tek SQL erişimi sürecinde benzer bir mimariyi benimsemiştir.
Veri kaynağı: Essence Securities Araştırma Merkezi tarafından derlenmiştir
Tesadüfen, Alibaba Cloud PolarDB, dağıtılmış paylaşımlı depolamaya ulaşmak için yüksek hızlı ağlar kullanır ve böylece "bilgi işlem-depolama katmanı" nın kapsamlı bir ayrımına ulaşır. Bu ayırma mimarisinin gelişinin doğrudan etkisi, depolama düğümlerinin ve teknoloji düğümlerinin esnek kablo genişlemesidir.Bunun nedeni, teknoloji düğümlerinin, bulut tabanlı veritabanı çağında buluttaki kullanıcıların ihtiyaçlarını karşılayabilecek bir yazma ve çoklu okuma işlevine sahip olmasıdır. "Taşıma çağında" geleneksel veritabanları tarafından sağlanamayan bir dizi hizmet. Aliyun PolarDB'nin şu anda endüstri standardı olan sysbench'te (açık kaynaklı çok iş parçacıklı bir performans test aracı) CPU / bellek / iş parçacığı / IO / veritabanı üzerinde performans testleri gerçekleştirebilmesi, bu mimarinin teknik avantajlarına dayanmaktadır. Test ve değerlendirme araçları) - "Geleneksel veritabanlarıyla karşılaştırıldığında Alibaba Cloud PolarDB, önde gelen yabancı satıcılarla (AWS Aurora gibi) karşılaştırıldığında on kat daha uygun maliyetlidir; Alibaba Cloud PolarDB, bazı durumlarda eski performansa ulaşır İki kat fazla. "
Teknik açıdan bakıldığında, Alibaba Cloud PolarDB tarafından benimsenen bilgi işlem ve depolama mimarisi ayrımı, "bilgi işlem-depolama" kaynak havuzuna izin verir. Veritabanı, bir bilgi işlem kaynak havuzu oluşturan bilgi işlem düğümleri aracılığıyla çalışır; veriler depolama düğümlerinde depolanır ve depolama düğümleri de bir depolama kaynak havuzu oluşturur. CPU ve bellek talebi karşılayamadığında, bilgi işlem kaynak havuzu genişletilebilir.Kapasite veya IOPS (saniyede okuma ve yazma) talebi karşılayamadığında, depolama kaynak havuzu genişletilebilir. Her iki havuz da talep üzerine genişletilir ve depolama Düğümler ve hesaplama düğümleri iki yönde optimize edilebilir.
Buna karşılık, geleneksel veritabanı dağıtım modeli bir baca modelidir.Bir ana bilgisayar veritabanını çalıştırmalı ve verilere erişmelidir.Performans geçişi iki sorunu beraberinde getirir. Birincisi, CPU ve disk oranı esas olarak gerçek iş ihtiyaçlarına bağlıdır.En uygun oranı önceden bulmak zordur, bu da doğrudan en uygun modeli seçmede zorluğa yol açar; ikincisi, bir üretim kümesinde disk parçalanması sorununu getirir. Son derece düşük kullanım oranlarına sahip bazı makine diskleri vardır, bazıları% 10'dan bile daha azdır, ancak iş kararlılığı gereksinimleri nedeniyle bu makine diskleri, ana bilgisayarın kaynak tahsisi için son derece lüks olan ana bilgisayarın CPU'sunu tekeline alır. Kaynak israfı. Depolama kaynağı havuzlaması yoluyla, bu iki sorun çözülebilir, SSD kullanım oranı iyileştirilir ve maliyet doğal olarak azaltılır.
Depolama maliyetini salt okunur bir örnekten analiz ederseniz, bunun nedeni geleneksel veritabanının salt okunur bir örnek olmasıdır. "Bir kez yaz ve çok oku" çözümünün sözde uygulaması, salt okunur bir kopya oluşturarak, önce geçici bir örneği geri yüklemek için yeni bir tam yedeği kopyalayın ve ardından geçici örneği ana kitaplığa veya diğer binlog kaynaklarına eşzamanlı olarak artırmak için bağlayın. Hacim verileri. Veri artışı yakaladığında, geçici örnek çevrimiçi olarak eklenir ve salt okunur bir kopyaya yükseltilir. Bu yaklaşımla ilgili iki sorun vardır. Bir yandan zaman alıcıdır. Salt okunur bir örnek oluşturmak için gereken süre genellikle veri miktarıyla orantılıdır; diğer yandan pahalıdır, bu da depolama maliyetinde bir artış gerektirir. Örneğin, bir kullanıcı bir tane satın aldığında Ana örnek artı beş salt okunur örnek varsa, 7-8 kopya depolama için ödeme yapmanız gerekir (bunların 7 veya 8'i ana örneğin iki kopya veya üç kopya olmasına bağlıdır).
Alibaba Cloud PolarDB mimarisinde bu iki problem çok iyi bir şekilde çözülebilir. İlk olarak, yeni eklenen salt okunur örnekler için veri kopyalamaya gerek yoktur. Bulutta yerel verilerin avantajı, 2 dakika içinde büyük miktarda verinin oluşturulmasına izin verir. İkinci olarak, ana örnek ve salt okunur örnek aynı depolama kaynaklarını paylaşır. Bu mimari, salt okunur kopyalar ekler ve sıfır ek depolama maliyeti sağlayabilir. Bu noktada, kullanıcıların yalnızca salt okunur örnek tarafından tüketilen CPU ve bellek için ödeme yapması gerekir.
Alibaba Cloud PolarDB ve geleneksel veritabanı maliyet karşılaştırması Veri kaynağı: Alibaba Cloud resmi
Gerçek sahne uygulaması karşılaştırmalarından elde edilen veriler genellikle çok daha gerçek görünmektedir 2007 yılında Hong Kong Borsası'nda listelenen Intime Departman Mağazasının ilk perakende sektörü temsilcisi olarak, yüksek veritabanı işletim ve bakım maliyetleri Intime'dan farklı değildir. Yutması zor acı bir şarap. Raporlara göre Intime'ın veritabanı maliyeti 2016'da on milyonları aştı. Sonuç olarak Intime, üyelik veritabanını bulut tabanlı bir veritabanı platformuna taşımaya karar verdi ve bu hareket aynı zamanda Intime'a ideal bir sonuç verdi. Geçen yıl Double 11 promosyonunda Intime, geleneksel çevrimdışı veritabanlarına kıyasla maliyetlerde% 60'tan fazla tasarruf sağlarken en yüksek dalgalanmanın 20 katına dayanabildi.
Bulut yerel veritabanlarına performans saldırısı
Huawei Bulut Veritabanının kıdemli mimarı Huang Wei, bir keresinde kamuoyuna şunları söyledi: "Bulutta yerel veritabanı aslında bir buzdağı modelidir ve buzdağının altındaki veritabanı motorunun bulutlaştırılması onun çekirdeğidir." Gerçek veri yönetimi ve işleme veritabanı motoru tarafından yapılır. Bulut satıcıları iki kategori sağlayacaktır: biri yerel bir veritabanı motoru ve ikincisi optimize edilmiş bir veritabanı motorudur. Huang Wei ekibinin deneyine göre, 32 bağlantı koşulu altında, HWSQL yerel MYSQL'den daha iyi performansa sahip, ancak fark açık değil. Bağlantı sayısındaki artışla birlikte, örnek olarak 8000 bağlantı alındığında, HWSQL'in performansı MySQL'in yaklaşık on katıdır. Bu açıdan bakıldığında, bulut için optimize edilmiş veritabanı motorları, yerel veritabanlarından daha iyi performans ve güvenilirlik sağlama eğilimindedir.
Örnek olarak MySQL'i ele alalım.Kullanıcıların hissedebilecekleri ilk şey, bir veya daha fazla diskin bir VM (sanal makine) altında askıya alınmasıdır. Düğümlerden herhangi biri veya raflardan herhangi biri veya veri merkezlerinden herhangi biri, veritabanı sisteminin hala kullanılabilir olduğundan emin olmak için aşağı inerse. Bu modda, MySQL'in diskteki otomatik ikili yazma özelliği ile birleştiğinde, MySQL'in sorunları ortaya çıkar. Diskte ikili olarak yazılması gereken büyük miktardaki veri, buluta büyük bir yük getirir ve ayrıca ağ bant genişliğini kullanır. , Olayın işlem süresi gecikmesi de artar. Kurumlar için veritabanının uzun süre gecikmesi ciddi bir kusurdur.
Bulut üzerindeki "bilgi işlem-depolama katmanı" ayırma mimarisi bu sorunu iyi çözmektedir Ayrılmanın sonucu, her modülün kendi iş parçacığı işlemesine odaklanması ve bilgi işlem düğümü ve depolama düğümünün bağımsız olarak genişletilebilmesidir. Ek olarak, hepimizin bildiği gibi, depolama birimi felaket kurtarma yedeklemesi gerçekleştirirken, veritabanı aynı zamanda bir felaket kurtarma olmalıdır.Şu anda, depolama düğümü, yedekleme felaket kurtarma ile entegre edilebilir ve bilgi işlem düğümünden depolama düğümüne giden veriler yalnızca orijinal Ağ bant genişliği doluluğunun yedide biri ve buna bağlı olarak gecikme artar, bu da performanstaki önemli artışa doğrudan yansır.
Alibaba Cloud PolarDB, Gartner Database Magic Imagination China tarafından, özellikle depolama motoru ve bilgi işlem motoru performansının optimizasyonu nedeniyle seçilen tek seçenektir. Depolama motoru optimizasyonu açısından, ilişkisel veritabanları IO (giriş ve çıkış) yoğun uygulamalar olduğundan, veritabanı performansını iyileştirmenin anahtarı IO performansını iyileştirmektir.Bu aynı zamanda veritabanı alanının son on yılda neden SSD kullandığını da açıklar ( Katı hal sürücüsü) HDD'yi (mekanik sabit sürücü) değiştirin.
Veri tabanı işlemenin ötesinde iş hacmindeki artış, 3DXpoint depolama ortamı Optane bellek kartı (ultra yüksek hızlı bellek için yeni teknoloji), NVMe (Mantıksal Aygıt Arayüzü Spesifikasyonu) SSD ve RoCE RDMA (yeni bellek erişim teknolojisi) dahil olmak üzere en son donanım teknolojilerini gerektirir ) Ağın ayrıca, yazılım yığınının tüm IO zincirinin derin optimizasyonunu gerçekleştirmesi gerekir, yani veritabanı, dosya sistemi, ağ iletişim protokolü, dağıtılmış depolama sistemi ve aygıt sürücüleri bağlanır. Bu noktada Alibaba Cloud PolarDB, yazılım katmanında yüksek hızlı bir Optane kartı ile yüksek kapasiteli ve yüksek verimli bir NVMe SSD'yi birleştirir. İkisi bir hibrit depolama katmanında birleştirilir. Hibrit depolama katmanının avantajı, verilerin yazılmasını sağlamaktır. Düşük gecikme, yüksek verim ve yüksek QoS (hizmet kalitesi), genel çözümü hem uygun maliyetli hale getirir.
Li Feifei, "PolarDB, işletim sistemi baypas ve bulut tabanlı veritabanlarına sıfır kopyalama gibi iki temel teknolojiyi ilk kez uyguluyor." Dedi. Baypas çekirdeğinin işlevi donanım performansını sıkıştırmaktır.Bu nedenle Alibaba Cloud veritabanı ekibi, Linux çekirdeği tarafından sağlanan mekanizmaları (blok cihazları gibi), dosya sistemi girişini (ext4 gibi), TCP / IP protokol yığınını ve soket programlama arayüzünü cesurca attı ve seçti. Sıfırdan başlayın ve kullanıcı modunda çalışan eksiksiz bir IO ve ağ protokol yığınları seti geliştirin.
Aliyun PolarDB kullanıcı modu protokolü, çekirdek IO protokolünün hız sorununu çözer.Bir yandan, kullanıcı programı, donanım cihazını kullanıcı modunda DMA (doğrudan bellek erişimi) aracılığıyla doğrudan çalıştırır ve IO olayını sorgulama yoluyla tamamlamak için donanım cihazını izler. Bağlam değiştirme ve kesinti ek yükünü ortadan kaldırır; Öte yandan, kullanıcı programı IO işleme iş parçacığını ve cpu'yu tek tek eşler ve her bir GÇ işleme iş parçacığı, farklı GÇ isteklerini işlemek ve farklı GÇ aygıtı donanım kuyruklarını bağlamak için CPU'yu tekeline alır. .
Bir IO talebinin tüm yaşam döngüsünün, karşılıklı dışlama için kilitler olmadan bir iş parçacığı ve bir CPU üzerinde işlendiğini belirtmek gerekir. Bu teknoloji, yüksek hızlı cihazlarla performans etkileşimini en üst düzeye çıkarır.Doğrusal genişleme yeteneklerini korurken, aynı zamanda bir CPU'nun saniyede yaklaşık 200.000 kez IO işleme kapasitesine sahip olmasını sağlar, bu da 4 CPU anlamına gelir. Performans ve ekonomi açısından çekirdekten çok daha yüksek olan saniyede 800.000 IO işleme kapasitesine ulaşabilir.
"Sıfır kopya", CPU'nun tüm süreç boyunca senkronize edilmiş veri bloğuna erişmesine gerek olmadığı anlamına gelir.Bunu başarmak için Alibaba Cloud PolarDB, RDMA yoluyla akıllıca günlük verilerini depolama düğüm belleğine gönderir ve depolama düğümleri RDMA aracılığıyla birbirini kopyalar. Her depolama düğümü, NVMe arabiriminin depolama ortamına veri yazmak için SPDK kullanır. Ana veri tabanı ve salt okunur düğüm, verileri fiziksel çoğaltma yoluyla senkronize eder ve veriler, doğrudan salt okunur düğümün belleğine güncellenir, böylece fiziksel çoğaltmadan veri tabanının birden çok kopyasını gerçekleştirir.
Bilgi işlem motoru performans optimizasyonu açısından, ilk Alibaba Cloud PolarDB, mandalı daha küçük taneli kilitlere ayırmak ve mandalı bir referans sayma yöntemine dönüştürmek gibi yüksek eşzamanlılık senaryoları için motorun dahili kilitlerinde birçok optimizasyon yaptı. Kilit rekabeti vb.'den kaçınmak için Alibaba Cloud PolarDB'nin Sunucu katmanındaki MDL kilitleri gibi bazı sıcak veri yapılarını Kilitsiz (kilitsiz) bir yapıya dönüştürdüğünü de belirtmek gerekir.
İkinci olarak, mevcut SSD sabit disklerinin çoğu 4K hizalıdır (sabit disk ömrünü iyileştirmek ve sabit disk alanını verimli kullanmak için çözümler sağlamak üzere dosya sistemi formatını sabit disk fiziksel katmanıyla eşleştirmek için özel bir yöntem kullanan bir tür gelişmiş sabit disk kullanım teknolojisi) ve MySQL Kod, ilk diskin 512 bayt hizalamasına göre hala günlükleri temizliyor.Doğrudan performans, diskin SSD diskinin performansını sınırlandıran çok sayıda gereksiz okuma işlemi gerçekleştirmesidir. Bu nedenle Alibaba Cloud PolarDB, günlük gönderim sürecindedir. İlgili optimizasyon gerçekleştirildi ve benimsediği Double RedoLog Buffer (çift günlük tamponu) paralellik derecesini daha da geliştirdi.
Son olarak, Alibaba Cloud PolarDB, veri sayfası boyutuna dayalı olarak paralel performansı iyileştirmek için büyük çaba sarf etti ve ayrıca MTR günlüğüne bir uzunluk alanı eklemek için fiziksel çoğaltmada gerekli süreçleri optimize etti. Örneğin, bu basit optimizasyon işlemi, günlük ayrıştırma aşamasında yaklaşık% 60 zaman maliyetinden tasarruf sağlar. Ek olarak, Dummy Index bellek veri yapısını yeniden kullanarak, Malloc / Free üzerindeki yükü azaltır, böylece replikasyon performansını geliştirme ve gecikmeyi azaltma amacına ulaşır.
Rasyonaliteye dönün ve bulut yerel veritabanlarının geleceğini keşfedin
Son yıllarda bulut tabanlı veritabanlarının neredeyse görmezden gelinen eğilimi, temel olarak maliyet seviyesindeki avantajları ve bulut hizmetlerinin desteğinden kaynaklanmaktadır, ancak mevcut bulut yerel veritabanlarının henüz gerçek olgunluğa girmediğini açıkça anlamalıyız. (Teknoloji, pazar) aşaması, pazarın geleneksel veri tabanlarına olan talebinin yerini tutamaz.
Şu anda, büyük çoklu bulut bilişim satıcıları tarafından geliştirilen veritabanı sistemlerinin pazar hedefi, lisansları geleneksel yazılım olarak satmak yerine, kendi ürünlerinin bulutu üzerinde hizmet sağlamaktır. Bu nedenle Oracle'dan kurtulmayı planlayan ve yerli veritabanlarını benimsemek isteyen ancak bazı özel nedenlerle buluta gitmeyi planlamayan birçok kullanıcı, bu tür ürünleri özlüyor.
Öte yandan, bulut bilişim sağlayıcıları tarafından geliştirilen veri tabanı yalnızca kendi bulutları üzerinde hizmet sunabilir.Birçok bağımsız yazılım satıcısı için benzer bir geleneksel, bağımsız ilişkisel veri tabanını ve bu veri tabanını tercih etme eğilimindedirler. Çeşitli bulut bilişim platformlarında çalışabilir, bu nedenle "önce bulut" stratejisinde kalmaya devam eder, yani işletmenin otomatik olarak tamamen "bulut" olmasını gerektirmez, bunun yerine kurumsal bulut stratejik dağıtımını işletme uzantısının ihtiyaçlarına göre gerçek zamanlı olarak güncellemesi ve optimize etmesi gerekir. , Yavaş yavaş kurumsal "bulut" kavramını gerçekleştirin.
Çin Sanayi ve Ticaret Bankası tarafından kısa süre önce açıklanan en son merkezi satın alma ve tedarikçileri örnek alarak, Oracle, 96.939 milyon yuan ile işletim sistemi ve veritabanı yazılımı ürün yükseltme koruma projesinde kısa listeye alındı, bu da geleneksel ticari veritabanlarının hala oldukça yeri doldurulamaz olduğunu gösteriyor. Bulut yerel veritabanı büyük bir eğilimdir, ancak veritabanı bulutuna giden yol uzun vadeli bir süreçtir.
Son olarak, bulut bilişim satıcılarının mevcut ana işi bulut hizmetleri sağlamaktır ve bulut bilişim satıcıları genellikle bulut üzerinde MySQL, PostgreSQL ve kendi geliştirdiği veritabanları gibi çoklu veritabanı platformları sağlar. Bulut satıcılarının kendi geliştirdiği veritabanı bunlardan sadece bir tanesidir, sadece müşterilere daha fazla seçenek sunar ve gerçek bir avantajı olması gerekmez.
Teknoloji türetme aşaması perspektifinden bakıldığında, bulut veritabanları genel olarak üç aşamaya ayrılmaktadır.Birincisi, veritabanının hizmeti, iyi bir işletim ve bakım sağlaması, veritabanının fiziksel inceleme ve hizmetinde iyi bir iş çıkarması; ikincisi ise bulutun temelini hedefleyerek motoru iyileştirmektir. Performansını ve güvenilirliğini artırmak için tesisler; üçüncüsü kendi geliştirdiği motordur, kendi geliştirdiği motorun anlamı, son derece yüksek performans / büyük ölçekli / yüksek güvenilirlik ile bulut tasarımına dayanmaktadır.
Örnek olarak Çin'deki bulut bilişim pazarında baskın olan Alibaba Cloud'u ele alalım. Alibaba Bulut Veritabanı Ürün Direktörü Cao Wei, Titanium Media'ya şunları söyledi: "Şu anda Alibaba Cloud üçüncü aşamada. 100'den fazla patente sahipken, hala geçen yılın VLDB'sinde. Ve bu yılki SIGMOD'un iki büyük veritabanı, dünyanın en önemli veritabanı akademik konferansında iki makale yayınladı. "
Yıldız ürünü Alibaba Cloud PolarDB, 2014'ten beri geliştirilmektedir. 5 yıl içinde, PolarDB yinelemeli süreci, gelecekteki bulut yerel veritabanının görünümünü kademeli olarak netleştirmiştir. Yani, bir veritabanı yalnızca birden çok veri tabanının mevcut karma kullanımını karşılamakla kalmaz, aynı zamanda Araştırma yeteneklerine ve finansal avantajlara dayanan ürün, işletmelerin dijital yükseltmesi için gereken BT altyapısının dönüştürücü bir evrimini elde etmek için OLTP (Çevrimiçi İşlem İşleme) ve OLAP (Çevrimiçi Analitik İşleme) veritabanının entegre tasarımını gerçekleştirmek için bir fırsat olarak kullanılır.
Geleneksel ticari veri tabanlarının yabancı ülkelerin gerisinde kalmasıyla birlikte, bulut tabanlı veri tabanlarının konuşlandırılması, Çin'in gelecekte veri tabanı alanında bir şehri yeniden kazanmasını sağlayabilir. (Bu makale ilk olarak Titanium Media, yazar / Sang Mingqiang, editör / Liu Xiangming tarafından yayınlandı)
Daha heyecan verici içerik için Titanium Media WeChat ID'yi (ID: taimeiti) takip edin veya Titanium Media Uygulamasını indirin
