Huawei, AI yerel veritabanı GaussDB ve dağıtılmış depolama FusionStorage 8.0'ı yayınladı
Genel Bakış
Geçtiğimiz ay, Huawei yapay zeka yerel (AI-Native) veritabanı GaussDB'yi ve sektörde performans gösteren dağıtılmış depolama FusionStorage 8.0'ı dünyaya yayınladı.Uzun yıllara dayanan AI teknolojisini ve yeteneklerini ve veritabanı deneyimini yeni ürünlere entegre ederek birçok yenilikçi atılım gerçekleştirdi. Örneğin, yapay zeka teknolojisi, dağıtılmış veritabanlarının tüm yaşam döngüsüne entegre edilmiştir ve bir dizi depolama aynı anda blokları, dosyaları, nesneleri, HDFS protokollerini vb. Destekleyebilir.
Bunların arasında en kıyaslama senaryosu uygulaması China Merchants Bank'tır. Uygulamada:
Huawei'in GaussDB yönetim veri kapasitesi 10 kat, AZ'deki hata kurtarma hızı ise 30 kat artırıldı. Hata kurtarmayı örnek olarak alırsak, GaussDB'nin RTO süresi 1 saniyeden azdır, diğer üreticiler ise 30 saniyeye ihtiyaç duyar;
FusionStorage 8.0, China Merchants Bank'ta kanal erişimi, geliştirme ve test, VDI ve büyük veri sistemlerini devreye aldı.Bir depolama seti, orijinal dört tür depolama cihazının yerini alarak toplam sahip olma maliyetinde% 40 tasarruf sağlar ve iş başlatma hızını 9 kat artırır. İkinci olarak, yapay zeka teknolojisini depolama yaşam döngüsü yönetimine entegre edin ve kaynak planlama, hizmet sağlama, sistem ayarlama, risk tahmini ve hata konumu açısından akıllı operasyon ve bakım yönetimini gerçekleştirin ve bulut üzerinde bulutta işbirliği gerçekleştirin. Ayrıca, saniyede 168.000 okuma ve yazma hızına (IOPS) varan tek düğüm performansı ve 1 milisaniyeden daha az gecikme ile dağıtılmış depolamanın performansı sektörün ilkidir. ARM'nin bilgi işlem gücüne bağlı olarak, IOPS% 20 artırılır ve AI Fabric ağına bağlı olarak gecikme% 15 oranında azaltılır.
9 yıllık araştırma ve geliştirme ve cilalamanın ardından, düşük anahtar ve temkinli Huawei nihayet GaussDB veritabanının gizemini kaldırdı ve sahnenin önüne getirdi.
Aslında, GaussDB bir ürün değil, bir dizi ürün için toplu bir isimdir. Şu anda, GaussDB, OLTP odaklı veritabanları, OLAP odaklı veri ambarları ve karışık işlem ve analiz işleme için HTAP veritabanları dahil olmak üzere en az 3 ürün içerir.
Veritabanı çekirdeği geliştirmeye giden uzun yol
Veritabanı çekirdeğinin gelişimi, bir bıçağın ucunda dans etmek gibidir.Bu çok fazla baskı gerektirir.Kirdek mimarisi ve mekanizmasının formülasyonunda net bir değerlendirme yoksa, o zaman çevrimiçi olurken problemler olacaktır ve sonuçları ciddi olacaktır. Çünkü belirlenen yön ileri taşınmazsa devrilmeye neden olacaktır. Bir çekirdek Ar-Ge mühendisi yazara söyledi.
2007 yılında, telekomünikasyonun gerçek zamanlı faturalandırma projesinin zorlukları nedeniyle Huawei, bir bellek veritabanının manuel olarak araştırılmasını ve geliştirilmesini organize etmeye başladı, proje kodu, Huawei'ye kadar izlenebilecek en eski veritabanı araştırma ve geliştirme kaydı olan GMDB'dir.
O zamanlar, Huaweinin kendi geliştirdiği bir bellek içi veritabanı geliştirme kararı yüce bir fikir değil, basit bir fikirdi. Birini satmak ve öldürmek için bir veritabanı oluşturmak dış dünya tarafından hiç tahmin edilmemişti. Bunun tek nedeni, telekom faturalama alanında Huaweinin çözümünün bulunmamasıydı. Onunla iyi uyan bir veritabanı, daha fazlası değil.
Hepimizin bildiği gibi, telekomünikasyon endüstrisinin veritabanları için, özellikle de değişiklikler için büyük miktarda çalışma gerektiren kullanılabilirlik ve özelleştirme için daha yüksek gereksinimleri vardır.Ancak, orijinal fabrikanın değişikliklerle işbirliği yapmasına izin vermek için yabancı veritabanları kullanılırsa, diğerleri işbirliği yapmayabilir. Bu nedenle Huawei, çaresizlik içinde kendi çözümlerinin rekabet gücünü artırmak için kendi geliştirdiği veri tabanı yoluna girmek zorunda kaldı.
Bununla birlikte, 2007'deki GMDB büyük ölçekli ticari kullanım elde edemedi ve yalnızca küçük bir aralıkta test edildi, ancak bu sürüm çok sayıda insanı eğitti. O zamanlar, Çin'deki veritabanı çekirdeklerinin geliştirilmesi hakkında çok az bilgi vardı ve çok az deneyimli insan vardı.
Ancak, Miao uzun süre endişelenmedi. 2010 yılında, Huawei veritabanı Ar-Ge ekibi 2007 sürümünü yeniden düzenlemeye başladı ve yeniden düzenlenen sürüm için ilk kod satırını yazdı:
"Typedef struct st_database {...} veritabanı_t;"Veritabanı nesnelerinin tanımı.
Bu sürümden başlayarak, Huawei'nin veri tabanının konumlandırılması artık bellek içi veri tabanlarıyla sınırlı değil, kademeli olarak genel amaçlı ilişkisel veri tabanlarına dönüşüyor. Yeniden yapılandırma sürecinde çok sayıda bellek dışı veri tabanı dahil edilmeye başlandı. Bu, Gauss OLTP veri tabanının öncülüdür. .
Yeniden düzenlenmiş versiyonun kalitesi önemli ölçüde iyileştirildi. 2012 yılında GMDB, özellikle telekom faturalama alanında büyük ölçekte ticarileştirilmeye başlandı.Aynı zamanda, Huawei bünyesinde birçok destekleyici çözüm de GMDB'yi kullanmaya başladı.
Huawei GaussDB 200
Huawei GaussDB 200, 2012'de başladı. Ar-Ge ekibi endüstri veri tabanının ilgili teorilerini ve teknolojilerini analiz etti ve geleneksel ilişkisel veri tabanlarına ve güçlü işlem tutarlılığına dayalı SQL motoru temelinde dağıtılmış ve paralel hesaplamanın dönüşümünü gerçekleştirdi. Çeşitli endüstrilerde PB düzeyinde büyük veri analizi için rekabetçi çözümler sağlamak üzere lider bir mimariye sahip bir analitik veritabanı oluşturmak 6 yıl sürdü.
GaussDB 200, standart ANSI SQL 99/2003 sözdizimi ve PostgreSQL ekosistemi ile uyumludur.
Tescilli donanım kullanan geleneksel veri ambarı ürünlerinden farklı olarak, GaussDB 200 genel amaçlı bir X86 sunucusunda çalışır ve MPP + hiçbir şey paylaşmayan mimariyi benimser, bu nedenle iyi bir ölçeklenebilirliğe sahiptir. Veritabanı, işi kesintiye uğratmadan çevrimiçi olarak genişletilebilir.
Bu genişletme, kullanıma hazır olan ve genişletilmemiş tablolar ile genişletilmiş tablolar arasındaki korelasyon analizini destekleyen bir tablo düzeyinde genişletme mekanizmasını benimser; genişletme ve yeniden dağıtım işlemi sırasında veri değişikliklerini (eklemeler, silmeler ve değişiklikler) kaydetmek ve temel verileri beklemek için artımlı bir mekanizma sunulur Yeniden dağıtım tamamlandıktan sonra, artımlı veriler genişletilmiş kümede birleştirilir; görev, yeni ve eski veri değiştirme hizmetlerinin kesintiye uğramamasını ve bilinçsiz olmasını sağlamak için otomatik olarak Yeniden Dene mekanizmasını bekler.
GaussDB 200 MPP düğümler arası paralellik + SMP tek makineli çok çekirdekli paralellik + sütun depolayıcı vektörleştirilmiş komut kümesi paralelliği + LLVM makine kodu derlemesi ve diğer teknolojiler, küme donanım kaynaklarını tam olarak kullanabilir ve trilyon düzeyindeki veri sorgularına saniyeler içinde yanıt verme yeteneğine ulaşabilir. Bunların arasında, genel amaçlı X86 sunucuları, donanım kilitlenmesini önlemek için esnek kümeleme ve çapraz nesil uyumluluk gibi özellikler sağlayabilir.
- Mimari tasarım açısından, donanımdaki diskler, anahtarlar ve ağ kartları yüksek kullanılabilirlik tasarımını benimser; yazılımda, düğüm etkinliğini koordine etmek için tam bileşenli yüksek güvenilirlikli bir mimari benimsenmiştir.Veri düğümleri benzersiz bir şekilde ana + bekleme + Handoff üçlü veri koruması, GTM'dir (Global İşlem Yönetim) ve diğer süreçler aktif bekleme şemasını benimser. Kümedeki herhangi bir düğüm arızasının işi kesintiye uğratmamasını sağlayabilir.
- Güvenlik açısından yeni ürün, istemci bağlantıları için SSL sertifika hizmetlerini desteklemektedir; Huawei Siber Güvenlik Laboratuvarı'nın ICSL sertifikasyonunu geçmiştir ve Birleşik Krallık tarafından yürürlüğe konulan ağ güvenliği standartlarına uygundur.
GaussDB 200, SQL aracılığıyla HDFS üzerindeki verilere erişimi destekler, CUDF'yi destekler ve tam metin almayı destekler, böylece veri işi yeniliği için basit uygulama teknik araçları sağlar.
sonuç olarak
Huawei GaussDB tarafından yayınlanan videodaki bir satır metni hatırlayın: Matematiğe selam, bilim adamlarına selam. GaussDB yalnızca Huawei'nin matematik ve bilime duyduğu hayranlığı değil, aynı zamanda Huawei'nin ısrarını ve temel yazılım hayalini de taşıyor.
Daha sonra daha fazla devop ve DBA içeriği paylaşacağım ve ilgilenen arkadaşlar buna dikkat edebilir ~
