Alibaba'nın yeni nesil bulut analitik veritabanı AnalyticDB, Forrester Wave için seçildi
Önsöz
Kısa süre önce, dünyanın yetkili BT danışmanlık kuruluşu Forrester, "The Forrester WaveTM: CloudData Warehouse Q42018" araştırma raporunu yayınladı ve Alibaba AnalyticDB başarıyla seçildi! Alibaba tarafından bağımsız olarak geliştirilen PB düzeyinde gerçek zamanlı bir bulut veri ambarı olan AnalyticDB, MySQL protokolü ve SQL: 2003 sözdizimi standardı ile tamamen uyumludur.Milisaniye düzeyinde trilyonlarca veri için gerçek zamanlı çok boyutlu analiz perspektifi ve iş keşfi gerçekleştirerek müşterilerin tüm verileri analiz etmesine ve analiz etmesine yardımcı olur. Değer, geleneksel çevrimdışı analizden yeni nesil çevrimiçi gerçek zamanlı analiz moduna getirilir. Bu makale, AnalyticDB'nin başarılı seçiminin arkasındaki temel ürünleri ve getirdiği müşteri değerini derinlemesine yorumlayacaktır.
Temel yetkinlik 1: Hızlı ve gerçek zamanlı
Analitik veritabanı AnalyticDB, anında trilyon düzeydeki veriler üzerinde gerçek zamanlı çok boyutlu analiz ve perspektif gerçekleştirebilir ve verilerin değerini hızla keşfedebilir. AnalyticDB'nin karmaşık SQL için sorgu hızı, geleneksel ilişkisel veritabanlarından 10 kat daha hızlıdır.Ayrıca, AnalyticDB, binlerce düğümle süper büyük bir ölçeğe hızla genişleyebilir ve sorgu yanıt hızını daha da artırır. Üç modül, rakiplerin çok ötesinde bir performans avantajı oluşturmak için birlikte çalışır:
- Akıllı SQL iyileştirici : Karmaşık SQL sorguları için, AnalyticDB'nin SQL Optimizer'ı çeşitli sorgu yeniden yazma optimizasyonları uygular.Aynı zamanda, istatistiksel bilgilere dayalı olarak JOIN ORDERING'in en uygun yolunu seçer ve CTE birleştirme gibi işlevleri destekler. Aynı zamanda, yüksek eşzamanlılık ve düşük gecikme süreli sorgular için, yinelenen optimizasyon yükünü önlemek için benzer SQL Modeli planlarını önbelleğe almak için akıllı bir Plan önbelleği sağlanır.
- Xihe Hesaplama Motoru AnalyticDB, 2017'de yeni nesil Xihe dağıtılmış hesaplama motoruna tamamen yükseltilmiştir. MPP mimarisini bir bütün olarak benimser ve DAG hesaplama modelini destekler.Düğüm, performansı iki katından fazla artıran düğümde LLVM gibi çalışma zamanı derleme ve optimizasyon JIT teknolojilerini sunar. Veri analizi görevleri, Xihe bilgi işlem motorunda küçük parçacıklı bilgi işlem birimlerine bölünmüştür.Motorda, yüksek eşzamanlı görevlerin kararlı çalışmasını sağlamak için yerleşik bir zaman paylaşımlı sorgulama hesaplama planlama mekanizması vardır.
- Bazalt depolama motoru : AnalyticDB, satırların ve sütunların karışık olarak depolanmasını destekler.Aynı zamanda, farklı veri türleri için, veriler gerçek zamanlı olarak yazıldığında, akıllıca B + indeksi, aralık indeksi, ters indeks, bitmap indeksi vb. Dahil olmak üzere çeşitli boyutsal indeksler oluşturur ve geleneksel indeksleme algoritmalarıyla uyumludur Yenilik yapın, dinamik filtreleme, gecikmeli gerçekleştirme vb. Sunun, G / Ç'yi büyük ölçüde azaltın, yüksek performanslı nokta veya aralık erişimi elde edin ve 100 milyar düzeyinde kayıt ilişkilendirme analizini destekleyin.
Temel yetkinlik 2: Süper büyük ölçek
AnalyticDB, veritabanının ECU düğümlerinin binlerce düğüme dinamik doğrusal genişlemesini desteklemesini sağlayan tamamen dağıtılmış bir yapıdır. Kullanıcılar, yatay genişletme yoluyla ve SQL işlemenin yüksek eşzamanlılığı karşılığında SQL sorgusunun yanıt hızını büyük ölçüde artırabilir. AnalyticDB, Alibaba Cloud Feitian sistemi temel alınarak oluşturulmuştur. AnalyticDB, hiyerarşik bir ayırma mimarisi benimser.Aynı zamanda, analiz ve hesaplama, veri yazma, dizin oluşturma vb. Farklı düğümlere ayırır.Aynı zamanda, çeşitli düğüm türleri, yüksek kullanılabilirlik elde etmek için çoklu aktif işlem modunu benimser. Pangu dağıtılmış dosya sisteminde, yüksek güvenilirlik ve yüksek performanslı okuma-yazma I / O gerçekleştirilir ve genel mimaride elastik genişleme ve yüksek kullanılabilirlik sağlanır. AnalyticDB mimarisinin her katmanı, büyük ölçekli ölçeklenebilirlik konusunu tam olarak dikkate almıştır.
Çekirdek yetenek 3: Yüksek eşzamanlı gerçek zamanlı yazma ve güncelleme
Hem ön uç erişim katmanı hem de yazma düğümleri dinamik geniş ölçekli genişletmeyi desteklediğinden, müşteriler yazma kapasitesini yatay genişletme düğümleri aracılığıyla en küçük ölçek olan 100.000 TPS'den 10 milyon + TPS'ye artırabilir. Gerçek zamanlı yazmanın ardından, Veriler ikinci seviyede görülebilir ve yazmadan analize kadar olan tüm veri gecikmesi ikinci seviyede kontrol edilir. Tek bir tablo, PB düzeyinde veriyi ve 10 trilyon kaydı destekler.Geleneksel veri ambarları genellikle çevrimdışı Veri yükleme modunu kullanır ve gerçek zamanlı yüksek eşzamanlı yazma yeteneklerine sahip değildir. AnalitikDB veri analizi, gerçek zamanlı olarak büyük miktarda veri yazma becerisinden dolayı çok zamana duyarlıdır ve kurumsal verilerin çevrimdışı hesaplamasının gerçek zamanlıya dönüştürülmesi için yeni nesil temel çözümdür.
Temel yetkinlik 4: esneklik
AnalytiDB, ister ön uç erişim katmanı, ister esnek hesaplama katmanı ve veri depolama katmanı olsun, tüm dünyada tek bir nokta bulunmasa da tamamen dağıtılmış bir tasarımdır. Ek olarak, depolama ve bilgi işlem ayrımı yapısı, aşırı esneklik avantajını getirir. Buluttaki müşteriler, istedikleri zaman düğüm sayısını yalnızca esnek bir şekilde ayarlamakla kalmaz, aynı zamanda bulut sunucusu özelliklerini dinamik olarak da ayarlayabilir. AnalytiDB ayrıca depolama türü SATA bulut sunucuları ile yüksek performanslı SSD bulut sunucuları arasında esnek geçişi destekler. Örneğin: 8 yüksek performanslı c4 bulut sunucusundan 12 yüksek performanslı c8 bulut sunucusuna veya 12 c8'den 8 c4'e yükseltilebilir veya hatta 2 yüksek performanslı c8 düğümünden 4 büyük depolama SATA'sına geçiş yapılabilir s2n, vb., işletmeler maliyetleri gerçekten esnek bir şekilde kontrol edebilir.
Beş temel yeterlilik: kullanımı kolay
Bulutta barındırılan PB düzeyinde bir SQL veri ambarı olan AnalyticDB, MySQL protokolü ve SQL: 2003 ile son derece uyumludur. Standart SQL, yaygın olarak kullanılan BI araçları ve ETL araç platformları aracılığıyla kolayca kullanılabilir. Aynı zamanda Alibaba Bulut Veri İletim Hizmeti (DTS) + Veri Görselleştirme Paketi (Datav ve QuickBI) ile birlikte, işletmenin gerçek zamanlı veri ambarı inşaatı sürükle bırak yöntemiyle tamamlanabilir. AnalyticDB, şirketlerin gerçek zamanlı veri tabanlı operasyonlar için eşiği düşürmelerine yardımcı olmayı amaçlamaktadır.
İşletmeler için veri oluşturmanın verimlilik ve performans sorunlarını çözün
Di Sifang Group (4PX), önde gelen bir sınır ötesi e-ticaret lojistik hizmet sağlayıcısıdır. Sifang Bilgi Teknolojisi ekibi yıllarca çevrimdışı bir veri platformu oluşturduktan sonra, dijital işlemleri desteklemek için kısa sürede PB düzeyinde gerçek zamanlı bir veri platformu oluşturması gerekiyor. Kapsamlı maliyet ve inşaat verimliliği gibi bir dizi çözümü ve faktörü araştırdıktan sonra, Sifang Information Technology sonunda AnalyticDB'ye dayalı gerçek zamanlı bir veri platformu oluşturmayı seçti. İki taraf, basit ve hızlı bir sürükle ve bırak yapılandırmasıyla DTS + AnalyticDB + DataV / QuickBI paketi aracılığıyla 4PX kurumsal gerçek zamanlı veri ambarının ilk altyapı yapımını çok kısa sürede tamamlamak için birlikte çalıştı.
Popüler bir akıllı kamera uygulaması olan Wuta Camera, operatörlerin uygulamayı analiz etmek ve sürekli olarak kullanıcı deneyimini ve uygulama kalitesini optimize etmek için etkinliklerin ve geliştiricilerin etkisini analiz etmesine yardımcı olmak için gerçek zamanlı analiz için raporlanması gereken çeşitli kullanıcı ve uygulama verilerine sahiptir. Gerçek zamanlı olarak güncellenmesi gereken toplam veri miktarı yaklaşık 10 milyardır.Müşterinin ilk çözümü, daha sonra gerçek zamanlı yazma problemini çözen MongoDB ile değiştirilen MySQL'ti, ancak analiz performansı son derece yavaştı. Analitik veritabanının depolama örneğini kullandıktan sonra, iş verileri doğrudan AnalyticDB'ye yazılır; bu, yalnızca gerçek zamanlı yüksek eşzamanlı yazma sorununu çözmekle kalmaz, aynı zamanda karmaşık analiz performansını 40 dakikadan + yüksek aşamalı QPS 1800+ ile ikinci seviyeye düşürür.
Tipik endüstri müşterileri - onlar da AnalyticDB kullanıyor
Geleceğe bakış: daha yenilikçi güç ayırın + daha zengin bir ekoloji inşa edin
Analitik veritabanı AnalyticDB, Alibaba'nın yeni nesil PB düzeyinde gerçek zamanlı veri ambarı olarak, tüm gruptaki ve buluttaki müşterilerin veri değerinin gerçek zamanlı analizi misyonunu taşıyor. Bu rapordan, tüm büyük veri kurumsal hizmetinin CDW aşamasına girdiği ve esnek, kullanımı kolay ve self servis hizmetlerin ana akım trend haline geldiği görülmektedir. AnalyticDB bundan sonra kullanım kolaylığı, veri kanalları, görev yönetimi, görselleştirme ve diğer çevresel ekolojik yapılarda kullanılacaktır. Genişlemeye ve derinleşmeye devam edin. Aynı zamanda, gelecek için bazı temel güçlü yönleri de saklı tutar ve aşamalı ilerleme kaydetmiştir: 1. Analitik veritabanı AnalyticDB, bilgi işlem maliyetlerinde önemli bir azalma ile küresel işletmelere hizmet vermek için "Double 11 Global Carnival" da ilk kez GPU hızlandırma teknolojisini kullanır. Veri analizini çevrimdışından çevrimiçi çağa dönüştürün ve T + 1 hesaplamasından ikinci düzey gerçek zamanlı analize kadar PB düzeyinde verileri destekleyin. 2. Vektör analizi, Intime ve Hema gibi yeni perakende sahnelerinde ilk kez yüz tanıma, algoritma önerisi ve yapılandırılmış verilerin gerçek zamanlı füzyon analizini destekler, milisaniyeler içinde çevrimiçi ve çevrimdışı üyelik sistemini açar ve gerçek zamanlı veri tabanlı çevrimdışı etkileşimi ve pazarlamayı destekler. AnalyticDB, verilerin çevrimiçi değeri için doğmuştur.Gerçek zamanlı bir bulut veri ambarı platformu olarak, tüm kuruluşlara en gelişmiş yeni nesil gerçek zamanlı veri ambarı yeteneklerini getirmeyi ve kuruluşların veri değeri keşfini ve çevrimiçi hale getirmeyi dönüştürmesine ve hızlandırmasına yardımcı olmayı umuyor.
Kontrol yavaşsa, AnalyticDB'yi kullanın: https://www.aliyun.com/product/ads
