On milyonlarca yem akışı sistemi nasıl kurulur? Alibaba veritabanı teknolojisi yorumu
Double Eleven, 2017'de saniyede en yüksek 325.000 işlem ve saniyede 256.000 işlemlik en yüksek ödeme ile başka bir rekor kırdı. Ve bu tür işlem ve ödeme kayıtları, gerçek zamanlı bir sipariş besleme veri akışı oluşturacak ve veri işlem platformunun aktif hizmet sistemine dahil edilecektir. Veri işlem platformunun aktif hizmeti, birleştirilmiş verilere dayalı olarak gerçek zamanlı olarak analiz eder, gerçek zamanlı kamuoyunu görüntüler ve akıllı bir hizmet operasyon platformunu gerçekleştirmek için aktif hizmete ihtiyaç duyan nesneleri gerçek zamanlı olarak bulur.
PGSQL için RDS PostgreSQL ve HybridDB aracılığıyla gerçek zamanlı analiz çözümü:
-
Saniyede yüz binlerce yazmaya dayanın ve işlemlerin birkaç katı olan veri temizleme işlemini gerçekleştirin
-
Dakika düzeyinde gecikmelerin gerçek zamanlı analizini gerçekleştirin ve beş milyar düzeyindeki tablolar ikinci düzey yanıtlarla ilişkilendirilir
-
Taobaonun kullanıcı deneyimini iyileştirmek için işlem anormalliklerinin gerçek zamanlı keşfi
İş tecrübesi
Bir e-ticaret işi genellikle tüccarları, mağazaları, lojistiği, kullanıcıları, ödeme kanallarını, kredi kanallarını, emtiaları, platformları, küçük iki, reklamcıları, üreticileri, distribütörleri, esnafları, mağaza görevlilerini, denetçileri, vergilendirmeyi, kalite denetimini vb. İçerir. , Bu nesnelerin faaliyetleri, tarama, siparişler, şikayetler, geri ödemeler ve anlaşmazlıklar gibi büyük miktarda iş verisi oluşturacaktır. Ve herhangi bir iş birçok farklı iş sistemini içerecektir.
Bu iş sistemlerinde, sorunları, operasyonel ihtiyaçları, analiz ihtiyaçlarını veya diğer ihtiyaçları tespit etmek için, kullanıcının iş sistemindeki davranışı ile oluşturulan günlükleri kaydetmek için sisteme gömme noktaları belirlenir, buna FEED günlükleri de denir. Örneğin, sipariş sistemi ve iş sistemi birbirine bağlıdır.Alışveriş sepetleri, sipariş verme, ödeme, teslimat, makbuz (ve anlaşmazlıklar, geri ödemeler vb.), Bir sipariş genellikle birkaç ilgili kayıt oluşturur. Her bağlantıda üretilen öznitelikler farklı olabilir, yeni öznitelikler üretilebilir veya mevcut öznitelik değerleri değiştirilebilir.
Analizi kolaylaştırmak için, genellikle siparişin tüm süreci boyunca oluşturulan birkaç kaydı (birkaç öznitelik) tek bir kayıtta (büyük sipariş formu) birleştirmek gerekir. Veri işlem platformunun aktif hizmeti, birleştirilmiş verilere dayalı olarak gerçek zamanlı olarak analiz eder, gerçek zamanlı kamuoyunu görüntüler ve akıllı bir hizmet operasyon platformunu gerçekleştirmek için aktif hizmete ihtiyaç duyan nesneleri gerçek zamanlı olarak bulur.
zorluk
Gerçek zamanlı gereksinimlere ek olarak, yazma işlemi sırasında veri değiştirme, birleştirme ve temizleme gibi eylemler de vardır. Veritabanı veya veri analizi yapanlar, tek başına saniyede yüz binlerce işlemi yazmanın, değiştirmenin, birleştirmenin ve temizlemenin özellikle zor olmadığını bilecekler; tek başına terabaytlarca verinin milisaniye düzeyinde analizini yapmak çok zor değil. zor. Ancak, dakika düzeyinde gecikme ve makul programlama ile milisaniye düzeyinde gerçek zamanlı analiz sağlarken gerçek zamanlı yazma elde etmek o kadar kolay değildir.
Program
Bu tür iş ihtiyaçlarını desteklemek için, benimsenen şema aşağıdaki şekilde gösterilmektedir:
onların arasında:
-
RDS PostgreSQL, Alibaba Cloud tarafından, açık kaynaklı ilişkisel veritabanı PostgreSQL'e dayalı olarak geliştirilen bir bulut sürümüdür.
-
HybridDB for PostgreSQL, MPP mimarisinin dağıtılmış bir analitik veritabanıdır.Çoklu tablo ilişkilendirme, karmaşık sorgu, gerçek zamanlı istatistikler ve insan çevresi gibi birçok açıdan mükemmel performansa sahiptir. Ayrıca JSON, GIS, HLL değerleme vb. Gibi çeşitli benzersiz özellikleri destekler.
-
OSS, Alibaba Cloud tarafından başlatılan devasa, güvenli, düşük maliyetli ve son derece güvenilir bir bulut depolama hizmetidir. Burada çevrimdışı veri depolama olarak kullanılır
-
En önemli şey, RDS PostgreSQL ve HybridDB for PostgreSQL'in çevrimdışı depolama OSS'ye şeffaf erişim yeteneğini gerçekleştirmektir.
Bu çözümde, birden çok PostgreSQL ticari yazımları kabul eder, her bir RDS PostgreSQL'de veri temizlemeyi tamamlar ve ardından harici bir tablo çalıştırarak (bir yığın tablosuna benzer) temizlenmiş verileri elastik depolama OSS'ye yazar; ve Yazma tamamlandıktan sonra, HybridDB for PostgreSQL, harici tabloları çalıştırarak (yığın tablolarına benzer) paralel olarak OSS'den HybridDB'ye veri yükler. HybridDB'de, onlarca veya yüzlerce terabayt verinin milisaniye düzeyinde sorgulamaları gerçekleştirilir.
PostgreSQL'de harici bir tablo oluşturun:
Bu şekilde, OSS nesnelerine eşlenen bir tablo oluşturulur ve ossexample'ye okuma ve yazma, OSS'ye okuma ve yazma anlamına gelir. Veriler "local_tbl" içine yazıldıktan sonra, aşağıdaki SQL'i yürütün:
Filtre koşullarını karşılayan "local_tbl" tablosundaki veriler, OSS'ye karşılık gelen "osstest / example.csv" nesnesine yazılacaktır.
HybridDB for PostgreSQL'de, OSS benzer şekilde okunur ve yazılır. İşlem boyunca, kullanıcı yalnızca bir SQL parçası görür. aşağıdaki gibi:
INSERT ifadesinin yürütülmesi "osstest / exp / outfromhdb" dosyasındaki verileri paralel olarak tablo "örnek" e yazacaktır. Prensip aşağıdaki gibidir:
HybridDB, dağıtılmış bir veritabanıdır.PostgreSQL için HybridDB kümesinde, bir Master ve birden fazla segment vardır ve segmentlerin sayısı yatay olarak genişletilebilir. Segment, verileri depolamak ve analiz etmekten sorumluyken, Master, sorgu isteklerini kabul etmek ve dağıtmak için ana giriştir.
OSS'den verileri her bir segment tarafından paralel olarak okuyarak, tüm küme oldukça yüksek bir verim kapasitesi elde edebilir ve bu kapasite, segment sayısı ile doğrusal olarak artar.
Çözüm avantajı
Yukarıdaki şema ilk bakışta karmaşık görünmüyor, ancak aşağıdaki sorunları çözüyor:
verim
PostgreSQL'in süper eşzamanlı yazma performansını ve HybridDB'nin mükemmel analiz performansını birleştirir.
Tek bir RDS PostgreSQL milyonlarca yazmayı bile destekleyebilir; ve toplu işler PostgreSQL'e yazıldıktan sonra HybridDB'ye yüklenir, bu da PostgreSQL ve HybridDB'nin sorunsuz bir şekilde bağlanmasını sağlar ve MPP'nin mükemmel analiz performansı kullanılarak gerçek zamanlı milisaniye düzeyinde sorgular elde edilebilir.
Veri işleme ve temizleme
Geleneksel analiz alanında, veri işleme genellikle daha ağır ve daha kötü performansın bir parçasıdır.Sonuç olarak, TP ile AP arasındaki mesafe nispeten uzundur ve yalnızca tamamen farklı yöntemler ve ritimler kullanılabilir. Heterojen veri tabanlarının işlenmesi ise ağrı endeksi tekrar yükselecektir.
Bunların tümü SQL aracılığıyla çalıştırılabiliyorsa, verilerin temizlenmesi ve işlenmesi sonuçta yalnızca SQL'in tanımı ve yürütülmesidir, güzel değil mi?
Yukarıdaki şekilde, PostgreSQL için RDS PostgreSQL ve HybridDB, OSS'yi doğrudan okuma ve yazma yeteneğine sahiptir ve seri olarak kolayca bağlanabilir. Makul programlama ve paketleme ile, başlangıçta çok fazla çalışma gerektiren işlevler daha düşük bir maliyetle gerçekleştirilebilir.
Sıcak ve soğuk verilerin birleştirilmesi
Çevrimdışı depolamayı çalıştırma yeteneği ile, soğuk veriler OSS'ye yerleştirilebilir ve sıcak veriler PostgreSQL için PostgreSQL veya HybridDB'ye yerleştirilebilir ve soğuk ve sıcak verilerin birleşik işlenmesi aynı şekilde SQL aracılığıyla gerçekleştirilebilir.
Kaynakları dinamik olarak ayarlayın
Bulut ekolojisinin faydalarından biri dinamikleri ve esnekliğidir. RDS PostgreSQL'in kaynakları, herhangi bir kullanılabilirliği etkilemeden herhangi bir zamanda dinamik olarak ayarlanabilir; bu, uçağa havada yakıt ikmali yapmaya eşdeğerdir; HybridDB'nin genişlemesi ve daralması saniyeler içinde tamamlanabilir. OSS'nin esnekliği, müşterilerin olabildiğince fazla veri koymasına da olanak tanır.
Bu nedenle aşağıdaki avantajlar getirilmiştir:
Geleneksel veri analizi çözümleriyle karşılaştırıldığında SQL, veri yönetimi için birleşik bir yöntem olarak kullanılır ve heterojenliği azaltır
Maliyetleri düşürmek için dinamik kaynak planlaması
Sıcak ve soğuk veriler arasındaki bulanık sınırlar, doğrudan erişim
TP, AP entegrasyonu
RDS PostgreSQL sayısında bir sınır yoktur; HybridDB kümelerinin sayısında bir sınır yoktur
Alibaba Bulut Bulut Veritabanı PostgreSQL
Aliyun bulut veritabanı PostgreSQL, "En Gelişmiş" olarak bilinen açık kaynaklı ilişkisel veritabanına dayanmaktadır. StackOverflow 2017 Geliştirici Anketi'nde, PostgreSQL'in "geliştiriciler için yıllık istatistiklerde en çok sevilen ve en çok aranan ilişkisel veritabanı" olduğu söylenebilir.
PostgreSQL'in avantajları aşağıdaki gibidir:
kararlı
PostgreSQL'in kod kalitesi birçok kişi tarafından tanınır ve bazı insanlar şakayla karışık PG geliştiricilerinin hepsinin Virgos olduğunu söyler. Temel olarak, PG'nin büyük bir versiyonu piyasaya sürülür ve üç veya iki küçük versiyon üretime geçtikten sonra, burası övgüye değer bir yerdir. Bu, PostgreSQL'in güzel commit günlüğünden görülebilir.
PostgreSQL'in çok süreçli mimarisi sayesinde, tek bir bağlantının istisnası ana süreci ve diğer bağlantıları etkilemez, bu da iyi bir kararlılık sağlar.
verim
Bazı dahili performans verilerimiz var: TPCC'nin performans testi, PostgreSQL'in performansının temelde ticari veri tabanları ile aynı seviyede olduğunu ve performansın bireysel senaryolarda daha da iyi olduğunu gösteriyor.
zengin
PostgreSQL'in zenginliği en çok anlatılmaya değer yerdir. Çok zengin olduğu için kilit noktaları nasıl vurgulayacağımı bilmiyorum. İşte daha ilginç olduğunu düşündüğüm birkaç nokta (sorgu, tür, işlev).
Zengin işlev
HASH \ Merge \ NestLoop JOIN'den bahsetmiyorum bile, özyineleme, ağaç (bağlanma), pencere, toplama \ küp \ gruplama kümeleri, somutlaştırılmış görünümler, SQL standartları vb. Yanı sıra çeşitli tam metin aramaları, normal ifadeler ve bulanık sorgular vardır. , Benzerlik vb. Bunlara ek olarak, en önemli şey, çeşitli zengin, esnek ve verimli sorgu desteği sağlamak için paralel yürütmeyi (paralel tarama, paralel JOIN, vb.) Ve birden çok maliyet faktörünü birleştiren PostgreSQL'in güçlü maliyet tabanlı optimize edicisidir. Buna ek olarak, btree, hash, gist, sp-gist, gin, brin, bloom, rom indeksi gibi çeşitli indeks türleri vardır. Hatta tanımladığınız türler için belirli dizinleri ve dizin taramalarını özelleştirebilirsiniz.
PostgreSQL, benzersiz bir özellik eklentisine sahiptir. Veritabanı çekirdek kodunu değiştirmeden PostGIS, JSON, genler gibi herhangi bir işlevi bağımsız olarak eklemenize olanak tanımak için çekirdek kodundaki Hook'u kullanır ve bunların tümü eklenti içinde herhangi bir şeyi etkilemeden özelleştirilir. Çekirdek kodu böylelikle çok çeşitli ihtiyaçları karşılar. Ve PostgreSQL eklentileri sayısızdır.
FDW mekanizması, Hadoop, MySQL, Oracle, Mongo, vb. Gibi diğer veri kaynaklarına, aynı PostgreSQL'de yerel bir tabloyu çalıştırıyormuş gibi, çok fazla PG kaynağı kullanmadan erişmenizi sağlar. Örneğin, ekibimiz tarafından geliştirilen OSS_FDW, OSS'yi okumak ve yazmak için kullanılır.
Zengin türler
Yüksek hassasiyetli sayısal, kayan nokta, otomatik artan sıra, para birimi, bayt akışı, saat, tarih, zaman damgası, Boole, numaralandırma, düzlem geometrisi, katı geometri, çok boyutlu geometri, dünya, PostGIS, ağ, bit akışı, tam metin alma gibi , UUID, XML, JSON, dizi, bileşik tür, etki alanı türü, aralık, ağaç türü, kimyasal tür, gen dizisi, FDW, büyük nesne, görüntü vb.
Not: Buradaki dizi, kullanıcıların veritabanındaki verileri JAVA'daki bir dizi gibi değiştirmelerine olanak tanır.Örneğin, öğe iki boyutlu bir dizideki bir öğeyi temsil eder ve öğe, tablonun bir alanı olarak kullanılabilir.
Veya yukarıdakiler yeterli değilse, kendi türünüzü özelleştirebilir (tür oluştur) ve bu türler için, IP türü ekleme, çıkarma, çarpma ve bölme gibi operatör aşırı yüklemesi gerçekleştirebilirsiniz (işlem tanımı belirli uygulamaya bağlıdır, anlamı: istediğiniz IP'nin eklenmesi göründüğü gibi olsun).
Sorgu zengin
Diğerlerine gelince, basit bir örnek olarak, PostgreSQL DDL (toplama ve çıkarma alanları gibi) bir işlemde tamamlanabilir (Not: PostgreSQL, Katalog Bazlıdır ve DDL değişikliği temelde bir kayıt değişikliği olarak anlaşılabilir). İş yapan öğrencilerin bunu yaşayacağına inanıyorum.
Alibaba Bulut Bulut Veritabanı PostgreSQL, açık kaynak sürümü temelinde, kullanım endişelerini gidermek için HA, kesintisiz genişletme ve küçültme, otomatik yedekleme, kurtarma ve algısal olmayan anahtarlama, çevrimdışı depolamaya şeffaf erişim, teşhis ve optimizasyon gibi birçok işlevi ekler.
PostgreSQL için Alibaba Cloud HybridDB
HybridDB for PostgreSQL, MPP mimarisinin dağıtılmış bir analitik veritabanıdır.Açık kaynak Greenplum tabanlı, çoklu tablo ilişkilendirme, karmaşık sorgu, gerçek zamanlı istatistikler ve insan çevresi gibi birçok açıdan mükemmel performansa sahiptir. Bu temelde, Alibaba Cloud HybridDB for PostgreSQL, JSON, GIS, HLL değerleme, yedekleme ve kurtarma ve otomatik anormallik onarımı gibi çeşitli benzersiz özellikler sağlar; METASCAN ve diğer yönlerden açık kaynak sürümden daha kaliteli birçok performans optimizasyonu yapmıştır. Promosyon.
PostgreSQL için Alibaba Cloud HybridDB aşağıdaki özelliklere sahiptir:
-
Gerçek zamanlı analiz
Dağıtılmış GIS coğrafi bilgi veri türlerinin gerçek zamanlı analizi için SQL dilbilgisini destekleyin, Nesnelerin İnterneti ve İnternet'in LBS konum hizmeti istatistiklerini gerçekleştirmesine yardımcı olun; dağıtılmış JSON, XML, bulanık dize verilerinin gerçek zamanlı analizi için SQL dilbilgisini destekleyin ve finans, hükümet ve kurumsal sektörlere yardımcı olun. Mesaj verisi işleme ve bulanık metin istatistikleri.
-
Kararlı ve güvenilir
Dağıtılmış ACID veri tutarlılığını destekleyin, düğümler arası işlem tutarlılığını sağlayın, tüm veri çift düğümlü senkronizasyon yedekliliği, SLA% 99,9 kullanılabilirliği garanti eder; dağıtılmış dağıtım, bilgi işlem birimi, sunucu, kabin üçlü koruması, önemli veri altyapısının korumasını iyileştirin.
-
Kullanımı kolay
Bol OLAP SQL sözdizimi ve işlev desteği, birçok Oracle işlevi desteği, sektörde popüler olan BI yazılımı doğrudan çevrimiçi olarak kullanılabilir; OLTP + OLAP (HTAP) karma işlem analizi çözümünü gerçekleştirmek için bulut veritabanı RDS (PostgreSQL / PPAS) ile veri iletişimi gerçekleştirilebilir .
Dağıtılmış SQL OLAP istatistiklerini ve pencere işlevlerini destekleyin, dağıtılmış PL / pgSQL depolanan prosedürleri, tetikleyicileri destekleyin ve veritabanı tarafında dağıtılmış hesaplama süreci geliştirmeyi gerçekleştirin.
Uluslararası OpenGIS standardı coğrafi veri hibrit analizine uygun olarak, büyük verilerden coğrafi bilgileri analiz etmek için tek bir SQL kullanılabilir, örneğin: insan akışı, alan istatistikleri, nerede olduğu vb.
-
Mükemmel performans
Satır ve sütun karışık depolamayı destekler, sütun depolama performansı OLAP analizinde satır depolamadan 100 kat daha yüksek olabilir; tek kanallı içe aktarmanın performans darboğazını önleyerek yüksek performanslı OSS paralel veri içe aktarmayı destekler.
Dağıtılmış büyük ölçekli paralel işleme dayalı olarak, depolama ve hesaplama yetenekleri, her bir bilgi işlem biriminin OLAP hesaplama performansına tam oyun sağlamak için bilgi işlem birimleri eklendikçe doğrusal olarak genişletilir.
-
Esnek genişleme
Hesaplama birimi isteğe bağlıdır ve CPU, bellek ve depolama alanı orantılı olarak ölçeklenir.OLAP performansı sorunsuz bir şekilde yüzlerce TB'ye yükselir; şeffaf OSS veri işlemlerini destekler ve çevrimiçi olmayan analiz soğuk veriler esnek bir şekilde OSS nesne depolamasına ve veri depolamaya aktarılabilir Sınırsız kapasite artırımı.
MySQL veritabanı, mysql2pgsql aracılığıyla yüksek performanslı verileri içe aktarmak için kullanılabilir.Aynı zamanda, endüstrideki popüler ETL araçları HybridDB'yi hedefleyen ETL verilerinin içe aktarılmasını destekleyebilir.
OSS'de depolanan format dosyaları veri kaynakları olarak kullanılabilir, gerçek zamanlı işlemler harici tablo modu aracılığıyla gerçekleştirilebilir ve veri sorguları standart SQL sözdizimi kullanılarak uygulanabilir.
PostgreSQL / PPAS'tan şeffaf veri akışını destekler, sürekli artışlar programlama gerektirmez, bakım çalışmalarını basitleştirir ve yüksek performanslı dahili veri modelleme ve veri temizliği, veriler veritabanında depolandıktan sonra gerçekleştirilebilir.
-
Emniyet
IP beyaz liste yapılandırması, RDS örneklerine bağlanmasına izin verilen 1000 adede kadar sunucu IP adresinin yapılandırılmasını ve erişim kaynağından doğrudan risk kontrolünü destekler.
DDOS koruması, ağ girişinde gerçek zamanlı izleme, büyük bir trafik saldırısı bulunduğunda, kaynak IP temizlenir ve temizlik geçersiz olduğunda kara delik doğrudan karadeliğe çekilebilir.
sonuç olarak
Alibaba Cloud'un bulut ekosistemini kullanan RDS PostgreSQL, HybridDB for PostgreSQL, vb. Gibi bir dizi bulut hizmeti, şirketlerin akıllı bir kurumsal veri BI platformu oluşturmalarına yardımcı olur.PostgreSQL için HybridDB aynı zamanda kurumsal büyük veri gerçek zamanlı analizi, bilgi işlem ve depolama için temel motordur. Çevrimiçi işten bulutta gerçek zamanlı veri analizine kadar iş verileri kapalı döngüsünü gerçekleştirin.
