Performansı 10 kat artırın, Taobao ve Tmall'ın arkasındaki görüntü depolamasının çift on bir büyük akımı nasıl tutabileceğini ortaya çıkarın? | Çin'in BT teknolojisinin gelişimiyle ilgili sorular
2019'da Tmallın "Double 11" programında gece yarısından bu yana 1 dakika 36 saniye geçti ve ciro 10 milyar RMB'yi aştı ve son ciro 268,4 milyar olarak bir kez daha dünya rekoru kırdı.
Taobao, Tmall ve Alipay gibi temel Ali uygulamalarının arkasındaki görüntü depolama tabanı olan nesne depolama OSS'si, Double 11'in sabahın erken saatlerinin zirvesine bir kez daha istikrarlı bir şekilde dayandı ve görüntü tarama performansı optimizasyonunun 10 katını sağladı. Alibaba Cloud'dan bu makalede Kıdemli teknik uzman Luo Qingchao, OSS'nin arkasındaki stabilite tasarımını ortaya çıkaracak.
Yazar | Luo Qingchao, Alibaba Cloud Kıdemli Teknik Uzmanı
Editör | Tu Min
Önsöz
Alibaba Bulut Nesne Depolama OSS'si, Alibaba Group'un yapılandırılmamış verileri için birleşik bir depolama sistemidir.Grup içindeki çok sayıda işletmeyi destekler ve resimler, videolar, sesler ve belgeler gibi çok sayıda dosyayı depolar. OSSnin şehir içi yedekli depolama özellikleri karınca Ana istasyon, dünya lideri afet toleransına ulaşır ve sıfır RPO ile teknik destek sağlar.Tamamen kendi geliştirdiği FPGA görüntü işleme işlevi, 5 kat bağımsız performans ve 1/10 işleme gecikmesi sağlayarak, Double 11 için daha fazla kararlılık ve verimlilik sağlar. Servis yeteneği.
OSS Double 11 Stabilite Çalışma Fikirleri
OSS, Double 11 desteğine uzun süre katılmıştır.İş zirvelerinin sürekli olarak parlatılması altında, ürünlerin yapısı, özellikleri ve istikrarı sürekli olarak iyileştirilmiştir.Yıllar süren keşifler boyunca, Double 11'in istikrarını desteklemek için aşağıdaki fikirler büyük promosyona destek olarak özetlenmiştir. Çalışma kılavuzu.
2.1 İş planlaması
Double 11'in bu yılki teması tek yürek ve tek savaş.Bu savaşta iyi mücadele edebilmek için ekip iş durumunu ayrıntılı olarak çözdü. Genel olarak, grubun buluttan OSS'ye temel işi, esas olarak Taobao ve Tmall'da görüntü ve video taramayı destekliyor. Kayıpsız geçiş ve deneyim optimizasyonu sağlamak için, iki aşamalı bir geçiş hedefi formüle edildi:
-
İlk aşamanın amacı, sorunsuz geçiş sağlamak için OSS adaptasyon işidir.
-
İkinci aşamanın amacı, genel bulutun esnek avantajlarından yararlanmak ve görüntü işleme performansını optimize etmektir.
Ekip, işin içini ve dışını kavrayarak nihai hedef için net adımları ve yol işaretlerini ayrıştırır, böylece iş ve teknolojinin hızlı yinelemesini ve çevik bir şekilde sunulmasını destekler.
2.2 Mimari tasarım
Gereksinimleri ve yol işaretlerini sıraladıktan sonra, müşteri ihtiyaçlarının doğru uygulanmasını desteklemek için gereksinimlerin ve mimari tasarımın tutarlı olmasını sağlamak için teknik mimariyi ve iş mimarisini ayrıntılı olarak tasarlayabilirsiniz.
2.2.1 OSS Teknik Mimarisi
Bu yılki Hangzhou Yunqi Konferansı'nda OSS, Paixiu 3'ün yeni donanımına ve Pangu 2.0'ın alt katmanına dayanan yeni bir çağa dönüştü ve aşağıdaki mimariye dayalı 9 yeni özellik yayınladı.
OSS, büyük ölçekli üretim uygulamaları aracılığıyla sektör lideri beş temel rekabet gücü sağlar:
-
güvenilirlik , Sabit disklerin, sunucuların, ağların ve diğer felaketlerin yanı sıra yangınlar, depremler, seller ve diğer felaketlerin arızasını ifade eder, çapraz makine dolapları, bilgisayar odaları, bölgesel veri yedekliliği yoluyla veri kaybını etkili bir şekilde önleyebilir 129 Seks.
-
Kullanılabilirlik , Sunucu arızalandığında veya ışık kesildiğinde otomatik olarak iş sürekliliğine geçiş yapabileceği anlamına gelir.Hata toleranslı tasarım sayesinde% 99,995 kullanılabilirlik elde edilir.
-
Güvenlik uyumluluğu , Veri erişimi kimlik doğrulaması, yetkilendirme, şifreleme ve sektör düzenlemelerine uygunluğu ifade eder ve KMS şifrelemesi, WORM sertifikası vb. Gibi çoklu uyumluluk sertifikalarını destekler.
-
Esnek genişleme , İş verilerinin hızlı büyümesine uyum sağlayabilir ve depolama alanının patlamasını önleyebilir.Sektör lideri kaynak tedarik zinciri yönetimi ve yazılım dağıtılmış esnek tasarım sayesinde, yüzlerce eksabaytlık alan ve yüz milyarlarca nesnenin kapasitesini gerçekleştirebilir.
-
Otomatik yaşam yönetimi yönetimi , Sıcak ve soğuk verilerin yönetimini destekleyin, TCO'yu optimize edin, standart, düşük frekanslı, arşiv depolaması sağlayın ve depolama kullanım maliyetlerini optimize etmek için geçişi otomatikleştirin.
2.2.2 Çok aktif iş mimarisi
İş sürekliliğini sağlamak için, uzaktan çok aktif bir mimari benimsenir ve temel teknoloji bir yazma, çoklu okumadır. OSS ana bölgesinden iki yedekleme bölgesine bölgeler arası çoğaltma işlevi, aşağıdaki şekilde gösterildiği gibi etkinleştirilir.
-
Geliştirme için uygun olan yazarken yalnızca ana alan yazılır. Yedekleme bölgesinin tam miktarda veriye sahip olması için verileri yedekleme bölgesine kopyalamak için OSS bölgeler arası replikasyon yeteneklerini kullanın.
-
Okurken, gecikmeyi azaltmak için bölgeye göre yakınlarda okunabilir. Yazma sırasında yalnızca veriler ana alana yazıldığından, veriler eşzamansız olarak bekleme alanına kopyalanır, bu nedenle kullanıcı bekleme alanındaki verileri okuduğunda veriler henüz kopyalanmayabilir.Bu anda, veriler OSS aynası aracılığıyla ana alandan kaynak işlevine geri okunur.
Böylelikle bölgesel düzeyde farklı arıza senaryolarında hızlı geçiş gerçekleştirebilir ve Saniyeler içinde felaket kurtarma RPO (Kurtarma Noktası Hedefi), İş uygulamalarının sürekliliğini sağlayın.
-
Yedekleme alanı mevcut değil , Üst düzey işletme hızla diğer iki alana geçer ve trafik eşit olarak bölünür, işletme anında geri yüklenebilir ve geçiş çok rahattır.
-
Ana alan mevcut değil , Yeni bir ana alan seçin (örneğin, alan 2'yi seçin) ve alan 2'den alan 3'e etki alanları arası çoğaltmayı etkinleştirin, böylece işletme, yazma isteklerini yeni ana alana değiştirebilir ve istekleri geri kalan alanlara okuyabilir; aynı zamanda OSS tabanlı sürüm kontrolü ve güncellenmemiş iş yazıları, ana alanda yük devretme için veri tutarlılığı sağlamıştır.
2.3 Özellikler
2.3.1 Veri yüksek güvenilirlik ve afet toleransı özellikleri
Yüksek veri güvenilirliği talebine odaklanan ekip, bu yıl Double 11 sırasında aşağıdaki temel özelliklerin geliştirilmesine ve dağıtımına odaklandı:
-
0 RPO ile afet toleransı elde etmek için aynı şehirde (3AZ, Erişim Bölgesi) yedekli depolama. 3AZ yedekliliği elde etmek için OSS'nin temel bileşenleri gereklidir Nüwa (dağıtılmış tutarlılık), Pangu (dağıtılmış dosya sistemi), iç içe geçirirsiniz (dağıtılmış KV dizini) Tümünün, sıfır veri kaybıyla AZ arızasından sonra hızlı geçişi sağlamak için PAXOS'un tutarlılık protokolüne, özenle tasarlanmış AZ arası bant genişliği ve gecikmesine ve veri parçalama stratejilerine uygunluğa dayalı çapraz veri merkezi yedekliliği elde etmesi gerekir. sonra karınca Ana web sitesi (Alipay faturaları, yüzü kaydıran işletme), çevrimiçi işletme bankacılığı, Taobao kısa videosu, Tmall büyük ekranı vb. 3AZ'ın yeteneklerini test etmiş ve yaygın olarak kabul görmüştür.
-
Farklı OSS bölgelerinin depolama alanlarında (Bucket) eşzamansız nesne çoğaltmayı uygulayan ve kaynak depolama alanından nesnelerin oluşturulması, güncellenmesi ve silinmesi gibi işlemleri farklı bölgelerdeki hedef depolama alanına kopyalayan bölgeler arası çoğaltma, RPO saniyeden dakikaya kadardır Afet toleransı. Grubun farklı yerlerdeki resim bulutu çok aktif mimarisinde kilit rol oynar.
2.3.2 Yüksek performans özellikleri
İşletmenin yüksek performans gereksinimlerini karşılamak için aşağıdaki şekilde gösterildiği gibi aşağıdaki performans optimizasyonu özellikleri geliştirilmiştir.
-
Görüntü işleme hızlandırma motoru, ölçekleme performansı on kat artırıldı. Double 11'in erken saatlerinde trafiğin en yoğun olduğu saatlerde, çok sayıda görüntü işleme isteği vardı ve bunların arasında önemli bir oran görüntü ölçeklendirme talepleri oluşturuyordu. OSS, önbellek optimizasyonunun derinliğine, bellek erişim optimizasyonuna ve FPGA kaynak optimizasyonu madencilik teknolojisine odaklanan, kendi geliştirdiği Yeniden Boyutlandırma algoritmasıyla birlikte FPGA heterojen bilgi işlem yük aktarımına dayanır. Uygulama gecikmesi, CPU işlem gecikmesinin 1 / 10'udur.
-
Bölgesel kova dağıtım stratejisi, Taobao ve Tmall görüntü bulut hizmetlerinin yüksek QPS özelliğini destekler. Bu dağıtım stratejisi sayesinde, paketteki nesne verileri bölgedeki tüm makinelere dağıtılabilir, bu yalnızca veri depolama dengesini sağlamakla kalmaz, aynı zamanda tek bir paketin QPS kapasitesini büyük ölçüde geliştirir. Bu yılki Double 11 Taobao görüntü bulutu talebine göre, OSS bu işin kovası için yaklaşık bir milyon QPS kapasitesi sağlayabilir.
-
OSS iletim hızlandırma. İş yeni alanlara doğru genişledikçe, iş verilerinin depolama konumu değişti ve bu da gecikmede bir değişikliğe neden oldu. İletim hızlandırma, temeldeki küresel ağı kullanır ve hızlanma etkisinin 4 katına kadar yakın iletime ulaşmak için hızlandırma alanını özelleştirmek için CNAME'i kullanır.
2.4 Geliştirme ve işletme verimliliği
OSS bir Alibaba Bulut altyapı hizmetidir ve geliştirme, işletim ve bakımın verimliliği çok önemlidir. OSS inkübasyonuna dayalı Chiji yönetimi ve kontrolü, nesne depolama, dosya depolama, tablo depolama, günlük depolama, akıllı depolama ve Nuwa hizmet veren Alibaba Bulut Depolama için bir yönetim ve kontrol platformuna dönüşmüştür. OSS-Brain, büyük çevrimiçi işletim ve bakım verilerine dayalı olarak tasarlanmış akıllı bir işletim ve bakım bileşenidir.OSS'nin sağlıklı ve istikrarlı çalışmasını sağlamanın yanı sıra, mimari tasarımını da destekleyebilir. Aşağıda ayrıntılı bir giriş yer almaktadır:
-
Chiji otomatik izleme işlemi ve bakımı. "İzleme + plan" için hazırlıklar yaptık ve çift 11 stres testi ve hazırlık döneminde çok sayıda plan biriktirdik ve kararlılık garantisi için güçlü bir destek oluşturduk. Olayda esnek yanıtı desteklemek için "dinamik iş akışını" benimseyin, hızlı "alarm, konumlandırma, kurtarma" hedefi için dinamik form motoru ve toplu yürütme motoru tasarlayın, performans desteği milyon düzeyinde görev planlaması ve 10.000 düzeyinde görev eşzamanlılığı, acil duruma hızlı yanıt uğraşmak.
-
OSS-Brain data akıllı işletim ve bakım platformu. Misyonu, OSS'nin kararlı çalışmasını sağlamak ve çevrimiçi operasyon, bakım ve işlemleri güçlendirmek için "veri + algoritma" kullanmaktır. Makine öğreniminde (lojistik regresyon, rastgele orman, GBDT), kümeleme algoritmalarında (DBSCAN, hiyerarşik kümeleme), regresyon algoritmalarında (doğrusal regresyon, GBRT, vb.) Ve derin öğrenme algoritmalarında (CNN, RNN, LSTM) yaygın olarak kullanılan sınıflandırma algoritmalarını birleştirin Akıllı operasyon ve bakımı gerçekleştirin.
2.5 Stabilite bakımı
2.5.1 Aktif koruma
Double 11'in özellikleri göz önüne alındığında, stabilite için aşağıdaki aktif koruma noktaları sıralanır:
-
Talep tahmin algoritmasına dayalı envanter yönetimi. Bulut hizmetlerinin talebe dayalı akıllı tahmini, hizmetin kararlılığını sağlarken, aynı zamanda algoritma tahminindeki hataları azaltır ve yatırım getirisi oranını garanti eder.
-
Çoklu kiracılık altında farklılaştırılmış akış kontrolü. Çift 11 grup kullanıcılarının buluta gitmesi için, kiracıların akış kontrolünü uygun şekilde izole etmek gerekir. OSS, kova düzeyinde akış denetimi, kiracı düzeyinde akış denetimi yetenekleri ve iş istekleri için farklılaştırılmış akış denetimi sağlar.
-
SYN-FLOOD saldırılarını önleyin. Bulut hizmetlerine karşı güvenlik saldırıları yaygındır.SYN-FLOOD yaygın bir türdür. OSS, bir bulut altyapı hizmeti olarak, kiracıların etkilenmemesini sağlamak için bu işlev aracılığıyla yüksek eşzamanlı erişimi ve ani istekleri destekler.
2.5.2 Drag-net risk araştırması, ağdan kayıp balıklara dikkat edin
Çifte 11 program tartışması, günlük denetimler ve düzenli basınç testi sırasında risk noktaları keşfedilecektir.Bu amaçla, özel olarak bir çekme ağı araştırması düzenlenir ve her gizli tehlikenin temel nedeni bulunmalıdır ve hiçbir potansiyel sorun gözden kaçmayacaktır. .
2.6 Süreç ve kültür
Double 11 deneyimini aktarmak için ilgili yönetim süreci ve kültürü özetlenmiştir:
-
Talep yönetimi, görev ayrıştırması.
-
Görev kılavuzuna herkes tarafından uyulmalıdır.
-
Ön plan tatbikatları ve ikili işbirliği.
Sonuçlar ve görünüm
Kararlı düşüncenin rehberliğinde ekip, görevleri dikkatli bir şekilde yerine getirdi ve bu yılki Double 11 Festivalini başarıyla destekleyen verimli uygulama ile birleştirdi. Umarım gelecekte, "kararlı çalışma mantığına" bağlı kalmaya ve bunu her saniye günlük çalıştırma ve bakıma uygulamaya devam edeceğimizi umuyorum, böylece tüm kullanıcılar son derece sağlam bir hizmetin keyfini çıkarabilir ve ipeksi pürüzsüz nesne depolama OSS'si deneyimleyebilir.
