İlk kez keşif! Çifte 11 Mucizesinin Arkasındaki Büyük Veri Gücü, On Yıla Kadar Beş Adım
Onuncu Double 11 başarıyla sonuçlandı, ancak teknolojinin keşfi asla durmuyor. Alibaba Technology, yıllar boyunca Double 11 hazırlıklarına katılan çekirdek teknoloji uzmanlarını Alibaba'nın teknolojisindeki değişiklikleri gözden geçirmeye davet eden "Pastoral Kodun On Yılı" serisini başlattı.
Double 11, her yıl sadece chop-shou kabilesi için bir karnaval değil, aynı zamanda veri insanları için de "büyük bir testtir". Bilgi işlem platformunun teknik ekiplerinin teknik düzeyini ve teknolojik yenilik uygulamalarını test etmek için bir aşamadır. Bugün, Alibaba kıdemli operasyon ve bakım uzmanı Da Wu, Alibaba'nın son on yıldaki büyük verisinin beş büyük yolculuğunu ayrıntılı olarak açıkladı.
Alibaba kıdemli operasyon ve bakım uzmanı Da Wu
2009'daki ilk Double 11'den itibaren işlem hacmi 50 milyon-936 milyon-3,36 milyar-19,1 milyar-36,2 milyar-57,1 milyar-91,2 milyar-120,7 milyar-168,2 milyar-213,5 milyar oldu ... Şok rakamlar tarihi tekrar tekrar tazeledi . Geçtiğimiz on yılda, en çok gurur duyduğumuz şey rakamlar değil, ancak tüm büyük veri bilgi işlem platformumuz, büyük verilerin eşzamanlı olarak işlenmesi için dünyanın en güçlü platformu haline geldi. Aynı zamanda, tüm büyük veri bilgi işlem platformumuz birikiyor ve tekrar tekrar çalışıyor. En büyük zorluk için bir rekor kırarak, teknolojinin çökelmesini ve atılımını tamamlıyoruz.
Grup, Ant, Cainiao, AutoNavi, Youku Tudou ve diğer ilgili şirketlerin büyük veri depolama ve bilgi işlem hizmetlerinin% 95'inden fazlasını taşıyan ve büyük ekran gerçek zamanlı akışlı bilgi işlem hizmetlerini, büyük trafiği, yüksek eşzamanlılık ve tam bağlantılı büyük veri işlemeyi destekleyen bir hizmet olarak Yetenek, yıllar içinde Double 11'in satış mucizesinin arkasındaki destekleyici güç haline geldi. 2017'de Double 11:
- Günlük verilerinin ve işlem verilerinin gerçek zamanlı olarak toplanması, dağıtılması ve hesaplanması da dahil olmak üzere gerçek zamanlı veri işleme teknolojisi ve son olarak canlı medyanın büyük ekranında gerçek zamanlı işleme ve görüntüleme dahil olmak üzere, tüm bağlantının kararlılığı muazzam bir baskı altındadır. 2017'de Double 11'de, Alibaba'nın gerçek zamanlı büyük veri sistemi Blink, dünya çapında üç zorluğu tamamladı: 1. İlk işlemin sıfırda gerçekleşmesinden medya ekranında istatistiksel sonuçların görüntülenmesine kadar düşük gecikme, tüm işleme süreci ertelenir Sadece birkaç saniye; 2. Saniyede 472 milyon parçalık maksimum işlem hızıyla yüksek performans, yüksek verim; 3. Yüksek kullanılabilirlik, bozulma olmadan tüm gün hizmet ve en yoğun dönemlerde tüm trafiği taşır.
- Ultra büyük ölçekli çevrimdışı veri işleme açısından, MaxCompute, Double 11 sırasında tek bir günde toplam 300 + PB veri işlemenin yanı sıra iş planlaması, bilgi işlem performansı, sistem kararlılığı vb. İçin harika olan milyon düzey planlama işini gerçekleştirdi. Test.
Ve Alibaba Group tarafından oluşturulan büyük ölçekli, devasa veri, yüksek eşzamanlılık çevrimdışı ve gerçek zamanlı veri işleme yeteneklerinin şimdiye kadar nasıl adım adım geliştirdiği, aşağıdaki ilk önce büyük verilerin çevrimdışı ve gerçek zamanlı iş teknolojisinin geliştirilmesinin beş ana sürecini inceleyecek.
Aşama 1: Pangu açılıyor, büyük veri uygulamaları işle birlikte ortaya çıkıyor
Alibaba'nın geliştirilmesinin başlangıcında, 2009'dan önce, sistem temelde IOE idi.Taobao e-ticaret sistemi dikey bir çizgiydi ve her BU, işten platforma yukarıdan aşağıya kendi ürünlerine sahipti. Birçoğu IBM mini bilgisayar kullanıyor ve veritabanı temelde Oracle'dır. O zamanlar Alibaba, Oracle'ın tepesi olarak adlandırılan Asya'daki en büyük Oracle kümesine sahipti.
O zamanlar, bilgi işlem ölçeği 100 terabayt düzeyine ulaşmıştı.Taobao kullanıcılarının sayısı her yıl birkaç yüz hatta binlerce artarken ve Taobao'nun bilgi işlem kapasitesine olan talep geliştikçe, Alibaba tarafından kullanılan Greenplum kümesi de yavaş yavaş darboğazlarla karşılaştı. Veri miktarı, Oracle'ınkinden yaklaşık 10 kat daha büyüktür. Greenplum için yüz makineden sonra genişlemesi zor, ancak yüz kümenin ölçeği Ali gibi gelişen bir işletme için yeterli olmaktan uzak.
Alibaba Cloud resmi olarak Eylül 2009'da kuruldu. Vizyon, büyük veri dağıtılmış bilgi işlem / depolama için bir bulut platformu oluşturmak ve aşağıdakileri içeren bir Feitian sistemini bağımsız olarak araştırmak ve geliştirmektir: temelde yatan dağıtılmış depolama sistemi-Pangu ve dağıtılmış zamanlama sistemi- Fuxi ve diğerleri serisi bileşenler vb. Feitian'ın o sırada yazdığı ilk kod satırı, Yunti 2 döneminin gelişini de işaret ediyordu. Bununla birlikte, platform ürünlerinin o zamanki olgunluğu, Alibaba Group'un büyük veri işini taşımak için yeterli değildi. Bu sırada, Alibaba'nın büyük veri işinin normal gelişimini sağlamak için bazı öğrenciler, dahili bir bulut merdiven 1 platformu oluşturmak için nispeten olgun açık kaynaklı büyük veri yazılımı Hadoop'u kullandılar. Grubun büyük veri işinin normal gelişimini destekleyin.
2009'dan 2010'a kadar olan dönemde, iki sistem olan Yunti 1 ve Yunti 2, Yunti 1 ilk grup Taobao'nun veri işini taşıdı ve Yunti 2, Alibaba Finance'in ilk ürünü "Çoban Köpeği" nin çevrimiçi olarak uygulanmasına yardımcı oldu ve aynı zamanda mevcut durumu kolaylaştırmak için bazı hesaplama görevlerini üstlendi. Tüm grubun veri işini birlikte destekleyen yetersiz sistemlerin baskısı var.
Aşama 2: İlk nesil ODPS hesaplama motoru üretime alındı
Grubun işinin hızla gelişmesiyle birlikte, Yunti 1 kümesi 2010 yılında 1.000'e ulaştı ve Skynet ayrıca Taobao'nun hadoop için dahili birleşik desteğini tamamladı ve birleşik zamanlama çağı geliyor. Nisan 2010'da, Ali Finans'ın kredi işinin başlamasıyla birlikte, ilk nesil ODPS, temel bilgi işlem motoru olarak resmi olarak üretime alındı. Çevrimiçi olduktan sonra istikrar garantisi, Ar-Ge, iş ve SRE öğrencileri için bir kabusa dönüştü.Her gün saat 8: 00'den 9: 00'a kadar zamanında üretilen iş beyanları gibi tüccar ifadelerinin temeli (genellikle önceki günün iş verilerini hesaplamak için saat 0: 00'da başlar) Koşması 30 saatten fazla sürüyor ve herkes temelde nöbetçi geceyi döndürüyor, 24 saat öncesinin verilerini izliyor ... Bu, Ar-Ge / O & M / iş için acı bir dönem. Aynı zamanda Yunti 2 bu süreçte yavaş yavaş olgunlaştı.
Bir göz açıp kapayıncaya kadar, 2011 yılında, grubun tüm ana işleri bulut merdiveninde 1 idi ve Alibaba aynı yıl bulutta (dataworks öncülü) piyasaya sürülen yerel bir lider hadoop kümesi kurdu ve birleşik bir büyük veri platformu yavaş yavaş şekillendi. İki bulut merdiveni aynı anda gelişti ve oyun oynamaya başladı.Kurallar açık: Alibaba'nın temelindeki bilgi işlem sistemini başarılı bir şekilde desteklemek istiyorsanız, bağımsız olarak 5000 sunucuyu programlayabilmeli, "kazanan hepsini alır" ve aile şirketini devralmalısınız. Büyük veri SRE öğrencileri de iki gruba ayrılır: İki ekip, Yunti 1 ve Yunti 2'nin iş istikrarını sağlamak için işletmeye dadı olarak hizmet eder.
Aynı yıl, büyük veri gerçek zamanlı bilgi işlemin gelişimi de işletme ile birlikte ortaya çıktı. Gruptaki birçok iş ekibi, müşterilerin akış hesaplamaya yönelik güçlü talebini fark etmeye başladı. DataCube, iş dünyasından hareketle galaksinin ilk sürümünü geliştirdi ve b2b arama ekibi ayrıca iprocess adı verilen bir akış hesaplama sistemi geliştirdi. Ancak o zaman, iki ürünün öğrencileri akış hesaplama konusunda derin bir anlayışa sahip değildi ve bu nedenle, her sistemin gelişmeye devam etmeyi imkansız kılan birçok sorunu vardı. 2012 yılının Temmuz ayında, Veri Platformu Bölümü (CDO) kuruldu. Ekipler gerçek zamanlı bir bilgi işlem ekibi oluşturmak için bir araya geldi.
3. Aşama: Yunti 2 Feitian'a dayalı yeni nesil Alibaba veri platformu oluşturma
2012'den 2015'e kadar, üç önemli düğüm ile yeni nesil bir Ali veri platformu inşa edilmeye başlandı: Buz ve Ateş Kuşu projesi, 5k savaşı ve aya iniş planı.
Ice Fire Bird: Birleşik Veri İş Katmanı (2012)
2012 yılında Grup, bir dizi hesaplama / paylaşma çevrimdışı bilgi işlem ve gerçek zamanlı bilgi işlem veri platformları uygulamaya adanmış Veri Platformu Departmanını (CDO) kurdu ve kendi geliştirdiği Feitian sistemi Yunti 2, resmi olarak "ODPS" olarak yeniden adlandırıldı. Bu yıl aynı zamanda grup düzeyinde önemli bir stratejik proje başlattı: Buz Ateş Kuşu.
"Buz Ateş Kuşu" projesinin en büyük değeri, işletmemizden bir veri platformu oluşturmuş olmamızdır. Veri platformunu bulut bilişimin alt katmanına bağladık, bu nedenle Buz Ateş Kuşu gibi teknolojik bir atılımla tüm grup bunu yapacak. Veri platformu işinin bir dayanağı var ve Feitian'ı daha da aşağıya çekebilir, bulut bilişimin tüm temelini yönlendirebilir, ilerlemeye devam edebilir ve aynı zamanda Taobao ve Alibaba'nın tüm veri işlemlerini destekleyebilir ve sonunda yerleşebiliriz. Veri şirketinin gelecekteki platform tabanlı işi, dolayısıyla bu, öncekiyle sonrakini birbirine bağlayan çok, çok kritik bir süreçtir.
Zeng Ming'den alıntıİlk madde olarak, Ice Fire Bird projesi, JM odaklı işten veri odaklı işe geçişi başlattı, grup veri operasyonu ve iş yeniliği için bir veri alışverişi platformu oluşturdu, herhangi bir veri sahibi arasında ticari veri alışverişini destekledi ve veri uygulama geliştiricileri sağladı Veri ürünlerini hızla geliştirmek için tek noktadan geliştirme, test, çalıştırma ve bakım ve işletim ortamı sağlayın.
Şu anda, ilk bağlantı bir sorunla karşılaştı, veri senkronizasyonu, iş sistemi çeşitli veri kaynaklarına sahip, ORACLE, MYSQL, günlük sistemi, tarayıcı verileri, çeşitli senkronizasyon yöntemleri var, bazıları SHELL betiği, bazıları Jdbcdump ve diğer yöntemler sayesinde, o sırada veri senkronizasyonundan sorumlu öğrenciler için en acı verici şey, iş sistemi veritabanını değiştirdiğinde çeşitli senkronizasyon görevlerinin sürekli olarak ayarlanması gerektiğiydi.Yüzlerce görevin her ayarlaması son derece hataya açıktır. O zaman, veri senkronizasyonu problemini çözmek için, veri aracı ekibi, mevcut senkronizasyon merkezinin öncülü olan özel bir senkronizasyon aracı DATAX geliştirmeye başladı.Aynı zamanda, DB için Dbsync ve artık toplu olarak TT olarak adlandırılan günlükler için TT gerçek zamanlı bir senkronizasyon aracı geliştirdi.
Skynet planlama sistemi de sürekli iyileştirildi.Saatlik programlamayı ve hatta dakika planlamayı desteklemeye başladı ve otomatik alarmları ve diğer sistem işlevlerini entegre etti. Buluta yükseltildi.İlgili DQC sistemleri, veri haritaları, kan ilişkisi analizi ve diğer çevre sistemleri bu dönemde sürekli olarak yer aldı. Başlatılan veri ekibi de büyüyor.
Ice Fire Bird'ün ilk aşaması Ekim 2012'de başlatıldı, bir veri alışverişi platformunun prototipini gerçekleştirdi, büyük ölçekli çevrimdışı bilgi işlem ve gerçek zamanlı bilgi işlem platformlarını birleştirdi ve veri küpünü, Taobao endeksini ve TCIF'i platforma başarıyla taşıdı. Ağustos 2013'te Ice Fire Bird'ün ikinci aşaması başlatıldı ve Ali finansal veri platformu bir bütün olarak DXP'ye taşındı. 2012'nin başında Yunti 1 ve Yunti 2 operasyon ve bakım ekipleri birleşti ve grubun ilk büyük veri SRE ekibi kuruldu.Büyük veri işinin istikrarını tam olarak garanti altına almak için komut dosyası oluşturma araçlarının yardımıyla büyük veri kümeleme, yayınlama ve iş operasyon ve bakımından sorumlu olmaya başladı.
5K Savaşı: Küme depolamasının darboğazını aşmak (2013)
"5K projesi, şirketin veri işinin sorunsuz gelişimini etkileyen anahtar düğümlerden biridir."
Dr. Wang Jian'dan alıntı2012'nin sonunda, açık kaynaklı yazılıma dayalı "Yunti 1" 4.000 küme planlamasına ulaşırken, Alibaba Cloud'un kendi geliştirdiği "Yunti 2" hala 1.500 grup sayısında geziniyordu.
Bir göz açıp kapayıncaya kadar, 3.282013'e geldi. Grubun veri platformu Hadoop Ar-Ge'nin başkanı Yun Zheng'den gelen bir e-posta zirveye ulaştı:
"Veri artışına ve gelecekteki iş büyümesine göre, Yunti 1 ve Yunti 2 sistemlerinin depolama ve bilgi işlem yetenekleri 6.21'de darboğaza ulaşacak."
Bu gün nihayet geldi. Normal işlerinizi sürdürmek istiyorsanız, sorunu üç aydan kısa sürede çözmelisiniz. Hadoop tabanlı Cloud Ladder 1 ve Feitian tabanlı "Cloud Ladder 2" paralel oldu. O kadar acil ki takımın ayrılmasına izin verilmiyor ve biri düşürülmeli. Dr. Wang Jian'ın ısrarı Feitian'ı 5K'ya itti. Zhengming, Duolong, Chu Ba ve Changren ekibiyle 5K projesine katıldı ve Alibaba Cloud Feitian ekibi, veri platformu ekibi ve teknik destek ekibiyle birlikte 5K zirvesine meydan okudu. Bununla birlikte, aynı zamanda, YunLadder 2'nin tüm ekipman odalarının kapasitesinin sınırlı olması ve bu da genişletmeyi imkansız kılan bir sorun var.İş geçişi ve küme genişletme 4 ay içinde tamamlanmalıdır.
- 48 günde 1.500'den 5.000'e.
- 48 gün, 8 aşırı stres testi senaryosu, eşzamanlı 400 bin kullanıcı işi.
- 48 gün boyunca, 1.500 çevrimiçi üretim ortamının 10 katı stres testi.
- 100TB sıralama 30 dakikada tamamlandı; bu, Yahoo tarafından 1 Temmuz 2013 tarihinde Daytona Gray Sorting Sort Benchmark Sorting Testinde dünya rekorunun iki katı olarak belirlendi - 100TB sıralama süresi yaklaşık 71 dakikaydı.
- 90 günde, küme işi tamamlandı, kararlılık, işletim ve bakım geliştirildi ve kümeler arası planlama, hesaplama ve veri kopyalama yeteneğine sahipti ve sınırsız genişletmeyi destekledi.
Ice Fire Bird'ün ikinci aşamasının finali olarak Feitian ekibi, teknik destek departmanı ve CDO ekibi, kümenin darboğazını aşmak için birlikte çalıştı ve 5.000'den fazla küme arası bilgi işlem ve depolama bilgi işlem ölçeği genişletmesini başarıyla gerçekleştirdi (2 büyük üretim kümesi: 2500 +5000 set), büyük proje sadece Feitian, veri platformu, teknik destek, çoklu veri platformu kullanıcıları, çekirdek sistem ekibi ve onbinlerce sunucunun dahil edilmesiyle somutlaşmakla kalmıyor, aynı zamanda Feitian'ın 5000 testinde, Tianwang çapraz kümenin 10 katı, Cross-Feitian sürüm regresyonu, dinamik veri karşılaştırması, veri çoğaltma ve birçok anahtar teknolojide çığır açan gelişmeler. 5K'nın sonu, Alibaba'nın dahili veri platformunun temel tamamlandığını gösteriyor.
Küme boyutu 5.000 birimi aşıyor ve bu da büyük veri SRE öğrencileri için iki zorluk oluşturuyor:
- 1.500'den 5.000'e gitmek için yalnızca 48 gün vardır. Eski Dayu aracı bir seferde yalnızca 1.000 birimi destekleyebilir. Süre 4-5 saattir ve genel proje süresi baskısı ağırdır.
- Çin'deki ilk büyük ölçekli küme operasyonu ve bakım sorunu, mimari ve teknik çözümlerde ayarlamalar gerektiriyor.
Büyük veri SRE ekibi, Dayu II'nin geliştirilmesini hızlandırır ve 5K kümelerinin dağıtımını hızla destekler.Yeni nesil araçların piyasaya sürülmesi, tüm kümenin soğuk dağıtımının 20-30 dakika içinde kapatılmasını sağlar ve 5K'nın en kısa sürede hızlı dağıtımını ve başlatılmasını destekler. Aynı zamanda, büyük ölçekli küme operasyon ve bakım yeteneklerinin yükseltilmesine yanıt olarak ekip, işi derinleştirmek için operasyon ve bakım stratejisini hızlı bir şekilde ayarladı, temel olarak uygulama hizmetlerini içeren bir operasyon ve bakım yönetimi standart sistemi kurdu ve iyileştirilmiş sistematik temel çevre yönetimi, iyileştirilmiş izleme ve çevrimiçi denetimler. Muayene, iş operasyon ve bakım mimarisinin gelişimini ve optimizasyonunu teşvik eder.
5K sonunda, o dönemde teknik destek sorumlusu (Zhenfei) 'nin genel koordinasyonunda, Ali'nin tarihindeki tüm bilgisayar odası için en büyük elektrik kesintisi tatbikatı planlandı. Süreç boyunca, platformun sağlamlığı ve operasyon ve bakım departmanının genel planlama yeteneği ve titiz risk müdahale kabiliyeti doğrulandı. Koordinasyon yetenekleri, her hattın acil durum idare kabiliyetleri ve platform katmanının felaket kurtarma yeteneklerinin tümü büyük testi geçti ve sonunda% 99,95 başarı oranıyla temelde 3 saat 29 dakikada restore edilen toplam 5.000 elektrik kesintisi servisine ulaştı. Aynı yıl 2013 Double Eleven Alışveriş Karnavalı'nın ilk dakikasında 10 milyondan fazla insan aynı anda Tmall'a akın etti. Bu veriler, Hangzhou Taobao Şehrindeki büyük veri ekranında neredeyse gerçek zamanlı olarak yayınlanır. Büyük ekranda sıçrayan her sayı, Alibaba Group bünyesindeki 60'tan fazla sistem arasındaki yakın işbirliğinden geliyor.En çok satan ürünleri Double Eleven'da en hızlı şekilde vurduğunuzda, bu sistemler sayısız veri toplama turunu tamamladı. , İletim, işleme, hesaplama ve sayfaya geri bildirim. Bu aynı zamanda Ali'nin gerçek zamanlı akış bilgi işlem teknolojisinin ilk görünümüdür.
Aya iniş planı: grup için birleşik bir büyük veri platformu oluşturma (2014)
2013 yılında, iş ölçeğindeki hızlı büyümeyle, veri platformu kümelerinin ölçeği çok büyük hale geldi ve tek bir küme 5.000 birime ulaştı. 5.000 sunucu ölçeğine sahip bir bilgi işlem kümesinde, yüzlerce P veri hacmi ve on binlerce karmaşık bilgi işlem görevi 300'dür. On binden fazla satır kod. Üzerinde çalışan çeşitli işletmelerin karmaşıklıklarına dayanarak, yeni nesil büyük veri platformunun oluşturulması bize büyük zorluklar getirecektir. Mimari tasarım, ağ, zamanlama ve depolama performansı, hata toleransı, çalıştırılabilirlik, kararlılık ve veri doğruluğuna benzeri görülmemiş zorluklar getirir. [Birleştirilmiş, güvenli, yönetilebilir ve açık] yeni nesil veri platformlarının karakteristiğidir Üst düzey özet, DT çağına girmek ve grubun veri işinin uzun vadeli gelişimi için sağlam bir temel oluşturmaktır.
Mitutoyo tarafından Kasım 2013'te önerildi:
"İşletmeye iyi hizmet verme perspektifinden, şirketin uzun vadeli gelişimi için teknik hazırlıklar yapmak için birleşik bir temel büyük veri platformu oluşturun."
Bu amaçla, grup, birleşik bir veri kaynağı havuzu oluşturmak ve çoğaltmanın depolama ve iş maliyetlerini azaltmak için tüm Ali'nin verilerini bulut merdiven 2 platformuna entegre edecek bir "aya iniş" planı formüle etti. Eski kentsel alan (Yunti 1) yeni kentsel alana (Yunti 2) taşınmalıdır.Bu sadece basit bir fiziksel göç değil, aynı zamanda işletmenin iyileştirilmesi ve yeniden yapılandırılması ve veri paylaşımının gerçekleştirilmesi olan işle birlikte bir göçtür. 9 Ocak 2014'ten 30 Haziran 2015'e kadar Yunti 1 ve Yunti 2'nin birleşmesi 1.5 yılda tamamlandı. Aynı yıl, bulut merdiveni 1 kümesinin tamamı resmi olarak çevrimdışı oldu, bu da Ali'nin büyük veri platformunun resmi olarak açık kaynaklı bir sistemden bağımsız bir araştırma ve geliştirme çağına dönüştüğü anlamına geliyor.
"Merdiven Bir" operasyonunun resmi olarak askıya alınmasıyla, tüm grup için birleşik bir büyük veri platformunun kurulacağı açıklandı, aynı zamanda 18 aylık [Ay İniş Planı] resmen sona erdi. Küme ölçeği 10'dan fazla kümeyi aştı, toplam sunucu sayısı 100.000'e yaklaştı ve toplam depolama kapasitesi EB düzeyine ulaştı. Son 14 yılda, depolama kaynaklarının optimizasyonu yaklaşık 200 PB tasarruf sağladı ve gerçekten büyük ölçekli ve çok büyük verileri işleyebilir.
ODPS'nin yükseltilmesi ve yeniden yapılandırılması, Ali'nin yeni nesil büyük veri platformunun yeteneklerini somutlaştırdı:
- Güvenlik: Sadece ODPS'nin kendi güvenlik özellikleri değil, aynı zamanda veri sınıflandırma işaretlemesinin başlatılması ve uygulanması, veri duyarsızlaştırma, ODPS yetkilendirme süreci, ay inişi sırasında bulut sorgu sürümünde sanal etki alanı erişimi ...
- Yönetilebilir: Veri yönetimi platformu sürekli olarak optimize edilir, birleşik görev planlama merkezi, birleşik veri senkronizasyon aracı, birleşik veri haritası yönetimi, birleşik yaşam döngüsü yönetimi ...
- Açık olun: Açık Veri İşleme Hizmeti (ODPS), bulut ürün ailesinin bir parçası olarak tüm topluma resmi olarak açıktır.
2014 Double 11, büyük veri SRE'nin gözünde biraz "özel". Aya iniş planı düzenli bir şekilde ilerliyor, ancak işletme ve bakım öğrencileri için bir uçak kullanmak ve motorları değiştirmek kadar heyecan verici: Aynı zamanda bulut merdivenini, bir bulut merdivenini ve iki on binlerce sunucu kümesini korumak gerekiyor. Sistemin kararlı çalışması, farklı bakım becerileri arasındaki geçişle karşı karşıyadır.
ODPS, Hangzhou'dan ilk kez çıktı ve bölgeler arasında çift bilgisayar odaları ve birden fazla küme ile İç Moğolistan ve Hangzhou'daki Double 11'de büyük işlemleri destekledi. Stratejiyi acil durum planında tekrar tekrar ayarlayın, çeşitli otomatik komut dosyalarını araca eşit şekilde birleştirin, teslaV1.0 yeniden kullanım ve kapasite aktarımı sağlamak için inkübatör aracının işletim ve bakım yeteneklerini başlatır, insan yapımı arızaların oluşumunu azaltmak için operasyon ve bakım operasyonlarının standardizasyonunu parlatır, Büyük ölçekli kümeler ve karmaşık ay inişleri, 11.11 Büyük Veri işinin istikrarını sağlar. Double 11 görevini tamamlamak için farklı yerlerde çapraz makine odası işbirliğini desteklemek ilk kez, genel temel çıktı zamanında, kaynaklar yeterli, önemli iş Tmall, veri teknolojisi ürün departmanı ve güvenlik sıfır hatası.
Aşama 4: Grup dışında dünyaya hizmet etmek için Alibaba'nın büyük veri bilişim yetenekleri
Ocak 2015'te, büyük veri bilişim yeteneklerinin gruptan çıktığını, genel bulut kullanıcılarını (Yushanfang), ISV'yi, hükümet ve kurumsal kullanıcıları desteklediğini ve Ali'nin büyük veri yeteneklerini ilk kez tüm kullanıcılarla paylaştığını belirten veri platformu (CDO) 5K + projesi başlatıldı. Bu yıl Grup Veri Platformu (CDO), büyük veri bilişim ürünleri ve hizmetleri bulut işinin geliştirilmesine odaklanarak Alibaba Cloud Feitian I'e geri döndü.
Ay'a iniş 30 Haziran 2015'te tamamlandı. Yunti 1 resmi olarak çevrimdışı oldu ve yeni nesil büyük veri platformları çağını başlattı.Aynı zamanda, yeni platformun Double 11'i desteklemek için ilk büyük testini de başlattı.
- Resmi olarak küreselleşmeye doğru yürüyüş, yeni bir çok kanallı iş ekosisteminin ilk genel görünümü, dijital ekonomi ve çevrimdışı ticaretin tam entegrasyonu, kullanıcı yönetiminin çok kanallı entegrasyonu, emtia yönetimi ve hizmetleri, lojistik vb., Muazzam veri işleme yeteneklerine sahip büyük bir veri platformu.
- Büyük veri platformu ilk kez tescilli buluta ihraç edildi ve hibrit bulut modeli hükümete ve kurumlara tek noktadan büyük veri geliştirme yetenekleri sağlamak için başlatıldı.
- Akış bilgi işlem genel bulutu, kamuya açık olarak test edildi ve Çin'in genel bulut ortamında akışlı veri işleme platformu sağlayan ilk ürün oldu.
- StreamComputeV1.0, grubun çift 11 misyonunun yeni platforma geçişini desteklemek için grup içinde yayınlandı.
- Alibaba Cloud Data Plus platformu resmi olarak piyasaya sürüldü ve bir bulut ailesi olarak büyük veri, harici çıktı yetenekleri sağlamak için resmi olarak genel bir bulut olarak başlatıldı. Aynı yıl, ODPS "MaxCompute" olarak yeniden adlandırıldı ve MaxCompute 2.0, yüksek performans, yeni işlevler ve zengin ekoloji elde etmek için doğdu Tek bir kümenin ölçeği 10.000 birimi aştı.
- Dataworks çift merkezli ve modüler dönüşümü tamamladı.Mayıs ayından Aralık 2017'ye kadar Alibaba Cloud DataPlus işi, yurtiçinde ve yurtdışında 1 Bölgeden yurtiçi ve yurtdışında Doğu Çin, Güney Çin, Kuzey Çin, Singapur, Hong Kong, Avustralya'yı kapsayan 11 bölgeye genişledi. Almanya, Malezya, Batı Amerika, Doğu Amerika. Birkaç önemli pazarda küresel genişlemenin dağıtımını ve başlatılmasını tamamlayın. Çin'in büyük veri bilgi işlem yeteneklerinden oluşan bir ekosistem oluşturmak için güçlü bilgi işlem yeteneklerini dünyanın her yerine aktarın.
2015'ten 2017'ye kadar, büyük veri platformu yalnızca grubun bilgi işlem ve depolama çevrimdışı büyük veri platformunun% 95'ini taşımakla kalmadı, aynı zamanda grubun çift 11 taraf medya canlı yayın büyük ekranlı canlı ticaret geniş ekranını da destekledi (GMV ekranı ilk ekrandan 5 saniye içinde) Gerçek zamanlı bilgi işlem platformu. Bilgi işlem platformu, Double 11 dönemi boyunca büyük ölçekli kümelere, devasa verilere ve yüksek eşzamanlı büyük veri hesaplama gereksinimlerine dayanmıştır. MaxCompute'un tek günlük veri işleme kapasitesi 2015'te 100 PB'den 2016'da 180 PB'ye ve işleme kapasitesi 80 artmıştır. %, üye işyeri faturaları gibi platform tabanlarında kesikli bir çizgi yoktur, sistem kararlı ve sorunsuzdur ve gecikme beklenenden daha iyidir.
Gerçek zamanlı hesaplama ile işlenen günlük en yüksek veri hacmi saniyede 100 milyona ulaşabilir ve 2017'de Double 11 şaşırtıcı bir şekilde saniyede 470 milyona ulaştı. 3S gecikmeli veri akışı işleme özelliğiyle Double 11 Evening Party ortam canlı yayınının geniş ekranında saniyede yüz milyonlarca gerçek zamanlı günlüğü destekler.Çift Eleven medya geniş ekranına ek olarak, akışlı bilgi işlem, Alibaba Grubu içindeki ve dışındaki birçok gerçek zamanlı işletmeyi de destekler. , Reklamcılık ve pazarlama, arama kişiselleştirme, akıllı müşteri hizmetleri, lojistik planlama, Alipay, Juhuasuan ve diğer hizmetler. Akışlı bilgi işlem, çift 11 ana sınavdan geçti ve etkin ve beklemedeki çift bağlantılı felaket kurtarma, gerçek zamanlı tam bağlantı izleme ve Tesla operasyon ve bakım teşhis araçları için gerçek zamanlı bir tam bağlantılı garanti çözümü oluşturdu. Gerçekten "tek noktadan" gerçek zamanlı bilgi işlem yeteneğine sahiptir ve "tek noktadan" bir çözüm sağlar.
İlk ekrandan itibaren 5 saniye içinde GMV gerçek zamanlı görüntü
Yeni nesil büyük veri platformlarının ve akış bilgi işlem hizmetlerinin ipeksi pürüzsüzlükte olmasını ve iş istikrarının garantili olmasını sağlamak Büyük Veri SRE'nin misyonu haline geldi.Büyük veri işlem ve bakım yetenekleri, platforma ve hizmete yönelik geliştirildi ve tek noktadan otomatikleştirilmiş bir işletim ve bakım sistemi oluşturmak için TeslaV3 .0 Hizmet odaklı operasyon ve bakım yetenekleri (API), birleşik yerleştirme ve grup genel yeteneklerinin entegrasyonu ve çeşitli ürün ve hizmetlere sorunsuz ve verimli erişim için güçlü destek, iş merkezi, küme yönetimi elde etmek için iş operasyon ve bakım trafo merkezlerinin düşük maliyetli ve hızlı inşası için yepyeni teknik mimari yükseltmesi, Kaynak yönetimi, operasyon ve bakım merkezi, izleme alarmı, arıza teşhisi, akıllı tahmin ve operasyon analizi gibi fonksiyonlar. Kaynak kapasitesi planlaması elde etmek için çift 11 kararlılık-iş planı-tam bağlantı stres testi-sistem optimizasyonu-acil durum planı-görev, tam süreç otomasyonu inişini garanti eder, gerçek zamanlı bağlantı hazırlama platformu otomasyonu ve yüzlerce stres testi turunun kullanıcı self servis uygulaması, akış hesaplama Ayarlamanın işçilik maliyeti% 50'den fazla azaltılır.
Aşama 5: Yeni bir büyük veri teknolojisi yenilik çağı
Haziran 2017'de Bilişim Platformu Bölümü kuruldu.Yüzlerce tescilli bulut büyük veri platformunun çıktısı ile ölçek 10.000 birimi aştı ve kamu geliri 100 milyonu aştı.Büyük veri platformunun başlangıcındaki vizyon adım adım çalışmalarla aşamalı olarak gerçekleştirildi. İnsanlar yeni bir teknolojik yenilik çağına giriyor:
MaxCompute, TPC karşılaştırmasına uyum sağlar, BigBench test ölçeğini 100 TB'a genişletir ve Ekim ayında dünyanın ilk genel bulut tabanlı BigBench büyük veri karşılaştırma testini tamamladı. Veri ölçeği sadece mevcut sonuçları 10 kat aşmakla kalmadı, aynı zamanda performans yaklaşık 5 kat artırılarak 7830QPM'ye ulaştı ve hesaplamalar sayesinde fiyat / performans oranımız mevcut en yüksek fiyat / performans oranına kıyasla neredeyse iki katına çıktı. Aralık'taki Pekin Yunqi Konferansı'nda sınıra bir kez daha meydan okuduk. Dünyanın ilk genel bulut tabanlı BigBench değerlendirmesi 20 saatten fazla canlı yayınlandı. Ekim ayında sonuçları aştı ve 8200QPM'de dünyaya "Çin bilgi işlem, dünya yetenekleri" gösterdi!
MaxComputeLightning, yeni perakendeye büyük verilerle yardımcı olur: ilk kez, binlerce tüccarın kapalı döngü bağlantısını güçlendirir ve karar verme, operasyonlar, ürünler, algoritmalar ve birden çok roldeki tüccarların karar verme sürecine yardımcı olur. Teknik olarak, gerçek zamanlı hesaplamayı çevrimdışı bilgi işlemle birleştirir, çevrimdışı ve gerçek zamanlı verilerin birleşimi altında sorgu yanıtını saniyenin altında bir düzeye indirir ve etkileşimli sorguları destekler; Lightning platformu, Alinin dahili işlem sorgu ihtiyaçlarının uzun vadeli hizmeti için bir DaaS platformu olarak hizmet verecek ve Etkileşimli iş geliştirme daha kullanışlıdır; Lightning'deki başarı aynı zamanda etkileşimli sorgu çözümünü doğruladı ve MaxCompute (ODPS) için bir sonraki teknolojik geliştirme yönünü netleştirdi.
MaxCompute mimarisi, NewSQL + zengin yapı + ortak bilgi işlem platformu + AliORC çabalarıyla yükseltildi, yüksek kullanılabilirlik, yüksek performans ve yüksek uyarlanabilirliğe sahip büyük veri çözümleri için tek noktadan açık bir platform oluşturmaya ve MaxCompute'u (ODPS) teşvik etmeye devam ediyor Ekolojik refah.
DataWorks, veri araştırma ve geliştirme, veri entegrasyonu, zamanlama yönetimi, varlık yönetimi, gerçek zamanlı analiz, kalite izleme ve diğer işlevleri entegre eden ve büyük ölçekli işbirliğine dayalı görsel geliştirmeyi ve rafine edilmiş yönetim operasyon ve bakımını destekleyen büyük verilerin tek noktadan WEB sürümünü oluşturarak yelken açtı. platform. Resmi olarak bir uçak gemisi savaş grubu oluşturun, böylece her genç, uçak gemilerini harekete geçirme yeteneğine sahip olur.
Depolama ve bilgi işlem ayırma mimarisi ve hibrit teknolojisi, kaynak yeniden kullanımı ve teknoloji keşfi gibi önemli misyonu omuzlar, model tedarik ve bütçeleme, büyük ölçekli maliyet promosyonu ve çizelgeleme verimliliğini artırma gibi üç ana sorunu çözer. Çekirdek teknoloji, dünyanın önde gelen seviyesine ulaştı ve Double 11'i başarıyla destekledi. Ticari karma bölümün çevrimiçi trafiği% 19,5'tir ve karınca karma bölümü işlem ödeme trafiğinin% 20'sini taşır.
DataHub, Ali'nin kendi geliştirdiği Feitian platformunu temel alan, yüksek kullanılabilirlik, düşük gecikme süresi, yüksek ölçeklenebilirlik ve yüksek verimlilik özelliklerine sahip PB düzeyinde bir veri veri yoludur.Dünya çapındaki düzinelerce bilgisayar odasından uygulama günlüklerinin, veritabanı değişikliklerinin ve mesaj olaylarının gerçek zamanlı olarak toplanmasından sorumludur. Artımlı verileri bekleyin ve aşağı akış etkileşimli sorguya, gerçek zamanlı öneriye, reklam faturalandırmasına, akışlı bilgi işlem ve çevrimdışı bilgi işlem senaryolarına gönderin. Mimari yükseltmesi 2017'de tamamlandı: TT, DataHub'a sorunsuz bir şekilde taşındı ve ilk kez gerçek zamanlı veri çift bilgisayar odaları için güçlü ve tutarlı olağanüstü durum toleransı sağladı; dakikalar içinde eksiksiz bilgisayar odası arızası kurtarma, kesintisiz veri bağlantısı.
Mayıs 2017'de, üstün güçleri yoğunlaştırmak ve gerçek zamanlı hesaplamayı güçlü bir şekilde geliştirmek için, Galaxy, JStorm ve Search dump'ın üç gerçek zamanlı hesaplama kaynağı entegre edildi ve Ali gerçek zamanlı hesaplamanın yeni bir kilometre taşına girdiğini ilan etti. Gerçek zamanlı görevler kesintisiz olarak 7 * 24 çalıştığı için, bu sefer motorun birleşmesi, sınırlı zaman aralığı ve operasyonun karmaşıklığı, teknoloji ve iş için büyük bir zorluktur.Ancak, yarım yılın ardından, görevlerin% 80'i saniyede bir oranda Blink'e taşınır. 472 milyon adet gerçek zamanlı günlük işleme, 3S gecikme desteği MPV ortam geniş ekran verileri saniyeler içinde sunulur, Double 11 sınavını geçerek her şey sorunsuz ve sessizdir.
Bu yenilikçi teknolojiler, 2017 Double 11'i farklı zorluklarla karşı karşıya getiriyor:
- E-ticaret karma departman: çevrimdışı, çevrimdışı, depolama ve bilgi işlem ayrımı.
- Gerçek zamanlı bilgi işlem geçişi: galaksi göçü yanıp söner.
- Veri kanalı geçişi: TT, Datahub'a geçiş yapar ve aynı şehirde afet toleransı yeteneğine sahiptir.
Sonunda, teknik gençler güzel bir karne çıkardılar:
- MaxCompute'un tek günlük veri işleme hacmi yeni bir yüksek 300 + PB'ye ulaştı, grubun temel değeri belirlenen hedefin 1 saat ilerisindeydi ve hesaplama süresi% 15 azaltıldı. Art arda üç yıl boyunca, temel hat kesintisi ve planlanandan önce istikrarlı üretim olmadı.
- Yıldırım yıldırım hesaplama platformu, grafik bilgi işlem sahtekarlığa karşı çifte 11 gerçek savaş parlıyor.
- Gerçek zamanlı bilgi işlem yanıp sönmesi, saniyede 472 milyon gerçek zamanlı günlük ile işlenir ve 3S gecikmesi, GMV ortamı geniş ekranında verilerin ikinci düzey sunumunu destekler.
- Depolama ve bilgi işlem ayrımı mimarisi ve hibrit teknolojisi, çift bölümlü 11 e-ticaret karmasını ve işlem ödeme akışını başarıyla destekledi.
- Veri kanalı TT, çift bilgisayar odasındaki gerçek zamanlı verilerin güçlü ve tutarlı bir felaket durumunda kurtarılmasını sağlamak için veri havuzuna taşınır; tüm bilgisayar odası arızadan birkaç dakika içinde kurtarılabilir ve veriler sorunsuz bir şekilde bağlanarak bağlantı performansını daha da artırır.
- Tam bağlantılı meta veri kontrolü, tek noktadan hazırlık deneyimi (garanti uygulaması, kapasite hizalama, basınç testi, düşürme vb.) Ve tam bağlantılı veri izleme ve analizini gerçekleştirmek için bir tesla hazırlık platformu oluşturun.
2018
Ali'nin 10. Double 11'i olan "Double 11 Technology" den "Technical Double 11" e, büyük veri platformu yetenekleri teknolojik yenilik ve teknoloji kapsamlı entegrasyon ve evrime devam ediyor:
- Büyük ölçekli çevrimdışı hibrit teknolojisi Double Eleven işlemlerini destekler;
- Zhangbei karma departman kümesini kuzeydeki bilgisayar odasına taşıyın;
- 100.000'den fazla işletim sistemi otomatik olarak 7U'ya yükseltildi.
Büyük veri SRE, çevrimiçi işin yüksek kullanılabilirliğini ve istikrarını sağlamaktan, verimliliği artırmak ve yüksek frekanslı, yüksek değerli ve yüksek yoğunluklu işlem senaryoları altında maliyetleri düşürmekten sorumludur.İşletme ve bakım verileri için bir veri ambarı oluşturur ve keşfetmeye başlar Akıllı işletim ve bakım alanında, değişim otomasyonu, kullanıcı self servis otomatik değişiklikleri ve tam bağlantılı akıllı izleme tamamen iyileştirilirken, sistem arızası kendi kendini onaran kapalı döngü veri tabanlı bir şekilde, koordineli optimizasyon, çevrimdışı ve gerçek zamanlı hesaplama işlemi ve bakımı ile 2018'de gerçekleştirilir. , İnsan müdahalesi olmadan tam otomatik basınç testi uygulaması, kuzeye akıllı tek tuşla veri aktarımı ve otomatik OS7U yükseltmesi.Aynı zamanda, çevrimdışı / gerçek zamanlı bir iş istikrarı veri izleme pazarı oluşturur ve sistem, sistemi ve iş operasyon durumunu net bir şekilde görebilir.
Özet: Güçlü bir iş desteği olmak için eksiksiz bir büyük veri platformu oluşturun
Sayısız insanın ortak çabalarıyla, Alibaba'nın kendi iş senaryoları tarafından yoğun bir şekilde doğrulanan ve gerçek kurumsal düzeyde hizmet yeteneklerine sahip büyük veri akıllı bilgi işlem bulut platformuna sahip. Vizyonumuz, aynı teknolojinin bulut platformu aracılığıyla tüm dünyaya yayılacak ve çeşitli sektörlerdeki kurumsal kullanıcılara hizmet edecek olmasıdır.
Toplu işleme, akışlı bilgi işlem, çevrimdışı bilgi işlem ve makine öğrenimi, ortak bilgi işlem, zeka ve kurumsal düzeyde hizmet yeteneklerindeki bilgi işlem yeteneklerinin evrimiyle birlikte, eksiksiz bir büyük veri platformu oluşturmak Alibaba ekonomisinin ve Alibaba Cloud'un arkasındaki bilgi işlem gücü haline geldi. Güçlü destek. Dijital Alibaba'dan dijital şirketlere ve daha sonra dijital şehirlere kadar, platform ve ürün geliştirmeyi teknolojiyle desteklemeye devam edeceğiz, böylece işletmeler ve toplum yeterli bilgi işlem yeteneklerine sahip olabilir, hızla gelişmeye devam edebilir ve Dijital Çin'in gelişimini yönlendirebilir.
