Double 11'in kararlılığından sorumlu kişi Tong Amca şunları söyledi: Double 11'in bulut mimarisinin 9 yılda evrimi ve yükseltilmesi
Alibaba'nın kılavuzu: Alibaba'nın 9 yıllık ikiye katlanması 11'in ardından, işlem hacmi 280 kat arttı, en yüksek işlem 800 kattan fazla arttı ve sistem sayısı patlayıcı bir büyüme gösterdi. Sistemin Double 11'i desteklemedeki karmaşıklığı ve zorluğu katlanarak arttı. Double 11 zirvesinin özü, sınırlı maliyetlerle kullanıcı deneyimini ve küme verimini en üst düzeye çıkarmak ve zirveyi makul bir maliyetle çözmektir. Büyüme karşısında, ölçek etkisinin nasıl oynanacağı, tek işlem maliyetlerinin nasıl azaltılacağı, en yüksek verimliliğin nasıl artırılacağı ve kullanıcılara ipeksi pürüzsüz bir göz atma ve alışveriş deneyimi sağlama büyük bir zorluktur.
Bugün, dokuz yıl içinde Double 11'in bulut mimarisinin gelişimini ve yükseltmesini paylaşmak için Alibaba'dan kıdemli bir teknik uzman olan Tong Amca'yı davet ettik.
Alibaba'nın kıdemli teknik uzmanı Shutong (Ding Yu), çift 11 operasyona 8 kez katılmış, Alibaba yüksek kullanılabilirlik mimarisi, çift 11 kararlılıktan ve Alibaba konteyner, zamanlama, küme yönetimi, operasyon ve bakım teknolojisinden sorumludur.
Shutong: Herkese merhaba, ben Shutong. Ali Double 11'in teknolojik gelişimini sizlerle paylaşmaktan çok mutluyum. Bugün ilk olarak bir soruya odaklanıyoruz: Double 11, Ali'nin teknolojisinin ilerlemesini destekledi. Zorluklar neler?
1. İnternet düzeyinde ölçek, Ali'nin web sitesinde her gün yüz milyonlarca insan ticaret yapıyor;
2. Kurumsal düzeyde karmaşıklık Her işlem yüzlerce sistemin desteğini gerektirir;
3. Mali düzeyde istikrar, her işlem eksiksiz ve doğru olmalıdır;
4. Double 11, sistemin kesinlikle kararlı olmasını gerektiren iş zirvesinin onlarca katıdır.
Dağıtık mimaride teknolojik atılımlar, farklı konumlardaki çoklu faaliyetler, mevcut sınırlama ve bozulma ve tam bağlantılı stres testi ile ölçeklenebilirlik ve kararlılık sorunları iyi bir şekilde çözüldü. Sistem mimarisi, 9 yılda Double 11'in geliştirilmesiyle nesilden nesile evrim geçiriyor ve her yıl büyük ölçüde iyileştirildi. 2008 yılında Alibaba, sistemi merkezi bir mimariden dağıtılmış ve ölçeklenebilir bir mimariye dönüştürmeye başladı, burada çok sayıda İnternet ara katman yazılımı teknolojisi depolandı. 2013 yılında, farklı yerlerdeki birden fazla faaliyetin mimarisinin evrimi yoluyla, Alibaba'nın tüm işlem birimleri ülke çapında çeşitli şehir sitelerine konuşlandırılarak bölgesel düzeyde genişleme sağlandı. Bu iki teknolojinin üst üste binmesi, tüm çift ölçeklenebilirlik problemini çözer.
Dağıtık mimarinin evrimi nedeniyle, sistem kararlılığı sorunları öne çıkmış, sistem karmaşıklığı keskin bir şekilde artmış ve çoklu sistemler arasındaki koordinasyonda sorunlar ortaya çıkmıştır. Mevcut bir sınırlama ve sınıf düşürme sistemi, bir plan sistemi ve çevrimiçi bir yönetim ve kontrol sistemi oluşturduk. 2013 yılında, çift 11 hazırlık için temel silah - tam bağlantı basınç testi yapıldı. Tüm sistemin bağımlılıklarında Double 11 ile ilgili parçalar üzerinde tam kullanıcı düzeyinde çevrimiçi yüksek trafikli gerçek sahne okuma ve yazma stres testi gerçekleştirebilir, böylece sistem tüm çevrimiçi üretim ortamının işlenmesini doğrulamak için önceden birkaç "Double 11" deneyimleyebilir. Sorunları bulup zamanında çözme yeteneği. Şu anda, bu teknolojiler İnternet endüstrisinde standart teknolojiler haline geldi.
Bulut mimarisinin evrimi
Double 11'in tepe değerindeki hızlı artış nedeniyle sistemin kararlılığını tamamladığımızda donanım, zaman ve işçilik maliyetlerinin çok pahalı olduğunu gördük. Maliyet zorluklarının ortaya çıkması bizi BT maliyeti sorununu, yani sunucu kaynakları sorununu çözmeye iter. İlk olarak, bulut mimarisi evriminin arka planına bakalım.
Yukarıdaki resim, Ali'nin işinin altı aylık en yüksek veri tablosunu gösteriyor. Tablodaki en büyük iki zirve, Double 11 ve Double 12 işlem zirvelerini temsil eder, diğer daha küçük zirveler günlük işlem zirveleridir ve kırmızı çizgi, günlük hazırlık sistemi sunucu kaynaklarının işlem kapasitesini temsil eder.
13 yıldan önce, Double 11'in en yoğun trafiğini desteklemek için çok sayıda sunucu kaynağı satın aldık. Zirve geçtikten sonra, uzun vadeli verimsiz operasyon çok fazla kaynak israfına neden olacaktır.Bu çok kapsamlı bir bütçe ve kaynak yönetimi modelidir. Alibaba'nın çoklu iş formları çeşitli kümeler üretti.Her kümenin işletim ve bakım sistemi oldukça farklıdır, çeşitli sektörler birlikte çalışamaz ve kaynakların genel esnekliği yetersizdir, bu da bu kaynakları Double 11'den ödünç almayı imkansız kılar. Her sektörün kaynak havuzunun farklı arabellekleri vardır ve her kaynak havuzunun çevrimiçi oranı, tahsis oranı ve kullanım oranı birleştirilemez. Genel teknik verimliliği ve küresel kaynakların esnek bir şekilde yeniden kullanımını iyileştirmek için bulut tabanlı mimariyi kullanıyoruz. Örneğin, Double 11 yapmayan bir küme 11 işlemi ikiye katlamak için kaynaklara katkıda bulunur. Bulut, Double 11 için gereken esnekliği sağlayabildiğinden, promosyonun toplam maliyetini ve günlük genel maliyeti azaltmak için teknik sistemlerin entegrasyonu yoluyla Double 11'in maliyetini çözmek için Alibaba'yı kapsamlı bir şekilde kullanmaya başladık ve Double 11 single elde etmek için bulut tabanlı bir mimari önerdik. İşlem maliyetlerini yarıya indirme hedefi.
Öncelikle tüm işletme ve bakım sisteminin mevcut durumunu sıralayalım. Kümeleri kabaca çevrimiçi hizmet kümelerine, bilgi işlem görev kümelerine ve ECS kümelerine ayırıyoruz. Bu üç kümede kaynak yönetimi, temel işletim ve bakım ve zamanlama bağımsızdır. Çevrimiçi hizmetler için Sigma zamanlaması, bilgi işlem görevleri için Fuxi zamanlaması ve ECS için Cloud Open API gibi kendi planlama ve düzenleme yeteneklerine sahiptirler; ayrıca üretim kaynakları, kaynak tedariki ve tahsis yöntemlerinde farklıdırlar. Çevrimiçi hizmetler kapsayıcıları kullanır, bilgi işlem görev planlaması nihayet LXC hafif yalıtım paketleme kapsayıcıları üretir, bulut üretimi ECS'dir; bunlar ayrıca uygulama katmanında işletim ve bakım küme yönetimi ve en üstteki iş katmanı tarafından yürütülen görevler açısından farklıdır Aynı şey değil. Çevrimiçi sunucular, işlem arama reklamları ve durum bilgisi olan depolama gibi çevrimiçi hizmetleri çalıştırır. Bilgi işlem kümeleri büyük veri analizi görevleri yürütür ve bulut kümeleri çeşitli harici müşteri görevlerini yürütür.
Kapsamlı teknoloji bulutlaştırması yoluyla katman katman yeniden yapılandırın ve yükseltin ve küresel birleşik zamanlama elde etmek için esnek yeniden kullanım yetenekleri oluşturun. Çevrimiçi görevler ve bilgi işlem görevleri karma bir şekilde dağıtılır ve birleşik işlem ve bakım dağıtımı ve kaynak tahsisinin standartlaştırılması yoluyla zamanlama verimliliği iyileştirilir, böylece otomatik kapasite teslimatı gerçekleştirilir. Bu nedenle, tam konteynerleştirme yapmalı, genel bulutları kullanmalı, bulutun esnekliğini tam anlamıyla oynamalı ve kendi kendine hasat altyapısına yapılan yatırımı azaltmalıyız. Hibrit bulut elastik mimarisi ve tek tıklamayla site inşası sayesinde, Alibaba Cloud'u yeniden kullanma yeteneği Double 11'in maliyetini düşürebilir ve Alibaba Cloud'u kullanarak önceki yılın kaynak tutma süresini yalnızca 1-2 aya indirebilir.
Birleşik planlama sistemi
2011 yılında kurulan Sigma, Alibaba'nın çevrimiçi işine hizmet eden bir zamanlama sistemidir.Sigma çevresinde bir dizi çizelgeleme merkezli küme yönetim sistemi vardır.
Sigma, Alikenel, SigmaSlave ve SigmaMaster'ın üç katmanlı bir beyin bağlantı işbirliğidir.Alikenel, çekirdeği geliştirmek ve kaynak tahsisinde ve zaman dilimi tahsisinde önceliği ve stratejiyi esnek bir şekilde ayarlamak ve görevlerin zamanlamasını ayarlamak için her NC'ye yerleştirilir. Gecikme, görev süresi dilimlerinin önlenmesi ve mantıksız ön ödemenin çıkarılması, üst düzey kural yapılandırmasıyla kararlaştırılabilir. SigmaSlave, bu makinede CPU tahsis edebilir ve acil durum senaryolarını yönetebilir. Yerel Slave, küresel karar verme için uzun işlem süresinin neden olduğu iş kayıplarını önleyerek hızlı bir şekilde kararlar alabilir ve gecikmeye duyarlı görevlere yanıt verebilir. SigmaMaster en güçlü beyindir, genel duruma hakim olabilir ve çok sayıda fiziksel makinenin konteyner dağıtımı için kaynak planlama tahsisi ve algoritma optimizasyonu karar verme sürecini gerçekleştirebilir.
Tüm mimari, son duruma yönelik bir tasarım konseptidir.İstek geldikten sonra, veriler kalıcı depolamada depolanır ve programlayıcı, programlama gereksinimlerini tanımlar ve kaynakları tahsis eder. Sistemin genel koordinasyonu ve nihai tutarlılığı çok iyidir. 2016 yılında Go dilinde yeniden yazılan ve 2017 yılında kubernetes API ile uyumlu programlama sistemini 2011 yılında yapmaya başladık. Açık kaynak topluluğu ile birlikte kurup geliştirmeyi umuyoruz.
Birleşik programlamanın ve merkezi yönetimin avantajları uygulamaya konuldu ve ölçek ekonomilerindeki bazı temettüler serbest bırakıldı. Çevrimiçi hizmet planlaması ve hesaplama görevi planlaması altında çeşitli iş formları vardır. Bunlar, birinci seviye planlamada iki katmanlı planlamaya daha da bölünür. Kullanım ve tahsis oranı, kaynak havuzlarının birleştirilmesiyle iyileştirilir ve küresel erişim elde etmek için uzamsal boyutları optimize etmek için tamponlar birleştirilir. . Global bağlantıdan sonra, esnek zaman paylaşımlı çoklama ve zaman boyutunun optimizasyonu gerçekleştirilerek toplamda% 5'ten fazla kaynak tasarrufu sağlanır. Geniş taban nedeniyle, bu optimizasyon etkisi çok etkileyicidir.
Alibaba, 2014 yılında karma departman mimarisini tanıtmaya başladı ve Alibaba içinde büyük ölçekte konuşlandırıldı. Çevrimiçi hizmetler, uzun yaşam döngüleri, yüksek karmaşık kurallar ve stratejiler ve gecikmeye duyarlı görevler olan görevlere aittir. Ancak, bilgi işlem görevlerinin yaşam döngüsü kısadır, zamanlama yüksek eşzamanlılık ve yüksek verim gerektirir, görevlerin farklı öncelikleri vardır ve gecikmeye duyarlı değildirler. Bu iki tür çizelgelemenin temel taleplerindeki farklılığa dayanarak, iki tür çizelgelemeyi hibrit dağıtım mimarisinde paralel olarak işleriz, yani bir NC fiziksel makinesi hem Sigma çizelgeleme hem de Fuxi çizelgelemesine sahip olabilir. Sigma planlama, Pouch konteynerini başlatmak için OCI standardı RunC, RunV, RunLXC üç standardını çağırmak için SigmaAgent'ı kullanır. Fuxi ayrıca bu NC fiziksel makinesinden kaynakları alır ve kendi bilgi işlem görevlerini başlatır. Tüm çevrimiçi görevler Torba konteyneri üzerindedir.Sunucu kaynaklarının dağıtılmasından ve kesilmesinden sorumludur. Zamanlama yoluyla, çevrimiçi görevler yerleştirilir ve fiziksel makine kaynaklarının kullanımının doygun olmasını sağlamak için çevrimdışı görevler boş alana doldurulur. Bu, iki görevin karıştırılmasını tamamlar. dağıtmak.
Karıştırmanın anahtar teknolojisi
Çekirdek kaynak izolasyonunun temel teknolojisi
-
CPU HT kaynak izolasyonu açısından, Noise Clean çekirdek özelliği, çevrimiçi / çevrimdışı hiper iş parçacığı kaynak çekişmesi sorununu çözmek için uygulanır.
-
CPU planlama izolasyonunda, Çevrimiçi görev planlama önceliğini iyileştirmek için, Görev Önleme özelliği CFS temelinde eklenir.
-
CPU önbellek yalıtımı açısından, CAT, çevrimiçi ve çevrimdışı L3 önbellek (LLC) kanal yalıtımı (Broadwell ve üstü) elde etmek için kullanılır.
-
Bellek izolasyonu açısından, CGroup izolasyonu / OOM önceliğine sahiptir; Bant Genişliği Kontrolü, bant genişliği izolasyonu sağlamak için çevrimdışı kotaları azaltır.
-
Bellek esnekliği açısından, bellek artmadığında, karıştırma etkisi geliştirilir ve boşta iken memcg sınırı çevrimdışı olarak aşılır; bellek gerektiğinde, çevrimdışıyken zamanında serbest bırakılır.
-
Ağ QoS yalıtımı açısından, yönetim ve kontrol işaretlemesi altın madalya, çevrimiçi işaretleme gümüş madalya ve çevrimdışı işaretleme bronz madalya olup, farklı seviyelerde bant genişliği garantilidir.
Çevrimiçi küme yönetiminde anahtar teknolojiler
-
Uygulamanın hafızasını, CPU'sunu, ağını, diskini ve ağ G / Ç kapasitesini profilleyin, özelliklerini, kaynak özelliklerini ve gerçek kaynakların farklı zamanlarda nasıl kullanıldığını öğrenin ve ardından genel özellikleri ve zaman korelasyonunu analiz edin, Genel planlama optimizasyonunu gerçekleştirin.
-
Uygulamanın bir araya getirdiği yakınlık ve karşılıklı dışlama ve görev önceliği ataması, genel bilgi işlem gücünü gitgide daha az ve daha yüksek iş hacmi haline getirir, bu belirli bir yakınlıktır.
-
Farklı senaryoların farklı stratejileri vardır. Double 11in stratejisi önce istikrardır. Önce istikrar, döşeme stratejisinin tüm kaynakları tüketmek ve kaynak katmanının en düşük su seviyesine ulaşmasını sağlamak için kullanıldığı anlamına gelir. Günlük senaryoların kullanıma öncelik vermesi gerekir. "Kullanım önceliği", kullanılan kaynakların en yüksek seviyeye ulaşması ve büyük ölçekli şeyler için büyük miktarda eksiksiz kaynak serbest bırakılması anlamına gelir.
-
Uygulamalar otomatik olarak sözleşmeye bağlanabilir ve zamanında yeniden kullanılabilir.
-
Tüm sitenin hızlı genişlemesi ve küçülmesi, esnek bellek teknolojisi.
Hesaplama görevi planlama + ODPS'de temel teknolojiler
Üç temel hibrit teknoloji, esnek bellek zaman paylaşımlı çoklama, dinamik bellek aşırı satımı, kayıpsız bozulma ve kayıplı bozulmadır. Dinamik bellek aşırı satımı, belleğin aşırı satılabileceği anlamına gelir.Kullanılacak bir çevrimiçi görev varsa, hızlı bir şekilde iade edilecektir. Kayıplı bozulma ve kayıpsız bozulma stratejisi, yeni görevler eklemeden kabul edilebilir bir aralıkta etkileyen, yavaş yavaş azaltan ve girişimi etkileyen görevleri doğrudan öldüren kayıplı girişimin kayıpsız bozulmasına işaret eder. . Her NC'de çevrimiçi görevler ve çevrimdışı görevler arasındaki ilişkiyi yönetmek için sıfır seviye kontrolü kullanın.
Karma dağıtım, günlük kaynak verimliliğini artırmak için bilgi işlem görevlerinin çevrimiçi hizmet kümelerine dahil edilmesini ifade eder. Çevrimdışı görevlerin piyasaya sürülmesinden sonra, ortalama CPU kullanımı% 10'dan% 40'ın üzerine çıktı ve hassas uygulamaların gecikme etki süresi% 5'ten azdı ki bu tamamen kabul edilebilirdi. Şu anda, tüm karma departman kümemiz binlerce birim ölçeğine ulaştı ve işlemin temel bağlantısının Çift 11 Promosyonunun doğrulanmasını geçti. Bu optimizasyon, günlük olarak sunucunun% 30'undan fazlasını kurtarabilir. Donanım yinelemesini ve ağ yinelemesini içerdiğinden, uzun bir hazırlık dönemi gereklidir, bu nedenle dağıtım ölçeğini önümüzdeki yıl 10 kat artırmayı umuyoruz.
Zaman paylaşımlı çoğullama yoluyla, kaynak verimliliğini daha da iyileştirme etkisi elde edilir. Yukarıdaki şekildeki eğri, uygulamalarımızdan birinin akış eğrisidir. Çok düzenlidir, sol gece çukur dönemini, sağ ise gün içindeki en yoğun dönemi temsil eder. Normal karıştırma, kullanım oranını% 40'a çıkarmak için şeklin mavi gölgeli bölümündeki kaynakları işgal etmeyi ifade eder. Esnek zaman paylaşımlı çoğullama teknolojisi, uygulama portresi için uygulama trafiği çukur dönemini bulmayı, uygulama kapasitesini küçültmeyi ve büyük miktarda bellek ve CPU serbest bırakmayı ifade eder. Daha fazla bilgi işlem görevi planlama. Bu teknoloji sayesinde ortalama CPU kullanım oranı% 60'ın üzerine çıkarılır.
Double 11 sırasında maliyetleri düşürmeye yardımcı olmak için bilgi işlem görev kümelerinin karma dağıtımı nasıl kullanılır? Bilgi işlem görev kümesini üç duruma ayırıyoruz: çevrimiçi hizmetin hiç olmadığı bir durum, çevrimiçi hizmetlerin ve bilgi işlem görevlerinin bir arada bulunduğu bir geçiş durumu ve çevrimiçi hizmetlerin Double 11'deki ana bilgi işlem görevlerine hakim olduğu kısa vadeli bozulmuş bir durum. Küme hibrit dağıtımından sonra, kaynak tahsisi% 37'dir ve bilgi işlem görevleri çevrimiçi görevler tarafından tahsis edilen kaynakları önceliklendirebilir; stres testi ve yoğun olmayan büyük promosyon sırasında kaynak tahsisi% 50 veya daha fazladır; büyük promosyonun zirvesi geldiğinde, bilgi işlem görevleri kısa sürede düşer ve kaynaklar boşta kalır Çift 11 zirveyi destekleyin. Double 11'in tek işlem maliyetini büyük ölçüde azaltan, bir saatlik hızlı site inşaatı ile eksiksiz bir ticaret sitesi inşa edildi.
Kese kabı ve konteynerizasyonun ilerlemesi
Tam konteynırlaştırma, operasyon ve bakım yeteneklerini geliştirmek ve operasyon ve bakımdaki farklılıkları kapatmak için anahtar bir teknolojidir. İlk olarak, Alibaba'nın dahili konteyner teknolojisi ürünü Pouch'ı tanıtacağım. LXC'ye dayalı olarak 2011 yılında inşa edilmeye ve piyasaya sürülmeye başlandı ve 2015'in başlarında Docker yansıtma işlevlerini ve birçok standardı özümsemeye başladı. Alibaba'nın konteyneri çok benzersizdir.Ali çekirdeğini birleştirir ve izolasyonunu büyük ölçüde geliştirir.Şu anda, Ali Grubu'nda bir milyon ölçekte konuşlandırılmıştır.
Pouch'un geliştirme rotasına bir göz atalım. Geçmişte sanal makine sanallaştırma teknolojisi kullanılıyordu Sanallaştırma teknolojisinden konteyner teknolojisine geçiş, işletim ve bakım sisteminde birçok zorlukla karşı karşıya. İşletim ve bakım sisteminin taşınması çok büyük bir teknik maliyettir. Bağımsız IP, SSH oturum açma, bağımsız dosya sistemi ve kaynak izolasyonu kullanımının görünürlüğü ile Alibaba'nın dahili operasyon ve bakım ve uygulama perspektiflerine ulaştık. Alibaba, 2015'ten sonra Docker standardını tanıttı, yeni bir konteyner Pouch seti oluşturdu ve tüm operasyon ve bakım sistemini entegre etti.
Poşet izolasyonu çok iyi Zengin bir konteynerdir Konteynere giriş yapıp konteynırda prosesin kapladığı kaynak miktarını ve kaç adet proses olduğunu görebilirsiniz.Proses askıya alındığında konteyner takılmaz ve birçok işlemi çalıştırabilir. Uyumluluk çok iyi, eski sürüm ve sonraki sürüm destekleniyor, bu da eskiye çok yardımcı oluyor. Aynı zamanda, milyonlarca konteynerin dağıtımının büyük ölçekli doğrulamasından sonra, dağıtım verimliliğini büyük ölçüde iyileştirmek için bir P2P görüntü dağıtım mekanizması geliştirdik. Aynı zamanda, sektördeki daha fazla standartla uyumludur, standartların oluşturulmasını teşvik eder ve RunC, RunV, RunLXC ve diğer standartları destekler.
Pouch'un yapısı, Pouchd'ın kubelet, swarm ve Sigma ile nasıl etkileşime girdiği nispeten açıktır. Depolama sektörüyle birlikte CSI standartları oluşturulmuştur. Ceph ve pangu gibi dağıtılmış depolamayı destekleyin. İzolasyonu geliştirmek ve birden çok standardı desteklemek için ağda lxcfs kullanın.
Şu anda, Pouchization, Alibaba'nın BU'larının çoğunu kapsıyor. 2017'de, milyon düzeyinde bir dağıtıma ulaştı. Çevrimiçi ticaret% 100 kapsayıcıya ulaştı ve bilgi işlem görevleri, heterojen platformların işletim ve bakım maliyetlerini düzleştiren kapsayıcıya alınmaya başlandı. Çalışma modlarını, çoklu programlama dillerini ve DevOps sistemini kapsar. Pouch, Ali'nin karıncalar, işlemler, ara katman yazılımları gibi hemen hemen tüm iş sektörlerini kapsar.
Pouch, 10 Ekim 2017'de açık kaynak ve 19 Kasım'da resmi olarak açık kaynak olarak duyurdu ve ilk ana sürümü Mart 2018'de yayınlamayı planlıyor. Açık kaynak Pouch aracılığıyla konteyner alanının gelişimini ve standartların olgunluğunu teşvik etmeyi ve sektöre farklılaştırılmış ve rekabetçi teknoloji seçenekleri sunmayı umuyoruz. Geleneksel BT şirketlerinin eskiden yararlanmasının yanı sıra, eski altyapı da konteynırlaştırmanın getirdiği işletim ve bakım katmanının avantajlarından ve avantajlarından yararlanabilir ve yeni BT şirketlerinin büyük ölçekli istikrar ve çok standartlı uyumluluk avantajlarından yararlanmaları uygundur.
Kılıfı açık kaynak adresi: https://github.com/alibaba/pouch
Depolama ve bilgi işlem ayrımı açısından, durum bilgisi olan görevlerin durumu çoğaltması gerektiğinden, zaman paylaşımlı çoklama işleminin otomasyon derecesini ve bakım ve programlama verimliliğini ciddi şekilde etkileyecektir. Bulutlaştırma sürecinde depolama ve bilgi işlem ayrıştırma teknolojisini uyguladık. Bilgi işlem kümesi ve çevrimiçi hizmet aynı bilgisayar odasında olmadığından, bilgi işlem görevinin verilerinin önce çevrimiçi iş kümesinde önbelleğe alınması gerekir, bu nedenle bir önbellek köprüsü kurduk ve ardından hesaplamayı gerçekleştirdik.
Bilgisayar odasının yapısının ayarlanması ve ağın optimizasyonu ile birlikte, çevrimiçi hesaplamanın depolanmasını ve hesaplanmasını aynı anda ayırmaya başladık. Şu anda, ağ yükleme bant genişliğiyle sınırlı olmayan, büyük kümelerin ağlar arası çekirdek aktarım trafiğini azaltan ve programlama esnekliğini artıran köprü kurucu çözümü uygulanmıştır. Depolama ve bilgi işlem ayırma teknolojisi yalnızca Ali Pangu teknolojisini kullanmakla kalmaz, aynı zamanda bu kapsayıcı setinde endüstrinin depolama standartlarıyla da uyumludur.Bu aynı zamanda Ali'nin bulut mimarisine ulaşması için çok önemli bir teknolojidir. Ağ mimarisinin yükseltilmesinde, büyük ölçekte 25G ağları kullanıyoruz ve genel bulutta VPC kullanıyoruz. Yer paylaşımı, bulut üzerindeki tüm ağı buluta ve veri kümesine bağlayabilir. Bu aynı zamanda Ali'nin büyük ölçekli hibrit dağıtımının temelidir.
Double 11 için bulutlaştırılmış mimari ve gelecekteki teknik rota
Bu, Alibaba Hybrid Cloud'un esnek mimarisi, orkestrasyona dayalı bir dizi teknik sistem ve dinamik bir mimari. Dakikalar içinde birim genişletme ve daraltma gerçekleştirebilir, bulutta veya büyük veri kümesinde işlem birimlerini hızla kurabilir ve teslimat güvenilirliğini sağlamak için ikinci seviye denetimleri uygulayabilir. Bu sistem, kaynak tutma süresini ve sunucunun ONLINE olmayan süresini sürekli olarak azaltabilir, israf süresini azaltabilir ve esnekliğin verimliliğini artırabilir. Double 11'deki yoğun trafiğin% 60'ından fazlası, Alibaba Cloud'un esnek altyapısını tam olarak kullanarak ve 8 saat içinde dünyanın en büyük hibrit bulutunu hızla oluşturarak Alibaba Cloud üzerinde çalışıyor.
Double 11 Bulutlaştırılmış Mimari İşletim ve Bakım Sistemine Giriş
Kaynakları çevrimiçi görev kümelerine, bilgi işlem görev kümelerine ve ECS kümelerine bölün. Kaynak yönetimi, bağımsız çalışma ve bakım, durum yönetimi, komut kanalları ve alarm izleme gibi temel işletim ve bakım sistemleri açıldı. Double 11 senaryosunda, diğer senaryolarla iletişim kurmak için bulut üzerinde ayrı bir alan çizeceğiz. Birlikte çalışma alanında Sigma planlama, Pouch konteynerleri üretmek için bilgi işlem kümesi sunucusundaki kaynaklar için başvurabilir veya konteyner kaynakları üretmek için bulut açık API aracılığıyla ECS'ye başvurabilir. Günlük senaryolarda Fuxi, sigma'daki kaynaklar için başvurabilir ve gerekli kapsayıcıları oluşturabilir.
Double 11 senaryosunda, iş katmanının hibrit dağıtımı dahil olmak üzere uygulamalar ve büyük ölçekli işletim ve bakım kullanan kapsayıcılar üzerinde çok sayıda çevrimiçi hizmet oluşturulur.Her kümede çevrimiçi hizmetler, durum bilgisi olan hizmetler ve büyük veri analizi bulunur. Alibaba Cloudun özel kümesi aynı zamanda çevrimiçi hizmetleri ve durum bilgili veri hizmetlerini dağıtarak bir bilgisayar olarak bir veri merkezine ulaşır. Birden çok veri merkezi bir bilgisayar gibi yönetilir ve birden çok farklı platformda iş geliştirmeyi planlamak için neyin gerekli olduğunu fark eder. H. Herhangi bir sorunu çözmek için sunucuyu çok düşük bir maliyetle elde etmek için hibrit bir bulut oluşturun.
Öncelikle sunucu ölçeklendirilir ve ardından kaynak kullanımını büyük ölçüde iyileştirmek için zaman paylaşımlı çoklama ve hibrit dağıtım yoluyla. Esnek kaynakların sorunsuz yeniden kullanım görevlerinin esnek ve karma dağıtımını gerçekten gerçekleştirir ve en kısa sürede en az sunucuyla ve en iyi verimlilikle iş kapasitesi hedefini tamamlar. Bu bulut tabanlı mimari sayesinde, Double 11 sırasında yeni BT maliyetlerinde% 50 azalma ve günlük BT maliyetlerinde% 30 azalma sağladık. Bu, küme yönetimi ve zamanlama alanında bir teknik değer patlaması getirdi ve ayrıca kapsayıcı, düzenleme ve zamanlama teknolojisini açıkladı. Popülerlik bir gerekliliktir.
Daha sonraki aşamada dahili olarak ayrılmış teknolojiyi Aliyun platformu üzerinden ihraç edeceğiz. Bu teknoloji seti, dahili planlama konteyneri operasyonu ve bakımı alanında baskın bir teknolojidir. Planlama, düzenleme, uygulama yönetimi, izleme, hibrit bulut oluşturma, esnek ölçeklendirme ve hibrit dağıtım özelliklerine sahiptir. Kubernetes API ile uyumludur ve kurumsal düzeyde konteynerler sağlar. Kurumsal BT verimliliğini artırmak için yönetim yeteneklerini uygulayın, böylece kurumsal rekabet gücünü ve yenilik verimliliğini artırın. Hibrit dağıtım ve otomatikleştirilmiş hibrit bulut inşaat teknolojileri 11.11 ölçeğinde doğrulandı ve çok olgun ve istikrarlı bir teknoloji sistemi haline geldi. Bulutta, ürünün bütünlüğünü iyileştirmek için ACS, EDAS ve EMR ile işbirliği yapıyoruz.
Gelecekte bulut mimarisi teknolojisi nereye gidecek?
Double 11 senaryosunda, teknoloji kullanımı, büyük promosyon maliyetleri sorununu çözdü ve doğru bir yön buldu.Uzun vadeli inşaat ve geliştirme sayesinde, daha fazla optimizasyon ve verimlilik artışı sağlanacaktır. Gelecekte, bulut tabanlı mimari aracılığıyla Ali IDC'nin kaynak kullanım oranını iyileştirmeyi ve dağıtım ölçeğinin ve karma departmanların biçiminin genişletilmesi yoluyla faydaları genişletmeyi umuyoruz. Nihai duruma yönelik mimariyi ve işletim ve bakım sisteminin iyileştirilmesini teşvik etmeye devam edin, kaynak tutma süresini% 30'dan fazla optimize edin ve büyük promosyonun işlem maliyetini düşürmeye devam edin.
Double 11'in kendisi için maliyet sorunu iyi bir şekilde optimize edilmiştir.Gelecekte verimliliği artırmaya ve zaman ve işçilik maliyetlerini azaltmaya başlayacağız.Çift 11 teknik değişkenin toplanması, analizi ve tahmin edilmesi yoluyla, mikroskobik perspektif analizi ve veri algoritması sürücüsü kullanılacaktır. Akıllı karar işleme. Sayısallaştırma, istihbarat ve insan ve makine akıllı işbirliğine dayalı komuta yoluyla, çifte 11 hazırlık ve savaş verimliliği iyileştirilir ve insan gücü girdisi azaltılır. Temel teknolojilerin yinelemesini hızlandırarak, deneyim, verimlilik, maliyet ve maksimum üretim arasında yeni bir denge bulacağız ve tüm sektöre ve tüketicilere daha mükemmel bir Double 11 getireceğiz.
