Veri merkezinin ortalama günlük CPU kullanımı% 45 mi? ! Alibaba'nın büyük ölçekli hibrit teknolojisi ortaya çıktı
Alimei'nin kılavuzu: Hibrit teknolojisi, endüstride hala nispeten bir araştırma alanıdır.Bu teknoloji, yalnızca kaynakların hacmi ve maliyetleri belirli bir ölçeğe ulaştığında önemli teknolojik getirilerini gösterecektir. Bugün, Alibaba Sistem Yazılım Departmanında teknik bir uzman olan Jiang Ling, Alibaba hibrit keşif, hibrit plan ve mimari ve hibrit çekirdek teknolojisinin tanıtımından itibaren hibrit teknolojisi hakkında kapsamlı bir anlayış sağlayacak ve size ilham vermeyi umuyor.
Yazar hakkında: Alibaba'nın sistem yazılım departmanının teknik uzmanı olan Jiang Ling (Ling Xin), büyük promosyon için otomasyon hazırlama ürününden sorumlu kişi ve e-ticaret büyük ölçekli karma departman projesinden sorumlu kişi.
1. Alibaba Karma Departman Araştırmasına Giriş
Hibrit teknolojinin başlangıç noktası, büyüyen iş ile artan kaynak maliyetlerini nasıl dengeleyeceğimizi düşünmekten gelir Daha büyük iş ihtiyaçlarını desteklemek için en küçük kaynak maliyetini kullanmayı umuyoruz. Mevcut stok kaynaklarının yeni işi tatmin etmek için yeniden kullanılıp kullanılamayacağı, hibrit teknolojinin geliştirilmesi için düşünce kaynağıdır.
1.1 Neden karıştırılmak istiyorsunuz?
Yukarıdaki resim, Alibaba'nın 2009'daki Double Eleven alışveriş karnavalından bu yana işlem hacminin tarihsel eğrisini göstermektedir. İşletme sınıfı arkadaşları için bu eğri büyüme grafiği daha güzeldir, ancak teknik personel ve operasyon ve bakım personeli için bu, Resmin arkasında büyük zorluklar ve kaynak baskısı var.
E-ticaret platformu tabanlı işle uğraşan endüstri meslektaşları için, herkes bilmelidir ki, promosyon faaliyetleri yaptığımızda, teknik baskı genellikle satışın ilk saniyesinden gelir, bu da trafiğin nabzı atan bir tepe noktasıdır.
Alibaba'nın çevrimiçi işinin Double Eleven'daki sıfır noktasındaki en yüksek trafiği (genellikle saniyeler içinde oluşturulan işlem hacmiyle tanımlanır) temelde bu grafikteki eğri trendiyle tutarlıdır. 2012'yi takip eden yıllarda başlayarak, saat 0 konumundaki en yüksek basınç, temelde bir önceki yılın iki katıdır. Çevrimiçi işin çok hızlı geliştiği görülebilir ve bu, esas olarak tanıtım faaliyetlerimizden ayrılamaz.
Çevrimiçi işletmelerin yanı sıra, Alibaba ayrıca büyük ölçekli bir çevrimdışı bilgi işlem işine sahiptir. Yapay zeka teknolojisinin yükselmesiyle, bilgi işlem hizmetleri de yükselişte. Şu an itibariyle şirketimizin büyük veri depolama kapasitesi KPB düzeyine ulaşmış olup, ortalama günlük görev hacmi milyon düzeyindedir.
İşletmeler büyümeye devam ediyor ve çevrimiçi ve çevrimdışı işletmelerin ihtiyaçlarını karşılamak için altyapı katmanında çok sayıda kaynak ayrılıyor. Çevrimiçi hizmetler ve çevrimdışı hizmetler birçok tutarsız kaynak kullanım özelliklerine sahip olduklarından, başlangıçta iki bağımsız veri merkezi tarafından desteklenmek üzere tasarlandılar.Şu anda her iki veri merkezi 10.000'den fazla sunucu ölçeğine ulaştı.
Bununla birlikte, veri merkezindeki kaynakların hacminin çok büyük olmasına rağmen, bazı kaynakların, özellikle günlük ortalama kaynak kullanım oranının yalnızca yaklaşık% 10 olduğu çevrimiçi iş veri merkezinin kullanım oranının iyimser olmadığını gördük.
Yukarıdaki arka plana dayalı olarak ve farklı hizmetlerin kaynak kullanımındaki ve gereksinimlerindeki farklılıkları hesaba katarak: bir yandan, farklı hizmetler farklı zamanlarda tepe noktalarının özelliklerine sahiptir (zaman bölmeli çoklama kaynakları); diğer yandan, yanıtlanan kaynakların toleransı farklıdır. (Kaynaklar rekabet eder ve öncelik sırasına göre ele geçirilir), bizi farklı hizmetlerin karma dağıtımının teknik yönünü keşfetmeye teşvik eder.
1.2 Co-location nedir?
Kısacası, hibrit teknoloji: aynı anda iki farklı hizmetin kaynak eşdeğerini sağlamak için tek bir kaynağı kullanan farklı hizmet türlerinin hibrit dağıtımıdır.
Hibrit teknoloji, ilk olarak, birleştirilmiş fiziksel kaynaklar üzerinde orijinal olarak fiziksel olarak ayrılmış hizmetleri dağıtan kaynak entegrasyonudur;
İkincisi, kaynak paylaşımı yapın.Aynı kaynak hem A işletmesini hem de B işletmesini destekler.A ve B işletmesi açısından her kaynağı aynı anda görebilirsiniz;
Son olarak, kaynaklar için makul bir rekabet vardır.Orijinal bir kaynak ömür boyu ikiyle değiştirildiğinden, kaynaklar için rekabet olmalıdır.Farklı kaynak gereksinimlerine sahip işletmelerin ilgili hizmet gereksinimlerini karşılamasını sağlamak için makul rekabet araçları sağlamak gerekir.
Karma departmanın en büyük değeri, hiçbir şeyden bir şey elde etmek için kaynak paylaşımı yoluyla kaynakları tamamen yeniden kullanmaktır. Hibrit teknolojinin temel amacı, kaynak rekabeti ortaya çıktığında üst düzey hizmetlere öncelik vermektir. Bu nedenle, zamanlama kontrolü ve çekirdek izolasyonu yoluyla kaynakları tam olarak paylaşmayı ve rekabeti izole etmeyi umuyoruz.
1.3 Çevrimiçi ve çevrimdışı karıştırma
Çevrimiçi hizmetler için, hibrit teknolojide açıklanan ana senaryolar işlem hizmetleri, ödeme hizmetleri ve tarama talepleridir.
Çevrimiçi hizmetlerin özellikleri gerçek zamanlı olup, gerçek zamanlı olarak çok yüksek gereksinimleri vardır ve azaltılamaz. Kullanıcı, bebek satın alma sürecinde uzun süre (ikinci kademe gibi) beklerse, kullanıcının satın almayı bırakması çok muhtemeldir; kullanıcının yeniden denemesi gerekirse, kullanıcıyı elde tutmanın zor olacağı tahmin edilmektedir.
Çevrimiçi işletmeler, özellikle e-ticaret yaptığımız işletmeler, çok belirgin iş hacmi eğilimlerine sahiptir. Kullanıcının çalışması ve dinlenme süresi ile gündüzleri yüksek, geceleri düşüktür ve gün içinde al ve satın al.
E-ticaret platformunun bir diğer büyük özelliği de günlük trafiğin büyük promosyona göre çok düşük olmasıdır.Büyük promosyon gününde ikinci seviye oluşturma hacmi normal pik hacmin on katı hatta yüz katından fazla olabilir.Güçlü bir zamana sahiptir. Sahne.
Bilgi işlem hizmetleri, aritmetik işlemler, istatistiksel raporlar, veri işleme ve diğer hizmetler gibi çevrimdışı hizmetler. Çevrimiçi hizmetlerle karşılaştırıldığında, hizmet türleri gecikmeye duyarlı olarak adlandırılabilir. Kullanıcılar tarafından sunulan işlerin ve hizmetlerin işlem süresi yalnızca İkinci, dakika ve hatta saat ve gün seviyelerinin üzerinde, tamamlanmadan önce belirli bir süre çalışabilirler. Aynı zamanda, yeniden denemeyi kabul edebilirler. Teknik olarak, yeniden denemesine kimin yardım edeceği konusunda daha fazla endişelenmeliyiz. Kullanıcının yeniden denemesi kabul edilemez, ancak sistem yeniden denemeye yardım ederse, kullanıcı bunu hissetmeyecektir.
Buna ek olarak, çevrimdışı işin zaman senaryosu çevrimiçi kadar güçlü değildir ve her an çalışabilir ve hatta çevrimiçi olmayan iş zamanı özellikleri sergiler.Gün erken saatlerde daha düşük ve sabahın erken saatlerinde daha yüksek olma olasılığı vardır. Nedeni aynı zamanda kullanıcı davranışıyla da ilgilidir, örneğin kullanıcı istatistiksel bir tür gönderir, işlemin sabah 0'dan sonra başlamasını bekler ve ertesi sabah işe gitmeden önce raporu toplar.
Farklı işletmelerin çalışma zamanı özelliklerinin analizinden, çevrimiçi işletmelerin ve çevrimdışı işletmelerin iş stresi ve kaynak yanlış hizalaması için koşullara sahip olduğunu görebiliriz;
Öte yandan, çevrimiçi hizmetler açıkça daha yüksek önceliğe ve kaynak önleme yeteneklerine sahiptir.Aynı zamanda, çevrimdışı hizmetler kaynaklar yetersiz olduğunda belirli bir tolerans gösterir. Bu faktörler, çevrimiçi ve çevrimdışı iş hibrit teknolojisinin fizibilite unsurları haline geldi.
1.4 Alibaba'nın karma departmanları keşfetme yolculuğu
Teknik tanıtımı başlatmadan önce, Alibaba hibrit teknoloji keşif sürecini kısaca açıklayın:
- 2014 yılında önerilen karma teknoloji;
- 2015'te çevrimdışı test ve prototip simülasyonu gerçekleştirin;
- 2016 yılında üretim ortamına yaklaşık 200 makine kuruldu. Yengeç yiyenlerin ilk partisi olan firmanın kullanıcıları 1 yıldır çalışıyor; iç kullanıcılar için geçerli ve online iniş etkin olduktan sonra,
- 2017 yılında, üretim ortamı küçük bir ölçekte karıştırılarak binlerce fiziksel makine seviyesine ulaştı, doğrudan dış kullanıcılarla yüzleşti ve 2017'de çift on bir promosyonu destekledi;
- 2018'de büyük ölçekli bir sunum yılı olmayı umuyoruz. Karma departmanın ölçek etkisi altında objektif teknolojik temettüler getirmesini ve 10.000 birimlik karma birimden oluşan bir küme oluşturmasını umuyoruz.
1.5 Alibaba'nın büyük ölçekli karışık sonuçları
Şu anda, ilk karma departman için iki senaryo vardır: çevrimiçi küme, karma departman için kaynaklar sağlar ve çevrimiçi kaynaklar, çevrimdışı iş operasyonu için ek çevrimdışı bilgi işlem gücü sağlar; çevrimdışı küme, karma departman için kaynaklar sağlar ve çevrimdışı kaynaklar oluşturmak için kullanılır Çevrimiçi ticari işlem yetenekleri (esas olarak büyük promosyonlar gibi çevrimiçi trafik zirvelerine yanıt olarak).
İçimizde basit bir anlaşma var, çevrimiçi ve çevrimdışı, makineyi kim sağlarsa ilk sırada yer alacak, yani çevrimdışı karma departmanın ve çevrimdışı karma departmanının adı var.
2017'de Double 11'de, şirketimiz saniyeler içinde saniyede 375.000 işlemi resmen yayınladı. Çevrimdışı hibrit küme saniyede 10.000 işlem gerçekleştiriyor. Çevrimdışı kaynaklar, çevrimiçi zirveleri desteklemek için belirli bir miktar tasarruf sağlamak için kullanılıyor. Kaynak harcamalarını büyük ölçüde teşvik edin.
Aynı zamanda, çevrimdışı hibrit küme çevrimiçi olduktan sonra, çevrimiçi yerel kümenin ortalama günlük kaynak kullanım oranı% 10'dan% 40'a çıkarıldı ve bu, çevrimdışı için ek günlük hesaplama gücü sağladı. Aşağıda gösterildiği gibi:
Bu gerçek izleme sisteminin verileridir. (Sağdaki resim) Bu, hibrit olmayan bir sahneyi temsil eder. Zaman noktası yaklaşık 7 ila 11 arasındadır ve çevrimiçi merkez kullanım oranı% 10'dur. (Soldaki resim) Karışık departmanlı bir senaryoyu temsil eden bu veriler ortalama% 40'tır ve dalgalanma nispeten büyüktür, çünkü çevrimdışı işin kendisi nispeten büyük oynaklığa sahiptir.
Tasarruf edilen bu kadar çok kaynakla, işletmenin hizmet kalitesi (özellikle çevrimiçi ticaret) zayıfladı mı?
Aşağıda, işlem işlemeden sorumlu çevrimiçi çekirdek hizmetin RT eğrisi diyagramı verilmiştir. Yeşil eğri, karma kümenin RT performansını temsil eder ve sarı eğri, karma olmayan kümenin RT performansını gösterir. İki eğrinin temelde örtüştüğü ve karma sahnenin üst üste geldiği görülebilir. Kümedeki ortalama RT, hizmet kalitesi gereksinimlerini karşılayan ortak kümenin% 5'i içindedir:
2. Karma plan ve yapı
Hibrit teknoloji firmanın iş sistemi ve işletme ve bakım sistemi ile bir dereceye kadar ilgili olduğu için yazıda farklı teknik arka planlardan bahsedilebilir.Mekan ilişkisi nedeniyle sadece basit bir alıntı yapılır, detaylı bir giriş yapılmayabilir.
Aşağıdakiler, genel mimari, karma departman senaryosu iş dağıtım stratejisi, karma departman küme kaynak yönetimi ve tahsis mekanizması ve karışık departman sahnesindeki iş operasyon stratejisi dahil olmak üzere karma departman planını kısaca tanıtacaktır.
2.1 Karma bölümün genel yapısı
Hibrit teknoloji soyutlaması açısından üç seviye vardır:
Öncelikle, A işletmesi veya B işletmesi için kullanılabilecek kaynakları birleştirin ve kaynak havuzlarını entegre edin.
İkinci olarak, iyi kaynak planlaması ve tahsisi sağlamalıyız. Hibrit teknolojiden önce, Alibaba Group, aralarında çevrimiçi kaynak planlama sistemi Sigma ve çevrimdışı kaynak planlama sistemi Fuxi olarak adlandırılan birkaç kaynak planlama platformuna sahipti. Hibrit teknolojinin zorluğu, farklı hizmetler için iyi bir kaynak tahsisi işi yapmak, birden fazla kaynak planlama sistemini birleştirmek ve karar verme tahkimini yürütmektir.
Üçüncüsü, çalışma zamanında kaynak rekabeti sırasında iyi bir izolasyon ve öncelikli iş yapın.
Yukarıdaki şeklin mimarisi belirli bir seviyeyi göstermektedir:
Alt katman altyapı katmanıdır.Tüm grubun veri merkezi birleştirilmiştir.Üst katman nasıl kullanılırsa kullanılsın, makinelerin, ağların vb. Donanım olanakları ve destek olanakları aynıdır; üst katman kaynak katmanıdır, yapmamız gereken Karma departman havuzu açmalı ve kaynakları yönetim ve kontrol altına almalıdır;
Bir sonraki katman, sunucu ve istemciye bölünmüş planlama katmanıdır. Çevrimiçi Sigma ve çevrimdışı, Fuxi'dir.Her işletmenin kendi kaynak planlama platformuna bir katman planlayıcısı diyoruz. Karma mimaride, esas olarak iki seviye bir programlayıcının kaynak yönetimi ve kaynak tahsisi karar vermesini koordine etmekten sorumlu olan "0-seviye" zamanlayıcı tanıtılmaktadır ve ayrıca kendi Aracısına sahiptir;
En üst katman, hizmet odaklı kaynak planlama ve yönetim katmanıdır.Bazıları birinci düzey bir programlayıcı aracılığıyla doğrudan işletmeye kaynak sağlar ve bazıları da Hippo gibi ikinci katmanı içerir.
Karma departman yapısında, karma departman modunda iş operasyon mekanizmasının düzenlenmesi ve yürütülmesinin yanı sıra fiziksel kaynakların konfigürasyon kontrolü, iş izleme ve karar verme yargılamasından da sorumlu olan özel bir karma departman yönetimi ve kontrol katmanı da vardır.
Yukarıdakiler, makinelerin ve kaynakların farklı işletmelere tahsis edilebilmesi için kaynak tahsisinin sistem mimarisidir.Ancak, tahsisten sonra, çalışma zamanında iş önceliği ve SLA nasıl garanti edilir? Çevrimiçi iş ve çevrimdışı iş aynı anda aynı fiziksel makinede çalışır. Ya işletmeler arasında kaynaklar için bir rekabet varsa? Çalışma zamanı kaynaklarını garanti etmek için çekirdek izolasyonu kullanıyoruz. Farklı kaynak izolasyonu, anahtarlama ve indirgeme türlerini desteklemek için birçok çekirdek özelliği geliştirdik. Çekirdekle ilgili mekanizmalar Bölüm 3'te tanıtılacaktır.
2.2 Karma Departman Senaryolarında Çevrimiçi Hizmet Dağıtım Stratejisi
Bu bölüm, e-ticaret platformlarına işlem oluşturma yetenekleri sağlamak için hibrit teknolojinin çevrimiçi iş senaryolarına nasıl uygulanacağını tanıtacaktır.
Her şeyden önce, yeniliği ve birçok teknolojik dönüşüm noktası olan hibrit teknolojinin dahil edilmesi nedeniyle risklerden kaçınmak için sınırlı ve kontrol edilebilir bir aralıkta küçük ölçekli deneyler yapabileceğimizi umuyoruz. Bu nedenle, e-ticaret (çevrimiçi) birimleştirilmiş dağıtım mimarimize dayalı bir iş dağıtım stratejisi yürüttük ve bağımsız bir işlem birimine hibrit bir küme oluşturduk. Birime kapalı döngü iş ve bağımsız kaynak tahsisi kontrolü.
E-ticaret online sisteminde alıcıların satın alma davranışları ile ilgili tüm hizmet zincirini bir hizmet setine kapatarak bu hizmet setini işlem birimi olarak tanımlıyoruz. İşlem birimi şunları yapabilir: Alıcının işlem davranışı ile ilgili tüm talepler ve talimatlar, bu birim içinde kapalı bir döngüde tamamlanır Bu, uzaktan çoklu etkinlik birimi dağıtım mimarisidir.
Hibrit teknolojinin uygulanmasındaki diğer bir kısıtlama, donanım kaynak kısıtlamalarından kaynaklanmaktadır. Çevrimdışı ve çevrimiçi hizmetlerin donanım kaynakları için farklı gereksinimleri olduğundan ve ilgili stok kaynakları, uygulamada en güçlü şekilde diske yansıyan stok kaynaklarının uyarlanması sorunuyla karşılaştık.
Çevrimdışı hizmetlerin yerel kaynakları arasında, çok sayıda düşük maliyetli HDD disk kaynağı vardır ve HDD diskleri, çevrimdışı işlemler sırasında neredeyse tükenecektir. Bu, temelde çevrimiçi işletmeler için kullanılamaz.
Disk IOPS performans sorunlarını korumak için, bilgi işlem ve depolama ayırma teknolojisini tanıttık. Hesaplama ve depolama ayırma teknolojisi, grubumuzun dahili evrimindeki başka bir teknolojidir. Merkezi bilgi işlem ve depolama hizmetleri sağlar. Hesaplama düğümleri, bilgi işlem düğümlerini yerel disklere güvenmekten koruyabilen bir ağ aracılığıyla depolama merkezine bağlanır.
Depolama kümeleri, farklı depolama yetenekleri sağlayabilir. Çevrimiçi iş, yüksek depolama performansı gerektirir ancak düşük verim gerektirir. Bu nedenle, bilgi işlem ve depolama ayırma teknolojisi aracılığıyla IOPS garantili uzak depolama hizmetleri elde ettik.
2.3 Karma kümenin kaynak tahsisi
Tam mimariden bahsetmişken, karma kümenin kaynak tahsisine kaynaklar açısından ve nasıl yoktan yapıldığına bir göz atalım.
Birincisi, bağımsız bakış açısına sahip kaynaklardır, özellikle CPU, MEM, Disk ve Net.Aşağıda ek kaynakların nasıl elde edileceği açıklanacaktır.
Önce CPU'ya bir göz atalım. Saf bir çevrimiçi kümenin günlük kaynak kullanımı neredeyse% 10'dur. Çevrimiçi işletmelerin CPU'yu günlük koşullar altında tam olarak kullanamayacağı söylenebilir. Büyük bir promosyon ve diğer promosyon senaryoları olduğunda, anında çevrimiçi ulaşılacaktır. CPU kullanımında bir artış.
Çevrimdışı görevler daha çok su emen süngerler gibidir ve iş hacmi çok büyüktür. CPU bilgi işlem gücü için, sahip olduğunuz kadarını kullanabilirsiniz. Yukarıdaki iş tarafından kaynakların kullanımının arka planıyla, CPU'nun hibrit teknolojide ömür boyu iki olması gerçeğine katkıda bulunmuştur.
Çekirdek işletim mekanizmasında, CPU kaynakları zaman dilimlerinde farklı işlemlere tahsis edilir.Aynı anda 1 CPU çekirdeğini çevrimiçi iş ve çevrimdışı görevlere ayırıyoruz ve çevrimiçi olarak yüksek önceliğe sahip olmasını sağlıyoruz. Çevrimiçi boşta olduğunda, çevrimdışı olabilir. Bu CPU'yu kullanın ve çevrimiçi kullanılması gerektiğinde, çevrimdışı görevleri önceden tutun ve askıya alın.
Yukarıda bahsedilen iki kaynak zamanlayıcı vardır (çevrimiçi programlayıcı Sigma ve çevrimdışı programlayıcı Fuxi) Torba konteyneri, çevrimiçi iş için kaynak birimi olarak kullanılır ve Torba konteyneri, bir çevrimiçi iş tarafından kullanılmak üzere belirli bir CPU çekirdeğine bağlıdır. Sigma, tüm fiziksel makinenin çevrimiçi olduğunu düşünüyor.
Aynı zamanda, çevrimdışı Fuxi zamanlayıcı bu makineyi çevrimdışı olarak kabul eder ve tüm makinenin CPU kaynaklarını çevrimdışı görevlere ayrılabilir bir kaynak olarak tahsis eder. Bu şekilde Double CPU kaynaklarının etkisi elde edilir.
Aynı CPU'yu iki iş operasyonuna tahsis ederek, aşağıda bahsedilecek olan CPU izolasyonu ve zamanlaması için çekirdek çekirdek teknolojisine dayanan bir rekabet riski olması kaçınılmazdır.
CPU, zaman dilimlerinde birden fazla işlem tarafından paylaşılabilir, ancak MEM ve Disk kaynakları daha zordur.Tüketim kaynakları olarak, bir tarafa dağıtılırlarsa, diğer işlemler tarafından kullanılamazlar, aksi takdirde yeni işlemler tarafından üzerine yazılırlar. Hafıza seviyesinin nasıl yeniden kullanılacağı başka bir araştırma odağı haline geldi.
Şekilde (sağ üst) gösterildiği gibi, hibrit teknolojide bellek aşırı satım kullanım mekanizmasını tanıtmaktadır.Şekilin üst tarafındaki parantezler, çevrimiçi bellek tahsisini (mavi) ve çevrimdışı bellek tahsisini (kırmızı) ve şeklin alt tarafındaki parantezleri göstermektedir. Çevrimiçi bellek kullanımını (mavi) ve çevrimdışı bellek kullanımını (kırmızı) gösterir.
Şekilde görüldüğü gibi offline bellek kullanıldığında, çevrim içi için ayrılan bellek kotası daha fazla kullanılır ve bu mekanizma ile bellek aşırı satım kullanımı sağlanır.
Çevrimiçi belleğin aşırı satılmasına neden izin verilir? Şirketimizin çevrimiçi işi Java tabanlı olduğundan, kapsayıcıya ayrılan bellek bir yandan java yığın bellek ek yükü için kullanılır ve kalan bellek önbellek olarak kullanılır.
Bu, çevrimiçi kapsayıcıda belirli miktarda boş bellekle sonuçlanır Bellek kullanımını dikkatle izliyoruz ve çevrimiçi kapsayıcı tarafından ayrılan boş belleği çevrimdışı kullanıma tahsis etmek için belirli koruma mekanizmalarıyla birleştiriyoruz. Ancak, belleğin bu kısmı çevrimiçi olduğundan ve çevrimdışı olarak garanti edilemediğinden, çevrimdışı, bu kaynaklar için göreceli olarak düşük düzeyli bozunabilir hizmetler planlar.
Disk açısından, disk kapasitesi her iki tarafın işleri için nispeten yeterlidir, bu nedenle çok fazla kısıtlama yoktur. Disk IO açısından, çevrimdışı görevler tarafından kullanılan maksimum IO'yu belirli bir miktarın altında sınırlamak ve çevrimiçi ve sistem IO'yu tamamen sıkıştırmaktan kaçınmak için bir dizi bant genişliği hız sınırı uygulanmıştır.
Buna ek olarak, bağımsız Net seviyesinde, mevcut kapasite göreceli olarak fazla olduğu için, şu anda bir darboğaz değil, bu yüzden çok fazla şey sunmayacağım.
2.4 Büyük promosyon kaynağı imtiyaz mekanizması: site hızla yukarı ve aşağı
Yukarıdaki bağımsız seviyedeki kaynakların nasıl paylaşılacağı ve izole edileceği, geçişi ve kaynakların maksimum kullanımını sağlamak için, genel işletim ve bakım yönetimi ve kontrolü yoluyla, tüm kaynak kümesi düzeyine bakalım. Hibrit teknolojide, kullanılmaması gereken iş senaryolarının her kaynağı boşa harcamaması için kaynak kullanımında son noktayı takip ediyoruz.
Bu nedenle, çevrimiçi ticarete yönelik sitelerin hızlı inip çıkması kavramını ortaya koyduk. Yukarıda belirtildiği gibi, her karma küme, az sayıda kullanıcının işlem davranışını bağımsız olarak destekleyen çevrimiçi bir işlem birimidir, bu nedenle biz de Buna "site" adını vermek için, hızlı bir iniş ve çıkış süreci olan çevrimiçi sitenin genel kapasitesini ölçeklendirip dönüştürüyoruz. Aşağıda gösterildiği gibi:
Günlük işlemlerde ve özel tanıtım faaliyetlerinde çevrimiçi iş baskısı büyük sapmalar gösteriyor. Double 11 sırasında, günlük trafiğin yüz katından fazla olabilir. Bu özellik, hızlı iniş ve çıkış planının fizibilite temelini oluşturmuştur.
Yukarıdaki şekilde gösterildiği gibi, iki büyük blok diyagramı bir çevrimiçi sitenin tüm kapasitesiyle karşılaştırın. Her küçük blok, bir çevrimiçi hizmetin kapsayıcı sayısını temsil eder ve her satır, bir çevrimiçi hizmetin kapasite rezervini (toplam kapsayıcı sayısı) temsil eder. Tüm sitenin kapasite planlaması için, kaynakların rafine bir şekilde kullanılması için günlük durum ile büyük terfi durumu arasında geçiş yapan kapasite modeli gerçekleştirilmiştir.
E-ticaret işletmemiz genellikle bir saniyede oluşturulan işlem sayısı gibi bir iş hedefini site kapasitesi değerlendirmesi için bir karşılaştırma ölçütü olarak kullanır.Genel olarak, günlük durumda tek bir site K işlem / s kapasitesi ayırır ve büyük promosyon yaklaşımlarını bekleyin. , Siteyi, genellikle W kalem / s kapasite düzeyinde büyük promosyon durumuna geçireceğiz.
Yukarıdaki model aracılığıyla, tüm site perspektifinden bakıldığında, gereksiz çevrimiçi kapasite, kaynakların tam olarak serbest bırakılmasını sağlamak için genel olarak azaltılır, böylece çevrimdışı hizmetler daha fazla fiziksel kaynak elde edebilir.Bu hızlı yukarı ve aşağı mekanizmasıdır.
Site, süreçte hızlıdır (düşük kapasiteden yüksek kapasiteye) ve yürütme verimliliği bir saat içinde. Site hızlı bir şekilde kapanır (yüksek kapasiteden düşük kapasiteye) ve yürütme verimliliği yarım saat içinde.
Günlük durumda, hibrit site minimum kapasite modeliyle günlük çevrimiçi trafiği destekler. Büyük ölçekli bir promosyon veya tam bağlantılı stres testinin arifesinde, hibrit site hızla göreceli olarak yüksek kapasite durumuna getirilecek ve birkaç saat daha çalışmaya devam edecektir. Bundan sonra, siteye hızlı indirmeye devam edin.
Bu mekanizma sayesinde, çoğu zaman çevrimiçi olarak yalnızca çok az kaynak kullanılmasını ve kaynakların% 90'ından fazlasının tamamen çevrimdışı kullanılmasını sağlıyoruz. Aşağıdaki şekil, hızlı yukarı ve aşağı hareketinin her aşamasında kaynak tahsisinin ayrıntılarını gösterir:
Yukarıdaki şekildeki kaynak dağılımı, sırasıyla soldaki, ortadaki ve sağdaki üç dikdörtgen kutu şunları temsil eder: günlük durum, basınç testi durumu ve büyük promosyon durumu karma küme kaynak tahsisi.
Bunlar arasında kırmızı çevrimdışını, yeşil ise çevrimiçini temsil eder. Her dikdörtgen kutu üç seviyeye ayrılmıştır: üst, orta ve alt seviyeler. Üst seviye, iş operasyonunu ve büyüklüğü temsil eder; orta seviye, küçük mavi karelerin karışık kaynakları temsil ettiği kaynakların (ana bilgisayarların) dağılımını temsil eder; alt seviye, küme seviyesindeki kaynakları temsil eder Sistemin dağıtım oranı ve çalışma modu.
Günlük durumda (soldaki dikdörtgen çerçeve), kaynakların çoğu çevrim dışı bırakılır, bir kısmı tahsis yoluyla elde edilir ve küçük bir kısmı çalışma zamanında rekabet yoluyla elde edilir (çevrim içi kullanılmayanlar çevrimdışı kullanılacaktır).
Stres testi durumuna (ortada) ve büyük terfi durumuna (sağda) ulaşıldığında, kaynaklar çevrimdışı olarak teslim edilecek ve bu da temelde çevrimdışı ve çevrimiçi olan% 50'lik tahsis oranına ulaşacaktır. Çevrimiçi baskı yüksek olduğunda, çevrimdışı aşırı satış rekabeti yapılmayacak, hazırlık aşamasında Dönem boyunca (büyük promosyon ancak yüksek baskı süresi değil), çevrimdışı, çevrimiçi atıl kaynaklar için hala rekabet edebilir.
Double 11 promosyonu gününde, çevrimiçi işlerin istikrarını daha kesin bir şekilde sağlamak için, çevrimdışı işler bir dereceye kadar düşürülecek.
2.5 Günlük kaynak imtiyaz mekanizması: zaman paylaşımlı çoklama
Yukarıda sunulan hızlı yukarı ve aşağı mekanizma, büyük bir tanıtım durumundaki çevrimiçi site kapasitesi ile günlük durum arasında geçiş yapma sürecidir.Ayrıca, çevrimiçi hizmetler de gün içinde ve sabahın erken saatlerinde oldukça düzenli bir trafik yoğunluğu ve çukur sergiler. Olgu, kaynak kullanımını daha da iyileştirmek için, günlük durumlarda bir kaynak imtiyazı mekanizması da önerdik: zaman paylaşımlı çoklama.
Yukarıdaki resim, çevrimiçi işletmelerin günlük trafik döngüsü eğrisidir. Sabahın erken saatlerinde düşük ve gün boyunca yüksek olacaktır. Her çevrimiçi hizmet için, çevrimiçi iş kaynaklarını en aza indirgemek için günlük bazda kapasitenin hassas bir şekilde genişletilmesini sağladık. Kullanın, böylece kaynakları çevrimdışı kullanım için aktarın.
3. Karma çekirdek teknolojisi
Karma bölümün çekirdek teknolojisi temel olarak iki bölüme ayrılmıştır: biri çekirdek izolasyon teknolojisi ve diğeri de kaynak planlama teknolojisidir. İlgili içerik profesyonel alanları içerdiğinden, mevcut makalenin uzunluğu göz önüne alındığında, ayrıntılı genişletme yapılmadan aşağıda yalnızca bir dizi teknik nokta listelenmiştir. .
3.1 Çekirdek izolasyon teknolojisine giriş
Çekirdek kaynak türü düzeyinde, CPU boyutu, GÇ boyutu, bellek boyutu ve ağ boyutu gibi güçlü yalıtım özellikleri geliştirdik. Genel olarak, çevrimiçi ve çevrimdışı iş grupları, iki tür işin temel önceliklerini ayırt etmek için CGroup'a göre bölünmüştür.
CPU boyutunda, hiper iş parçacıklı çiftler, zamanlayıcılar ve üç seviyeli önbellekler gibi izolasyon özellikleri uyguladık. Bellek boyutunda, bellek bant genişliği izolasyonu ve OOM öldürme önceliği gerçekleştirilir. Disk boyutu, GÇ bant genişliği hız sınırını gerçekleştirir. Ağ boyutu, tek makine seviyesinde akış kontrolü ve hiyerarşik QoS, ağın tüm zinciri için garanti eder.
Hibrit çekirdek izolasyon teknolojisinin ayrıntılı tanıtımını kendi kendinize arayabilir ve edinebilirsiniz.Aşağıda sadece bellek aşırı satım mekanizmasının tanıtımı verilmiştir.
Bellek dinamik aşırı satım mekanizması:
Yukarıdaki şekilde düz çizgi parantezlerinde gösterildiği gibi, kırmızı ve mavi sırasıyla çevrimdışı ve çevrimiçi CGroup'un bellek tahsisini temsil eder ve bunların toplamı, tüm makineye tahsis edilebilecek belleği temsil eder (sistem ek bellek kaldırılmıştır) ve altında mor bir düz çizgi vardır. Parantezler, çevrimdışı aşırı satım bellek kotasını temsil eder.Kota boyutu, çevrimiçi kullanılmayan boş bellek miktarı izlenerek belirlenir.
Şekildeki üst kesikli parantezler, belleğin gerçek çevrimdışı ve çevrimiçi kullanımını temsil eder Genel olarak, çevrimiçi işletmeler belleği kullanmaz ve kalan bellek, aşırı satış kotası olarak çevrimdışı kullanılır. Çevrimiçi ani bellek talebini önlemek için mekanizmada tampon olarak belirli bir miktar bellek ayrılmıştır. Yukarıdaki mekanizma sayesinde, çevrimdışı aşırı satım bellek kullanımı gerçekleştirilir.
3.2 Kaynak planlama teknolojisi
Hibrit teknolojinin ikinci çekirdek teknolojisi, kaynak planlama teknolojisidir. Karma senaryolarda kaynak planlaması ayrıca yerel kaynak planlaması (çevrimiçi kaynak planlama teknolojisi sigm ve çevrimdışı kaynak planlama teknolojisi Fuxi) ve hibrit 0 katmanına bölünebilir Planlama.
3.2.1 Çevrimiçi kaynak planlama: sigma
Çevrimiçi kaynak planlayıcı temel olarak uygulama kaynak profiline dayanır ve bir dizi paketleme problemi, yakınlık / karşılıklı dışlama kuralı, global optimal çözümler vb. Dahil olmak üzere makul kaynak planlaması ve tahsisi gerçekleştirir ve uygulama kapasitesini ve zaman paylaşımını global boyuttan otomatik olarak ölçeklendirir. Yeniden kullanım ve savaş boyutları hızla yukarı ve aşağı.
Yukarıdaki resim, Kubernetes API ile uyumlu çevrimiçi birinci seviye planlama Sigma'nın mimari diyagramıdır, zamanlama için Ali Pouch konteyner teknolojisine dayanır ve uzun yıllar boyunca Ali büyük ölçekli trafik ve Double 11 promosyonu tarafından doğrulanmıştır.
3.2.2 Çevrimdışı kaynak planlaması: Fuxi
Çevrimdışı küme planlayıcı, esas olarak hiyerarşik görev planlamasını, dinamik bellek aşırı satımını ve kayıpsız / kayıplı çevrimdışı düşürme şemalarını uygular.
Bu, çevrimdışı kaynak planlama Fuxi'nin çalışma mekanizmasının bir diyagramıdır. İş planlamasına dayanır. Büyük veri işleme ve büyük ölçekli bilgi işlemin karmaşık uygulamaları için veri odaklı, çok aşamalı bir boru hattı paralel hesaplama çerçevesi sağlar.
Sunum yetenekleri açısından MapReduce, Map-Reduce-Merge, Cascading, FlumeJava, vb. Gibi çoklu programlama modlarıyla uyumludur.Yüksek ölçeklenebilirdir, 100.000'den fazla seviyede paralel görev planlamasını destekler ve veri dağıtımına dayalı ağ ek yükünü optimize edebilir.
3.2.3 Birleşik kaynak planlaması: Seviye 0
Karma senaryoda, çevrimdışı ve çevrimiçi hizmetler kendi kaynak zamanlayıcıları aracılığıyla planlanır ve tahsis edilir Ancak, birinci programlayıcı altında, işlevi iki taraf arasında kaynakları koordine etmek ve tahsis etmek olan birleşik bir kaynak planlama katmanı da vardır - katman 0. İzleme ve karar verme yoluyla, kaynakların makul bir şekilde tahsis edilmesi yoluyla tahkim. Aşağıda, karışık kaynak planlamasının genel mimari diyagramı verilmiştir.
4. Geleceğe Bakış
Hibrit teknolojinin gelecekteki gelişimi üç yönde gelişecek: ölçek, çeşitlendirme ve iyileştirme.
Ölçek: 2018'de, büyük bir sıçrama olacak 10.000 birim karma birim elde edeceğiz. Daha büyük ölçekte kaynak maliyetlerinden tasarruf etmek için grubun dahili kaynak sunumunun temel özelliği olarak karma birimleri kullanmayı umuyoruz.
Çeşitlendirme: Gelecekte, daha fazla iş türünü, daha fazla donanım kaynağı türünü ve daha karmaşık ortamı desteklemeyi umuyoruz ve hatta buluttaki kaynakların açılabileceğini ve Alibaba Cloud ile şirketin dahili kaynaklarının karıştırılabileceğini umuyoruz.
İyileştirme: Gelecekte, zamanlama düzeyinde daha gerçek zamanlı zamanlama, daha ayrıntılı zamanlama doğruluğu, daha rafine çekirdek yalıtımı ve daha gerçek zamanlı doğru izleme ve işletim ve bakım kontrolü ile iş kaynak portrelerini daha titiz bir şekilde tasvir etmeyi umuyoruz.
