Açıklığa kavuşturmak! Alibaba veri merkezinin maliyetleri önemli ölçüde düşüren temel teknolojisi: hibrit teknoloji
Ali Mei's Guide: Karma Departman Nedir? Kümeleri karıştırın ve farklı görev türlerini aynı fiziksel kaynaklar için planlayın. Zamanlama, kaynak yalıtımı ve diğer kontrol yöntemleri aracılığıyla, SLO garanti altına alma temelinde, kaynak yeteneklerinin tam kullanımı maliyetleri büyük ölçüde azaltabilir. Bu teknolojiye diyoruz. Birlikte hareket etme.
Arka plana genel bakış
Her yıl Double Eleven mucizesinin arkasında büyük maliyetli yatırım vardır. En yoğun trafiği desteklemek için çok sayıda bilgi işlem kaynağına ihtiyacımız var ve normal zamanlarda bu kaynaklar genellikle boşta. Öte yandan, Alibaba'nın işini bilgisayar odasının genel elektrik kesintisi gibi aşırı durumlarda kayıptan korumak için, ülke genelinde yedek kaynakların oluşturulması gerekiyor. Ve bir gün içinde bile, çevrimiçi hizmetlerin yükü farklıdır ve genellikle gün içinde sabahın erken saatlerine göre çok daha yüksektir. Geithner ve McKinsey'in son birkaç yıldaki anket verilerine göre, küresel sunucuların CPU kullanım oranı yalnızca% 6 ila% 12'dir. Sanallaştırma teknolojisinin optimizasyonuna rağmen, kullanım oranı hala sadece% 7-% 17 iken, Alibaba'nın çevrimiçi hizmetlerinin genel günlük kullanım oranı da% 10 civarındadır.
Öte yandan, dünya BT çağından DT çağına geçti ve şimdi daha derin bir AI çağına doğru ilerliyor. Hadoop'tan Spark'a, Jstorm'dan Flink'e ve hatta derin öğrenme çerçevesi Tensorflow'un ortaya çıkmasına kadar çeşitli büyük veri işleme çerçeveleri ortaya çıkmaya devam ediyor.Binlerce veri analizinin arkasında, çok sayıda bilgi işlem kaynağını işgal eden çok sayıda bilgi işlem görevi var. . Hesaplama görevleri tarafından işgal edilen yüksek miktarda hesaplama nedeniyle, CPU su seviyesi genellikle% 50 -% 60'ın üzerindedir. Çevrimiçi hizmetlerin aksine, bilgi işlem görevlerinin zirvesi genellikle sabahın erken saatlerinde gerçekleşir ve su seviyesi% 70'in üzerine bile ulaşabilir. Bu nedenle, bağımsız bilgi işlem görev kümeleri oluşturma eğilimindeyiz.
Pek çok insan trafik tarafından engellendi ve trafik sıkışıklığı olduğunda, tüm şeritler trafik sıkışıklığında olmuyor. Gelgit fenomeni dediğimiz daha ilginç bir durum var ve bunun neden olduğu sorun sabah zirve saatlerinde şehir yönünde trafik sıkışıklığı, akşam zirvesi yönünde trafik sıkışıklığı. Bu sorunu gidermek için gelgit şeridi yöntemini kullandık.
Öyleyse aynı ilke, iki küme karıştırılabilir ve dağıtılabilir, böylece bilgi işlem görevlerinin bir kısmı çevrimiçi hizmetin kaynakları üzerinde çalışabilir ve çevrimiçi hizmetin boşta kalan kaynakları kullanılabilir mi? Cevap Evet.
Hibrit Teknolojiye Giriş
Karma teknolojinin şematik diyagramı
Kümeleri karıştırın ve farklı görev türlerini aynı fiziksel kaynaklar için planlayın. Zamanlama, kaynak yalıtımı ve diğer kontrol yöntemleri aracılığıyla, SLO garanti altına alma temelinde, kaynak yeteneklerinin tam kullanımı maliyetleri büyük ölçüde azaltabilir. Bu teknolojiye diyoruz. Birlikte hareket etme.
Örneğin, bir kapta çalışan çevrimiçi bir hizmet bir taş gibidir; ve onu kum ve suyla karşılaştırdığımız bir bilgi işlem görevi. Çevrimiçi baskı azaldığında, bilgi işlem görevi bu boşlukları dolduracak ve tüm boşta kalan kaynakları kullanacaktır.Çevrim içi meşgul olduğunda, bilgi işlem görevi bu boşluklardan hemen çıkacak ve kaynakları çevrimiçi işletmeye iade edecektir. Bir yandan, bu teknoloji, normal zamanlarda kaynakların kullanımını büyük ölçüde artırabilir; diğer yandan, büyük tanıtım faaliyetleri çevrimiçi sunucularda ani bir artış gerektirdiğinde, buna dayanmak için bilgi işlem görev kaynaklarını işgal etmek için çevrimiçi işi de kullanabiliriz. Kısa tepe basıncı.
İlkeden, karıştırılabilecek görevlerin iki önemli özelliği daha olduğunu görebiliriz:
1. Öncelik verilebilir: Düşük öncelikli görevler gerekli olmalı, su ve kum gibi her an dayanılmaz bir şekilde etkilenmeden uzaklaştırılabilirler, böylece yüksek öncelikli görevler rahatsız edilmez. Çevrimiçi özellikler şunlardır: en yüksek basınç süresi uzun değildir, gecikmelere karşı daha hassastır ve iş baskısı seğirmesi nispeten şiddetlidir Sabah saat 10'daki tipik bir toplama faaliyeti, çok kısa sürede işlem kümesi üzerinde anlık baskıya neden olacaktır. Birkaç kat artış, stabilite gereksinimi çok yüksektir Karıştırma sırasında, hattın düzgünlüğünü ve güçlü anti-parazit kabiliyetini sağlamak gerekir. Hesaplama görevlerinin özellikleri şunlardır: olağan basınç nispeten yüksektir, hesaplama miktarı nispeten kontrol edilebilirdir ve gecikme hassas değildir ve başarısızlıktan sonra yeniden çalıştırılabilir. Tamamlanması en az birkaç dakika süren hesaplama görevleri, birkaç saniyelik, hatta onlarca saniyelik gecikmelere kıyasla ciddi sorunlara neden olmaz ve sadece su ve kum rolünü üstlenebilirler.
2. Kaynak işgalinin tamamlayıcılığı: İki görev, farklı zaman noktalarında farklı su seviyelerini işgal eder. Örneğin, çevrimiçi hizmetler genellikle düşüktür ve büyük promosyonlar sırasında yüksektir; sabahın erken saatlerinde düşük ve gün içinde yüksek. Bilgi işlem görevi tam tersidir. Genellikle yüksektir ve büyük promosyonlar sırasında indirgenebilir; sabahın erken saatlerinde çok yüksektir, ancak gün içinde daha düşüktür.
Bu yöntemin getirdiği maliyet tasarrufları çok büyük: veri merkezinin N sunucuya sahip olduğu ve diğer pratik kısıtlamalar dikkate alınmadan kullanım oranının R1'den R2'ye artırıldığı varsayıldığında, X sunucularından tasarruf edildiğinde ideal formül şudur:
N * R1 = (N-X) * R2
= > X * R2 = N * R2 - N * R1
= > X = N * (R2-R1) / R2
Başka bir deyişle, bir işletmenin 100.000 sunucusu varsa ve kullanım oranı% 28'den% 40'a çıkarsa, yukarıdaki formülün yerine 30.000 makine kurtarılabilir. Bir makinenin maliyetinin 20.000 yuan olduğunu varsayarsak, maliyet tasarrufu 600 milyon yuan olacaktır.
2015 yılında Google, hibrit teknoloji dediğimiz, çevrimiçi hizmetler ve bilgi işlem görevleri arasındaki karma işlemden bahseden bir Borg makalesi yayınladı. Borg gazetesi, Google'ın bu teknoloji sayesinde makine ölçeğinden% 20-30 oranında tasarruf ettiğini açıklıyor.
Karışık teknolojinin tarihi
Alibaba'nın ilk hibrit bulut mimarisi
Alibaba'nın bu yılki çift on bir işleminin en yüksek değerinin saniyede 325.000 olduğunu ve geçen yıla göre neredeyse iki katına çıktığını herkes biliyor, ancak bu zirve yalnızca yaklaşık bir saat. 2014 yılından itibaren işlem maliyetlerini düşürmek için Alibaba Cloud'un halka açık esnek bulut kaynakları ile maliyetleri düşürdük, diğer yandan hibrit teknolojileri de incelemeye başladık.
Karma departman bu kadar büyük bir yardım üretebilir, ancak sektördeki az sayıda şirket bunu üretimde kullanabilir. Nedeni çok basit: Birincisi ölçek, ikincisi teknik eşik. Makineniz yeterince büyük olmadığında, açıkçası pek bir anlam ifade etmiyor. Teknoloji açısından, bilgi işlem görevleri genellikle yüksek bir kullanım oranına kadar çalışabilir. Bilgi işlem görevleri ve çevrimiçi hizmetler aynı makinede çalışıyorsa, bilgi işlem görevlerinin çalışmasının nasıl önleneceği çevrimiçi hizmetlere yanıt vermez Temel göstergelerin çok fazla etkisinin olmamasını beklerken, bu teknolojide kapsamlı bir atılım gerektirdi ve Alibaba sıfırdan büyüdü ve bu teknolojinin e-ticaret alanında geniş ölçekte uygulanması 4 yıldan fazla sürdü. .
-
2014 yılında ana işimiz teknik gösteri, şema tasarımı ve ilgili bazı deneysel çalışmaları yürütmektir.
-
2015 yılında günlük test ortamına başladık. Bu süre zarfında, pek çok sorunu özetledik: programlama entegrasyon problemleri, kaynak çekişmesi izolasyon problemleri, depolama bağımlılığı problemleri, yetersiz hafıza problemleri vb.
-
2016 yılında, sorunların çoğunu çözdüğümüzde, yaklaşık 200 çevrimiçi birimin küçük ölçekli bir doğrulamasına başladık. E-ticaretin finansal yapısı nedeniyle, parazit önleme gereksinimleri özellikle yüksektir.Sürekli iş testleri altında, teknik çözümlerimizi sürekli revize ediyoruz
-
2017 yılında, bir yıllık alıştırma döneminin ardından, karıştırma departmanının genel teknolojisi nihayet olgunluğa ve seri üretime geçti. Ababa Double Eleven sırasında, trafiğin yaklaşık 1 / 5'i karma kümede çalışıyordu
Karma ve karma olmayan bölümlerde küme kaynak kullanımının karşılaştırma tablosu
Günlük durumlarda, çevrimiçi hizmet kümesinin CPU kullanımını birleşik olmayan departmanda% 10'dan karma departmanda% 40'ın üzerine çıkarabiliriz ve toplam maliyet tasarrufu% 30'dan fazladır. Çevrimiçi müdahale% 5 içindedir.
Karma ve karma olmayan kümelerin ortalama hizmet yanıt süresinin karşılaştırması
Karma zamanlama mimarisi
Karışık planlamanın mimari diyagramı
Karma kümede, iki planlama platformumuz aynı anda bağımsız olarak çalışır, sigma çevrimiçi hizmet konteynerlerinin planlamasını yönetir ve Fuxi ODPS üzerindeki bilgi işlem görevlerini yönetir. İki programlayıcının birlikte çalışması için, ikisi arasındaki kaynak tahsisini koordine etmek için sıfır katman ve sıfır katman kontrolü kullanıyoruz.
1. Çevrimiçi hizmet konteyneri planlayıcısı Sigma'nın özellikleri şunlardır:
-
Açık kaynak topluluğuyla oluşturulmuş Kubernetes API ile uyumludur
-
OCI standardına sahip Ali uyumlu Torba kabı kullanın
-
Uzun yıllar Ali'nin geniş çaplı kullanımı ve Double Eleven'ın doğrulanması konusunda deneyimli
2. Bilgi işlem görev zamanlayıcısı Fuxi'nin özellikleri şunlardır:
-
Büyük veri işleme ve büyük ölçekli bilgi işlem türlerinin karmaşık uygulamaları için
-
MapReduce, Map-Reduce-Merge, Cascading, FlumeJava, vb. Gibi çoklu programlama modlarıyla uyumlu, veri güdümlü çok aşamalı bir ardışık düzen paralel hesaplama çerçevesi sağlar.
-
Yüksek ölçeklenebilirlik, 100.000'den fazla seviyenin paralel görev planlamasını destekler ve veri dağıtımına dayalı ağ ek yükünü optimize eder. Arızaları ve sistem sıcak noktalarını otomatik olarak algılayın, başarısız görevleri yeniden deneyin ve kararlı ve güvenilir işlem tamamlamayı sağlayın
3. Sıfır seviyeli kaynak koordinasyon mekanizması sayesinde, tüm küme yönetilebilir ve sorunsuz bir şekilde çalıştırılabilir:
-
Karışık küme yönetimi
-
Planlayıcı kiracılar arasında kaynak tahsisi
-
Günlük ve stres testi dönemleri için stratejiler
-
Anormallik algılama ve işleme
Kaynak izolasyonu
Karma departmanda birinci öncelik kaynak izolasyon problemidir, izolasyon problemi iyi yapılmazsa ve rekabet problemi çözülmezse, online problemlere neden olmak kolaydır. Daha hafif olmak, kullanıcının duyusal deneyimini daha da kötüleştirmek; daha ağır olmak, çevrimiçi arızalara neden olmak ve hizmet verememe gibi kötü etkilere neden olmak.
Kaynak rekabeti sorununu çözmek için esas olarak iki yönden başlıyoruz:
1. Zamanlama: Kaynaklar gerçekten rekabet etmeden önce, kaynak profili oluşturma teknolojisi sayesinde, bunun olma olasılığını en aza indirmek için iyi tahmin edin ve planlayın. Aktif tetikleyicidir ve sürekli olarak optimize edilebilir, ancak gecikme daha yüksektir.
2. Çekirdek: Gerçek kaynak rekabetinin aşırı durumunda, görevin önceliğine göre, yüksek öncelikli görevlerin etkilenmemesinin nasıl sağlanacağı, aynı zamanda en az hasarı etkileyen düşük öncelikli görevlerin nasıl kontrol edileceği. Pasif bir tetikleyicidir, tabanı garantilemek için gerekli bir araçtır ve hızlı bir şekilde etkisini gösterir.
Planlama açısından, esas olarak aşağıdaki yönlerden optimize ediyoruz:
1. Günlük zaman paylaşımlı çoğullama: Zirve ve çukurların varlığı nedeniyle, çevrimiçi hizmetlerin ve bilgi işlem görevlerinin bir gün içindeki zirveleri birbirini tamamlayabilir, böylece gündüz ve gece zaman bölmeli çoğullama yoluyla kaynak kullanımının verimliliğini artırabiliriz.
-
Kümenin kaynak kullanımının portresi
-
Online hizmet sabah 1-6 arasında düşük zirve, çevrim dışı zirve, su seviyesini bu özelliğe göre ayarlayın
-
Çevrimiçi hizmet kaynağı portreleri aracılığıyla çevrimdışı işleme için boş konteynerleri akıllıca seçin
2. Büyük promosyonun zaman paylaşımlı çoğullaması: Büyük promosyonun varlığından dolayı, e-ticaret işletmesi, büyük promosyon veya stres testi sırasında normalden on kat daha fazla bir baskı farkına sahip olacaktır.Eğer bu, hesaplama görevlerinin kaynaklarının zamanıysa İndirgeyerek ve çevrimiçi hizmetlerin tamamen kullanılmasına izin vererek, kısa nabız basıncı kolayca desteklenebilir.
-
Günlük durum, bilgi işlem görevleri çevrimiçi hizmetlerin kaynaklarını işgal eder
-
Büyük promosyon, çevrimiçi hizmetler, bilgi işlem görevlerinin kaynaklarını işgal eder
-
Kaynak kullanımını iyileştirmek için anahtarı 1 saatte hızlı bir şekilde tamamlayın
3. Kayıpsız ve kayıpsız düşüş: çevrimiçi hizmetler, büyük promosyonlar gibi stres testi gibi bazı özel iş yoğun zamanlarına sahip olacaktır. Öyleyse, bilgi işlem görevlerini düşürmenin etkisi olabildiğince küçük olabilir mi? Burada, sınıf düşürme planı için özel işlem yapmamız gerekiyor.
-
Kayıpsız bozulma: Çevrimiçi hizmetlerin ortalama kullanımı yüksek olmadığından ve bilgi işlem görevlerinin% 70'i 3 dakikadan az olduğundan, stres testi veya büyük promosyon bozulmadan 5 dakika sonra olduğu sürece, bilgi işlem görevleri çevrimiçi hizmetleri engellemeyecektir Çok büyük. Diğer bir sorun, dakika düzeyinde bir iyileşme sağlamaktır, böylece yalnızca çevrimiçi hizmetlerin gerçek zirvesi etkilenecek ve bu süre nispeten kısa olduğunda, etki azalacaktır.
-
Kayıplı düşüş: Çevrimiçi hizmetler ciddi şekilde etkilendiğinde, ikinci seviye bir Öldürme elde edebilir, hızlı bir şekilde kurtarabilir ve çevrimiçi hizmetlerin etkisini en aza indirebiliriz.
4. Hesaplama görevi seçimi: Hesaplama görevini kumla karşılaştırıyoruz, ancak kum aynı zamanda büyük ve küçüktür ve
Sadece eleme yoluyla boşluk doldurulabilir ancak taşamaz.
-
Ödev için kaynakların portresini kullanın ve ödev tarafından tüketilen kaynakları analiz edin.
-
Katman 0 aracılığıyla ana bilgisayarın tam kalan bilgi işlem kaynağı kapasitesini elde edin
-
Koşulları karşılayan en iyi işi seçin, en iyi şekilde yararlanın ve rekabeti olabildiğince azaltın.
5. Dinamik elastik bellek: Envanter kaynaklarımız karıştırmayı, belleği ve CPU'yu hesaba katmadığından, çevrimiçi hizmetlerin orijinal kullanım oranına dayandığından ve fazla bellek olmadığından, ancak hesaplamadaki artış nedeniyle bellek bir darboğaz haline gelir , Orijinal çevrimiçi hizmet artık belleğin statik tahsisi için uygun değildir.
-
Çevrimiçi hizmetlerin hafızası paylaşılan gruba katılır
-
Çevrimiçi hizmetlerin gerçek bellek kullanımına bağlı olarak, bilgi işlem görevleri tarafından kullanılan bellek düzeyini dinamik olarak ayarlayın
-
Çevrimiçi hizmet baskısı aniden arttığında, bilgi işlem görevinin bellek seviyesi, görevler taşınarak veya sonlandırılarak otomatik olarak düşürülür. Bilgi işlem görevi belleği serbest bıraktıktan sonra, çekirdek kaynakları hemen geri alır
-
Tüm makinede OOM oluştuğunda, önce bilgi işlem görevlerinde düşük önceliğe sahip görevler öldürülür.
6. Depolama ve bilgi işlemin ayrılması: çevrimiçi hizmetler IOPS üzerinde ağırdır, ancak depolama kapasitesi büyük değildir, bu nedenle küçük SSD'ler kullanırlar ve bilgi işlem görevleri ağır depolama kapasiteleridir, ancak IOPS büyük değildir, bu nedenle HDD büyük diskler kullanırlar . Karma departmanda, veriler hala yerel bir diskte işleniyorsa, hesaplamalar birbirine karıştırılır, bu da zamanlamanın karmaşıklığını geometrik olarak artıracaktır. Bu nedenle, yerel diskleri birleşik bir depolama havuzunda sanallaştırmamız ve farklı ihtiyaçlara göre farklı depolama cihazlarına uzak araçlarla erişmemiz gerekiyor. Buna ek olarak, Alibaba da geniş ölçekte 25G ağ tesisleri kurmaya başladı Genel ağ kapasitesi iyileştirildi ve uzaktan erişim yerel kadar hızlı hale geldi.
Çekirdek izolasyonu, esas olarak aşağıdaki hususları ele alıyoruz:
1. CPU planlama optimizasyonu: Bu, tek başına en önemli öğedir.Çevrimiçi işletmeler CPU basıncı artışlarını kullandığında, hesaplama görevlerinin milisaniye cinsinden kendiliğinden uyarlanması gerekir.
CPU önleme
CGroup'a (cpu.shares) göre öncelik atayın
Yüksek öncelikli görevler, düşük öncelikli görevlerin zaman dilimine öncelik verebilir
HT'den kaçının (gürültü temizliği)
Çevrimdışı görevleri, çevrimiçi görevlerin bitişik HT'sine planlamaktan kaçının
Çevrimiçi görevler bitişik HT'de uyandıktan sonra zaten çalışmakta olan çevrimdışı görevlerin uzaklaştığından emin olun.
L3 Önbellek izolasyonu
BDW CPU'nun karakteristik CAT'i aracılığıyla, önbellek erişiminin akışını kontrol edin.
Düşük öncelikli bilgi işlem görevlerinin CPU kullanımını sınırlayın.
Bellek bant genişliği yalıtımı
Politika ayarlaması için gerçek zamanlı izleme yoluyla Bellek Bant Genişliği İzleme
Cfs bant genişliği kontrolü, bilgi işlem görevinin çalışma süresi diliminin uzunluğunu ayarlar. Zaman dilimini kısaltarak,
Yüksek öncelikli görevlerin CPU fırsatlarından yararlanmasını kolaylaştırın.
2. Hafıza koruması
Bellek kurtarma yalıtımı
Farklı CGruplara göre öncelik atayın
Küresel bellek geri dönüşümünün çevrimiçi görevleri engellemesini önlemek için grup içindeki geri dönüşüm mekanizmasını artırın
Önceliğe göre bellek kurtarmanın ağırlığını belirleyin ve çevrimiçi görevlerin belleği daha az kurtarılır
OOM önceliği
Makinenin tamamı OOM olduğunda, önce düşük öncelikli görevleri sonlandırın
3. IO sınıflandırma kısıtlamaları
Dosya düzeyinde GÇ bant genişliği yalıtımı (üst sınır)
blkio kontrol arayüzü eklendi
Sınır IOPS, BPS
Dosya düzeyinde garantili bant genişliği (alt sınır)
Uygulamaların, garantili bant genişliğini aştıktan sonra fazla boş bant genişliği kullanmasına izin verin;
Meta veri kısma
Çok sayıda küçük dosyayı aynı anda silmek gibi belirli işlemler için meta veri işlemlerini kısıtlayın.
4. Ağ trafiği kontrolü
Bant genişliği yalıtımı
Yerel bant genişliğini (TC) izole edin
Torba kapları arasında bant genişliği izolasyonu
Bant genişliği paylaşımı (altın, gümüş, bakır)
Çevrimdışı arasında paylaşılan bant genişliği olabilir
Inter-process, bant genişliğini önceliğe göre önceliklendirebilir
Karma departmanın gelecek planı
Dört yıllık sabitlemenin ardından hibrit teknoloji nihayet Alibaba'nın 2017'de Double Eleven'daki çekirdek işlem trafiğinin% 20'sini destekledi ve aynı zamanda Alibaba'nın gelecekteki veri merkezi inşası için standart bir teknolojidir. Önümüzdeki yıl, hibrit teknoloji daha rafine programlama yeteneklerine dönüşecek.
Sahnede, ister gerçek zamanlı hesaplama, ister GPU, hatta FPGA olsun, hepsi birbiriyle karıştırılabilir, daha çeşitli olacak. Ölçek açısından, yüz bin çekirdekli kümelerden bir milyon çekirdekli kümelere de genişleyecektir. Kaynak profilleme yetenekleri açısından, tahminin doğruluğunu iyileştirmek ve kullanımda önemli bir artış için temel oluşturmak için daha derinlemesine öğrenme tanıtılacaktır. Programlama yetenekleri açısından, daha eksiksiz bir öncelik sistemi kurulacaktır Kaynak tahsisi ve koordinasyonu çevrimiçi hizmetler ve hesaplama görevleri ile ayırt edilmeyecek, ancak daha fazla kaynak türünün karıştırılması sorununu çözmek için genel bir öncelikle programlanacaktır. Özetlemek gerekirse, karma departmanın gerçekten planlama için genel bir yetenek haline gelmesine izin verin.
