Alibaba Cloud Dragon'un en son ASPLOS belgesinin yorumlanması olan performans sınırını aşın
Yazar | Alibaba Cloud Dragon Ekibi
Sorumlu Editör | Elle
Üretildi | CSDN (ID: CSDNnews)
Önsöz
Birkaç gün önce ASPLOS 2020, Alibaba Cloud tarafından sunulan ve Alibaba Cloud'un kendi geliştirdiği Dragon Sunucu mimarisinin sorunu nasıl çözebileceğini açıklayan "Yüksek Yoğunluklu Çok Kiracılı Çıplak Metal Bulut" adlı bir makale de dahil olmak üzere bilgisayar endüstrisindeki en son bilimsel ve teknolojik başarıları duyurdu. Bulut bilişim endüstrisinde yıllardır sanallaştırma performans kaybı sorunu, fiziksel makinelerin performans efsanesini yıktı ve bulut sunucularının performans sınırlarını aşmasına izin verdi.
Bu seçim, küresel bilgisayar tepesinin Alibaba Cloud'un kendi geliştirdiği teknolojiyi tanıyacağı ve aynı zamanda Çin'in yenilikçi teknolojisinin küresel bilgisayar endüstrisinde bir yer kazandığı anlamına geliyor.
ASPLOS, mimari, programlama dilleri ve işletim sistemlerini entegre eden bilgisayar sistemleri alanında üst düzey bir konferanstır. 1982'deki kuruluşundan bu yana, bir dizi bilgisayar sistemi teknolojisinin geliştirilmesini teşvik etmiştir. Genel kağıt kabul oranı yaklaşık% 20'dir.
Alibaba Cloudun bu kez seçtiği kağıt, Alibaba Bulut araştırmacısı Zhang Xiantao liderliğindeki Shenlong teknik ekibi tarafından yazılan "Yüksek Yoğunluklu Çok Kiracılı Çıplak Metal Bulut" başlıklı ve Shenlong mimarisinin teknik avantajlarını ayrıntılı olarak açıkladı: geleneksel fiziksel makinelerden% 100 daha iyi Bilgi işlem gücü, dakika düzeyinde teslim yetenekleri, güvenli fiziksel izolasyon ve bulut platformu entegrasyonu.
Bulut bilişimin temelini sanallaştırma, fiziksel sunucuları istenen bilgi işlem birimine sanallaştırarak en büyük esnekliğe sahip olmakla birlikte performans kaybına neden olur. Bu tür çelişkiler nasıl çözülür? Alibaba, bulut esnekliği, işletim ve bakım avantajlarına sahip olurken, sanallaştırmanın performans kaybını telafi etmek için 2017'de "Dragon Mimarisi" ni başlattı.
2019'daki Hangzhou Yunqi Konferansı'nda Alibaba Cloud, ECS sanal makinelerini, çıplak metali, bulutta yerel kapsayıcıları vb. Tam olarak destekleyen, IOPS, PPS vb. Açısından performansı 5 kat artıran ve kullanıcıların% 50 azaltmasına yardımcı olabilecek üçüncü nesil ejderha mimarisini yayınladı. Hesaplama maliyetleri. Geçen yıl, Double 11'in çekirdek sistemi% 100 ile buluta gitti ve Shenlong, saniyede 544.000 siparişin zirvesini başarıyla gerçekleştirerek parladı.Aynı yapılandırmaya sahip fiziksel makineyle karşılaştırıldığında, yalnızca iş sisteminin performansını% 20 artırmakla kalmadı, aynı zamanda yüksek yük basıncına da direndi. Performans daha iyidir ve genel iş performansı çok kararlı ve doğrusaldır.
Sadece bu değil, Shenlong, aynı zamanda en popüler konteyner teknolojisi için de en iyi ortaktır. Shenlong mimarisine dayanan Alibaba Bulut Konteyner Hizmeti, fiziksel makinelere kıyasla% 10-% 30 performans avantajına sahiptir.
Şu anda, Shenlong mimarisi, yüksek performans darboğazlarını çözmek için Taobao, Tmall, Cainiao ve diğer işletmelere büyük ölçekte uygulandı.
Seçilen ACM ASPLOS kağıdının konusu "Yüksek Yoğunluklu Çok Kiracılı Çıplak Metal Bulut". Alibaba Cloud araştırmacısı ve yenilikçi ürün grubu başkanı Zhang Xiantao, Alibaba Cloud kıdemli teknik uzmanı Zheng Xiao ve Alibaba Cloud kıdemli teknik uzmanı Yang Hang ve Diğer Shenlong ekipleri tarafından ortak yazılmıştır.
Bu makale, ilk kez popüler çıplak metal bulut bilişim hizmetinin ve Shenlong mimarisinin çağrışımını kapsamlı bir şekilde analiz ediyor. Yeni nesil sanallaştırma teknolojisinin geliştirme yönü olan Dragon, mevcut mimari ile karşılaştırılarak yazılım ve donanım, çekirdek bilişim performansı ve sanallaştırma ek yükünde ikisi arasındaki benzerlik ve farklılıklar detaylandırılmıştır. Makaledeki çeşitli iş performanslarına ilişkin performans verileri, Shenlong çıplak metal mimarisinin benzersiz avantajlarını tam olarak ortaya koymaktadır. Aşağıdaki, makalenin ayrıntılı bir yorumudur.
Özet
Sanallaştırma, bulut bilişimin temel taşıdır.Çok kiracılı (Sanal Makineler), veri merkezi sunucularının kullanımını geliştiren ve bulut bilişim hizmet sağlayıcılarının daha uygun maliyetli hizmetler sunmasını sağlayan fiziksel bir sunucuyu paylaşır. Bununla birlikte, sanallaştırma altında bir fiziksel sunucuyu paylaşan birden çok VM teknolojisi, özellikle son yan kanal saldırıları olmak üzere birçok güvenlik sorununu beraberinde getirecektir. Ek olarak, CPU, bellek ve I / O, sanallaştırma performansı açısından göz ardı edilemeyecek bir ek yüke sahip olacaktır. Bu nedenle fiziksel sunucu kiralama, genel bulutta ortaya çıkan bir hizmet türü haline geldi Fiziksel sunucu kiralama, kullanıcılara güçlü izolasyon, donanıma tam ve doğrudan erişim ve daha öngörülebilir performans sağlar. Bununla birlikte, fiziksel sunucu kiralama yönteminin de eksiklikleri vardır: yalnızca tek bir kiracıyı hedefleyebilir ve ölçeklenebilirlik, yüksek maliyet ve zayıf uyarlanabilirliğe sahip değildir. Mevcut fiziksel sunucu kiralama işlemi, tüm fiziksel sunucuyu yalnızca tek bir kullanıcıya kiralayabilir ve kullanıcılar, sunucuyu kiraladıktan sonra yansıtma ve depolama gibi bulut bilişimin temel hizmetlerini kolayca değiştiremezler.
Bu makalede, Alibaba Cloud Dragon elastik çıplak metal mimarisi olan yenilikçi bir yüksek yoğunluklu çok kiracılı paylaşılan elastik çıplak metal sunucu tasarımı öneriyoruz (kağıtta inceleme gereksinimlerini karşılamak için BM-Hive olarak adlandırılıyor). Alibaba Cloud Dragon'un yüksek yoğunluklu çıplak metal mimarisinde, her çıplak metal örnek, tescilli bir CPU ve bellek modülüne sahip, ayrı olarak tasarlanmış bir bilgi işlem ek kartında çalışır. BM-Hive, her bir bilgi işlem ek kartı için bir donanım / yazılım hibrit virtio I / O sistemi ile donatılmıştır ve müşteri örneklerinin Alibaba Bulut ağına ve depolama hizmetlerine doğrudan erişmesini sağlar. BM-Hive, tek bir fiziksel sunucuda 16 adede kadar çıplak donanım örneği barındırabilir ve bu da çıplak metal sunucuların bulut sunucusu yoğunluğunu önemli ölçüde artırır. Ayrıca BM-Hive, güvenliği ve izolasyonu iyileştirmek için her çıplak metal örneğini donanım düzeyinde kesin olarak izole eder. Shenlong esnek çıplak metal yüksek yoğunluklu çözüm, Alibaba Cloud'un genel bulutunda konuşlandırıldı. Şu anda aynı anda milyonlarca kullanıcıya hizmet vermektedir.
Giriş
Fiziksel sunucu kiralamanın ortaya çıkışı, performans veya güvenlik konusunda çok talepkar gereksinimleri olan müşterileri memnun etmektir. Ancak tek kiracılar için, düşük yoğunluklu fiziksel sunucularda yüksek maliyet sorunu vardır. Genel buluttaki müşterilerin çoğu küçük ve orta ölçekli müşterilerdir. Bulut hizmetindeki çeşitli özelliklere sahip VM'lerin vCPU'larının sayısını saydık ve bu sayı, 32 Çekirdek gereksiniminden daha azına sahip VM'lerin% 95'inden fazlasını oluşturuyordu. Mevcut fiziksel sunucunun minimum CPU özelliği 64 Çekirdektir ve en yüksek olanı 128 Çekirdektir. Bu küçük ve orta ölçekli müşterilerin fiziksel makine seviyesinin performansını ve güvenliğini terk etmekten, geleneksel sanallaştırılmış VM'leri kullanmaktan veya sunucunun tamamını kiralamaktan ve maliyet performansından vazgeçmekten başka seçeneği yoktur. Esnek olmayan çıplak metal genel bulutunun henüz ana akım haline gelmemesinin önemli nedenlerinden biri budur.
Bu amaçla, Shenlong yüksek yoğunluklu esnek çıplak metal mimarisini tasarladık: ölçeklenebilir, çok kiracılı esnek çıplak metal donanım sanallaştırma çözümü. Çıplak metal çerçeve (BM-Hive), yalnızca CPU ve belleğin yerel bir fiziksel makinenin çalışma zamanı performansına sahip olduğunu garanti etmekle kalmaz, aynı zamanda IO cihazlarının donanım sanallaştırmasını gerçekleştirir.Ayrıca, dakika düzeyinde faturalama ve esnek kapasite genişletme gibi bulut bilişimin en önemli işlevlerine de sahiptir. BM-Hive üç modülden oluşur: bilgi işlem ek kartı, IO-Bond ve BM-hiper yönetici. Bilgi işlem ek kartı, değiştirilebilir çıplak metal örnek CPU ve bellek içerir; BM-hiper yönetici, 16 adede kadar bilgi işlem ek kartını barındırabilen temel fiziksel sunucumuzda çalışır; IO-Bond, bilgi işlem ek kartını ve BM-Hypervisor'ı birbirine bağlar Bağ. Sonraki bölümlerde bu üç bölümü ayrıntılı olarak tanıtacağız.
BM-Hive çözümünün önemli avantajları:
Ekonomik: Fiziksel bir sunucuyu paylaşmak için 16 adede kadar çıplak donanım örneği kullanılır ve bu da müşteri maliyetlerini önemli ölçüde azaltabilir;
Mükemmel tek iş parçacıklı performans: çıplak metal örnekler, i74.2GHz gibi yüksek frekanslı CPU'ları serbestçe kullanabilir;
Mevcut işletim ve bakım sistemiyle uyumlu: Müşteriler, bulut bilişimine özgü ve görüntü oluşturma, sistem disklerini değiştirme ve bulut diskleri ekleme / silme gibi kullanışlı işlemler dahil olmak üzere diğer çıplak metal olmayan örnekler gibi çıplak metal örnekleri çalıştırabilir.
Mevcut genel buluttaki birçok farklı örneğin avantajlarını ve dezavantajlarını aşağıdaki gibi karşılaştırın:
Shenlong çıplak metal mimarisi, yazılım ve donanımı entegre eden sanallaştırılmış bir mimaridir
Shenlong çıplak metal donanım ve yazılımla entegre sanallaştırma mimarisi, mevcut sanallaştırmanın doğal bir gelişimi ve yükseltmesidir. Aşağıdaki şekilde gösterildiği gibi, genel mimari açısından BM-Hive, CPU / bellek, işletim ve bakım sistemi erişimi ve çok kiracılı çoklama açısından geleneksel sanallaştırma çözümlerine çok benzer. Shenlong Bare Metal, bilgi işlem ek kartının IO alt sistemini işlemek için çıplak metal paylaşım çözümlerine uygun bir dizi yazılım ve donanım entegre BM-Hypervisor geliştirdi.
Şu anda sanallaştırma esas olarak aşağıdaki sorunlarla karşı karşıyadır:
Shenlong çıplak metal mimarisini ayrıntılı olarak tartışmadan önce, mevcut bulut bilişim sanallaştırma sorunlarından bazılarına bir göz atalım. Shenlong çıplak metal donanım ve yazılımla entegre sanallaştırma çözümü bu sorunları çok iyi çözer.
Sanallaştırma ek yükü, yüksek performans gereksinimlerini karşılayamaz
Sanallaştırma performansı, aşırı performans gereksinimlerini karşılayamayan kontrol edilemeyen titreşime sahiptir
Sanallaştırmanın güvenlik yalıtımı, belirli endüstri gereksinimlerini karşılamıyor
İç içe sanallaştırmanın performansı müşteri ihtiyaçlarını karşılayamaz
Sanallaştırma ek yükü:
Mevcut sanallaştırmanın temel ilkesi, CPU'nun vCPU ortamı ile fiziksel CPU ortamı (VM-Exit) arasında ileri geri geçiş yapması gerektiğini belirler. Sık sık geçiş yapmak ciddi VM performans sorunlarına neden olabilir. Örneğin, tipik bir düz geçişli aygıt kesintisi, sanallaştırma altında çok uzun bir işlem akışına sahip olacaktır. KVM hipervizör altındaki bir sanallaştırma anahtarı, en az birkaç bin saat döngüsü gerektirir ve ek yük ~ 10 us'ye ulaşabilir. Genel olarak, VMExit (kesme gibi) yaklaşık 5K'ya ulaşır ve VM'nin performansı etkilenmeye başlar. IPI, EPT ihlali, MMIO erişimi gibi çeşitli nedenlerden kaynaklanan VMExit de vardır.
Sanallaştırılmış 300.000 örneğin çalışan verilerini örnekledik ve saniyede 10.000'den fazla kez VM-Exit örneklerinin sayısının% 3,82'ye ulaştığını ve hatta saniyede 100.000 geçişi aşan birçok örnek olduğunu gördük.
Shenlong çıplak metal BM-Hive, herhangi bir geleneksel CPU / bellek sanallaştırma yükünden kaçınarak, örneği doğrudan çalıştırmak için bilgi işlem ek kartını kullanır.
Sanallaştırmanın performans dalgalanması:
İstemci örneği ve sistem hizmeti aynı CPU'yu paylaştığından, bu, ana bilgisayar sistemi hizmeti meşgul olduğunda istemci örneğinin çalışmasını etkileyebilir. İşlemdeki 20.000 örneğin CPU önceliklendirmesini örnekledik ve paylaşılan örneklerde 200'den fazla örnek olduğunu ve işlem sırasında sistemin işgal ettiği CPU kullanım oranının% 2'yi aştığını gördük. Diğer bir deyişle, bu 200 örneğin gerçek CPU performansı% 100 yerine% 98'dir. Aynı durum özel örnekte de ortaya çıkar. Sonuçta, kesintiler ve diğer işlemler ana sistemdeki CPU tarafından işlenmelidir. BM-Hive altındaki örnekte, sistem hizmeti, bilgi işlem ek kartının CPU'sundan farklı bir fiziksel CPU olan BM-hipervizör altında çalışır, bu nedenle Shenlong çıplak metal örneği, hesaplama kaynaklarını önceden kullanma problemi yaşamaz.
Sanallaştırmanın güvenliği:
Bu yeni bir sorun değil. Hepimiz güvenlik seviyesinin biçimini düşükten yükseğe doğru biliyoruz: süreç- > konteyner- > Sanallaştırma > Fiziksel makine. Bu yıl meydana gelen yan kanal saldırılarının tümü, sanallaştırma altındaki örneklerin kırılmaz olmadığını gösteriyor. Shenlong çıplak metal örneği, doğal bir fiziksel izolasyon olan bağımsız bir bilgi işlem yardımcı kartında çalışır ve bu tür güvenlik sorunları yoktur.
İç içe geçmiş sanallaştırma performans sorunları:
Genel olarak konuşursak, KVM iç içe sanallaştırmanın performans kaybı, özellikle bazı GÇ işlemlerinin daha sık olduğu senaryolarda% 20'den fazladır. Bu nedenle, mevcut bulut bilişim örneklerinin müşterinin ikincil sanallaştırma gereksinimlerini karşılaması zordur. Bununla birlikte, Shenlong çıplak metal örneği, müşterileri, en sevdikleri donanım hızlandırmalı sanallaştırma çözümlerini örnek içinde yeniden çalıştırmaları için çalıştırabilir.
Shenlong çıplak metal mimari sistem tasarımı
Geleneksel sanallaştırmanın birçok problemini çözmek için BM-Hive'ın tasarım konuları şunlardır:
Çok kiracılık
Fiziksel makine izolasyon güvenliği
Mevcut işletim ve bakım sistemine erişim
Fiziksel makine performansı
düşük maliyetli
Şekil 3, BM-Hive'ın genel sistem mimarisini göstermektedir. Shenlong çıplak metal örneğine BM-konuk diyoruz. Örneği geleneksel sanallaştırmaya dayalı olarak çağırın: VM-guest. Her çıplak metal sunucu, bir taban ve birden çok bilgi işlem ek kartından oluşur. Taban, esasen basitleştirilmiş bir Xeon tabanlı sunucudur. Her bir bilgi işlem ek kartının tabana bağlı bir PCIe genişletme kartı vardır. Ana bileşenleri arasında CPU, bellek, PCIe veri yolu ve IO-Bond bulunur. IO-Bond, FPGA ile uygulanan bir donanım arabirimidir. Tabanın PCIe veri yolunu ve bilgi işlem ek kartını bağlar ve işlev, PCIe'nin şeffaf köprü işlevine benzer. IO-Bond, bilgi işlem ek kartının PCIe veriyolu üzerindedir, birden çok virtio aygıtını simüle eder ve standart virtio çekirdek sürücüsü tarafından desteklenir. IO-Bond, bm-guest / virtio ön uç ve arka uç BM-Hypervisor arasında bir köprü görevi görür. Şu anda, IO-Bond virtio cihaz ağını ve depolamayı (blok cihazı) desteklemektedir. Diğer virtio cihazları desteklemek için kolayca genişletilebilir.
Deneysel veri analizi
BM-Hive'ın CPU / bellek sisteminin performansını geleneksel sanallaştırma ile karşılaştıracağım.Ayrıca ağ ve depolama gibi IO alt sistemlerinin veri performansını da analiz edeceğim. Sonunda, gerçek iş senaryolarında Shenlong çıplak metal örneğinin performansını sağlayacağız.
Shenlong çıplak metal örneğinin CPU ve bellek performansının analizi
Çıplak metal örneğinin yerel CPU ve bellek performansı, kullanıcılar için çok önemlidir. Şekil 7 ve 8, bir çıplak metal örnek ile aynı konfigürasyon altında sanallaştırılmış bir örnek arasında SPEC CINT 2006 tarafından ölçülen CPU performansındaki farkı ve STREAM araçlarıyla ölçülen bellek performansındaki farkı göstermektedir.
Yukarıdaki şekildeki veriler normalleştirilmiştir. Çıplak metal örneğin CPU performansının neredeyse fiziksel makineninkiyle aynı olduğu ve bazı öğelerin fiziksel makineden bile daha iyi olduğu, sanallaştırılmış örneğin CPU performansının ise genellikle% 0-4 olduğu görülebilir. kayıp. Bellek benzerdir Sanallaştırılmış bir örneğin bellek bant genişliği çıplak metal bir örneğin yaklaşık% 98'idir.
IO alt sisteminin performans analizi
Hem BM-guest hem de VM-guest, virtio'nun I / O yolunu temel alan Alibaba Cloud VPC ağına ve bulut depolama sistemine bağlıdır Aralarındaki fark, BM-Hive'ın virtio'sunun donanım-yazılım hibrit tasarımına sahip olmasıdır. Bu bölümde, BM-Guest ve VM-guest'in ağ ve depolama alt sistemlerinin performansını karşılaştırıyoruz. İki örnek ürünümüz tarafından tanımlanan maksimum paket gönderme hızı 4M PPS ile sınırlıdır, maksimum bant genişliği 10Gbit / s'dir ve depolama sınırı 25 IOPS ve 300MBps'dir. Bu nedenle, testimizin amacı, iki örneğin tasarım hedeflerine ulaşıp ulaşamayacağıdır.
PPS: BM-Guest / VM-guest'in tasarlanan 4M UDP PPS hedefine ulaşabildiğini görebiliyoruz, ancak VM-Guest daha pürüzsüz.Bunun nedeni BM-guest'in geçtiği yazılım ve donanım arayüzlerinin yolunun VM-guest'den daha uzun olması olabilir. Daha fazla neden.
Gecikme: Gecikme açısından, üç test aracı aracılığıyla elde edilen VM-konuk ağ gecikmesi, aynı BM-Guest türünden biraz daha iyidir ve boşluk büyük değildir.
Storage IO: BM-Guest üzerindeki depolama IO performansı VM-guest'den daha iyidir. BM-guest, rastgele okuma ve yazma için IO erişim gecikmesi açısından VM-guest'den daha iyidir ve BM-misafir verileri, uzun kuyruk verileri açısından VM-misafir verilerinden% 50'den fazla daha iyidir.
Tipik müşteri uygulaması
Gerçek uygulama senaryolarının karşılaştırılmasıyla, çıplak metal örneklerin avantajlarını daha iyi keşfedebiliriz. Örneğin, web sunucusu nginx, mariaDB veritabanı ve bellek içi veritabanı Redis'teki iki örnek arasındaki veri farklılıklarını karşılaştırdık.
Nginx: Çoğu müşterinin seçtiği web sitesi hizmeti türü. BM-misafirin saniye başına istek sayısı ve istek başına işlem süresi, VM-konuktan% 50'den fazla daha iyidir
MariaDB: MariaDB, sysbench'e entegre edilmiş standart bir test veri türüdür. BM-guest'in okuma performansı, VM-guest'i% 15'ten fazla aşıyor ve yazma performansı% 50'den fazla
Redis: Veritabanını okumak için bellek içi veri yapısıdır. Redis, sunucu performansını ve hizmet yeteneklerini geliştirmek için yaygın olarak kullanılmaktadır. BM-Guest ayrıca Redis testinde VM-guest'den daha iyi performans gösterir. Şekil 15 ve Şekil 16'da gösterildiği gibi. Burada tekrar etmeyeceğim.
Biraz düşünme
IO-Bond performans optimizasyonu: IO-Bond, IO sisteminin kritik performans yolundadır. Şu anda FPGA tarafından uygulanmaktadır. Gelecekte, ağı ve depolamayı, performansı daha da iyileştirmek için ASIC çiplerini kullanabiliriz.
Çalışır durumda geçiş ve çalışırken yükseltme: Çalışır durumda yükseltme, çıplak metal örneklerde gerçekleştirilebilir. Temel BM-Hypervisor'ı yükseltirken müşteri örneklerinden habersiz olabiliriz. 2019 ASPLOS belgemizde, örnek sıcak yükseltme "Büyük Bulut Altyapısında Hızlı ve Ölçeklenebilir VMM Canlı Yükseltme" teknolojisine ayrıntılı bir giriş yaptık. Termal göç teorik olarak çıplak metal örneklere de ulaşılabilir, bazı girişimlerde bulunduk. Ayrıca şu anda geliştirme aşamasındadır.
SGX desteği: SGX desteğinin çıplak metal örnekleriyle herhangi bir sorunu yoktur. Aksine sanallaştırmanın önündeki engellerin ortadan kalkması nedeniyle SGX desteği daha kolaydır.
sonuç olarak
Shenlong'un yüksek yoğunluklu çıplak metal bulut hizmeti olan BM-Hive'ın tasarım, uygulama ve test verilerini tanıttık. Uygulama, endüstride yeni nesil sanallaştırmanın geliştirme yönü olarak Shenlongun yazılım-donanım entegrasyon çözümünün, mevcut sanallaştırmanın avantajlarıyla uyumlu olurken performansı ve güvenliği kapsamlı bir şekilde geliştirdiğini kanıtlamıştır. Burada, Alibaba Cloud'un yenilikçi ürün ekibinin tüm teknik personeline sıkı çalışmaları için içtenlikle teşekkür ediyorum.
