Günlük 5 trilyon kez gönderim Tencent Cloud mikro hizmet mimarisi sistemi TSF derinlemesine yorumlama
Takip etmek için tıklayın InfoQ , Yapışkan resmi hesap
Programcının saat 8'de teknik kahvaltısını alın
1 Önüne yaz
Şu anda, geleneksel işletmelerin BT sistemine tek bir mimari hakimdir.İnternet işinin etkisiyle karşılaşıldığında, sistem mimarisinin performans darboğazı yavaş yavaş ortaya çıkar. Bulut bilişim, Docker, DevOps, sürekli teslimat ve diğer kavramlar insanların kalbinde derin bir şekilde kök salmıştır. Spring Cloud tarafından temsil edilen mikro hizmet çerçevesi yavaş yavaş ortaya çıkmaktadır ve mikro hizmet mimarisi, geleneksel BT mimarisinin dönüşümünde merkezi bir eğilim haline gelmiştir.
Mikro hizmetler endüstrisinin çalkantılı dalgasında, Tencent Cloud, harici açık kaynak çerçevelerini ve dahili PaaS platformlarını entegre ederek ve King Glory küresel hizmetinin milisaniye düzeyindeki gecikmelerinin performans gereksinimlerini ve Bahar Şenliği kırmızı zarflarının yüksek eşzamanlı işlemlerini yerine getirerek beş yıl boyunca honlandı. Günde 5 trilyon kez şaşırtıcı sayıda gönderim, Tencent'in devasa dahili işletmelerinin inşasını ve geliştirilmesini destekliyor.
Mikro hizmet dönüşümünün ana fikri, karmaşık monolitik mimarinin, BT mimarisinin mikro hizmet haline getirilmesi yoluyla küçük ve güzel bağımsız hizmetler halinde yeniden düzenlenmesi ve böylece sistemin karmaşıklığının azaltılması ve işletmelerin büyük ölçekli bulut tabanlı bilgi işlem oluşturmasını kolaylaştırması anlamına gelir. Dağıtık mimari.
Bu makale, mikro hizmetlerin dağıtımında, uygulanmasında ve izlenmesinde karşılaşılan sorunları nasıl çözeceğinizi anlatmak için Tencent Cloud'un mikro hizmet mimari sisteminin yapım ilkelerini, teknoloji seçimini ve dönüşüm uygulamalarını birleştirir.
2 Geleneksel kurumsal BT mimarisinin karşılaştığı sıkıntılı noktalar
Monolitik mimari genellikle bir arşiv paketindeki tüm işlevsel uygulamaları içerir.Tüm proje çeşitli modüller içerir, modül sınırları bulanıktır, her modül güçlü bir bağlantıya sahiptir ve proje karmaşıktır. Buluta geçiş sürecinde, çoğu geleneksel işletme, monolitik mimarinin sabit doğası nedeniyle karmaşık BT sistemleri, yavaş yükseltme yinelemeleri, zayıf işletim ve bakım ölçeklenebilirliği, büyük kullanıcılar için zayıf destek ve veri adaları gibi bir dizi sorunla karşılaşacaktır.
Örneğin, geleneksel işletmeler e-devlet, akıllı perakende ve Endüstri 4.0 gibi akıllı dönüşümler yaparken veya yüz tanıma / ödeme sistemleri, ilgili uygulamalar vb. Gibi popüler uygulamaları geliştirmek istediklerinde, uygulama sistemi değişir ve kullanıcı seviyelerinin patlayıcı şekilde büyümesi, Tek sistemin performans darboğazına karşı büyük bir zorluk oluşturacaktır.
Mikro hizmet mimarisi, tek ve büyük bir uygulama oluşturmaktan farklı olarak, uygulamayı her biri kendi sürecinde çalışan küçük ve birbirine bağlı hizmetler kümesine bölerek küçük hizmetler biçiminde bağımsız uygulama sistemleri geliştirir. HTTP kaynak API'sinin hafif mekanizması iletişim için kullanılır. Monolitik mimari ile karşılaştırıldığında, mikro hizmet sistemi yineleme hızı, sistem verimi, ölçeklenebilirlik ve teknoloji yığınlarının çeşitliliği açısından bariz avantajlara sahiptir.
Monolitik mimarinin eksiklikleri giderek daha açık hale geldikçe, giderek daha fazla şirket, karmaşık uygulamalar oluşturmak için mikro hizmet mimarisi paradigmasını benimsiyor. Bununla birlikte, mikro hizmetlerin devreye alınması ve uygulanması sürecinde, karmaşık mimari ve işletim ve bakım, dağıtım ve uygulamada yüksek zorluk ve problem yerinde zorluk gibi zorluklar da vardır.
-
İşletme ve bakım gereksinimleri yüksektir. Daha fazla hizmet, işletim ve bakıma daha fazla yatırım anlamına gelir.Yekpare bir mimaride, yalnızca bir uygulamanın normal çalışmasının garanti edilmesi gerekirken, mikro hizmetlerde düzinelerce ve hatta yüzlerce hizmetin normal çalışması ve işbirliğinin garanti edilmesi gerekir;
-
Dağıtılmanın doğasında olan karmaşıklık. Dağıtık bir sistem için dağıtılmış bir sistem oluşturmak için mikro hizmetlerin kullanılması, sistem hata toleransı, ağ gecikmeleri, dağıtılmış işlemler vb. Geliştiriciler için büyük zorluklardır;
-
Arayüz ayarlama maliyeti yüksektir. Mikro hizmetler arabirimler aracılığıyla iletişim kurar Bir mikro hizmetin API'sini değiştirirseniz, arabirimi kullanan tüm mikro hizmetlerin ayarlanması gerekebilir;
-
tekrarlayan çalışma. Birçok hizmet aynı işlevi kullanabilir. Ve bu işlev, bir mikro hizmet olarak ayrıştırma düzeyine ulaşmamıştır. Şu anda, her hizmet bu işlevi geliştirerek kod kopyalamasına neden olabilir.
3 Tencent Cloud mikro hizmet mimari sistemi ve teknoloji seçim stratejisi
İnternet şirketlerinin mikro hizmet dönüşümü deneyimi, geleneksel endüstrilerdeki geliştiriciler için deneyim referansı sağlayabilir. Tencent Cloud, kendi devasa iş ihtiyaçlarına dayanarak, BT mimarisinin mikro hizmetleri aracılığıyla sıkı bir şekilde bağlı kule mimarisini küçük ve basit bir bağımsız hizmet sistemine yeniden düzenledi ve bir dizi kullanılabilir mikro hizmet mimarisi platformu ve mikro hizmet inşaat metodolojisini geliştirdi. , İşletmeler arasında ayrıştırmanın ve teknoloji yığınlarının bağımsızlığının farkına varın, düşük maliyetli deneme yanılma olanağı sağlayın ve ekip yinelemelerini daha çevik hale getirin.
Mikro hizmet yapımının beş temel öğesi
Mikro hizmet oluşturmanın asıl amacı, çevik yineleme, esnek genişletme ve hizmetin yeniden kullanımının üç işlevini gerçekleştirmekten başka bir şey değildir.Tencent Cloud, mikro hizmet oluşturma sürecinde aşağıdaki beş yöntemi geliştirmiştir:
-
Çevrimiçi işbirliği: Harici API belgesi genel bir tanımdır ve yeni uyumsuz arabirimler genellikle yayınlanır. Bu nedenle, ekipler arasında nasıl işbirliği yapılacağı ve bildirimde bulunulacağı çok önemlidir. Bu bağlamda, herkese açık hale getirmek için havalı kullanıcı arabirimi aracılığıyla çevrimiçi arabirim tanımları yapmanız gerekir sözleşme;
-
Dağıtım ilkesi: Gerçek bir ortamda, Docker uygulamaları henüz tam olarak popüler hale getirilmemiştir ve hizmet dağıtımı zaman alıcı ve zahmetlidir. Başlatma, durdurma, yükseltme, geri alma ve çevrimdışı gibi işlemler de dahil olmak üzere toplu otomasyon araçları sağlamayı, mikro hizmetlerin bağımsız paketlemesini ve toplu dağıtım yapmayı deneyebilirsiniz;
-
Bölme ilkesi: Örneğin, ortak çevrimiçi emlak işlem portalı emtia merkezi, ikinci el konut öneri sistemi gibi operasyonla ilgili alt sistemleri içerir.Servis çok ince bölünürse, gereksiz dağıtılmış işlemlere ve uzun arama bağlantılarına neden olur. Prensip olarak, çeşitli sistemlerin ayrılması "büyük olanı kavrayıp küçüğü bırak" ı vurgulayabilir.
-
Veri düzleştirme: Hizmet yükseltme sürecinde, veri modellerinin birleştirilmesine dikkat etmeliyiz. Her şeyden önce, her mikro hizmetin veri katmanı, işletmenin verinin değerinden verimli bir şekilde yararlanabilmesi için çoklu veri formatı dönüştürme, veri temizleme, veri senkronizasyonu vb. Desteklemek için eksiksiz bir yetkilendirme yönetim sistemine izin vermelidir;
-
Aşamalı mimari: Çoğu şirket ve geliştiricinin başından beri uzun vadeli bir bakış açısı alması zordur.Mikroservis mimarisinin 3 ila 5 yıl arasında değişmemesi planlanmaktadır.Bu nedenle, küçük ekip teknolojisi yığınlarının bağımsız olmasını sağlamak için uzun vadeli evrim ve yineleme ve küçük ölçekli ekip bakımı gerekir. Gelin, iş ekibinin hızlı deneme yanılma sürecini kucaklayın.
Tencent Cloud Microservice Middleware TSF Çerçevesinin Analizi
TSF dağıtılmış çerçevesi, Tencentin en zorlu ve karmaşık üretim düzeyi ortamı tarafından cilalanmıştır. Yukarıdaki metodolojiye dayalı olarak, çekirdek performans, sınırsız genişletme, yüksek performans ve yüksek güvenilirlik ile tek noktadan mikro hizmet mimarisi oluşturmak için iyileştirilmiştir. Çözüm, bulut bilişim geliştiricileri için değerli bir deneyim referansı sağlayabilir.
Aşağıdaki şekil Tencent Cloud'un mikro hizmet ara yazılımı TSF tek noktadan çözümünü göstermektedir.Alt katman, bulut sunucuları, bulut veritabanları, bulut depolama ve veri depolama ve arama için özel hat hızlandırma modülleri dahil olmak üzere bulut temel kaynak platformudur; aynı zamanda, Mikro hizmetler etrafında bir PaaS platformu olarak, TSF hizmet çerçevesinin alt katmanı, Tencent Cloud içinde çok sayıda ara yazılım hizmetini entegre ederek, kurumsal bulut mimarisi için gerekli olan mesaj kuyrukları, Kafka, yük dengeleme, API ağ geçitleri ve küresel yapılandırma hizmetleri gibi eksiksiz bir ara yazılım seti sağlar. .
Bunun da ötesinde, TSF, uygulamaların tüm yaşam döngüsü yönetimi işlevlerini destekler.Örneğin, sanal makine uygulamaları için kod paketi yükleme, toplu yayınlama, değiştirme, sürüm değiştirme ve diğer ürün yaşam döngüsü işlevleri sağlar; sıcak Docker uygulamaları için, endüstri ana akımını sağlar Kubernetes orkestrasyon çerçevesinin tüm süreci, sürekli entegrasyonu ve sürekli teslimatı otomatikleştirir.
Halihazırda Dubbo çerçevesini kullanan kullanıcılar için, pom.xml'deki bağımlılıkları değiştirerek sorunsuz bir şekilde TSF'ye geçebilirsiniz. Bunlar arasında, Dubbo envanter sistemini taşımanın iki yolu vardır:
İş sürüm paketindeki dubbo-registry-zookeeper.jar paketini tsf-registry-consul.jar paketiyle değiştirin;
Dubbo yapılandırma öğesini değiştirin: Tencent TSF hizmetini kullanmak için adres bölümünü Tencent Cloud tarafından sağlanan url ile değiştirin.
Ek olarak, mikro hizmet operasyonu ve yönetişim çerçevesi açısından TSF, mikro hizmet sistemlerinin karmaşıklığını korumak için uygulamalara otomatik kayıt, keşif, yönetişim, izolasyon ve çağrı analizi gibi bir dizi mikro hizmet yönetişim yeteneği sağlar. TSF çerçevesinin tamamı Spring Cloud'a dayalıdır ve dağıtılmış hizmet yayınlama ve kaydı, hizmet çağrısı, hizmet kimlik doğrulaması, hizmet bozulması, hizmet akımı sınırlaması, yapılandırma yönetimi ve çağrı zinciri izleme gibi işlevleri destekler.
TSF Mikro Hizmet Çerçevesi Teknoloji Seçim Stratejisi
RPC yüksek performanslı hizmet çerçevesi
Spring Cloud ekosistemini temel alan TSF, standart bir dinlendirici hizmet çerçevesi sağlar.Aynı zamanda, dağıtılmış hizmet çerçevesinin performans ve güvenilirlik için son derece yüksek gereksinimleri olduğu göz önüne alındığında, Tencent Cloud TSF, tasarımının başında gRPC'ye dayalı yüksek performanslı bir RPC hizmet çerçevesi sağlar. 1 milyondan fazla QPS'lik hizmet baskısını karşılamak için dağıtılmış hizmet keşfi, yönlendirme yönetimi, güvenlik, yük dengeleme gibi ayrıntılı konuları sistematik olarak değerlendirin.
Yukarıdaki şekilde gösterildiği gibi, TSF hizmet kaydı keşfi üç rol içerir: hizmet sağlayıcı, hizmet arayan ve hizmet kayıt merkezi. Servis sağlayıcı ve servis arayan, adres bilgilerini servis kayıt defterine kaydeder ve servis kayıt defterinden tüm kayıtlı servis örneklerinin bir listesini alır. TSF, iki konumda ve üç merkezde mali düzeyde felaket kurtarma dağıtım yetenekleri sağlamak için hizmet sicili olarak Consul'u kullanır.
Görsel bir konsol oluşturun
Uygulama, Java jar paketini, docker görüntüsünü ve diğer dil uygulamalarını (hizmet ağı aracılığıyla) vb. Destekleyen TSF yönetiminin temel birimidir. Bir uygulama genellikle birden fazla makine içerir. TSF, uygulamanın yaşam döngüsünü iyileştirmek için eksiksiz bir görselleştirme konsolu sağlar Dağıtılmış sistem uygulamalarını serbest bırakmak ve yönetmek, dağıtım süresini azaltmak ve dağıtım verimliliğini artırmak için yönetim mekanizması.
TSF konsolunda, özel JVM parametreleri ayarlayabilirsiniz. TSF her işlemi kaydeder ve kullanıcılar uygulamanın değişiklik kaydı sayfasında değişiklik kaydını görüntüleyebilir ve arayabilir.
Uygulamaları oluşturmanın, dağıtmanın ve başlatmanın yanı sıra uygulamaların dağıtım durumunu da içeren uygulamaları konsol aracılığıyla yayınlayın.
Uygulamaları geri alma, manuel olarak genişletme, küçültme ve silme dahil uygulamaları konsol aracılığıyla yönetin.
Tam bağlantı araması izleme
İzleme düzeyinde, TSF tarafından benimsenen strateji, tam bağlantılı çağrı izleme teknolojisi aracılığıyla tek noktadan izleme platformu oluşturmak ve platformun çeşitli göstergelerini görsel bir biçimde doğru bir şekilde kavramaktır. Spesifik uygulama aşağıdaki şekilde gösterildiği gibidir: Günlük gömülü noktaların toplanması ve analizi yoluyla, bir talebin her hizmeti arasındaki çağrı zinciri ilişkisi elde edilir, bu da uygulama talebi girişi ile hizmet çağrısı kaynağı ve bağımlılık ilişkisini düzenlemeye yardımcı olur. İstek uzun zaman aldığında, çağrı zinciri aracılığıyla çağrı darboğazını analiz edin ve istisnayı hızlıca bulun.
İzleme, temel IaaS izleme ve uygulama izlemeyi içerir. IaaS temel izleme göstergeleri örnek CPU, bellek, ağ ve disk vb. İçerir. Uygulama izleme göstergeleri uygulama QPS'sini, istek süresini ve istek hata oranını içerir.
Dağıtılmış çağrı zinciri analizi, çağrı zinciri sorgusu ve çağrı zinciri ayrıntılarını içerir. Çağrı zinciri sorgusu, arka uç çığlarından kaçınmak için sistemdeki çağrı bağlantı durumunu, özellikle yavaş iş ve hata işlerini görüntülemek için kullanılır; çağrı zinciri ayrıntıları, dağıtılmış bağlantı çağrı sürecindeki her bir bağlantının zaman alıcı ve anormalliklerini bulmak içindir. Kullanıcılar, mimarideki darboğazları önceden bulmaya yardımcı olan zaman aralığı ve hizmet adı gibi koşullara dayalı olarak bir dizi çağrı zincirini sorgulayabilir.
Kendi geliştirdiği TDTS dağıtılmış işlem hizmeti
Finansal senaryoda, veri tutarlılığı için katı gereksinimler vardır ve genellikle bir işlem birden çok iş kümesini kapsayacaktır. TSF, kendi geliştirdiği dağıtık işlem hizmeti ara yazılımı TDTS'yi benimser TCC modeline dayalı olarak, TSF, her işlemin güvenilir bir şekilde ulaşılmasını sağlamak için hiçbir iş müdahalesi ve veritabanı dönüştürme maliyeti olmaksızın sonuçta tutarlı ara yazılım sağlar.
TCC modu, veritabanının zayıf iki aşamalı eşzamanlılık performansı sorunlarını çözebilir, veritabanının XA protokolü için desteği eksik olabilir ve bazı durumlarda ana iş sistemi tarafından veritabanının akıllı dolaylı çalışması. Uygulama ilkesi önce try'yi yürütmek, sonra onaylamaktır; try başarısız olursa, iptali yürütün. Spesifik işlem yürütme süreci aşağıdaki gibidir:
Sırayla bağımlı iş sisteminin Try arayüzünü çağırın;
Deneme aşaması başarılı olursa, ikincil iş sisteminin Doğrulama arabirimi sırayla çağrılacaktır;
Deneme aşamasında bir hata varsa, Dene arabiriminin çalışmasını geri yüklemek için yardımcı iş sisteminin İptal arabirimini arayın;
Onaylama aşamasında bir hata varsa, yeniden deneyin ve yeniden deneme sayısını ayarlayın. Yeniden deneme hala başarısız olursa, son işlem gereklidir;
İptal arayüzüne yapılan çağrı başarısız olursa, işlemi yeniden deneyin;
Burada, TSF'nin Tencent Cloud'un Tencent Cloud API Gateway, mesaj kuyruğu CMQ, CKafka vb. Dahil olmak üzere birçok olgun ara yazılım ürününe bağlanabileceğini belirtmekte fayda var. Tencent Cloud Microservice API Gateway, mikro hizmet kimliği eşlemesine bir yol oluşturarak yük dengeleme ve birleştirme yetenekleri sağlar.
4 TSF'nin geleneksel işletmelerde mikro hizmet dönüşüm uygulaması
Tencent Cloud'un TSF dağıtılmış mikro hizmetler çerçevesinin prototipi 2013 yılına kadar uzanıyor. İlk günlerinde, Devops hizmet sistemi biçiminde Tenpay, Tencent Games ve mobil QQ dahil olmak üzere dahili çekirdek işletmelerin yapısal yükseltmesini destekledi. 2017 yılında Tencent Cloud, dahili mikro hizmet sistemini entegre etti ve finansal düzeyde olağanüstü durum toleransı, yüksek performans ve yüksek güvenilirlik ile bir mikro hizmet çözümünü geliştirerek geleneksel işletmelerin mikro hizmet dönüşümü sürecinde karşılaşılan sorunları hızla çözmesine yardımcı oldu. Örnek olarak bir gayrimenkul alırsak, burada TSF'nin geleneksel işletmelerdeki mikro hizmet dönüşüm uygulamasının kısa bir açıklaması bulunmaktadır.
Geleneksel emlak şirketlerinin karşılaştığı sorunlar
Geleneksel emlak şirketleri için İnternet dönüşümü ve yükseltme sürecinde, BT sistemi mimarisi son derece karmaşıktır. Tek bir BT mimarisinin öz nitelikleri nedeniyle, BT alt sistemleri birbiriyle savaşıyor ve standartları farklıdır ve birbirleriyle iletişim kuramazlar.Örneğin, üyelik bilgileri, sipariş bilgileri ve tüketici davranış kayıtları gibi birden çok sistem dağınıktır. İş değişiklikleri dahil edildiğinde, Yüzlerce kişi genellikle katılmak için fazla mesai yapıyor ve bu da sonraki sistem yinelemelerine büyük zorluklar getiriyor.
Ulusal yeni tip kentleşme planının yayınlanmasının ardından, "kentsel destek hizmet sağlayıcıları" stratejisi, dekorasyon, toplum eğitimi, oteller, ticari ofisler (ofis binaları), uzun vadeli kiralık daireler, emeklilik gayrimenkulleri, lojistik gayrimenkuller dahil olmak üzere bir dizi yeni işletmeye odaklanarak bir süre çılgınlık yarattı. Sistemin koordineli bir şekilde geliştirilmesini beklerken, şu anda geleneksel BT mimarisinin yeni iş geliştirme ihtiyaçlarını karşılayamadığı açıktır.
Tencent Cloud TSF mikro hizmet dönüşüm planı
Tencent Cloud, orijinal BT sistemindeki temel modülleri ve temel kaynakları sıraladı.Aynı zamanda, bulut ara yazılım platformunda yük dengeleme, API ağ geçidi hizmetleri, dağıtılmış yapılandırma ve dağıtım dahil olmak üzere bir dizi soyutlanmış ara katman sistemi oluşturdu. Mikro hizmetler aracılığıyla bağımsız BT sistemlerini yönetir ve anahtar kaynakları birleştirip arayarak arama defteri sayısını azaltır.Kemer olmayan kaynaklar için kritik olmayan kaynakların senkronizasyonu ve yabancılaştırma işlemleri ve Tencent Cloud'un IaaS yetenekleri azaltılır. Güçlü bağımlılıklar uygulayın.
Mikro hizmetlerin dönüşümü yoluyla, gayrimenkul işi birinci elden konut satış sistemi, arazi müzayede sistemi, pazarlama paketleme sistemi ve tanıma sistemine bölünür.Her sistemin kendi bağımsız çalışma süreci vardır ve her sistem hafif bir sistemden geçer. İletişim kurmanın yolu, her sistem bağımsız ve birbirine bağlıdır.
Bu noktada, her sistem birbirinden bağımsız olarak çalıştığı için, genel bulut veya butler WeChat küçük programları, çevrimiçi temizlik randevu hizmetleri vb. Gibi diğer küçük programlar üzerinde kendi iş ihtiyaçlarınıza göre yeni uygulamalar veya sistemler geliştirebilirsiniz. Patlayıcı büyüme, diğer modüllerin çalışmasını etkilemeyecektir.
Gayrimenkulün BT sisteminin, dağıtılmış bir mikro hizmet ara yazılımı TSF kurarak mikro hizmet mimarisinin dönüşümünü tamamladığı ve 80 gün içinde çevrimiçi hale geldiği, ortalama sürüm yineleme döngüsünün bir aydan iki haftaya değiştiği, yeni uygulamalar çıktığında İnternet uygulamalarının hızlı bir şekilde başlatılabileceği bildirildi. Şu anda, sistem her gün 50 milyondan fazla sistem sorgusunu istikrarlı bir şekilde işleyebiliyor ve 10 milyondan fazla sipariş veriliyor.
Elbette bu projenin genel dönüşüm süreci bir gecede tamamlanmamaktadır.Erken aşama esas olarak bazı çekirdek sistemlerin taşınmasıdır.Ana yapı tamamlandıktan sonra daha sonraki aşamada ihtiyaçlara göre uygun yinelemeler ve güncellemeler yapılır.
Bu nedenle, geleneksel kuruluşlarda mikro hizmet mimarisinin tanıtımı için, başlangıçta bazı uygun mikro hizmet mimarisi ilkelerinin tanıtılması, mevcut sistemlerin dönüştürülmesi veya yeni mikro hizmet uygulamaları oluşturulması ve ardından mikro hizmet mimarisinde kademeli olarak keşfedilmesi ve deneyim biriktirilmesi önerilir. Mikro hizmet mimarisini tam olarak uygulamak yerine.
