Tek bir mimariden dağıtılmış bir işlem mimarisine, NetEase başarılı uygulamaları dikkatle seçti
Yazar Ma Chao
Düzenle Xue Liang
Geçtiğimiz iki yıl içinde Yanxuan, satış iade desteği, kapıdan kapıya teslim alma, hızlı iade ve satış sonrası risk kontrolü gibi genel yetenekleri soyutlayan birleşik bir satış sonrası model, maksimum iade edilebilir tutar ve çok seviyeli iade motoru gibi konseptler önerdi ve tasarladı. Çeşitli mimari evrimler, iş mantığı birleşimini ve karmaşıklığı etkili bir şekilde azaltarak, üst düzey iş ve hizmet erişiminin hızlı bir şekilde kurulmasını sağladı.
Bir e-ticaret ürünü olarak ticaret, dikkatle seçilmiş işletmelerde önemli bir rol oynar. İşin sürekli gelişmesiyle birlikte, işlem senaryolarının özelleştirilmesi ve farklılaşması öne çıkmaya başladı ve üçüncü taraf ödeme ortaklarının erişimi de arttı.İşlem hizmetlerinin güvenliği ve istikrarı sağlanırken iyi bir genişleme ve esneklik nasıl elde edilir Geçtiğimiz yıl, dağıtılmış işlem mimarisinde düşünme ve uygulama odağını dikkatlice seçtik.
NetEase Yanxuan teknik müdürü ArchSummit Global Architect Teknoloji Zirvesi öğretim görevlisi Ma Chao ile röportaj yapmak InfoQ için temel veri modeli yinelemesinden ve hizmet mimarisi evriminden işlem bağlantısında Yanxuan Alışveriş Merkezi'nin dağıtılmış teknoloji mimarisi uygulamasını tanıtmak için büyük bir onurdur. (Ma Chao ayrıca Temmuz ayında Shenzhen'de düzenlenecek olan ArchSummit Zirvesi'nde "Jane'e Giden Yol - Kesinlikle Seçilmiş Satış Sonrası Hizmet Çerçevesi Evrimi ve Uygulaması" konusunu paylaşacak)
(Kesinlikle seçilen teknolojinin yinelemeli sürecini tam olarak göstermek için makale, diyaloğu ilk kişide orijinal amacı değiştirmeden yeniden yazacaktır)
Dikkatlice seçilmiş dağıtılmış işlem mimarisinin evriminin kısa bir geçmişi
Yanxuan, işlem bağlantısını, yalnızca işlemi ödemeyle eşleştirmek yerine alıcıların ve satıcıların bir sözleşmeye varmasını sağlayan dinamik bir süreç olarak tanımlar. Çoğu e-ticaret alanında, kapıda ödeme gibi özel senaryolar dışında, sözleşmeler genellikle başarılı siparişler şeklinde ulaşılır, bu nedenle işlem yapısının e-ticaretin çekirdek sipariş ve ödeme bağlantılarını iyi destekleyebilmesi gerekir.
Kes-ve-yak'ın ilk aşamasında, Yanxuan Alışveriş Merkezi küçük bir iş hacmine, az sayıda ürüne ve küçük farklılıklara sahiptir.Kullanıcının alışveriş sepetinden sipariş vermeye ve ödemeye kadar işlem modu nispeten basittir. Bu nedenle, ödeme sayfasında sipariş oluşturulduğunda, veri tabanında ödemeyle ilgili bir kayıt gereksizdir, böylece ödeme tutarı, sipariş ödeme tutarı ile tutarlıdır. Ardından, WeChat, Alipay ve NetEase'in üç büyük ödeme kurumunu basit bir ödeme hizmeti aracılığıyla bağlamak, kullanıcıları müşterideki sipariş ödemesini tamamlamaları için yönlendirmek ve son olarak ödeme kaydının durumunu siparişle senkronize etmek için aracı olarak kullanın. Tüm yapı basit ve anlaşılırdır ve çok verimli çalışır.
Kemik kazımanın erken aşamasında, işin gelişmesiyle birlikte, özenle seçilmiş ticaret sahneleri çeşitlenmeye ve farklılaşmaya başladı. Başlangıçta ödeme linkindeydi.Örneğin, ortak giriş hesap sisteminin kurulması daha fazla üçüncü şahıs ödeme kurumunun erişimini sağladı.Bu üçüncü şahıs ödeme kurumlarının erişim standartlarının ve yöntemlerinin oldukça farklı, hatta etkileşim modlarının bile farklı olduğunu gördük. Aynı zamanda kurumsal satın almalar ve grup gruplamayla temsil edilen bağımsız iş modülleri de hızla gelişmiştir.Bu işletmelerin sipariş yaşam döngüleri ve kuralları farklıdır ve depolama görece ayrıktır.Orijinal ödeme hizmetinde ödeme kayıtları ile bir eşleştirme oluşturmak zordur. ilişki. Orijinal mimarinin çok işlevli modüllerinin karıştırılması şişirilmiş ve genişletilmesi zordur ve çevrimiçi kalite garanti edilemez. Bu nedenle hızlı bir şekilde yapısal düzenlemeler ve hizmet bölünmeleri yaptık ve ödeme hizmetini ödeme sistemi ve yazar kasa sistemine böldük.Ödeme sisteminin kapsamı ana site sipariş ödeme durumu yönetimine, harici ödeme kuruluşlarının kasa, iade ve diğer hizmetlerine indirildi. Sipariş ve ödeme bilgileri arasındaki ilişkinin Yanxuan'daki tek işlem seri numarasıyla değiştirilmesinden sorumlu olmak üzere kasiyer sistemine teslim edildi.
Dikkatle seçilmiş kasa mimari diyagramı
Mimari yükseltme yoluyla, daha esnek konfigürasyon yetenekleri elde edilebilir.Farklı hesaplar, farklı ürün modülleri ve terminaller üzerinde farklı özelleştirilmiş kasiyer sayfalarını görebilir ve bu, üst düzey iş partilerinin taleplerini büyük ölçüde karşılayabilir. Aynı zamanda, kasa, üçüncü şahıslarla yanaşmanın model farklılıklarını ve karmaşıklığını korur Tasarımda, ödeme bildirim hizmeti ve geri ödeme hizmeti, üst katman iş erişiminin karmaşıklığını azaltan bir asenkron geri arama modunda birleştirilir.
Düşük profili korumanın orta vadeli geliştirme aşamasında, ödeme bağlantısı yapısal yükseltmelerden geçerken, mallardaki farklılıklar, emtia kategorilerinin özellikleri ve emtia nakliye maliyetleri gibi sipariş işlem bağlantısını da etkilemeye başladı. Örnek olarak hediye kartlarını alın.Hediye kartları özel bir mal türüdür.Kullanıcılar satın alıp bağladıktan sonra işlem sürecinde fon olarak kullanılabilir.Elektronik hediye kartlarının yerine getirilip teslim edilmesi gerekmez, ancak ek kart verme hizmetlerine bağlanmaları gerekir. Satın alma işlemi sırasında, miktara bağlı olarak gerçek ad kimlik doğrulamasının gerekip gerekmediğini belirlemek de gereklidir. Başlangıç yapısında, işlemin her bağlantısında bu emtia için özel muamele yaptık, ancak bağlantı nispeten derin.Sanal emtiaların (nokta kartları, telefon ücretleri) ve standart dışı emtiaların (gözlükler, özelleştirilmiş ürünler) sürekli ortaya çıkmasıyla, Teknik ekip, orijinal mimariyi yükseltti ve işlem şablonları konseptini soyutladı.İşlem şablonları, ödeme sayfasında hediye kartlarının kullanılıp kullanılamayacağı, kuponlar / kırmızı zarflar ve kullanıcıların ek ek doldurmaları gerekip gerekmediği gibi özelleştirme yetenekleri sağlayabilir. bilgi. Farklı işlem şablonları tarafından oluşturulan siparişler, sonraki iş modülü yerleştirme ve sipariş merkezi işlemleri için farklı işlem tanımlayıcıları ile de eklenecektir.
Yüz çiçeğin şu anki çiçeklenme aşamasında, dikkatlice seçilmiş bir temel işlem hizmet matrisi oluşturmak için ödeme sistemi ve yazar kasa sistemiyle birlikte çalışabilmesi için yapılandırılabilir hediye kartı tüketimi ve ters stratejiler sağlayan hediye kartı platformizasyonu üzerinde çalışıyoruz. Aynı zamanda, sipariş mutabakat bağlantısını temel işlem hizmet matrisi ile etkin bir şekilde bağlayabilen ve platform yapılandırma yetenekleri aracılığıyla farklı iş modelleri altında işlem senaryolarını destekleyen işlem şablonunu genişletme yeteneğini de değerlendirmektedir.
Gelecekte, Yanxuan planlaması mevcut işlem yapısının kademeli üç boyutluluğuna bir adım daha yaklaşabilir ve eksiksiz bir Yanxuan ticaret merkezi platformu oluşturabilir.Ticaret merkezi platformu yalnızca alışveriş sepeti hizmetlerini, sipariş hizmetlerini ve ödeme hizmetlerini içermez. Genel işlem yetenekleri, üst düzey işletmeler için daha güvenilir destek sağlamak için eksiksiz işlem planlama yetenekleri de sağlayacaktır. Aynı zamanda, katı seçim modeli çevrimdışı genişlerken, işlem modelinin çevrimdışı senaryosunu da aktif olarak araştırıyor, çevrimiçi ve çevrimdışı verilerin bağlantısını gerçekleştiriyor ve tüketicilere daha iyi bir alışveriş deneyimi sunuyor.
İşlem yapısı uygulamasında teknoloji birikimi
Strict Selection'ın tüm dağıtılmış mimarisinin evriminde, bir yandan sistemin yüksek kullanılabilirlik ve yüksek verimlilik gereksinimlerini karşılar; diğer yandan çoğu internet şirketi gibi ortak veri tutarlılığı ile de karşılaşır, Kaynak dengesi gibi sorunlar. Bu sorunları çözme sürecinde, kendi kendine özenle seçilen bazı ara yazılımlar yavaş yavaş çöktü.
İşlem süreci yönetimi - dağıtılmış kilitler ve dağıtılmış işlemler
İlk önce dağıtılmış kilitlerden bahsedelim. Dlock, yeniden girişli, engellenebilir, zaman aşımı, yüksek kullanılabilirlik, yüksek performanslı, düşük maliyetli ve esnek olarak ölçeklenebilir (genel mimari aşağıdaki şekilde gösterilmektedir) özenle seçilmiş dağıtılmış bir kilit ara yazılımıdır. Tasarım hedefleri esas olarak ikidir:
Birden çok makine, birden çok işlem, birden çok iş parçacığı ve tek iş parçacığı gibi senaryolar için uygun, dağıtılmış bir ortamda kaynaklara erişimi senkronize edin;
Yüksek ek yük, yüksek maliyetli ve yetersiz ölçeklenebilir veritabanı kilitlerini değiştirin.
Dlock, Redis, Memcached, Zookeeper gibi çeşitli önbellek altyapısı uygulamalarına uyarlanabilir. Dlock kapasitesi, talep seviyesine göre ölçeklenebilir.
dlock, 3 farklı kilit yeniden giriş stratejisini destekler: iş parçacığı düzeyinde yeniden giriş, süreç düzeyinde yeniden giriş ve dağıtılmış yeniden giriş Bu yeniden giriş stratejileri, kesinlikle seçilmiş hizmetlerin çeşitli karmaşık senaryolarında dağıtılmış kilit taleplerini tam olarak karşılayabilir. .
İkincisi, dağıtılmış işlemlerdir. Yan Xuan, işlem sürecinde dağıtılmış sistemler arasındaki veri tutarlılığını çözmek için dağıtılmış işlem ara yazılımı DTS'yi seçti. DTS, tipik bir TCC (Dene / Onayla / İptal) tipi işlem olan BASE tipini takip eder.Tüm DTS'nin yapısı aşağıdaki şekilde gösterilmiştir:
DTS, Son Katılımcı Optimizasyonu (LPO) adı verilen iki aşamalı gönderim için optimize edilmiştir: Dağıtılmış işlem başlatıcının iki aşaması yoktur, yalnızca tek bir aşaması vardır, yani tüm katılımcılar ilk aşamada hazır olduktan sonra, sunum sonucu doğrudan belirlenir Dağıtılmış işlemlerin başarısı.
İşlem kaynak yönetimi-temel kaynak izolasyon mekanizması ve stratejisi
Sıra fırçalama ve saldırılar gibi anormal trafiği engellemek ve aynı zamanda normal kullanıcı trafiğini makul ölçüde kısıtlamak için, trafik kısıtlaması ve acil durum sigorta aracı yazılımı eudemon'u araştırmasından kesin olarak seçilir. eudemon, CPU, MEM ve DB gibi kaynak erişiminin soyutlanmasını yöntem çağrısı ve sayfa erişimi düzeyine ilerletir ve dolaylı olarak, yöntem çağrısı ve sayfa erişiminin kısıtlanması yoluyla kaynak aşırı yükünün korunmasını sağlar. Eudemon'un genel mimarisi aşağıdaki şekilde gösterilmektedir:
eudemon trafiği iki düzeyde kontrol eder:
Düzen ve saldırı trafiğine müdahale: Trafik konusunun davranış özelliklerini analiz ederek, sipariş ve saldırı trafiğinin% 99'undan fazlası durdurulabilir, bu kara üretilen trafiğin sistem kaynakları için normal trafikle rekabet etmesi engellenebilir ve aşağı akış risk kontrol sistemleri azaltılabilir. basınç.
Normal akış kontrolü ve kaynaştırma: Normal kullanıcı trafiğini makul ölçüde kısıtlayın, zirveleri kesin ve vadileri doldurun, trafik akışının her zaman sistemin yükünü aşmamasını sağlayın ve aynı zamanda acil durumlarda hizmetleri birleştirin.
Kaynak izolasyonu nasıl yapılır? Sistem gittikçe daha fazla dağıtılma eğilimindedir ve ne kadar çok servis düğümü varsa, basamaklandırmanın başarısızlığı, dağıtılmış mimari altında tek düğüm arızasının güçlendirilmesine neden olacaktır. Yanxuan, giriş akış kontrol eudemon'una odaklanmanın yanı sıra, çıkış akış kontrolüne odaklanan bir kaynak izolasyon ara yazılımı geliştirdi.
Dağıtılmış bir bağlantıda, bir hizmet birden fazla aşağı akış hizmetine bağlı olduğunda, belirli bir aşağı akış hizmetinin kullanılamaması veya yavaş yanıt vermesi mevcut hizmeti etkileyecek ve hatta çığ etkisine neden olacaktır. Çevrimiçi olarak karşılaştığımız en tipik durum yavaş SQL idi. Yavaş bir SQL'in ortaya çıkması, veritabanı yükünün artmasına neden oldu, bu da DB'nin kısa bir süre için kullanılamaz hale gelmesine ve aniden tüm hizmetin veya sistemin kullanılamaz hale gelmesine neden oldu.
Aegis'in kaynak izolasyon süreci, iş boyutlarına göre izole edilebilen dinamik bir izolasyon mekanizması kullanılarak yukarıdaki şekilde gösterilmektedir. Örneğin, dağıtılmış bir veritabanı senaryosunda, tüm dağıtılmış veritabanını izole etmek yerine, başarısız olan DB Düğümlerinden yalnızca birini izole edebilirsiniz.
Özet ve Düşünme - Ara yazılım uygulamasının temel kavramını kesin olarak seçin
Kesinlikle seçilmiş ara yazılımlar, teknolojinin işi yönlendirdiği inancına bağlı kalarak, en temel teknik sorunları en düşük maliyetle çözme konseptine her zaman bağlı kalmıştır ve 360 derece destek sağlamak için işi her zaman çekirdek olarak alır. Ara yazılımın inşası, ana bileşen olarak açık kaynak, tamamlayıcı olarak kendi kendine araştırma ve açık kaynakla ilgili geri bildirim ile çift motorlu "açık kaynak + kendi kendine araştırma" modelini takip eder. Açık kaynak devlerinin omuzlarında durmak, kesinlikle seçilmiş Ar-Ge maliyetlerini düşürebilir. Kendi kendine araştırma yoluyla, açık kaynak eksikliklerini de telafi edebilir. Açık kaynak, geri bildirim yoluyla, açık kaynak dünyasının refahı için seçilen teknik gücü geri besleyecektir.
İşlemlerin tanıtımındaki zorluklar ve karşı önlemler
E-ticaretteki büyük promosyon, mimari tasarım ve teknoloji birikiminin en iyi testidir. Özel bir yüksek eşzamanlılık senaryosu olarak, en yüksek değer genellikle birkaç kez veya hatta büyüklük farklılığı sıralarıdır. Görünüşte kararlı olan bazı sistemler ve hizmetler, aşırı eşzamanlılık durumlarında da sorunları ortaya çıkarabilir.
Kısa dönemli promosyon faaliyetlerinde işlem bağlantısı özellikle önemlidir Alışveriş sepetinden siparişe ve ödemeye kadar herhangi bir bağlantıdaki başarısızlıklar operasyon faaliyetlerinin etkinliğini etkileyebilir. Yanxuanın önceki büyük promosyonlardaki performansına dönüp baktığımızda, ticaret sisteminin karşılaştığı başlıca zorluklar aşağıdaki gibidir:
Veritabanı kaynaklarının makul kullanımı
Ödeme hizmetlerinin istikrarı ve zamanında sunulması
Dış saldırılara karşı savunma
Veritabanı, ticaret sisteminin nispeten ağır bir bileşenidir ve çok yüksek veri tutarlılığı gerektirir. Örnek olarak aşağıdaki listeyi alın: İşlemleri genellikle güçlü bir tutarlılık sağlamak için kullanırız. Bununla birlikte, iş geliştikçe, işlemler şişirilir ve yüksek eşzamanlı senaryolarda performans kötüleşir. Veritabanı kaynakları, bazı veri düğümlerini etkileyebilecek bir darboğaz haline gelebilir. , Tüm sipariş hizmetini ve hatta tüm işlem bağlantısını etkiler. Büyük promosyonu sağlamak için, Yanxuan işlemi parçalarına ayırdı, ana işi ve çekirdek olmayan işi çözdü ve çekirdek olmayan işi mümkün olduğunca tamamlamak için asenkron ve tazminat mekanizmasını kullandı. Çekirdek işin işlem ayrıntı düzeyi minimuma indirildi ve dağıtılmış kilit kabul edildi. Dağıtılmış işlemlerle iniş. Demontajdan sonra, işlem boyutu makul olma eğilimindedir Aynı zamanda, DDB'de (NetEase Dağıtılmış Veritabanı), sıcak sorunları önlemek için farklı kullanıcıların işlemlerini farklı veritabanı düğümlerine etkili bir şekilde dağıtmak için uygun bir kullanıcı bölümü stratejisi seçin.
Ödemenin istikrarı ve zamanında olması da bir diğer büyük zorluktur.Ödeme hizmetinin titremesi veya geri aramanın büyük promosyon sırasında zamanında olmaması, kullanıcıya kısa sürede nispeten büyük fayda kaybına neden olabilir ve müşteri şikayetlerinin sayısı da artacaktır. Gelişmiş izleme öncülüğünde, aynı zamanda kaynakları kesin bir şekilde izole edip böleceğiz, belirli bir hareketlilik derecesini koruyacağız ve kararsız hizmetlerle bazı kanalları zamanında izole edeceğiz. Aynı zamanda, aktif sorgulama ve yeniden deneme stratejisi hazırlanacak ve geri arama başarısız olduğunda bekleme moduna geçebilecektir. Aynı zamanda kullanıcı tarafında ufak bir optimizasyon yapılmış ve kullanıcıyı rahat ettirmek için ödeme işlemlerinde bekleyen bir kopya eklenmiştir.
Ayrıca alım satım sistemi harici saldırılar tarafından da tehdit edilebilir.Çevrimiçi sipariş ve kupon ticareti gibi kötü niyetli davranışlar zaman zaman ortaya çıkabilir. İşlem arayüzü doğrudan saldırıya maruz kalırsa, işlem kaynakları devrilir ve bu da tüm hizmet sistemi. Bu nedenle, çekirdek kullanıcıların çıkarlarını korumak için ticaret sisteminin dışında güvenilir bir kalkan oluşturuyoruz. Endüstrideki yaygın uygulamaya benzer şekilde, seçilen savunma da giriş katmanında başlar ve ilk savunmaya yönelik kötü niyetli istekleri belirlemek için erişim özelliklerini kullanır; iş hizmetlerinin yanı sıra, orta düzey sözdizimi için kullanılabilen arabirim ayrıntı düzeyine sahip bir koruma bileşeni de vardır. İşlem bağlantısının anahtar arabirimi müdahale eder; temel işlem işi hizmet mantığı, kullanıcıları doğru bir şekilde analiz etmek için genellikle risk kontrol sorgu arabirimine bağlıdır. Bu üç koruma katmanı sayesinde, özenle seçilmiş ana bağlantılar etkili bir şekilde garanti edilir.
Son olarak, Yanxuan'ın esas olarak üç aşamaya ayrılmış olan büyük terfi garantisinin süreci ve stratejisinden bahsedeceğim.
Birincisi, kaynak değerlendirme hazırlığı ve stres testine odaklanan değerlendirme aşamasıdır. Büyük promosyonun ölçülen göstergelerini ayrıştırarak, sistemin temel işlem bağlantılarının arayüz verim ve yanıt göstergelerini ayarlayarak, mevcut sistem kapasitesinin gereksinimleri karşılayıp karşılamadığını değerlendirerek ve ilgili genişleme planlarını formüle ederek. Aynı zamanda, modül stres testi ve tam bağlantı stres testindeki mevcut hizmet göstergelerini anlayın, darboğazı test raporu ile birlikte analiz edin ve bir optimizasyon planı oluşturun.
Ardından hazırlık aşaması var.Bu aşamada, işlem bağlantılarının tanıtımı için ayrıntılı mevcut sınırlama ve düşürme ve felaket kurtarma planlarını formüle edeceğiz.Örneğin, ani işlem senaryosu için, hizmet başarısız olduğunda zamanında geçiş yapmak için en az iki set envanter yönetimi planı hazırlayacağız. . Tüm işlem bağlantıları, alışveriş sepetinden ödeme sayfasına ve kasanın tamamlanmasına kadar bir izleme eksikliği olup olmadığını doğrular ve her potansiyel işlem hatası senaryosu için ilgili keşif, çözüm ve tazminat planlarını formüle eder ve bunu sorumlu belirli kişiye uygular. Tüm planlar tamamlandıktan sonra, etkinliklerini doğrulamak için testle birlikte tam bağlantı basınç testini ve kısmi modül testini geçeceklerdir.
Son aşama, uygulama aşamasıdır.Yeterli hazırlık yapılsa bile, çeşitli beklenmedik durumlar yine çevrimiçi olarak meydana gelebilir.Büyük bir terfi sırasında bir arıza meydana geldiğinde, zamanında durdurma ilk prensiptir.Bu sırada cari limit veya hatta sigorta planları hazırlanır. İşe yarayabilir.Aynı zamanda sebebini derhal analiz etmeli ve minimum maliyetli bir onarım planı yapmalı ve hemen çevrimiçi yayınlamalıyız.
Ek olarak, ArchSummit Global Architects Summit tarafından planlanan iş altyapısı evrimi konusu, Google, WeChat ve Toutiao gibi teknik ekipleri mimarilerinin zaman içindeki gelişimini ve hangi sorunları çözmek için hangi yeni teknolojilerin kullanıldığını paylaşmaya davet etti. , Geleceğin mimari planlamasında deneyim ve kazanımlar. Tıklamak "Orijinali okuyun" Daha fazla mimari evrim vakası öğrenin. Kayıtla ilgili yardıma ihtiyacınız varsa, lütfen puf asistanına danışın (WeChat: aschina666 veya 010-84780850'yi arayın)
yazar hakkında
NetEase Yanxuan Teknik Müdürü Ma Chao, 2013 yılında NetEase Posta Bölümü'ne katıldı ve birçok NetEase posta kutusu ürününün araştırma ve geliştirmesine katıldı. 2015 yılında, Yanxuan Alışveriş Merkezi'nin araştırma ve geliştirmesinden sorumlu olmaya başladı.Son iki yılda, çeşitli teknik mimari dönüşümlerinin ve gelişimlerinin tamamlanmasına öncülük etti ve Yanxuan'ın işinin hızlı gelişimini teşvik etti. Aynı zamanda sistemin istikrarını sağlamak için ekibi birçok büyük promosyondan geçirdi. Yüksek eşzamanlılık, dağıtım, iş sistemi optimizasyonu ve ara katman araştırma ve geliştirme alanlarında zengin pratik deneyime sahiptir.
Bugünün Tavsiyesi
Okumak için aşağıdaki resme tıklayın
Mimar olmak için birkaç makale okumalısın
