En iyi teknoloji şirketlerinin neden CTO'su yok?
Yazar Yang Bo
Düzenle Xiaozhi
Netflix, izleyici tercihlerini analiz etmek için 10 milyardan fazla kullanıcı görüntüleme kaydı kullanan ve hit dizisi "House of Cards" ın yapımcılığını üstlenen bir Amerikan çevrimiçi video kiralama şirketidir. Netflix'in mühendislik kültürü birçok yerli birinci sınıf İnternet şirketi tarafından incelendi, ancak aslında üstün teknik güce sahip bu şirketin bir CTO'su yok.
1 önden yaz
Bir gece astlarımla yemek yedim, o dönemde Netflix teknolojisinin cesur yeniliklerinden bahsettim ve sonrasında dünyanın en büyük teknoloji organizasyonlarının teknolojisini, mimarisini, organizasyonunu ve kültürel yeniliklerini herkesin anlayabilmesi için özetleyip ekiple paylaşmak gerektiğini hissettim. Herkes işe daldığında, ara sıra gökyüzüne bakabilirler (büyük yere odaklanın, küçük yerde çalışın). Demek bu makale var.
2 Büyük ölçekli üretim düzeyinde mikro hizmet mimarisi uygulaması
Birçok şirket (eBay, Amazon, BAT), Netflix'ten bile daha önce mikro hizmetlere sahiptir, ancak Netflix muhtemelen en seçkin toplu üretim mikro hizmetidir.
100'ler aralığındaki mikro hizmetler, 1000'ler aralığında günlük üretim değişiklikleri, 10.000'ler aralığındaki örnekler, 1.000.000'ler aralığındaki aktif müşteriler ve 1.000.000.000'ler aralığındaki ölçümler. Ancak, kendi veri merkezi NOC'si olmayan yalnızca 10'lu işletme ve bakım mühendisi yelpazesi vardır ve bu, en yüksek mikro hizmet DevOps seviyesi olarak görülmelidir.
Netflix mikro hizmet görselleştirme
3 Tüm mikro hizmet teknolojisi yığınını açık kaynak
Netflix mikro hizmet teknoloji yığınının temel bileşenleri temelde açık kaynaktır. Pivotal, Netflix 2 ila 3 yıl önce açık kaynak içeriklerini özetledi ve ardından Spring Cloud olmak için başka şeyler (yapılandırma merkezi, çağrı zinciri izleme vb.) Bir araya getirdi. Artık herkes Zuul ağ geçidi, Eureka servis keşif kaydı, Hystrix devre kesici akım sınırlayıcı, Archaius yapılandırması ve diğer bileşenlere aşinadır.Netflix 2012 civarında açık kaynaklı olmuştur.
Açık kaynak, Netflix'in rekabetçi bir stratejisidir.
Netflix neden açık kaynak yapmak istiyor?
Sektör standartları ve en iyi uygulamalar olarak kendi çözümlerinizi oluşturun
Netflix teknoloji markasını oluşturun
En iyi mühendisleri işe alın, elinizde tutun ve çekin
Geri bildirim girdisi alın ve paylaşılan ekolojiden yararlanın
4 Tüm sistemler AWS genel bulutuna taşınır
2009/10 civarında, Netflix genel bulut stratejisini başlattı (tabii ki kendi kendine oluşturulmuş veri merkezinin acısını da yaşadı) ve uygulama aşamalı olarak AWS'ye taşındı. Bu süreç yaklaşık 5 yıl sürdü ve 15 yıl sürdü , Geçiş tamamlandıktan sonra tüm uygulamalar AWS'ye yüklenir. 2009/10 civarında AWS henüz olgunlaşmamıştı. O zamanlar bahsetmiyorum bile, şimdi bile, çok az sayıda büyük şirket tüm genel bulutları tartmadan geçirmek için bir stratejiden bahsetmeye cesaret edebilir. Buna ek olarak, AWS bugün bunu başarabiliyor, Netflix de vazgeçilmezdir ve Amazon'un sayısız çukurda yatmasına yardımcı olur.
5 AWS'ye dayalı bir PaaS platformu oluşturma
Netflix, AWS IAAS temelinde kendi PaaS bulut platformu hizmetini (bileşenlerin çoğu açık kaynaktır) paketledi ve oluşturdu:
-
Platform çalışma zamanı hizmetleri (Eureka, Zuul, Edda, Atlas)
-
Platform kitaplıkları ve çerçeveleri (Karyon / Ribbon, Hystrix, RxJava, Governator, Servo, Archaius, Astyanax)
-
Platform büyük veri ve önbellek hizmeti (Cassandra / ES / Hadoop Platform as a Service, EVCache, S3)
-
Platform araçları ve hizmetleri (Asgard / Aminator, SimianArmy / ChaosMonkey, ICE)
Endüstri yakın zamanda Bulut Yerel mimarisi konseptini önermeye başladı ve Pivotal, bu konseptin ana destekleyicisi (arkasında esas olarak Cloud Foundry ürününü tanıtmaktır). Aslında Netflix, 2013'te Bulut Yerel konseptini önerdi ve platformun tamamı (AWS IAAS + PaaS) bulutta yereldir.
6 İki yerde ve üç merkezde yüksek kullanılabilirlik
Netflix'in yüksek kullanılabilirlik mimarisi, aynı şehirde dağıtılan üç eşit kullanılabilirlik bölgesi (AWS Erişilebilirlik Alanları) ve bir veya iki bağlantıyla birlikte muhteşemdir ve kullanılabilirliği etkilemez.
Farklı bölgelerde eşler arası dağıtım yaparsanız, bir Bölgedeki tüm AZ'ler askıya alınır ve diğer Bölge bu durumda kullanılabilir olur.
7 Cassandra NoSql'i ana veritabanı olarak kullanın
Netflix başlangıçta Oracle gibi geleneksel SQL veritabanlarını kullanıyordu, ancak ölçeklenebilirlik sorunu ile karşı karşıya kaldı. Şirketin mimari yönetimi cesurca ve altüst edici bir şekilde, Cassandra Nosql'yi ana kalıcı depolama mekanizması olarak kullanmayı önerdi. 2012'de Netflix, verilerinin çoğunu Cassandra ve S3 gibi ilişkisel olmayan veritabanlarında depolamayı başardı. Bu mimari karar aynı zamanda çok cesur ve cesurdur ve genellikle çok az şirket bunu yapmaya cesaret eder. Cassandra aslında bir KV veritabanıdır, daha çok sıralı harita depolamasına benzer, işlemleri veya birleştirmeleri desteklemez. CAP teorisinde, Cassandra AP özelliklerini, merkezsiz, dağıtılmış yüksek kullanılabilirlik gösterir ve doğal olarak veri merkezleri arasında veri senkronizasyonunu destekler.Bu muhtemelen Netflix'in en önemli özelliğidir. Cassandra, yavaş okuma ve hızlı yazma ile karakterizedir (genellikle veritabanları hızlı okunur ve yavaş yazılır) ve Netflix, önbellek telafisi için yoğun olarak Memcached'i kullanır.
Cassandra, aynı şehirdeki birden çok bölge arasında verileri senkronize eder ve bölgeler arasında yeniden senkronize eder. Trafik 9 Gbit / sn'ye ulaşır, gecikme 83 ms'dir ve veri yedekleme 18 TB'tır (2013 verileri).
8 Ayna açılması ve otomatik olarak serbest bırakılması freni
Son yıllarda, liman işçisi konteyner teknolojisi büyük bir hit oldu.Herkes, esasen ayna dağıtım olan değişmez altyapı konseptinden bahsediyor. Netflix, 2012'den önce görüntü dağıtımı uygulamıştır. Yayınlanan birim, AMI (Amazon Machine Image) görüntüsüdür. Görüntü, sürekli dağıtım aracı Asgard aracılığıyla dağıtım için doğrudan AWS bulutuna gönderilir (artık yükseltilmiş sürüm Spinnaker olarak adlandırılır). Mavi ve yeşili destekler (gerekli Sanal makinenin en az iki katı), gri tonlamalı ve canary dağıtım modları.
Netflix'in çıkış boru hattı, platform ekibi tarafından döşenen yol olan Paved Road olarak adlandırılır ve dört aşamadan oluşur: gönderim, yapım, AMI görüntü pişirme (Görüntü Pişirme) ve yayın.
Kanarya serbest bırakıldıktan sonra, sistem otomatik olarak bir kanarya sağlık raporu ve skoru oluşturacaktır (arkasında binlerce metrik + karmaşık akıllı algoritmalar vardır) Belli bir puana ulaştıktan sonra (80 puan gibi) yayına devam edilebilir. Buna aynı zamanda otomatik serbest frenleme de denir.
9 Anti-kırılgan mimari
Netflix, kırılganlık karşıtı mimari kavramını cesurca ortaya koydu (mimar, Nicholas Taleb'in "Kırılganlık Karşıtı" kitabından ilham aldı ve bunu mimarlık alanına uyguladı): Sisteminizi daha sağlam hale getirmek için, onları sıkı bir şekilde korumak için, Bunun yerine, bazı yıkıcı testleri aktif olarak rastgele ekleyerek geliştiricileri yüksek kullanılabilirlik yapmaya zorlar.
Netflix pazartesiden cumaya, sabah 9'dan akşam 3'e kadar, Kaos Maymun Kolordusu prodüksiyon örneklerini rastgele öldürecek, buna Kaos Maymunu ve gecikmeyi artıran Gecikme Maymunu deniyor.
Ve Chaos Gorilla tüm Erişilebilirlik Alanını öldürebilir, Chaos Kong tüm Bölgeyi öldürür. Netflix'in bir erişilebilirlik bölgesini kapatmak için girişimde bulunduğu ve müşterilerin hiçbir etkisinin olmadığı söyleniyor.
Bazı yerel internet şirketlerinin de alıştırmaları ve kendi kendine saldırıları var, ancak temelde önceden merhaba diyorlar ve ölçek genellikle küçük. Netflix, gerçek oynamak için rastgele merhaba demiyor.
10 Neredeyse hiç süreç yok, çalışan el kitabı yok
Netflix, yetenek yoğunluğuna, özgürlük ve sorumluluk kültürüne ve daha az sürece büyük önem veren bir şirkettir. Şirketin resmi bir çalışan el kitabı yoktur, yalnızca basit bir yol gösterici ilke vardır:
Netflixin çıkarına en uygun şekilde hareket edin, Netflixin çıkarına en iyi şekilde hareket edin.
11 CTO Yok, Operasyon Yok
Netflix'in teknolojisi çok güçlü, ancak teknik bir CTO pozisyonuna sahip değil. Yalnızca ana ürün CPO'su. Mühendislik ekibi ve ürün ekibinin Başkan Yardımcısı CPO'ya rapor veriyor. Bu daha çok ürün oryantasyonu için, teknoloji ile ürünler arasındaki iletişimi ve işbirliğini kolaylaştırmak, her iki taraftan kaçınmak, iş odaklı veya teknoloji odaklı paradokslardan kaçınmak için herkes ürün odaklı. Netflix buna BusDevOps organizasyon yapısı diyor.
Netflix ayrıca bağımsız bir operasyon ve bakım ekibine (NoOps) sahip değildir. Mimari + ara katman yazılımı + operasyon ve bakım + büyük veri kapalı döngü topluca Bulut ve Platform Mühendisliği ekibi olarak adlandırılır. DevOps kültürüyle daha iyi entegrasyondan VP sorumludur. Netflix'in ürün odaklı kültürü çok güçlü. Platform mühendislik ekibinin açık kaynaklı ürünleri bile temiz ve düzenli (bkz. Https://netflix.github.io/). PaaS bulut platformu, tüm bulut platformu mühendislik ekibinin en büyük ürün çıktısıdır.
Netflix'in CTO'su aslında yetenek işe alımından sorumlu Baş Yetenek Görevlisidir. Bu, şirketin yeteneklere verdiği önemi göstermektedir.
12 Şirketin yükselişine veya düşüşüne bakılmaksızın, daima piyasadaki en yüksek maaşı ödeyin
Söylemeye gerek yok, bu muhtemelen Netflix'in en otoriter ve müthiş noktası. ABD'deki sınıf arkadaşlarıma göre, Netflix'e gitmek temelde Silikon Vadisi'ndeki en yüksek maaş ve doktora derecesinden mezun olduktan sonra yıllık 300.000 ABD dolarından fazla maaş aldım. Genelde içeri girmek zordur ve kalmak da kolay değildir Yetkili olmayanlar kibarca ayrılmaya ikna edilir. Kalabilenler genellikle zıplamaz çünkü zıplamak için daha yüksek bir tedavi yoktur.
Açıktır ki, en yüksek yetenek yoğunluğu olmadan, yüksek teknik yapısını ve olağanüstü kültürünü destekleyemez. En iyi yetenekler bir araya geldiğinde, yıkıcı şeyleri ve fikirleri parçalayarak çarpışmak ve inovasyon kıvılcımlarına dönüşmek kolaydır.
13 sonunda yazılı
Burada Netflix teknolojisinin yaptığı harika şeyleri özetleyeceğim Bir yandan hayranlıktan kaynaklanıyor ama asıl mesele bu değil Sonuçta mevcut yerel temel ortam ve yetenek yoğunluğu bu tür bir kültürü destekleyemeyen şirketler; , Yeşim taşı için kullanılabilir, Netflix'in birçok teknolojisi, mimarisi, organizasyonu ve kültürel fikirleri öğrenmeye ve öğrenmeye değer.
Netflix'te hiç çalışmadım. Yukarıdaki bilgiler öğrenmek ve yorumlamak için çoğunlukla İnternet üzerinden paylaşılır (özellikle slayt paylaşımı) (bazı yorumlar hala önyargılı olabilir). Sözde güçlü olanların sırları yoktur. Netflix'in gücü, özverili paylaşım ruhuna da yansır. Bilgiler şirket içinde ve dışarıda açık ve şeffaf bir şekilde paylaşılır.Neredeyse tüm Netflix mikro hizmet teknolojisi yığınları (NetflixOSS olarak da bilinir) github.com/netflix'ten ücretsiz olarak edinilebilir ve dahili yapı ve teknik bilgiler temel olarak şu adresten edinilebilir: slideshare veya Netflix teknoloji blogu ücretsiz olarak edinin. Şeffaflık söz konusu olduğunda Google, Amazon ve Apple gibi internet devleri bile hayal kırıklığına uğramalı. Netflix muhtemelen yeryüzünde özellikle harika ve göz kamaştırıcı bir çiçektir.
Netflix'e saygı!
yazar hakkındaYang Bo, Papadai Altyapı Çerçevesi Ar-Ge Direktörü. İnternette dağıtılmış sistem araştırma ve geliştirme ve mimarisinde 10 yıldan fazla deneyime sahip olarak şu alanlarda çalıştı: eBay China R&D Center (eBay CDC), kıdemli bir Ar-Ge mühendisi olarak, Yibei açık API platformu Ctrip'in geliştirilmesine bir teknoloji olarak katılıyor. Ar-Ge Direktörü, Ctrip'in büyük ölçekli SOA sistemi VIPShop'un yapımına liderlik ediyor ve konteyner PaaS platformunun araştırma ve mimarisinden sorumlu kıdemli bir bulut platformu mimarı olarak hizmet veriyor.
AWS'nin henüz olgunlaşmadığı 2009-2010 yıllarında Netflix, işini genel buluta taşıdı. Netflix'in ileriye dönük stratejisi, benzersiz bir stile sahip tanınmış bir şirket haline gelmelerine olanak tanıdı. Bugün, "Mikro Hizmet" ve "Sunucusuz" hala yeni. Yazılım geliştirme alanındaki en sıcak konu ve bu sefer QCon Shanghai istasyonu "Akıllı İşletim ve Bakım: Mimari ve Teknoloji" konusunu oluşturdu.
Amazon Çin Ar-Ge Merkezi'nin baş mimarı Cai Chao, "Pizza Hikayesi: Mikro Hizmet ve Severless" ı hazırladı.
Twitter altyapı mühendisi Chen Xiao, "Büyük Ölçekli Dağıtık Depolama Sisteminin Mimarisi ve Uygulaması" vb. Hazırladı.
Tıklamak Orijinali okuyun Hemen akıllı çalıştırma ve bakım uygulamasına ve düşüncesine sahip olun.
Bugünün TavsiyesiOkumak için aşağıdaki resme tıklayın
Netflix'in kurumsal kültürü neden Silikon Vadisi'nde büyük saygı görüyor?
