Amazon'un iş baskısı ve rekabetiyle karşı karşıya kalan Netflix, sonunda neden AWS'yi seçti?
Bu yolculukla ilgili olarak, başlangıç noktası Ağustos 2008'de bir SAN depolama ekipmanı arızası olayıydı ve bu, Netflix'in anahtar veritabanı sisteminin 2 gün boyunca kapalı kalmasına neden oldu. O sırada sipariş verilerini bulamadığı için 3 gün boyunca herhangi bir müşteri kiralaması göndermedi. DVD videosu. Herkes Netflix'e ne olduğunu soruyor! Netflix, Amerika Birleşik Devletleri'ndeki en büyük DVD kiralama hizmeti şirketidir. Web sitesi üzerinden film kiralayan müşteriler, filmleri iki gün içinde kendi posta kutularında alacak ve izledikten sonra iade zarfında geri gönderecekler.
Bu olay Netflix'in yansımaya başlamasına neden oldu.Çok para harcasa bile sektörün en üst düzey Oracle veritabanı sistemini en iyi donanım ekipmanlarıyla satın alıyor. Neden hala hata yapıyor? O sırada, Adrian Cockcroft web sitesi mühendislik ekibinin direktörüydü ve şunu fark etmeye başladı: "Hizmet kullanılabilirliğinin kahramanı donanım değil uygulama olmalıdır." Bu düşünce tarzını takiben, Netflix'in aslında pahalı bir donanıma ihtiyaç duymadığını da keşfetti. Ucuz bir bulut bilişim ortamı kiralamayı düşünebilirsiniz, belki bu yeterlidir.
Bu, Netflix'in benzersiz deneyimi değildir. Birçok kurumsal bilgi yöneticisi, kesinti süresiyle karşılaştıklarında aynı iç gözlemlere sahip olacaktır. Ancak Adrian Cockcroft, "Dış krizin baskısının gerçekten harekete geçmeye istekli olmasını beklemek zorunda, biz de öyleyiz." Sonrasında Adrian Cockcroft hatırladı.
Bu dış baskı 2009'da ortaya çıktı. Netflix, film kiralama hizmetlerine ek olarak, 2007 yılında Amerika Birleşik Devletleri'nde çevrimiçi video yayın hizmetleri de sunmaya başladı. Aynı yılın Şubat ayında Netflix, 1 milyar DVD ödünç verdiğini ancak yayın hizmetlerinin sayısının 1.000'i geçmediğini duyurdu. Milyon kullanıcı.
Bundan sonra Netflix, 2010 yılında uluslararası pazara girdi ve DVD'lerin küresel dağıtım sorununu çözmek için Netflix değişmeye karar verdi ve çevrimiçi akış hizmetlerini tanıtmaya başladı. Bu aynı zamanda Adrian Cockcroft'un yeni işin getireceği zorlukların ne kadar büyük olduğunu düşünmesini sağladı.
Orijinal DVD kiralama işinde, müşteriler filmleri haftada bir kez kiralamak için Netflix web sitesini kullanırlar. Müşteriler, DVD izlemek için müşteriye gönderilinceye kadar istasyona tekrar gelmezler. Teslimat süresi genellikle müşterinin indirmesini belirler. İnternetten film toplama sıklığı ne zaman ve bu sıklık haftada yaklaşık bir kişidir.
Bununla birlikte, çevrimiçi akış hizmetlerinin zorlukları tamamen farklıdır.Netflix yayın hizmeti müşterileri günde yaklaşık 5 ila 6 video izleyebilir ve kiralama hacmi, DVD kiralamalarının 10 katından fazladır. Video ayrıca kişiselleştirilmiş tarama hizmetleri de sağlar. Filmleri seçmek için sitede daha fazla zaman geçirecek, hatta müşteri görüntülemenin yarısını durdursa bile, web sitesi o sırada gördüğü ilerlemeyi hatırlamak ve bir dahaki sefere oynamaya devam etmek zorundadır. Adrian Cockcroft'un tahminine göre, yayın yapan müşteriler ile Netflix'in resmi web sitesi arasındaki etkileşim (gezinme) sıklığı, kiralama müşterilerininkinin yaklaşık 100 katı.
Diğer bir deyişle, film kiralama sayısı 10 kat, müşteri etkileşim sayısı 100 kat arttı.Film kiralama müşterileri yayın hizmetlerine geçtikten sonra ikisini çarparak, Netflix veri merkezi trafiğinin haftalık artışı geçmişin 1000 katı. Kullanıcıların% 0,1'i akış hizmetlerine geçtikçe, Netflix veri merkezi tarafından taşınan trafik ölçeği ikiye katlanacaktır.
Adrian Cockcroft, BT işletim modellerindeki değişiklikler açısından, geçmişte BT'nin yalnızca sistem genişletme ölçeğini belirlemek için çalışan sayısını dikkate alması gerektiğini, ancak gelecekte BT'nin genişleme ölçeğini belirlemek için küresel müşterilerin katılımını dikkate alması gerektiğini belirtti. Bu dijital dönüşüm baskısı, yüzlerce veya binlerce kişiye hizmet vermekten küresel müşterilere hizmet vermeye ve 24 saat hizmet vermeye kadar temel bir değişikliktir.
2009'da Netflix'in iki seçeneği vardı: Birincisi, birinci sınıf bir veri merkezi işletim ve bakım ekibini işe almak ve gelecekte ihtiyaç duyulduğu kadar çok sayıda veri merkezini önceden kurmaktı. İkinci seçenek, Netflix rakibi AWS tarafından sağlanan bulutu kullanmaktır. O zamanlar Amazon Prime video akışı hizmeti Netflix'in en büyük rakibiydi. Adrian Cockcroft, "Kendi başınıza bir veri merkezi oluşturmayı seçin veya bir rakibin hizmetini kiralayın ve parayı içerik ve geliştiriciler için harcayın." Dedi Adrian Cockcroft, bu, yöneticiler için o yıl en zahmetli seçimdi.
Netflix'in sonunda bulut bilişimine geçmeye karar vermesine neden olan başka bir sorun daha var. Yani, küresel pazara girdikten sonra, Netflix yayın hizmeti sadece bilgisayarlara değil, iPhone, Wii, PS3 ve Xbox sürümlerine de dahil olmak üzere çeşitli oynatma cihazlarına entegre edilecek.Gelecekteki büyüme ölçeği neredeyse tahmin edilemez. En az 1000 kat genişleme talebi nasıl karşılanır? Netflix, bulut bilişime geçmenin risklerini anlamak için ciddi bir değerlendirme başlatmaya karar verdi.
Öncelikle, AWS işletmesi ile Amazon Prime hizmeti arasındaki bağlantıyı düşünün. Daha sonra, Netflix yöneticileri, ikisinin bağımsız olarak çalıştığından emin olmak için doğrudan Amazon kurucularıyla iletişime geçti. İkincisi, AWS'nin yeteneklerini test etmek ve AWS'nin genişletme yeteneklerinin kendi başına bir veri merkezi oluşturma hızını aşıp aşamayacağını değerlendirmektir. Daha sonra Netflix, AWS'nin ilk kurumsal yetkilendirme sözleşmesini imzaladı ve konuyu doğrudan İnternet üzerinden tamamlamak için bir kredi kartı kullandı.
Nisan 2010'a kadar, Netflix buluta gideceği haberini açıklamaya başladı.Adrian Cockcroft, herkesin deli olduklarını düşündüğünü çünkü bunu yapan ilk büyük şirket olduklarını söyledi. Ancak, 2009 gibi erken bir tarihte, Adrian Cockcroft liderliğindeki web sitesi mühendislik ekibi buluta geçişe başladı. Bu süreçteki ilk adım, doğrudan müşterilerle karşılaşmayan sistemleri kontrol etmek ve Movie Encoding sunucusunu AWS EC2'ye koymaya karar vermektir. Çünkü bu tür video kodlama hizmetinin çalışması için çok sayıda makine gerekir, ancak mevcut veri merkezi alanı genişletmek için yeterli değildir.
Yer değiştirme hedefini seçtikten sonra, bir sonraki adım EC2'nin ölçeklenebilirliğini test etmektir.Adrian Cockcroft, AWS'ye tek nefeste talepte bulunduğunu ve bir saat içinde 3.000 EC2 sanal makine elde etmek istediğini söyledi ve sonra gerçekten anladı. , Ve Netflix bulut bilişimin gerçekten mümkün olduğuna inansın; o zaman, video kodlamanın fiziksel ana bilgisayarını gerçekten kapattı ve hepsi EC2'ye taşındı. Video kodlama işleme için, bir bilgi işlem çiftliği oluşturmak üzere binlerce EC2 bulut sunucusu kiralandı. O zamanlar, Windows ortamında on binlerce videoyu işlemek için birçok video kod dönüştürme yazılımı kullanıldı. Bu nedenle, S3'te depolanan veri miktarı PB seviyesine kadar.
Video kodlamaya ek olarak, ikinci adım, bulut bilişim üzerine çok sayıda web sitesi ziyaret günlüğü, özellikle de tüm akış hizmetlerinin günlüklerini koymaktır. Netflix, kaydetmek istediği çok fazla bilgiye sahiptir ve depolamak için S3'ü kullanır.Bu günlük verilerinin günlük artışı da terabayttır. Son olarak, analiz için Hadoop'u kullanır ve daha sonra Netflix'in dahili veri merkezinin BI sistemine entegre edilen bir veri süpermarketi tasarlamak üzere Hive SQL'i entegre etmek için AWS ile işbirliği yapar.
2010'un başında Netflix, bir veri merkezi kurmamaya karar verdi ve yılın başında, DRM anahtar yönetimi, kullanıcı yeniden oynatma yer imi hizmetleri ve yüksek oranda kullanılabilir tasarım "oynatma" gibi akış hizmetlerinin arka uç sistemlerini buluta taşıdı. Düğme servisi vb.
Netflix ayrıca 2010'un sonundan önce ön uç sistemlerin ve kullanıcı uç cihazlarının API hizmetlerini bulut bilişimine getirmeye karar verdi. O zamanlar, çoğu arka uç sistemi hala veri merkezlerinde konuşlandırılıyordu, ancak ön uç buluta geçtikten sonra, bilgisayar odası arka uç sistemlerini genişletmek için kullanılabilir.
"Dosyalamadık! Web sitesinin ön ucunu yıl sonundan önce AWS'ye taşımalıyız." O zaman, Netflix her toplantı yaptığında, kalkmaya hazırlanan bir uçağın Netflix'i temsil eden bir resmini gösteriyordu ve parçanın sonu Woods, Yıl sonunda bulutun içine uçmazsanız ormana çarpacaksınız. Adrian Cockcroft vurguladı. Aralık 2010'un başlarında, resmi web sitesinin son birkaç sayfasının aktarımı, süreçte herhangi bir kesinti olmadan tamamlandı ve Netflix başarıyla buluta uçtu.
Başlangıçta, Adrian Cockcroft başlangıçta aşamalı bir transfer yöntemi tasarladı, ancak patronu doğrudan talimat verdi: "Hepsini kesin ve yeniden eğitin! Yararlı bulduğunuz kodun en fazla% 10-20'sinde, istemediğiniz tek bir kod satırına sahip değilsiniz. Kal. Yeniden tasarım fırsatından yararlanmayı umuyor ve Adrian Cockcroft'tan önümüzdeki beş yılın ihtiyaçlarını karşılayabilecek ve hem verimliliği hem de üretkenliği hesaba katabilecek yeni bir mimari tasarlamasını istiyor. Adrian Cockcroft, "Çünkü maliyet tasarrufu sağlayan bir şirket olmak değil, iş hızının peşinden gitmek istiyoruz." Dedi.
Yeni mimariyi yeniden inşa etmenin yanı sıra, ön uç sistemi aktarırken, Adrian Cockcroft'un stratejisi en basit web sayfasıyla başlamak, web sitesindeki tek sayfalık hizmetleri tek tek bulut bilişime taşımak ve ilk önce en basit API hizmetiyle başlamaktır. , Ardından ilgili sayfanın aktarılması ve ardından bir sonraki API'ye ve sonraki sayfaya ilerleyin. Aynı yaklaşım, önce diğer hizmet sayfalarına uygulamak ve ardından farklı veri kaynaklarından diğer sayfaları aktarmaktır.
Sayfa sayfa bulut bilişime aktarıldıkları için paralel olarak çift yollu bir sistemi de benimsiyorlar. Kullanıcı ilk olarak veri merkezi, arka uç sistem ve oturum açma hizmetindeki resmi web sitesinin eski sürümüne giriş yapar ve ardından müşteriler için bulut bilişim tarafından sunulan sürüme geçmek için uygun web sayfasını seçer. Bir sorun olduğunda, hemen geri dönebilirsiniz, çünkü geçiş için standart HTTP iletme kullanılır, böylece müşteriler onu bulamaz.
Veri aktarımı stratejisi açısından, orijinal sistem verileri Oracle veritabanında saklanır.İlk olarak, bulut bilişimde bir kopya veritabanı oluşturmak için Oracle uzaktan kopyalama işlevini kullanın.Çoğu kullanıcının yalnızca bulut bilişim veritabanı tarafından sağlanan verileri bulması gerekir. Yalnızca kullanıcıların kayıtları güncellemesi gerektiğinde, değişiklik için veri merkezindeki Oracle veritabanına geri dönerler.
2011'de bulut bilişimini tam olarak uygulamaya karar verdikten sonra, yeni zorluk nasıl yedekleme yapılacağıdır. Geçmişte Netflix, sistem kayıtlarını kaydetmek için çevrimdışı yedeklemeler gerçekleştirmek için bant kullanıyordu. Adrian Cockcroft, bulut bilişimi kullandıktan sonra verileri yedekleme için yerel veri merkezine geri taşımak istemedi, bu nedenle farklı bir hizmet alanına geçti, farklı bir AWS hesabı oluşturdu ve başka bir yedekleme sağlamak için farklı bir hesabın S3 hizmetini kullandı.
Ayrıca tüm sistem kayıt verileri silinmeyecek, bunun yerine veriler sıkıştırılacak ve 90 günde bir arşiv alanındaki S3 hesabına yedeklenecek ve veriler sıkıştırılarak arşiv alanında S3 hesabına yedeklenecektir. Ana kapasite, yer kazanmak için dekompresyon hızı dikkate alınmadan kapasitedir. Daha sonra AWS, ultra ucuz bir arşiv hizmeti olan Glacier'ı piyasaya sürdü ve daha esnek yedekleme stratejileri kullanıma sunuldu.
Daha sonra Netflix, buluta gitme kararının doğru yaklaşım olduğunu keşfetti. Çünkü küresel pazara açıldıktan sonra, 2009'un üçüncü çeyreğinden 2010'un üçüncü çeyreğine kadar, akış hizmeti bir yıl içinde% 145 artarak ilk 10 milyon kullanıcıdan 16 milyona çıktı. Daha büyük zorluk, kışın herkesin evde kalıp TV izleyeceği. Şükran Günü'nden Noel'e kadar video akışı talebi patlayacak. 2011'de Netflix tamamen buluta gitmeye karar verdi ve hatta arka uç ve tüm verilerin yukarı taşınması gerekiyor.Ancak, hala kolay olmayan birkaç veri aktarımı var.Örneğin, o sırada bazı ödeme düzenlemeleri verilerin uygulanmasını gerektiriyordu. Sonuç olarak, 7 yıl sürdü.Ocak 2016'ya kadar, Netflix tüm bulut bilişim transferlerini tamamladı ve veri merkezindeki son makineyi kapattı.
Netflix'in buluta gitme deneyiminden yola çıkan Adrian Cockcroft, kurumsal dijital dönüşüm yolunun üç aşamaya ayrılabileceği sonucuna vardı. Birincisi, önce hızın peşine düşmek ve yeni bir mimari benimsemektir.Örneğin, tüm JAR bileşenleri mikro hizmetlidir, bu nedenle güncelleme için her iki haftada bir 10 dakika süreyle kapatmaya veya bir dizi standart program kodunu paylaşmak yerine hizmet tasarım modelini birleştirmeye gerek yoktur. Aynı zamanda, karmaşık ve karmaşık hizmet API'si, farklı işlevlere sahip katmanlı bir mimariye dönüştürüldü. Bu tasarımlar daha sonra Netflix'in bulut bilişim mimarisini mikro hizmet mimarisi için klasik bir referans model haline getirdi.
"Hızla, bir sonraki adım ölçeği takip etmektir." Örneğin, mimarinin yatay olarak genişletilmesi yoluyla, buluttan sonra gittikçe daha fazla hizmetin bilgi işlem ihtiyaçlarını karşılamak ve aynı zamanda kullanımı artırmak için açıkladı. Dijital dönüşümün son aşaması stratejik dönüşümdür. Amaç, veri merkezini tamamen değiştirmek ve önemli uygulamaları bulut bilişimine taşımaktır.
Netflix, dünya çapında 130'dan fazla ülkede yüz milyonlarca kullanıcıya hizmet vermek için 100.000'den fazla EC2 sanal makine kiraladı. Netflix istatistiklerine göre, Aralık 2007'den Aralık 2015'e kadar, toplam aylık akış hizmeti saatleri 1.000 kattan fazla arttı. Bu kadar bin kat geliştirme hızını desteklemek için o yıl bulut bilişime gitme kararından kaynaklanıyor.
