Fırtınanın zirvesinden Kubernetes'in ikinci yıldönümünde yazılan kavşak noktalarına

Yazar Zhang Xin

Düzenle Xiaozhi

Açık kaynaklı bir proje olarak Kubernetes'in geliştirme hızı gerçekten şaşırtıcıdır. Kubernetes, piyasaya sürülmesinden bu yana 2 yıl içinde GitHub'da projelerin% 99,99'undan fazlasını aktif hale getirdi. Bu kısa iki yılda ne oldu? Kubernetes öngörülebilir gelecekte nasıl bir rol oynayacak?

0 önünde yazılı

21 Temmuz 2015'te Google, CNCF Foundation'ın kuruluşunu duyurdu ve Kubernetes'in 1.0 sürümünü resmi olarak yayınladı. İki yıldan fazla süren hızlı gelişimin ardından Kubernetes, küçük bir fidandan büyük bir ağaca dönüştü, hatta bazıları Kubernetes'in konteyner savaşını kazandığını söylüyor. Bir süre önce GitHub, hepsinin Kubernetes kümelerine geçtiklerini duyurdu. Jingdong ayrıca çevrimiçi işletmelerinin% 60'ından fazlasının Kubernetes üzerinde çalıştığını belirtti. Bu tipik vakalar şüphesiz Kubernetes topluluğuna bir destek enjekte etti.

Geçtiğimiz iki yıla dönüp baktığımızda, konteyner ekosisteminde ne gibi ilginç şeyler oldu? Kubernetes ne tür büyüme ve değişiklikler yaşadı? Docker, Mesos, OpenStack ve diğer ilgili açık kaynaklı projeler? Kubernetes 2 yaşındayken InfoQ, Caiyun Teknoloji CEO'su Zhang Xin'i Google'ın bu açık kaynak projesinin geliştirilmesinin arkasındaki iniş ve çıkışları analiz etmeye ve yorumlamaya davet etti.

1 Bir depremde ve zor zamanlarda doğdu: Kubernetes'in gelişiminin gözden geçirilmesi

Beyaz kar altında dağ tesisi

2014 sonbaharında Amerika Birleşik Devletleri'nde soğuk çok erken geldi; Google'ın içinde, şirketin "Ursquake" (depremin homofonik) adını verdiği ateşli bir "deprem" şiddetli bir şekilde ortaya çıktı. Tüm bunların Google Technical Infrastructure'ın patronu, İsviçre Kıdemli Başkan Yardımcısı Urs Hölzle'den kaynaklandığı ortaya çıktı. Google'ın organizasyon yapısının en üst seviyesi birçok PA'dan (Ürün Alanları) oluşur. Urs liderliğindeki Teknik Altyapı PA, Google'ın yüzlerce veri merkezinin ve bir milyondan fazla makinenin altyapısını yönetmekten sorumludur. Şirket içindeki diğer tüm işletmeler için (reklamcılık gibi) bir OA'dır. PA, mobil ve medya PA, vb.) "Bilgi işlem gücü" desteği sağlar ve bu altyapı seti, tam konteyner yönetimi, dağıtılmış depolama ve yazılım tanımlı ağ oluşturma "üçlüsü" aracılığıyla Küme Yönetimi ekosisteminin temelini oluşturur, Üst düzey üretim işi (Google Arama gibi) ve toplu işleme görevleri (büyük veri ve derin öğrenme gibi) için dış dünyanın eşleşemeyeceği işlevler, performans ve kararlılık garantileri sağlar.

"Şarap kokusu da derin sokaklardan korkuyor." Son 10 yılda Google'ın yüzlerce seçkin mühendisinin katıldığı bu mühendislik şaheserleri seti yalnızca iş desteği ve şirketin maliyet merkezi olarak kullanılabilir ve altyapı projeleri genellikle tanıtım için başvurular sunar. O zamanlar sadece "ne tür işlerin desteklendiği" ve "şirkete ne kadar para biriktirildiği" ile ölçülebiliyor. İnsanlara gelinlik yapmaktan oldukça etkilendim ve PA reklamı gibi meslektaşlar tarafından "şirket için kaç milyar dolar kazanıldı" diye bir şey yok. Keyif.

Urs depremi veya Ursquake, 2014'teki bulut bilişim dalgasını gördü ve AWS'nin başarısını gördü, kahramanları perde arkasına getirmeyi, Google'ın dahili birinci sınıf altyapısını kamuya açık bir ürüne dönüştürmeyi ve teknik altyapıyı karlı bir ürüne dönüştürmeyi hedefledi. Maliyet merkezi, şirketin kâr merkezi haline gelir. O zamanlar AWS'nin 14 yıldaki pazar payı buluta giden şirketlerin% 80'ini aşmış olsa da buluta giden şirketlerin genel oranı çok küçük. Urs ve Google mayınsız pastayı çiğnemeye can atıyor.

"İdeal dolu, gerçeklik çok zayıf", ancak Aspirasyon düştüğünde iki büyük sorunla karşılaştı:

  • AWS'nin ilk hareket eden avantajları ve ürün olgunluk avantajları nasıl yakalanıyor?

  • PaaS ve IaaS ürünleri arasındaki çelişki nasıl çözülür: Google'ın genel bulut PaaS ürünü AppEngine güçlü barındırma yeteneklerine (otomatik dağıtım, çalıştırma ve bakım), ancak esnekliğe sahip değildir (yalnızca sabit dilleri ve ara yazılımları destekler); IaaS ise Compute Engine ürünü oldukça esnek olmasına rağmen (yalın donanım yapılandırılabilirliğine benzer), çok düşük yönetilebilirliğe sahiptir (kullanıcılar uygulama kurulumunu, bakımını ve yapılandırmayı kendi başlarına yapar).

Bu sorunu çözmek için Mart 2015'te beyaz karla kaplı yazlık Woodloch'ta kapalı kapı Google Cloud Zirvesi düzenlenmiş, oybirliğiyle yapılan görüşmelerin ardından yukarıdaki sorunların çözümünün özünün açık kaynaklı konteyner düzenleme yönetiminin başlatılması olduğuna karar verilmiştir. "Proje 7" sistemi, pazarı bozmak için hayranları hızla çevrelemek, bir ekosistem oluşturmak ve "insanların zihnini şekillendirmek" için açık kaynak topluluğunu kullanıyor. Aynı zamanda, bu açık kaynaklı sistem yalnızca temeldeki kapsayıcı, ağ, depolama ve diğer yapılandırma öğelerini sağlamakla kalmaz, aynı zamanda çok sayıda yönetim işlevi sağlar ve böylece yukarıda bahsedilen PaaS ve IaaS ürünlerinin esnekliği ve barındırılması arasındaki çelişkiyi ortadan kaldırır. Çıktıktan sonra, "Proje 7" kısa sürede "Kubernetes" olarak yeniden adlandırıldı.

Iconic 1.0 ve CNCF

Kubernetes, Google'da denenmiş ve test edilmiş konteyner yönetim sistemi Borg'un omuzlarında duruyor; aynı zamanda, Borg'un yerini almak üzere tasarlanan ancak başarılı olamayan Omega projesinin başarısız deneyiminden de yararlanıyor. Omega projesinin motivasyonu, Borg'taki ciddi tek kontrol düğümünün (Borgmaster) sorunlarını, küme yönetimi ekolojisindeki diğer bileşenlerle yetersiz etkileşim ve son derece karmaşık kullanım ve konfigürasyon sorunlarını çözmektir; Omega projesinin başarısızlığı mühendislikten kaynaklanırken Yukarıdakiler, Omega zamanlama doğruluğu ve iş hacmi ile Borg'tan Omega'ya sorunsuz geçiş arasındaki çelişkinin zorluklarını çözemez. Kubernetes, yukarıdaki sorunlardan kaçınmanın iyi bir yoludur.

6 Haziran 2014'te, bu uğurlu günde, Kubernetes'in kurucularından biri olan Joe Beta, GitHub'daki ilk GitHub taahhüdünü birleştirdi; diğer iki erken kurucu, Brendan Burns ve Kubernetes ekibi Craig McLuckie'nin önderliğinde Hızlı genişleme, bir zamanlar Google'da Omega projesini yöneten Brian Grant ve Borg teknoloji lideri Tim Hockin'i içeriyor. Bir yıl sonra, 21 Temmuz 2015'te Kubernetes, 1.0 sürümünün resmi sürümünü duyurdu ve üretim kullanılabilirliğine ulaştı. Daha sonra Kubernetes, her çeyrekte yeni bir sürümle hızlı bir şekilde ilerliyor ve 1.7 sürümü ikinci doğum gününde yayınlandı.

Kubernetes 1.0'ın piyasaya sürülmesiyle birlikte Cloud Native Computing Foundation (CNCF) de gelişini duyurdu. O zamandan beri Kubernetes için güçlü bir yasal, operasyonel ve proje bakım şemsiyesi sağlayarak Kubernetes projesinin teknolojik inovasyona odaklanmasına izin verdi. Apache Vakfı'ndan farklı olarak CNCF, üye projelerine kendi organizasyon yapısını ve yönetim modelini dayatmaz, ancak Kubernetes gibi üye projelerinin daha özerk bir şekilde kendi kendini yönetmesine ve aşağıdaki boyutlarda yardım sağlamasına izin verir:

  • Ekolojik bağlama: Organik bir bağlama oluşturmak için Kubernetes'i (linkerd, fluentd, promethues gibi) yakından çevreleyen eklenti projelerini aynı CNCF ekosistemi altına koyun.

  • Yasal koruma: Kubernetes ticari markalarının, logolarının, lisanslarının, patentlerinin, telif haklarının vb. Makul şekilde kullanıldığından ve tüketildiğinden emin olun.

  • Pazarlama: Buluşmalar, K8sPort, Kubecon, Blog, Twitter ve haber medyası gibi çevrimdışı ve çevrimiçi etkinlikler aracılığıyla Kubernetes'i ve diğer teknolojileri tanıtın.

  • Eğitim ve sertifikasyon: Kubernetes ve diğer teknolojileri yaygınlaştırmak ve buna karşılık gelen karları elde etmek için spesifikasyonları, prosedürleri ve kursları formüle edin.

  • Son olarak, farklı üreticiler arasındaki ilişkiyi ve rekabeti koordine edin.

"İşbirliği" nin kaotik zamanlarını atlayın

Docker, konteyner teknolojisini alevler içine soktu ve aynı zamanda neredeyse tüm bulut bilişim satıcılarını yeni fırsatlardan haberdar etti. 2009 yılı gibi erken bir tarihte ortaya çıkan Apache Mesos projesi, Docker'ın ortaya çıkmasının ardından Docker ile entegrasyonla ikinci baharını da doğurdu.Konteyner tabanlı Veri Merkezi İşletim Sistemi (DCOS) olarak konumlandırıldı ve bir ölçüde uyumlu Kapsayıcı küme yönetimi platformu Kubernetes, konumlandırmada örtüştü. Ve Docker şirketi daha sonra konteynerin kendisinin sadece ince, düşük seviyeli bir işletim taşıyıcısı olduğunu fark etti, büyük ölçekli karlar elde etmenin ve karmaşık üretim ortamlarında işletmelerin kullanımını teşvik etmenin zor olduğunu fark etti; bu nedenle, kendi küme yönetim aracı Docker Swarm'ı ve Docker'da geliştirmeye başladı Sürüm 1.2'den sonra Swarm'ın Docker motoruna entegrasyonu toplulukta tartışmalara neden oldu. Ardından, Docker Company tarafından başlatılan Swarmkit, küme yönetimi alanına tüm dünyaya açık bir şekilde girme hedefini ortaya koydu.

Kubernetes liderleri, ekolojik "işbirliği" ilişkisinin önemini en başından anladılar ve yolda "tarafsızlık" bayrağını oynadılar, toplumun takdirini ve beğenisini kazandı; aynı zamanda, farklı konteyner kullanım sürelerini desteklemek için çok çalışıyorlar ve Motor, Docker'a olan bağımlılığı yavaş yavaş kaldırıyor. Kubernetes'in bebeklik döneminde liderler, topluma daha dostane olan "yaşlı insanlar" yaklaşımını seçtiler ve daha fazla kaynak kullanarak yüksek hızda büyümelerine yardımcı oldular. Mayıs 2015 gibi erken bir tarihte, Kubernetes, Docker'a ek olarak yeni konteyner çalışma zamanı AppC ve rkt'yi desteklediğini duyurduğunda, Kubernetes'in ürün yöneticisi Craig McLuckie, bu hareketin Docker'ın yerini alması amaçlanmadığını belirten bir blog yayınladı ve Docker'ı övdü. Ekolojinin yaptığı katkı. Daha önce, 22 Nisan 2015'te, resmi Kubernetes blogu özellikle Mesosphere'in Kubernetes'i DCOS'a entegrasyonunu bildirdi.

Kubernetes'in büyümesiyle birlikte, Kubernetes'in 2016'da konteyner yönetimi savaşını gittikçe daha fazla kazandığı zaman, Kubernetes'in 2016 Kubernetes evangelisti Kelsey Hightowers ve Twitter'daki Docker yöneticileri gibi diğer "kardeş projelerine" karşı tutumu da gittikçe daha güçlü hale geldi. İnternette, 2016 yılında Seattle'daki KubeCon'da yapılan çok sayıda açılış konuşmasında söz savaşı patlak vermesi, Kubernetes'in liderliğini açıkça ilan etti ve Kubernetes topluluğundaki konteyner çalışma zamanı ve ağ eklentisi gibi soyut arayüzlere yatırımı artırdı.

Yatay ve dikey iniş sonuçlarını birleştirin

Açık kaynaklı bir projenin büyümesi, liderlerin ve teknik toplulukların yanı sıra birçok satıcının desteğini ve ikna edici bir kullanıcı grubunu gerektirir. Temmuz 2015'te 1.0 piyasaya sürüldüğünde, Kubernetes ortakları, satıcıları ve kullanıcıları yalnızca Red Hat, Mirantis, Rackspace, CoreOS ve birkaç az bilinen başlangıç şirketi gibi ilk katılımcılarda toplandı. Kubernetes'in kilometre taşlarının yayınlanmasıyla, Kubernetes'in işlevselliği, kararlılığı ve pratikliği sürekli iyileştirildi ve aynı zamanda birçok güçlü 500 üreticinin katılımını çekerek ortak, satıcı ve son kullanıcı haline geldi:

  • 2016 Q2-Q3: Mirantis liderliğindeki OpenStack satıcıları, Kubernetes ile entegrasyonu aktif bir şekilde teşvik ediyor, Kubernetes'in karşı tarafında durmaktan kaçınıyor ve Kubernetes tarafından devrilen "eski nesil teknoloji" haline geliyor.

  • Kasım 2016'da CNCF ve Linux Foundation, Kubernetes sertifikasyon hizmetlerini resmi olarak başlatmak için ekip oluşturarak Kubernetes'in ticarileştirilmesini ve popülerleşmesini daha da teşvik etti.

  • Kasım 2016'da Seattle'daki KubeCon konferansında Pearson ve Box dahil düzinelerce Kubernetes son kullanıcısı, üretim ortamlarında Kubernetes'in başarılı uygulamasını dünyaya gösterdi.

  • Aralık 2016'da Kubernetes 1.5'in piyasaya sürülmesiyle, Windows Server ve Windows Kapsayıcıları Kubernetes'i resmi olarak destekleyebilir ve Microsoft ekosistemi mükemmel bir şekilde entegre edilmiştir.

  • Şubat 2017'de resmi Kubernetes Weibo, China JD.com'un OpenStack'teki çok sayıda hizmet ve bileşeni Kubernetes ile değiştirdiğini ve tamamen konteynerli özel ve genel bulutların yapımını gerçekleştirdiğini bildirdi.Çin'in Kubernetes kullanıcı vakası ilk kez uluslararası sahneye çıktı.

  • Haziran 2017'de Pekin'de düzenlenen LinuxCon'da Çinli şirketler, Çin'in finans, güç ve İnternet sektörlerinde başarılı Kubernetes vakaları bildirerek Kubernetes'in son kullanıcı gruplarının uluslararasılaşmasını işaret etti.

  • 2. doğum günü vesilesiyle Kubernetes kullanıcıları arasında finans (Morgan Stanley, Goldman Sachs), İnternet (eBay, Box, GitHub), medya (Pearson, New York Times) ve iletişim (Samsung, Huawei) gibi sektörlerin önde gelen şirketleri bulunuyor. .

2 State of the Kube: State of the Kubernetes projesi

% 99,99!

Geçmişi kısaca inceledikten sonra, bugün Kubernetes'in neye benzediğine bir göz atalım. Kubernetes projesinin mevcut durumunu tanımlamak için bir kelime kullanılıyorsa, aktiftir; bu terime bir son tarih eklememiz gerekirse, umarım on yıl olur. Bir dizi objektif resmi veri aracılığıyla Kubernetes projesinin aktivitesini algısal olarak deneyimleyebiliriz.

  • Temmuz 2015'ten Temmuz 2017'ye kadar geçen iki yıl içinde, Kubernetes'in ana kod deposu (github.com/kubernetes/kubernetes) 1.0 sürümünde 10.000'den fazla kaydetmeden bugün yaklaşık beş kat artışla yaklaşık 50.000'den fazla kaydetmeye değiştirildi .

  • Şimdiye kadar Kubernetes, tek bir büyük kod tabanından (github.com/kubernetes/kubernetes) ekolojik çoklu kod tabanına evrildi; ana kod tabanına ek olarak, yaklaşık 40 başka eklenti kodu tabanı vardır ve 20'den fazla kuluçka projesi.

  • Bugün itibarıyla Kubernetes ekolojik topluluğu 789 katılımcı şirketten toplam 2.505 geliştiriciye sahiptir.

  • İlginç bir şekilde, "fil fenomeni", kuralların% 26'sından fazlasına katkıda bulunan en çok katkıda bulunan 10 kişi ile topluluğa katkıda bulunanlar arasında da var.

  • Kubernetes'in ana kod deposu, ilk rakiplerinin (Swarm ve Mesos'un her biri 5.000'den az yıldıza sahip) çok ileride olan yaklaşık 25.000 GitHub Yıldızı aldı.

  • CNCF, dünya çapında 200'den fazla çevrimdışı buluşma düzenledi ve yalnızca Çin'de on tane yapıldı.

Ve en temsili ve sezgisel veriler şudur: Kubernetes'in GitHub etkinliği projelerin% 99,99'unu aştı!

Hızlı ama dağınık değil

Topluluğun hızlı gelişimi, Kubernetes'in kurucusunun beklentilerini bile aştı. Kasım 2016'da Seattle'daki KubeCon'da yayınlanan verilere göre, Kubernetes'in yaratıcısı ve lideri Google, kodun yaklaşık% 40'ına katkıda bulundu ve katkıların yarısından fazlası Google dışındaki şirketlerden ve topluluk geliştiricilerinden geldi. 2.000'den fazla katılımcı, projenin gelişimini yüksek hızda teşvik ederken, açık kaynak projelerinin tutarlılığını, istikrarını ve tarafsızlığını sağlamak için son derece yüksek zorluklar ortaya koydu. Samsung tarafından 2 Haziran 2017'de ABD'nin San Jose kentinde düzenlenen Kubernetes Liderlik Zirvesi'nde, Kubernetes'in kurucularından Brendan Burns'e daha fazla topluluk katkısına ihtiyaç duyup duymadığı sorulduğunda Bay Burns şöyle yanıt verdi: "Belki değil". Elbette, Kubernetes ve CNCF'nin liderleri hiçbir şekilde avare değiller ve ayrıca yönetim ve teknolojinin iki boyutundan çözümler önerdiler.

Her şeyden önce, yönetim boyutunda, CNCF ve Kubernetes topluluğu, bu açık kaynak projesinin daha iyi dağıtılmış çalışmasına yardımcı olmak için resmi olarak bir yönetim mimarisi (Şekil 1'de gösterildiği gibi) önerdi:

  • Yönlendirme Komitesi: En yüksek karar alma kurulu olarak, projenin yönünü kavrama, kültürü, kuralları tanımlama ve ekibi yönetme misyonunu üstlenir. Aynı zamanda, Yönlendirme Komitesi her zaman, yetkiyi en geniş kapsamda devretmesini ve belirli görevleri aşağıdaki ilgili yönetim ekibine devretmesini hatırlatmalıdır. Şu anda, Yürütme Komitesinin aday gösterilmiş ve seçilmiş 13 sandalyesi bulunmaktadır.

  • Özel İlgi Grupları (SIG): belirli alt kod kitaplıklarına ve işlevsel modüllere sahip olun ve bunlardan sorumlu olun.

  • Çalışma Grubu (ÇG): Kısa vadeli görevlerin ihtiyaçlarına göre geçici olarak kurulur veya erken işlev noktalarını tartışmaktan sorumludur.

  • Komite: Kapalı kapılar ardında (topluma bakmadan) düzenlenen ve uygulanan hassas konuları (güvenlik, davranış kuralları gibi) tartışmaktan sorumludur.

Böyle bir yönetim organizasyon yapısı, tüm Kubernetes topluluğunun hızlı bir şekilde hem otonom hem de merkezi bir organik seviyenin liderliği altında dağılmamasını sağlar. Yönetime ek olarak, Kubernetes proje mimarisi de ayarlama ve evrim geçiriyor. Daha modüler, ayrıştırılmış ve hiyerarşik bir mimari sayesinde, binlerce katılımcı, kendi çatal versiyonlarını yapmak zorunda kalmadan dağıtılmış bir şekilde verimli bir şekilde işbirliği yapabilir.

Şekil 1. Kubernetes proje yönetimi organizasyon yapısı [1]

Zor iş

Kubernetes, Google'ın aurası nedeniyle ilk günlerde hızla öne çıkabildiyse, gerçek becerileri nedeniyle çeşitli sektörlerdeki kullanıcılar tarafından yaygın bir şekilde benimsenmiş ve uygulanmıştır: işlevsellik, kararlılık ve ölçeklenebilirlik. ,Emniyet. Bugüne kadar Kubernetes topluluğunun en büyük çabası sıkı eğitime harcandı ve her üç aylık dönemin yeni sürümünde tam bir sıçrama yapmaya kararlı. Yeni işlevlerin tanıtımını örnek olarak alırsak, aşağıdaki verilerden topluluğun çabalarını ve ivmesini görebiliriz [2]:

  • Mart 2017'de piyasaya sürülen Kubernetes 1.6 sürümünde 8 Alpha sürümü, 12 Beta sürümü ve 9 Stable sürümü dahil olmak üzere toplam 29 yeni özellik noktası bulunuyor. 1.6 sürümü aşağıdaki alanlara odaklanır:

    • Depolama (10 yeni işlev noktası)

    • Planlama (5 yeni fonksiyon noktası)

    • Küme yaşam döngüsü yönetimi (4 yeni fonksiyon noktası)

    • Kimlik doğrulama ve yetkilendirme (RBAC)

  • Haziran 2017'de piyasaya sürülen Kubernetes 1.7 sürümünde tek seferde 43 yeni özellik noktası yayınlandı; bunlardan 31'i Alpha, 6'sı Beta ve 3'ü Stable'dır. Endişe duyulan alanlar da büyük değişikliklere uğradı:

    • Uygulamalar alt modülü, karmaşık uygulamaların dağıtımını ve yönetimini daha kolay hale getirir.

    • Federasyon alt modülü, Kubernetes'in sonsuz bir şekilde genişlemesine izin verirken, etki alanları arası çoklu etkinlik ve yük dengeleme sağlar.

    • Node alt modülü, Container Runtime Interface (CRI) entegrasyonunu daha da derinleştirir, container'ların evrensel uygulanabilirliğini hızlandırır ve Docker'dan ayırmayı gerçekleştirir.

    • Auth alt modülü, daha iyi sertifika yönetimi, şifreleme ve denetim yoluyla güvenliği artırır.

Kubernetes geliştiricileri, yukarıda bahsedilen işlevselliğin hızlı iyileştirilmesine ek olarak, ölçeklenebilirlik, kararlılık ve güvenilirlik üzerinde çok çalıştılar. Örnek olarak küme ölçeğini alın. İki yıl önceki Kubernetes 1.0 sürümü, tek bir kümede yalnızca 100 düğümü destekleyebilir. Mart 2017'de yayınlanan 1.6 sürümünde, tek bir küme zaten 5000 düğümü destekleyebilir ve karşılık gelen API gecikmesi daha azdır. . Küme birleştirme işlevi, tek bir kümenin sınırlamasının dışına çıkarak küme boyutunun düzinelerce veya yüzlerce kez artmasına olanak tanır.

Topluluk yapısı ve ana oyuncular

Kubernetes büyüdükçe, topluluğu dinamik olarak sürekli gelişiyor. Özellikle Çin'de, ilk günlerde diğer kamplarda üreticiler tarafından yönetilmekten, herkesin kaynaştığı günümüze kadar bir değişiklik oldu. Katkıda bulunanların bakış açısından, Google hala% 40'ın üzerindeki bir katkı oranıyla topluluğa liderlik ediyor ve bireysel geliştiricilerin toplam katkısı% 25'in üzerine çıktı. Buna karşılık, Red Hat ve CoreOS gibi erken katılan şirketler yatırım yapmaya devam ediyor. 2016'dan bu yana, Çin kuvvetleri de uluslararası arenaya girmeye başladı.Şekil 2'de gösterildiği gibi örnek olarak kod katkısını alın. Bu nedenle, ZTE, Huawei, Zhejiang Üniversitesi ve Caiyun, Çin'den en çok katkıda bulunan dört şirket veya organizasyondur ve Küresel en iyi 25 katkı sıralaması listesi. Ek olarak, Huawei ve Caiyun'un konuşmaları da art arda birkaç Kubernetes uluslararası konferansı KubeCon için seçildi.

Geçtiğimiz iki yıl içinde Kubernetes'in satıcı dünyası da gelişti. Amerika Birleşik Devletleri'nde Red Hat ve CoreOS, Kubernetes projesinin katılımcıları olarak kendi ticari sürümlerini başlattı. Geçtiğimiz yıl Kismatic ve Deis gibi erken Kubernetes girişimleri satın alındı (Kismatic, Apprenda tarafından satın alındı ve Deis Microsoft tarafından satın alındı), bu da büyük üreticilerin Kubernetes'in yönü konusunda iyimser olduklarını gösteriyor. Ayrıca, Kubernetes'in ilk kurucuları artık Google'da değiller. Aralarında Joe Beta ve Craig McLuckie, Kubernetes'i işletmeler için daha uygun hale getirmeye kararlı olan Kubernetes ürün şirketi Heptio'yu da kurdu.

Devin yanında, Google'ın Kubernetes'i destekleme ve ticari Google Container Engine (GKE) sağlama konusundaki doğal hayranlığına ek olarak Microsoft, Kubernetes kurucusu ve eski Google mühendisi Brendan Burns'ü ele geçirip Deis'i satın almaktan da çekinmedi. Öte yandan, AWS'nin konteynerlere verdiği önem konusunda hiçbir şüphesi yok.Ancak Kubernetes'in ortaya çıkmasından önce AWS kendi başına ECS'yi geliştirdi.Şimdi AWS Kubernetes'i desteklese de ECS'nin varlığı nedeniyle AWS, Kubernetes üzerinde çok fazla çaba göstermedi. Kısıtlı, geliştirici deneyimini etkiliyor. Bu yardımcı olamaz, ancak insanların dört gözle beklemesini sağlar, birkaç yıl sonra, Google'ın açık kaynaklı Kubernetes'i AWS'yi içerecek gizli bir silah olarak kullanma şeklindeki orijinal hilesinin gerçekten işe yarayıp yaramayacağını göreceğiz.

Çin'de Kubernetes'in popülaritesi azalmadı Caiyun, Shisuyun ve Qingyuan Technology gibi girişimler, kuruluşlarının başında Kubernetes'i temel konteyner yönetim platformu olarak kullandılar. Kubernetes'in popülaritesinin artmasıyla birlikte Tencent, Huawei, JD ve diğer büyük iş adamları da Kubernetes kampına yatırım yaptı. Genel eğilim nedeniyle, Mesos ve Swarm kamplarındaki bazı başlangıç şirketleri de Kubernetes dalgasına akın etti. Uyumlu bir paket olarak konumlandırılan Rancher gibi başka bir şirket türü vardır.Kendi geliştirdiği zamanlama çerçevelerini, Swarm ve Mesos'u desteklemenin yanı sıra, Kubernetes ile de uyumludur.

Şekil 2. Kubernetes topluluğunda katkıda bulunan başlıca şirketler [3]

3 Uygulamadan elde edilen gerçek bilgi: Kubernetes'in inişi ve uygulaması

Veri kralı

Küresel ölçekte, Kubernetes'i desteklemek için rekabet eden büyük genel bulutlara ek olarak, Kubernetes kurumsal özel bulut senaryosunda İnternet, finans, iletişim, enerji, e-ticaret ve geleneksel sektörlerde de yaygın olarak kullanılmış ve alt katmana uyarlanmıştır. Çıplak metal ortam, OpenStack ortamı, VMWare ortamı vb. Gibi çeşitli durumlar. Yalnızca Çin'de, Kubernetes halihazırda JD.com, State Grid, Jinjiang Group, SAIC Group ve büyük bir bankacılık organizasyonu gibi ilk 500 kurumsal kullanıcıya sahiptir.

Özellikle özel bulut senaryosunda Kubernetes büyük bir başarı elde etti: 451 Research ve Amerika Birleşik Devletleri'nde yetkili bir araştırma kuruluşu olan CoreOS tarafından yayınlanan araştırma raporuna [4] göre, ankete katılan Amerikan şirketlerinin% 80'i Kubernetes'in PaaS'ın yerini almak için yeterli olduğuna inanıyor. Kuruluşların% 75'i, konteyner bulut platformlarını yönetmek için zaten Kubernetes'i kullanıyor ve bu da diğer konteyner yönetim araçlarına mutlak bir avantaj sağlıyor. Çin pazarında, Haziran 2017'de, Kubernetes Çin topluluğu K8SMeetup, Çinli konteyner geliştiricileri ve kurumsal kullanıcıları arasında ilk yurt içi anketini düzenledi; görüşülen 100'e yakın kullanıcı ve şirket, Kubernetes'in Çin'e inişi hakkında bize ilginç bilgiler getirdi. Durumun gözlemlenmesi:

  • Şekil 3'te görüldüğü gibi, görüşülen şirketler arasında Kubernetes, yaklaşık% 70'lik kullanım oranıyla en popüler konteyner yönetim sistemi haline geldi.

  • Şekil 4'te gösterildiği gibi, görüşülen şirketlerde basit web uygulamalarına ek olarak, giderek daha fazla durum bilgisi olan ve veri uygulamaları da Kubernetes platformunda çalışmaktadır.

Şekil 3. Ankete katılan Çinli kurumsal kullanıcılar arasında kullanılan konteyner yönetim araçlarının dağılımı

Şekil 4. Kubernetes platformunda çalışan uygulama türlerinin görüşülen Çinli kurumsal kullanıcılar arasında dağılımı

İyi, kötü ve çirkin

Verilerin ötesinde, özü fenomen aracılığıyla analiz etmeye çalışıyoruz: Kubernetes neden bu kadar popüler? İniş sürecinde kullanıcılar Kubernetes'in en çok hangi yönlerini sever ve nefret eder? Kubernetes iniş sürecindeki büyük çukurlar nelerdir? Şekil 5 ve 6, K8SMeetup konteyner anketinde görüşülen şirketlerde bulunan bazı ipuçlarını özetlemektedir.

Şekil 5. Anketi yapılan Çinli kurumsal kullanıcılar arasında Kubernetes'in en popüler yönleri

Şekil 6. Ankete katılan Çinli kurumsal kullanıcılar arasında Kubernetes'in en sevilmeyen yönleri

Yazar, özellikle kurumsal inişteki Kubernetes'in eksiklikleri ve tuzakları için, aşağıdakileri özetlemek için kendi kişisel deneyimimle birleştirdi:

  • Yukarı akış varsayılan Kubernetes yapılandırması, genel bulut ortamına dayanır veya eksiksiz bir IaaS katman API'sine sahiptir, ancak özel bulut çıplak metal ortamı için destek nispeten eksiktir ve ek geliştirme gereklidir.

  • Kubernetes uzun bir öğrenme eğrisine sahiptir ve komut satırı ve JSON / YAML yapılandırma dosyalarına dayalı öğrenme maliyeti düşük değildir.

  • Geleneksel endüstrilerin yüksek teknik borçları ve birçok monolitik veya durum bilgisi olan uygulamaları vardır. Kubernetes'in modern mikro hizmet konseptine uyum sağlamak, ek ikincil geliştirme çalışmaları veya Kubernetes gelişmiş yapılandırma öğelerinin derinlemesine anlaşılmasını gerektirir.

  • Kubernetes kümelerinin dağıtımı, özellikle çevrimiçi yükseltmeler için olgunlaşmış yukarı akış açık kaynak çözümlerinin olmaması zahmetlidir.

  • Yukarı akışlı açık kaynaklı Kubernetes projesinde, çok boyutlu ve çok indeksli elastik ölçeklendirme, sabit disk ve ağ kaynaklarının ayrıntılı izolasyonu ve kaynak koordinasyonunun makul yapılandırması gibi bazı işlevsel çıkmazları vardır.

Bununla birlikte, iyi haber şu ki, Kubernetes'in hızlı yinelemesi ve açık kaynak topluluğunun güçlü desteğiyle, yukarıdaki sorunların 2017'de çığır açan bir ilerleme kaydetmesi bekleniyor.

Kurtuluş, özgürlük ve altyapı açıklığı

Kubernetes, Bulut Yerel Bilgi İşlem felsefesinin somutlaşmış halidir.Konteyner teknolojisi ve soyut IaaS arayüzleri aracılığıyla, temel altyapının ayrıntıları ve farklılıkları korunur ve çoklu ortam dağıtımı ve birden çok ortam arasında esnek geçiş sağlanabilir; bu şekilde Etki alanları arası ve çok ortamlı yüksek kullanılabilirlik ve çok etkin felaket kurtarma sağlayabilir Öte yandan, kullanıcıların bir bulut satıcısına veya altta yatan ortama bağlı kalmamasına yardımcı olur.

Şekil 7'de gösterildiği gibi, Çin'in konteyner anketinde ankete katılan şirketler arasında çıplak metal ortamlar, OpenStack, sanallaştırma ve çok sayıda genel bulut sağlayıcısı Kubernetes işletim ortamının "dört parçalı dünya" modelini oluşturdu. Ve Kubernetes, kullanıcılara, yüksek iş kullanılabilirliği elde etmek ve iş avantajlarını en üst düzeye çıkarmak için kullanıcılara kendi iş sistemlerini farklı temel ortamlarda, veri merkezlerinde ve hatta genel bulutlarda hızlı bir şekilde dağıtma ve çalıştırma konusunda yeterli esneklik sağlar.

Yazar, hisse senedi yatırımı nedeniyle uzun bir süre için çoklu altyapı hibrit dağıtımının Kubernetes operasyonunun ana akımı haline geleceğine ve Kubernetes'i belirli bir IaaS'ye bağlamanın bulut yerel felsefesini ve Kubernetes'in tasarımını ihlal etmesi gerektiğine inanıyor. Asıl Niyet. Ek olarak, yazar, Kubernetes'in olgunluğu ve kullanıcıların olgunluğu ile birlikte, yeni artan pazar ortamında, tıpkı Google gibi, veri merkezini doğrudan yönetmek için Kubernetes'i kullandığına inanıyor (ilgili depolama ve ağ çözümlerine bağlıyken çıplak metal üzerinde çalışıyor). En uzun vadeli trend ve en makul seçim olacak.

Şekil 7. Kubernetes çalıştıran Çinli yanıtlayıcıların temeldeki ortamının dağılımı

4 Crossroads: tereddüt, meydan okuma, yanıt ve Kubernetes'in geleceği

Kalan% 90 soru

Kubernetes bugün büyük bir başarıya imza attı, ancak liderlerinin gözünde bu başarı kaç puan alacak? Kubernetes teknoloji lideri Tim Hockin tarafından Haziran 2017'de yayınlanan Kubernetes'in mevcut durumunun bir özetinde, "Tüm basit sorunlar çözüldü, geriye ne kaldı? Bu, tedavi edilemez hastalıkların% 90'ı!" Dedi. Bu tedavi edilemez hastalıklar şunları içerir:

  • Kod sağlığı: Test kapsamının iyileştirilmesi, test kararlılığının iyileştirilmesi ve birçok kod modülünün acilen yeniden düzenlenmesi gerekir.

  • Geliştirici deneyimi: Yeni katkıda bulunanların başlaması zordur, belgelerin iyileştirilmesi gerekir ve mevcut birçok bilgisayar korsanlığı komut dosyasının anlaşılması zordur.

  • Yeni özelliklerin geliştirilmesi kadar kararlılık ve öngörülebilirliğe de dikkat edilmesi gerekiyor.

  • Toplulukların ve açık kaynaklı projelerin yönetimi, açıkken tutarlı ve kontrol edilebilir olmalıdır.

Topluluk geliştiricileri, Kubernetes projesinin mevcut geliştirilmesinde karşılaşılan bazı sorunları da bildirdiler, örneğin:

  • Yeni özelliklerin nasıl seçileceğine ve gelecekteki bir sürümle nasıl eşleştirileceğine ilişkin karar süreci yeterince açık değildir.

  • Yeni özelliklerin tartışılması, tasarımı ve geliştirilmesi için eşik son derece yüksektir ve iletişim maliyetleri ve tasarım belgesi inceleme gecikmeleri üretim verimliliğini engeller.

  • SIG ürün yöneticisinin yardımı ve yeni işlev ürün planlamasını anlaması yeterince iyi değil.

Ek olarak, Kubernetes'in işlevlerini daha fazla senaryoya uygulanabilmesi için iyileştirmeye devam etmek, teknik topluluğun en fazla enerjiyi yatırdığı yerdir. Kubernetes 1.7, "dünyadaki sorunların% 10'unu" çözmüş olsa da, acilen çözülmesi gereken sorunların% 90'ı daha var. Bu sorunların dağılımı Şekil 8'de görülebilir: düğüm, API, Konteyner çalışma zamanı, ağ, depolama, sınır ötesi Etki alanı küme federasyonu ve karmaşık uygulama yönetimi, en zorlu ve en zorlu alanlardır.

Şekil 8. Yeni fonksiyon gereksinimlerinin sayısı SIG alanına [5] göre dağıtılır

Ek olarak, dünyanın her yerinden binlerce geliştiricinin verimli bir şekilde işbirliği yapmasını sağlamak da büyük bir zorluktur. Kubernetes projesi, organizasyon yapısı ve yönetimi açısından düzinelerce bağımsız SIG'ye bölünmüş olsa da, ana kod deposu iyi ayrıştırılmamıştır ve farklı SIG'lerden sorumlu kod hala aynı GitHub kod deposunda bulunmaktadır. Farklı SIG'leri, etki alanlarını ve alt modülleri daha bağımsız hale getirmek ve karşılıklı bağımlılıkları azaltmak veya netleştirmek için daha modülerleştirilmiş bir Kubernetes proje organizasyon yapısına ihtiyacımız var. Bu statükoyu değiştirmek için, Şekil 9'da gösterildiği gibi yeni bir Kubernetes mimarisi de önerilmiştir.

Son olarak, Kubernetes 2016'dan beri teknik alanda - özellikle bulut bilişim alanında - en moda teknoloji haline gelmesine rağmen, gerçek hakimiyetine ulaşmak zaman alacak ve aralıksız çaba gösterecektir. Şekil 10'da gösterildiği gibi, Datadog istatistiklerine göre, konteyner kullanıcılarının% 50'den fazlası konteyner yönetim araçlarını (Kubernetes dahil) kullanmamaktadır. RightScale'in bir başka raporuna göre, eğer genel bulut ve özel bulut piyasaları entegre ise, şu anda kullanıyorlar En yaygın yönetim platformu AWS genel bulut ECS'sidir. Bu nedenle, Kubernetes'in konteyner yönetimi hakimiyetini elde etmek için hala uzun bir yolu var.

Şekil 9: Yeni modüler Kubernetes mimarisi [6]

Şekil 10. Konteyner yönetim araçlarını aynı anda kullanan konteyner kullanıcılarının yüzdesi

Dört yaşında 5 Kubernetes

Geçmişe bakıp bugüne baktığımızda, sıkıcı teknoloji ve proje ayrıntılarını bir kenara bırakıp, dört yaşındayken Kubernetes'in nasıl göründüğünü cesurca hayal ediyoruz. Hayal gücü için çok yer var ve birçok ayrıntılı işlev var.Sadece Google'ın dahili küme yönetim sistemini karşılaştırmak ve Kubernetes için iki ana yön hayal etmek istiyorum:

Kapsayıcı yönetiminden küme yönetimine

Bugün hepimiz Veri Merkezi İşletim Sisteminden (DCOS) veya küme yönetiminden bahsediyoruz ve "küme yönetimini" Kubernetes (veya Mesos, Swarm) ile eşleştirmek genellikle kolaydır. Bununla birlikte, Google'ı örnek olarak alırsak, dahili küme yönetimi tam bir ekosistemdir ve Borg (Kubernetes'in Google dahili sürümü) bu ekosistemin üyelerinden biridir. Spesifik olarak, ister Borg ister Kubernetes olsun, bu daha çok konteyner yönetimi / uygulama yönetimi / hizmet yönetimidir; eksiksiz bir küme yönetimi sistemi veya DCOS ayrıca düğüm yönetimi, donanım yönetimi, SLA yönetimi, Ağ yönetimi, güvenlik yönetimi, işletim ve bakım yönetimi gibi birçok işlevsel bileşen.

İki yaşındaki bir Kubernetes olarak, başlangıcından bu yana, kapsayıcı hizmet yönetimine odaklanmak dikkate değer sonuçlar elde etti ve gerçekten Google gibi saf bir kapsayıcıya alınmış veri merkezine ulaşmak istiyoruz (IaaS, PaaS katmanlama olmadan ve bunlar olmadan), Kubernetes etrafında inşa etmemiz gerekiyor Eksiksiz bir küme yönetim sistemi. Yazar, CNCF ve Kubernetes'in mevcut konumlandırmasına dayalı olarak ve Kubernetes'in kuruluşlar tarafından artan kullanımıyla birlikte, Kubernetes dört yaşındayken eksiksiz bir kapsayıcıya alınmış küme yönetimi ekosisteminde devreye alınacağına inanıyor.

6 Otomasyondan zekaya

Kubernetes, Kapsül ömrü ve ölüm kontrolü, Kopya numarası ölçekleme kontrolü vb. Gibi birçok işlevin otomatik olarak çalışmasını sağlamak için Bildirimsel (bildirimsel) tasarım modu ve Kontrol döngüsü kontrolü kapalı döngü kontrolü aracılığıyla. Bununla birlikte, günümüzün yapay zeka yaygınlığında, "otomasyon" ve "zeka" arasında hala bir boşluk vardır ve Kubernetes'in mevcut otomasyon derecesi, kullanıcıların Kubernetes'i öğrenmesi ve kullanması için eşiği tamamen ortadan kaldırmamıştır. Örneğin, Kubernetes'in en klasik Bildirime dayalı tasarım modeli, Zorunlu (zorunlu) tasarım modeline kıyasla büyük ilerleme kaydetmiş olsa da, kullanıcıların yine de uygulama yapılandırmasını kurallara ve dilbilgisine ve hangi yapılandırmayı seçmeleri gerektiğine göre önceden ifade etmesi gerekir. Çok fazla manuel deneyim ve deneme yanılma. Kubernetes ayrıca birçok yapılandırma seçeneği sunar ve kullanıcıların yine de deneyime veya deneme yanılmaya dayalı makul yapılandırmalar yapması gerekir.

Buna ek olarak, Google'ın dahili olarak kullandığı Borg gerçekten "tüm görevleri planlar". İster devletsiz bir mikro hizmet uygulaması, ister büyük veri ve derin öğrenme işi olsun, Borg platformu aracılığıyla tek tip olarak yönetilir ve büyük veri ve derin öğrenme işi de tam olarak ne Borg tarafından sağlanan çevik dağıtılmış bilgi işlemden yararlanmak, kendi performansını büyük ölçüde artırdı. Kubernetes'in dört yaşındayken daha akıllı hale gelmesini ve daha akıllı şeyler yapmak için kendi bilgi işlem gücünü kullanmasını bekliyoruz.

7 ek

  • https://docs.google.com/presentation/d/1pc-nayPpUZQlS10VPKqc-fb0Y3FXeSLeGAJ81g8NsCg/edit#slide=id.g22bd1761f4_0_57

  • https://docs.google.com/spreadsheets/d/1NVZmn5u_Xkezqe9ZA6ZZivj1KEJCL0DsMMahbcjIfws/edit#gid=38455014

  • https://docs.google.com/presentation/d/1XXHk-oy-8eeqGMGRHQwOolOV4hFHlLu-KDpoXuU-C74/edit#slide=id.g22c01c4c8e_0_0

  • https://docs.google.com/presentation/d/1oPZ4rznkBe86O4rPwD2CWgqgMuaSXguIBHIE7Y0TKVc/edit#slide=id.g21b1f16809_5_51

  • 8 Paskalya yumurtası

    Aşağıdaki şekilde "QR kodunu" tanımlayın ve en çok tavsiye edilen ücretsiz bir Kubernetes e-kitabı indirin!

    yazar hakkında

    Zhang Xin, Caiyun Technology'nin kurucusu ve CEO'su. Amerika Birleşik Devletleri'nde Google'da kıdemli bir yazılım mühendisiydi ve Google'ın başkan yardımcıları ve direktörleri tarafından altı kez anında ödüllendirildi. Bir teknoloji lideri olarak, Google'ın kapsayıcıya alınmış küme yönetim sisteminin araştırma ve geliştirmesiyle uğraştı ve Google'ın veri merkezi sunucularının% 95'inden fazlasını otomatik olarak yönetti. 2015 yılında Google'ın genel bulutunun ürün tasarımı ile araştırma ve geliştirme çalışmalarına katıldı.Grafiksel tek tıkla dağıtım, uygulama mağazası, uygulama dağıtım yöneticisi ve geliştirilen diğer ürünler, kullanıcılar çevrimiçi olduktan sonra yaygın olarak kullanıldı.

    Xin Zhang, doktorasını bilgisayar bilimi alanında Carnegie Mellon Üniversitesi'nden (CMU) aldı.Bu süre zarfında, dağıtılmış sistemler ve ağ güvenliği alanındaki en iyi uluslararası konferanslarda binlerce kez alıntı yapılan düzinelerce akademik makale yayınladı; araştırma sonuçları bir zamanlar Amerika Birleşik Devletleri'nde Economist tarafından alıntılanmıştı. , İngiliz BBC, İsviçre RTS televizyonu ve diğer uluslararası medya raporları. Zhang Xin, Hangzhou "Özel Görevli Uzman", "Her Şeyin Büyümesinin 2017 Yeni Yeteneği", "Eğitim Bakanlığı'nın Üstün Yabancı Öğrencisi", "Tsinghua Üniversitesi Üstün Mezunu", "Pekin'de Üstün Mezun" unvanları ve diğer unvanlarla ödüllendirildi ve Microsoft Accelerator Shanghai Huangpu seçildi İlk aşama "öğrenciler.

    Son zamanlarda ivme kazanan k8'ler, şüphesiz günümüzün en dikkat çeken teknolojilerinden biri haline geldi ... Görünüşe göre bu konteyner savaşı gün ışığına çıkacak! CNUTCon2017 Şangay İstasyonu EBay, Tencent ve JD.com'dan büyük isimleri bu alandaki en son teknik uygulamalarını ve derinlemesine görüşmeleri yüz yüze paylaşmaları için "Kapsayıcı Düzenleme ve Yönetimi" konulu özel bir oturum davet edildi! Şu anda sınırlı süreli indirim kaydında% 10 indirim devam ediyor. Hızlıca göz atmak için "Orijinal metni okuyun" u tıklayın!

    Bugünün Tavsiyesi

    Okumak için aşağıdaki resme tıklayın

    Teknik makale arama motoru önerin

    Yeni Google Pixel, 9 Ekim'de görüşmek üzere
    önceki
    2019'da, bu 21 Hollywood gişe rekorları kıran filmleri dört gözle beklemeye değer!
    Sonraki
    "Bilgi" Sheng Minglan Gu Tingye ile evlenmeyi reddediyor, Feng Shaofeng alay etti: Benimle içeri ve dışarıda evlenme
    "Kutsal Tanrıların Romantizmi" Deng Lun'un bir sloganı vardı, ancak 00'dan sonra bir slogan haline gelmesini beklemiyordu.
    Meyve çekirdeği eğitimi: Mobil fotoğrafçılık sonrası harita (aşağıda)
    "Perde Arkasının Kralı" Chunyuqiao ve Bu Xiaogu 3 kez kaçırdılar, daha da ileri gidebilirler.
    Doğu Çin Denizi'nin Doğusuna üç günlük ve iki gecelik bir gezi
    İçeriden biri, Di Lieba'nın bir nedenden dolayı düştüğünü ve eski yaralanmanın nüksettiğini ve ağrı kesicilerin oynamasını çok zorlaştırdığını ortaya çıkardı!
    "GOT7" "Paylaş" 190324 CP, gerçek erkek ve kız kardeş oluyor! Gao Leng Park Jinrong işbirliği yapmıyor, ne yapmalıyım ...
    Mini dizi "Danny Mora'dan Kaçış" 170 yıldır ilk kez evli kadınları hapishaneden kaçmaya teşvik etti.
    Teknik makaleler için bir arama motoru önerin: On yıllık birikim, tek tıklamayla erişim!
    "Dog Thirteen" de kamburu ve aknesi var. Guo Xiang olarak ünlendi. 22 yaşında dört küçük kız oldu.
    "For Honor" un üç kampında hangi kahramanlar var?
    190324 Spotify ile ilgili veriler bir hafta boyunca izlendi, sürekli olarak uluslararasılaşma yolunda ilerleyen Zhang Yixing
    To Top