Apache Flink, bilgi işlem nasıl yeniden tanımlanır?
Alimei's Guide: Aralık 2018'in sonlarında Alibaba Group'un ev sahipliği yaptığı Flink Forward China, Pekin Ulusal Kongre Merkezi'nde düzenlendi. Flink Forward, Apache Yazılım Vakfı tarafından yetkilendirilmiş küresel bir Flink teknoloji konferansıdır. 2015 yılında Almanya'nın Berlin kentinde düzenlenmeye başlanmış ve bu yıl ilk kez Çin'e girmiştir.
Bugün, Bilgi İşlem Platformu Bölümünde kıdemli bir teknik uzman olan Mo Wen, bu obur büyük veri teknolojisini yeniden ziyaret etmemize ve yeni nesil büyük veri hesaplama motoru olarak Apache Flink'in müreffeh ekolojisini deneyimlememize yol açacak.
Flink Forward Çin Konferansı, Alibaba, Tencent, Huawei, Didi, Meituan Dianping, ByteDance, iQiyi, Qunar, Uber, DellEMC, DA (Flink kurucu şirket) ve Apache yazılımından ünlü yerli ve yabancı şirketleri davet etti. Vakıf konukları, Apache Flink'in büyüme geçmişini, uygulama senaryolarını ve geliştirme trendlerini paylaştı.
Flink Forward China 2018 konuk PPT ve konuşma videosu:
https://github.com/flink-china/flink-forward-china-2018
Youdao'ya katılın, Apache projesine nasıl daha "iyi" katkıda bulunabilirsiniz?
Sabah konferansı, Apache Yazılım Vakfı Genel Sekreteri Craig Russell tarafından açıldı.Craig, önce Apache açık kaynak yaklaşımını ve açık kaynak topluluğunun ruhunu ve sistemini paylaştı, ardından Apache Flink projesinin büyüme deneyimine dayanarak, nasıl oluşturulacağını ve yönetileceğini tanıttı. Bir Apache açık kaynak projesi, Apache açık kaynak projesine nasıl katkıda bulunulur ve büyümek ve hasat etmek için açık kaynak projesini izleyin.
Craig'in paylaşımı sayesinde, Apache Flink'in geliştirme deneyimi hakkında da daha fazla şey öğrendik. Flink'in ilk kökenleri, Almanya Berlin Teknik Üniversitesi'nin bir araştırma projesi olan Stratosphere idi ve Nisan 2014'te Apache Yazılım Vakfı'na bağışlandı. Aynı zamanda Flink olarak yeniden markalandı. 8 aylık bir kuluçka döneminden sonra, Aralık 2014'te Apache yazılımını başarıyla aldı. Vakıftan mezun olduktan sonra üst düzey bir Apache projesi oldu ve o zamandan beri büyük veri alanında gezinmeye başladı. Son 4 yılın sürekli ve hızlı gelişiminden sonra, Apache Flink topluluğu 42 Committer ve 19 PMC Üyesi yetiştirdi.Eklenen taze kan, Apache Flink topluluğuna sürekli kod katıyor ve topluluğun sağlıklı ve hızlı gelişimini destekliyor.
Bulut Bilişim Pratt & Whitney Teknolojisi
Craig'in paylaşımının ardından arama bölümü ve bilgi işlem platformu bölümü başkanı Alibaba Group'un başkan yardımcısı Zhou Jingren bir açılış konuşması yaptı. Jing Ren ilk olarak Alibaba'nın büyük veri bulut bilişiminin mevcut durumunu ve trendlerini tanıttı ve herkesin Alibaba'nın büyük veri iş senaryolarının süper büyük ölçeğini ve gelecekteki daha büyük zorlukları görmesini sağladı.
Alibaba'nın gelecekteki büyük veri gelişimini daha iyi desteklemek için, Alibaba'nın büyük veri geliştirme stratejisinin bilgi işlem gücünü ve zekasını daha da artırması ve kurumsal düzeyde hizmet yeteneklerini geliştirmesi gerekiyor. Aynı zamanda, teknolojinin ekolojik yapısını güçlendirmeli, açık kaynak teknoloji topluluklarının gelişimini güçlü bir şekilde desteklemeli ve teşvik etmeli, endüstri ekolojik standartlarıyla uyumlu, ekolojik ortak ittifaklar geliştirmeli ve ekolojik inşayı teşvik etmeliyiz.
Şu anda Alibaba, 230'dan fazla açık kaynak projesine katkıda bulundu, 8000'den fazla ortağı ve 2000'den fazla ISV'ye sahip ve bulut ekosistemi 1000.000 geliştiriciyi aştı. Alibaba, büyük veri alanında son yıllarda Apache Flink topluluğuna sürekli ve güçlü yatırımlar yaparak 15w'den fazla kod satırına katkıda bulundu, Flink Çin topluluğunun kurulmasına öncülük etti ve Flink'in Çin'deki ekolojik inşasını hızlandırdı. Hangzhou, Şangay, Shenzhen ve diğer yerler, yerli Flink teknisyenlerinin daha rahat paylaşımını ve değişimini teşvik etmek için birçok kez Flink Buluşması düzenledi.
Paylaşımın sonunda Jing Ren, Alibaba'nın dahili Flink sürümünün (Blink) Ocak 2019'da resmi olarak açık kaynaklı olacağını duyurdu. Bu açık kaynak dahili sürümün amacı, esas olarak Flink kullanıcılarının çoğunun Alibaba'nın geliştirmelerinden ve Flink'teki iyileştirmelerinden yararlanmasına olanak sağlamaktır. katkı. Alibaba, Blink'te Flink topluluğuna mümkün olan en kısa sürede çeşitli iyileştirmeler ve optimizasyonlara katkıda bulunacak ve Apache Flink'i bir topluluk olarak kucaklamak ve desteklemek konusunda ısrarcı olacaktır.
Apache Flink, bilgi işlem nasıl yeniden tanımlanır?
Jingren, Alibaba'nın açık kaynak dahili Flink sürümünü (Blink) duyurduktan sonra, Alibaba Group araştırmacısı Jiang Xiaowei, Alibaba içindeki Apache Flink'in büyüme yolunu ve teknolojik evrimini paylaştı.
Alibaba 2015 yılında Flink'i araştırmaya başladı ve 2016'da ilk kez arama senaryolarında Flink'i başlattı. Arama büyük veri senaryolarını test ettikten sonra, Flink, Alibaba Group bünyesindeki çeşitli gerçek zamanlı bilgi işlem hizmetlerini 2017 yılında desteklemeye başladı. Şimdiye kadar, Alibaba'nın Flink tabanlı gerçek zamanlı bilgi işlem platformu, Taobao, Tmall, Alipay, AutoNavi, Fliggy, Youku, Cainiao, Ele.me, vb. Dahil olmak üzere Alibaba Group'un tüm yan kuruluşlarının veri işini destekledi. Alibaba Cloud aracılığıyla KOBİ'lere tek noktadan gerçek zamanlı bilgi işlem hizmetleri sağlayın. 2018'de Double 11'de, Alibaba'nın gerçek zamanlı bilgi işlem platformu saniyede 1,7 milyar kez zirveye ulaştı ve o gün trilyon düzeyinde bir mesaj işleme yeteneği elde etti.
Alibaba'daki Apache Flink'in en tipik iş senaryosu gerçek zamanlı iş zekasıdır. Alibaba büyük miktarda çevrimiçi işlem ve kullanıcı verisine sahiptir.Veri istatistiklerinin çeşitli boyutlarının gerçek zamanlı görüntülenmesi, Alibaba'nın işlemlerini anında algılayabilir ve yönlendirebilir. Aşağıdaki şekil, tipik bir Ali gerçek zamanlı BI sürecidir. Ali'nin çevrimiçi hizmet sistemi ve veritabanı, gerçek zamanlı olarak büyük miktarda günlük verisi oluşturacak ve mesaj kuyruğuna girecektir. FlinkJob, mesaj kuyruğundaki verileri gerçek zamanlı olarak okuyup işleyecek ve ardından çeşitli istatistiksel analiz sonuçlarını gerçek zamanlı olarak görüntüleyecektir. HBase gibi KV / Tablo depolama sistemine güncelleme yapıldığında son kullanıcılar, Dashboard aracılığıyla çeşitli boyutların istatistiklerini ve analiz sonuçlarını gerçek zamanlı olarak görebilir.
Double 11 gününde, çeşitli boyutlardaki gerçek zamanlı veri raporları, en önemlisi küresel canlı yayının gerçek zamanlı GMV cirosu olan Double 11 karar verme sürecini yönlendirmek için temel oluşturur. Flink, iki yıl üst üste Alibaba'nın çift 11 gerçek zamanlı GMV geniş ekranını destekledi.Görünüşe göre basit bir sayı, aslında sorunsuz ve doğru bir şekilde çalışması için çok sayıda Flink hesaplama görevi gerektirir.
Alibaba'daki Flink'in bir başka tipik uygulama senaryosu, çevrimiçi makine öğrenimidir. Geleneksel çevrimdışı makine öğrenimi yöntemi, kullanıcının geçmiş davranışını analiz etmek ve modeli eğitmek için T + 1 gerektirir. Model ertesi gün çevrimiçi olduğunda, zaten geçmişte kalmıştır. İhtiyaçlar ve beklentiler tamamen değişmiş olabilir. Kullanıcılara daha iyi bir alışveriş deneyimi sunmak için, Alibaba'nın makine öğrenimi sistemi zaten çevrimiçi öğrenme çağına dönüştü. Örneğin, bir kullanıcı bir sorgu aradığında, sonuç sayfasına göz attığında veya bazı ürünleri görüntülemek için tıkladığında Alibaba'nın Çevrimiçi öğrenim sistemi, kullanıcının o sırada niyetlerini ve tercihlerini anlamak ve bir sonraki kullanıcı sorgusunda daha iyi bir sıralama vermek ve kullanıcıya daha uygun ürünler önermek için bu boşluğu zaten kullanabilir. Bu yaklaşım yalnızca iş verimliliğini daha da artırmakla kalmaz, aynı zamanda Aynı zamanda kullanıcılara daha iyi bir ürün deneyimi de getirebilir, özellikle Double 11'in büyük tanıtım senaryosunda, kullanıcı davranışının zamanlaması çok kısadır ve yalnızca gerçek zamanlı çevrimiçi öğrenme sayesinde daha hassas kişiselleştirme yapılabilir. Tahmin ve tavsiye.
Çevrimiçi öğrenme sisteminin avantajı, gerçek zamanlı akış özelliği hesaplaması ve çevrimiçi eğitim gerçekleştirmek için kullanıcı davranış verilerini gerçek zamanlı olarak toplayıp işleyebilmesi ve modelin artımlı güncellemelerini gerçek zamanlı olarak çevrimiçi sisteme senkronize ederek kapalı bir veri döngüsü oluşturması ve sürekli yinelemeyle otomatik olarak optimize etmesidir. Sistem verimliliği ve kullanıcı deneyimi. Alibaba'nın iş ölçeğine göre, tüm çevrimiçi öğrenme süreci muazzam kullanıcı veri ölçeği ve son derece karmaşık bilgi işlem zorluklarıyla karşı karşıya kalacak, ancak Flink tarafından yönlendirilen tüm süreç saniyeler içinde tamamlanabilir.
Yukarıdaki iki klasik senaryodan, Alibaba'nın gerçek zamanlı iş senaryolarının her açıdan çok zor olduğunu görebiliyoruz. Alibaba'da Flink topluluğu sürümünü doğrudan kullanmak gerçekçi değil. Bu nedenle, Alibaba gerçek zamanlı bilgi işlem ekibi de son iki yılda Flink gerçekleştirdi. Bazıları Flink topluluğuna geri gönderilen kapsamlı bir optimizasyon, iyileştirme ve işlev genişletmesi.
Flink Runtime alanında Alibaba katkıda bulunmuştur:
Yeni dağıtılmış sistem mimarisi: Bir yandan, Flink'in iş planlamasının ve kaynak yönetiminin ayrıştırılması, Flink'in YARN ve K8S üzerinde yerel olarak çalışmasına izin verirken, diğer yandan Flink'in iş planlaması merkezileştirilmişten dağıtılmışa değiştirildi, bu da Flink kümesini daha büyük hale getiriyor Uzantı.
Mükemmel hata tolerans mekanizması: Varsayılan olarak, Flink herhangi bir görev ve ana başarısız olduktan sonra tüm işi yeniden başlatacaktır.Alibaba tarafından önerilen bölge bazlı yük devretme stratejisi ve iş yöneticisi yük devretme / ha mekanizması, Flink'in daha güvenilir ve istikrarlı çalışmasını sağlar;
Çok fazla performans optimizasyonu: İlk günlerde Flink, Alibaba'nın büyük ölçekli Eyalet senaryolarında normal olarak çalışamayan tam bir Kontrol Noktası mekanizması sunmuştu.Alibaba, Flink'in TB düzeyinde Durum senaryolarında bile verimli bir şekilde çalışmasını sağlamak için kademeli bir Kontrol Noktası mekanizması önerdi; Flink İşleri genellikle dahili olarak hesaplanıyor. Alt veya UDF'de mysql, hbase, redis vb. Harici depolama sistemlerine erişim, tek bir sorgu takıldığında, tüm görev takılır ve tüm iş geri basınçtan etkilenir. Alibaba asenkron IO mekanizmasını önerdi. Eşzamanlı IO erişiminin etkisi büyük ölçüde azaltılır. Buna ek olarak, Alibaba, Flink ağ veri iletiminin performansını önemli ölçüde artıran yeni bir kredi tabanlı ağ akış kontrol mekanizmasına katkıda bulundu.
Alibaba, Flink SQL alanında, yeni Streaming SQL semantiği ve işlevlerine katkıda bulundu. Örneğin: Agg Retraction, UDX desteği, DDL desteği ve çok sayıda Bağlayıcı uyarlaması.
Alibaba'da, birçok klasik iş senaryosunun hem gerçek zamanlı akış işleme hem de çevrimdışı toplu işleme gereksinimleri olduğunu ve akış işleme ve toplu işlemedeki iş mantığının neredeyse aynı olduğunu, ancak kullanıcıların iki kod seti geliştirmesi gerektiğini gördük. Küme kaynaklarının kullanılması ek maliyetlere yol açar. Örneğin, Alibaba'nın ürün arama dizini oluşturma sürecinde, kullanıcıların arama motorunda gerçek zamanlı ürün bilgilerini görebilmesi için gün boyunca ürünün güncelleme bilgilerinin arama motoruyla akış senkronizasyonu yapılması ve tüm Alibaba ürününün gece toplu olarak işlenmesi gerekir. Tam bir dizin oluşturmak için bu geleneksel Lambda mimarisidir.
Alibaba'nın çözümü, kullanıcıların hem gerçek zamanlı hem de çevrimdışı senaryolarda yeniden kullanılabilecek bir dizi iş kodu geliştirmesine olanak tanıyan bir dizi toplu akış füzyon bilgi işlem motoru sağlamaktır. Bu aynı zamanda Alibaba'nın gelecekteki büyük olarak Flink'i seçtiği zamandır. Veri motorunun asıl amacı. Flink'in akış işleme mekanizmasına dayalı toplu akış füzyon uygulaması, Spark'ın toplu işleme mekanizmasına dayalı toplu akış füzyonu fikrinden daha doğal, daha makul ve daha avantajlıdır.Bu nedenle Alibaba, Flink'e dayalı çok sayıda çekirdek gerçek zamanlı hesaplama senaryosunu desteklerken, aynı zamanda sürekli Flink'in mimarisini, gerçekten toplu akışla entegre edilmiş birleşik bir bilgi işlem motoruna doğru ilerletmek için geliştirin.
Flink Runtime alanında Alibaba, toplu iş akışının iki operatör özelliğine aynı anda uyum sağlamasına olanak tanıyan yeni bir Operator Framework / API tasarımı önerdi; aynı zamanda, İş planlama ve ağ Shuffle'ın çekirdek mekanizmalarında esnek eklenti gerçekleştiriyor. Farklı toplu akış senaryolarının ihtiyaçlarına uyarlama mekanizması.
Flink SQL alanında Alibaba, verimli ikincil veri yapısı, daha makul bellek kullanımı, daha ince taneli Codegen mekanizması ve daha zengin optimizasyon stratejileri kullanarak, Streaming ve Batch SQL, performansını büyük ölçüde artırdı.
Çok sayıda mimari iyileştirme ve performans optimizasyonundan sonra, Alibaba'nın dahili Flink sürümü (Blink) toplu işlemede de büyük atılımlar gerçekleştirdi. 1T, 10T ve 30T TPC-DS Benchmark'ta, Blink'in performans verileri Spark'tan önemli ölçüde daha yüksektir. Ve Flink'in akış gruplamasına dayalı mimarisinin avantajlarını da doğrulayan, artan veri hacmi trendi altında performans avantajları giderek daha belirgin hale geliyor.
Şu anda, Alibaba'nın dahili Flink sürümü (Blink), Alibaba'nın arama önerisi algoritması platformu, akış ve toplu iş özellikleri gibi dahili toplu akış entegrasyonunun uygulama senaryolarını desteklemeye başladı ve eğitim süreçleri, operasyondaki Flink'e göre birleştirildi.
Paylaşımın sonunda Jiang Xiaowei, Flink'in geleceği için bazı umutlar verdi. Toplu akış entegrasyonuna ek olarak, Flink'in genişlemeye değer birçok yeni yönü olduğuna inanıyor. Örneğin, Flink makine öğrenimi ve grafik hesaplama ekolojisine yaptığı yatırımı daha da güçlendirebilir. AI dalgasında yeni atılımlar elde etmek için.
Buna ek olarak, Flink doğal olarak olay odaklı işleme fikirlerine, doğal karşı basınç ve akış kontrol mekanizmalarına ve kendi durum yönetimi ve esnek kapasite genişletme yeteneklerine sahiptir.Bu avantajlar, Flink'e dayalı mikro hizmet çerçevesinin inşasını yeni bir tür haline getirmektedir. Fikirler ve çözümler.
Öğretmen Xiaowei Jiang'ın paylaşımını özetlerken, Apache Flink geçmişte akış hesaplama alanında büyük başarılar elde etmiş olsa da, Flink durgunlaşmamış, sınırlarını sürekli aşmaktadır.Flink sadece bir Akış Motoru değil, aynı zamanda sadece bir Bigdata Motoru değil. , Gelecekte Uygulama Motoru olmak için çabalamayı umuyorum.
Akış işleme geleceğidir
DA'nın (Flink'in kurucu şirketi) CTO'su Stephan Ewen de Flink'in gelişme eğilimi hakkında benzer bir görüş verdi. Stephan, "Akış Her Şeyi Alır" ın, akış işlemenin tüm hesaplamaların temeli olduğu anlamına geldiğine inanıyor.Bir yandan, büyük veri hesaplama yeteneklerinin toplu akış entegrasyonunu sağlamak için Flink'in çevrimdışı bir yönde geliştirmesi ve diğer yandan da destekle daha gerçek zamanlı bir çevrimiçi yönde geliştirmesi gerekiyor. Olay Odaklı Uygulama. Daha önce, toplu akış füzyon hesaplamasında Flink'in ilerlemesine odaklandık. Ardından, Olay Odaklı Uygulama yönündeki Flink'in fikirlerine odaklanacağız.
Geleneksel uygulama hizmeti mimarisi genellikle bir Çevrimiçi Uygulama + Veritabanı mimarisidir.Çevrimiçi Uygulama, kullanıcı isteklerini almaktan, ardından dahili hesaplamaları yapmaktan ve son olarak Sonucu kullanıcıya geri döndürmekten sorumludur.Uygulamanın dahili durum verileri, Flink'in olay odaklı Uygulama mimarisinde, Veritabanında saklanır Flink Source'un Request'i aldığı, Sink'in Result'u döndürdüğü, JobGraph'ın dahili hesaplamaları yaptığı ve durum verilerinin State'de depolandığı düşünülebilir.
Geleneksel uygulama hizmeti mimarisinin kendi dağıtık ve esnek yönetiminden sorumlu olması gerekir ve Veritabanı, veri tutarlılığı yönetiminden sorumludur ve Flink bu iki açıdan doğal avantajlara sahiptir, çünkü Flink doğal olarak dağıtılmış bir sistemdir ve esnek ölçeklemeyi kendi başına yönetebilir. Ek olarak, Flink Yerleşik durum yönetimi ve tam olarak bir kez tutarlılık semantiği, bu nedenle Flink'e dayalı İşlem Uygulamasını uygulamak daha uygun ve verimlidir.
Şehir düzeyinde gerçek zamanlı bilgi işlemin gücü
Alibaba Cloud'un baş yapay zeka bilimcisi Min Wanli, Apache Flink topluluğunun büyük tanrısı Stephan Ewen'in paylaşmasının ardından, Alibaba Cloud'un akıllı şehrinde gerçek zamanlı bilgi işlemin gücünü sizinle paylaştı. Birden fazla gerçek uygulama vakası paylaşarak, herkes gerçek zamanlı teknolojiyi iyi anlıyor. Daha fazla anlam ve anlayış kazandı.
Şehir beyninin iş senaryosunda, yalnızca çeşitli sensörlerden toplanan bilgileri gerçek zamanlı olarak işlemek ve gerçek dünyada olanlara yanıt vermek değil, aynı zamanda gelecekte ne olacağını tahmin etmek de gereklidir, örneğin: Trafik sıkışıklığı meydana gelir ve müdahale önceden yapılır ki bu daha büyük bir değerdir. Tüm şehir beyninin mimarisi Alibaba Bulut altyapısı üzerinde çalışıyor Apache Flink, çekirdek gerçek zamanlı bilgi işlem motorunun rolünü üstleniyor ve çeşitli yapılandırılmış ve yapılandırılmamış verileri işlemekten sorumlu.
Eylül 2018'deki Yunqi Konferansı'nda Alibaba Cloud, 420 kilometre karelik Hangzhou'yu kapsayan Hangzhou City Brain 2.0'ı piyasaya sürdü.Yoldaki 1,5 milyondan fazla aracın canlı bilgilerini izleyebilir. Bu görünüşte basit olan şeydi Yapması zor. Şimdi Flink'i, 1.300'den fazla kavşaktaki kameraların, sensörlerin ve AutoNavi Uygulamasının gerçek zamanlı bilgileri aracılığıyla üç akışı bir arada işlemek için kullanabiliriz ve tüm şehrin trafiğinin nabız bilgilerini gerçek zamanlı olarak ve daha fazla analizle algılayabiliriz Şehrin gelişimini tahmin etmek ve algılamak için gecikme ve güvenlik gibi trafik endeksleri elde edilebilir.
Hangzhou'da şehir beyni, 4000'den fazla trafik kamerası tarafından toplanan video akışlarını analiz ederek gerçek zamanlı olarak yoldaki araçların anormal olaylarını izleyebilir, örneğin: araç hızlanması, geriye gitme ve sürtünme vb. Ve bu anormal olayları gerçek zamanlı olarak trafik polisi komuta merkezine senkronize edebilir. Gerçek zamanlı alarm Şu anda, Hangzhou'daki trafik olay alarmlarının% 95'i, Flink tarafından gerçekleştirilen çeşitli karmaşık hesaplama mantıklarıyla gerçek zamanlı olarak hesaplanan şehrin beyni tarafından otomatik olarak bildiriliyor. Gerçek zamanlı hesaplamalar, trafik polisinin geçmişte pasif beklemeden aktif işlemeye kadar trafik arızalarını ele alma şeklini değiştirdi, böylece şehir trafiğinin verimliliğini büyük ölçüde artırdı ve insanlara somut faydalar sağladı.
Bu% 50 yaşam ve ölümle ilgili
2018'de şehir beyni ilk kez yurt dışına çıktı ve trafiği gerçek zamanlı büyük verilere dayanarak akıllıca göndermek için Malezya'nın Kuala Lumpur kentine geldi.Ambulansın sürüş bilgilerine ve yol boyunca yol koşullarına göre trafik ışıklarını akıllıca ayarlayabilir ve ambulans için yeşil hız sağlayabilir. Kanal, bu teknoloji ambulansların hastaneye ulaşma süresinin neredeyse% 50'sini kurtarıyor. Bu% 50'lik zaman, teknolojinin artık zayıf olmadığı ve gerçek zamanlı bilgi işlemin gücünün hayat kurtarabileceği insanların yaşamı ve ölümü anlamına gelebilir.
Endüstriyel üretim IOT senaryosunda, çok sayıda ekipmanın sensörleri devasa indeks verisi topladı.Bu bilgiler geçici olarak 2 ay süreyle saklandı ve sonra atıldı.Tek amaç, bir üretim hatası olduğunda analiz için kullanmaktır. Büyük veri gerçek zamanlı hesaplama yeteneklerinden sonra, bu göstergeler, üretim süreçlerinin zamanında düzenlenmesine temel olarak gerçek zamanlı olarak izlenebilir. GCL Fotovoltaik, dünyanın en büyük fotovoltaik dilimleme şirketidir. Alibaba Cloud, verim oranını% 1 artırmasına yardımcı olmak için gerçek zamanlı ekipman izlemeyi kullanır ve bu da gelirini her yıl yüz milyonlarca yuan artırabilir.
Didi gerçek zamanlı bilgi işlem platformu mimarisi ve uygulaması
Keynote'un son konuğu, Didi Chuxing'den bir araştırmacı olan Luo Li'dir. Herkes Didi Chuxing'in gerçek zamanlı bir seyahat platformu ve işlem motoru olduğunu bilir. Verileri ve senaryoları doğal olarak gerçek zamanlıdır. Çeşitli çevrimiçi araç selamlama hizmetleri tarafından üretilen verilerin tümü Gerçek zamanlı işleme ve analiz gereklidir.
Didi'nin gerçek zamanlı iş senaryoları, esas olarak gerçek zamanlı risk kontrolü, gerçek zamanlı bilet düzenleme, gerçek zamanlı anormallik algılama, gerçek zamanlı işlem, hizmet ve iş emri izleme ve gerçek zamanlı yolcu, sürücü ve sipariş özelliği işlemeyi içerir.
Didi gerçek zamanlı bilgi işlem platformunun geliştirilmesi üç aşamadan geçmiştir. İlk aşama, her bir iş tarafının kendi başına küçük kümeler oluşturması ve bu da kümelere ve kaynak parçalanmasına neden olmasıdır; ikinci aşama, birleşik platform hizmetleri sağlamak ve bunları azaltmak için şirket tarafından büyük kümelerin oluşturulmasıdır. Küme kaynakları ve bakım maliyetleri azaltılır; üçüncü aşama, Flink SQL aracılığıyla platform hizmetleri sağlamak ve SQL dilinin avantajlarıyla iş geliştirme maliyetlerini daha da düşürmek ve geliştirme verimliliğini artırmaktır.
Bu aşamada, Didinin Apache Flink motorunu temel alan gerçek zamanlı bilgi işlem platformu, platform tabanı olarak açık kaynaklı Hadoop teknoloji sistemini kullanır ve DataStream, SQL ve CEP üç API aracılığıyla Didinin dahili işletmelerine gerçek zamanlı bilgi işlem hizmetleri sağlar ve platform katmanında da mevcuttur. WebIDE, veri kan ilişkisi yönetimi, izleme alarmları ve çoklu kombinasyon izolasyonu gibi nispeten eksiksiz mekanizmalar.
Didi'nin gerçek zamanlı işinin hızlı gelişimi tarafından yönlendirilen gerçek zamanlı bilgi işlem kümesi, her gün 2000'den fazla akışlı hesaplama görevi çalıştırarak 1.000 ölçeğe ulaştı ve PB düzeyinde verileri işleyebilir.
Flink gerçek zamanlı bilgi işlem platformunu oluşturma sürecinde, Didi, Flink'te bazı dahili iyileştirmeler de yaptı.Örneğin, Stream SQL alanında DDL'yi genişletti, UDF'yi zenginleştirdi ve TTL'nin CEP alanında ikili akışlı Birleştirme ve boyut tablosu Birleştirme vb. , Daha fazla operatör desteği ve dinamik kural değiştirme yetenekleri eklendi ve optimizasyonların bazıları topluluğa geri gönderildi.
Son olarak Luo Li, Didi'nin gerçek zamanlı bilgi işlem platformunun gelecek planını tanıttı. Asıl yön, Stream SQL'i iş geliştirme verimliliğini artırmak, CEP'in daha fazla iş senaryosunda uygulanmasını teşvik etmek ve şirketin orijinal Spark Streaming'in Flink'e geçişini tamamlamak için daha fazla teşvik etmektir. IoT alanını güçlendirin.
Öğleden sonra seanslarında Alibaba, Tencent, Huawei, Didi, Meituan Dianping, ByteDance, iQiyi, Qunar, Uber, EMC, DA (Flink'in kurucu şirketi) ve Öğretim görevlilerinin tamamı Flink teknolojisi ekolojisi ve uygulama senaryoları hakkında paylaşımda bulundular ve iletişim kurdular. Üç BAT şirketinden Alibaba ve Tencent'in Flink'i tamamen kucakladığı paylaşılan içerikten anlaşılıyor; Meituan, Didi ve ByteDance (TMD) üç yeni internet şirketi de gerçek zamanlı bilgi işlem senaryolarında ana akım olarak Flink'i benimsedi. Teknik yönün inşası başladı ve Didinin Keynote üzerindeki paylaşımı etkileyici oldu. Meituanın gerçek zamanlı bilgi işlem kümesi de 4000 birim ölçeğini aştı. Bytedance (Toutiao ve Douyin'in ana şirketi )nin Flink üretim kümesi ölçeği aştı. 1w birimlerin inanılmaz ölçeği.
Apache Flink'in teknik konseptinin sektörde geniş çapta kabul gördüğü ve Flink'e dayalı gerçek zamanlı hesaplama çözümlerinin Çin'deki ana akım trendi işgal etmeye başladığı görülebilir. Bir sonraki adımda, Flink'in bir yandan akışlı bilgi işlem yeteneklerini geliştirmeye devam etmesi, IOT gibi daha fazla senaryoda yer almaya çalışması ve aynı zamanda toplu akış entegrasyon yeteneklerindeki genel atılımı daha da güçlendirmesi ve makine öğrenimi ve yapay zeka ekolojisinin yapımını iyileştirmesi gerekiyor. Uzun vadeli keşif, olay odaklı uygulama ve mikro hizmet senaryolarında gerçekleştirilir.
Daha iyi bir Apache Flink oluşturmak için sizinle birlikte çalışmayı dört gözle bekliyoruz.
