g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Büyük veri uygulamalarının neden çevik olması gerekiyor? Çevik Büyük Veri Metodolojisi

Bir süre önce bazı bilim adamlarının "büyük veri" teorisini sorguladığı ve bazı Silikon Vadisi şirket liderlerinin büyük veri uygulamalarının etkisini sorguladığı bildirilmişti. BI (İş Zekası) uygulamalarının% 70 -% 80'inin başarısız olduğu 2011 Gartner anket sonucuyla birleştirildiğinde (buradaki başarısızlık bir abartıdır, daha doğrusu beklenen sonuçları elde etmemelidir), Bu makale neden böyle bir problemin varlığından ve büyük veri uygulamasının darboğazından bahsedecek. Büyük veri uygulamalarının başarısız olması neden kolaydır? Büyük veri uygulamalarının neden çevik olması gerekiyor? Bu temel teknolojileri içeren çevik büyük veri metodolojisi nedir, sistem mimarisinin nasıl tasarlanacağı vb., Endüstride büyük verilerin uygulanması için değerli bir referans sağlamayı umuyor.

Büyük veri uygulamalarının uygulanmasındaki ana darboğazlar nelerdir?

Bir önceki makalede bahsettiğim "Büyük Verinin Balonu, Değeri ve Uygulama Tuzağı" nda da bahsettiğim gibi, büyük veri olgusu bizim gelecekteki belirsizlik korkumuzdan kaynaklanıyor ve yanıt yazılımı dünyayı yutmak için hızlanıyor (yazılım daha karmaşık hale geliyor ve işlemler artıyor Ne kadar otomatik olursa, o kadar çok veri bulunur, ancak çoğu insan bu genel arka plan bağlamında kontrol dışı yönetimin ilkeleri ve özellikleri hakkında çok az şey bilir. Büyük veri yasalarının öngörülebilirliği, yeni bir bilgi sistemi ve yönetim düşüncesi yarattı, ancak analiz modellerinin kara kutusu ve operasyonların otomasyonu, insanların derin yasalarını anlama ve keşfetme yeteneğini ve makinelerin ve insan öznelliğinin nicelleştirme yeteneğini zayıflattı. Muhakeme yeteneğini kısa sürede entegre etmek hala zordur.Büyük veri uygulamaları tahmine dayalı modellerden, hesaplama kaynaklarından ve veri bilimcilerinden yoksundur, ancak doğru soru sorma ve sorunları çözmek için büyük veri araçlarını kullanma becerisinden yoksundur. Bu, sivrisineğe çarpmadan top kullanmak gibidir. Topun işe yaramaz olduğunu söyleyemem ama adamın yöntemi yanlış.

Burada hala kendi büyük veri öğrenme alışverişi düğme eteğimi tavsiye etmek istiyorum: 957205962, etek hepsi büyük veri geliştirmeyi öğreniyor, eğer büyük veriyi öğreniyorsanız, editör sizi katılmaya davet ediyor, herkes bir yazılım geliştirme partisidir , 2018'de kendim tarafından derlenen en son büyük veri gelişmiş materyallerinin ve gelişmiş geliştirme eğitimlerinin bir kopyası dahil olmak üzere kuru malları zaman zaman paylaşın (yalnızca büyük veri geliştirmeyle ilgili). Büyük verinin derinliklerine inmek isteyen gelişmiş ve küçük ortaklara hoş geldiniz.

"İş zekası projelerinin% 70 ila% 80'i başarısız oluyor" - Gartner, Şubat 2011

Büyük veri analizinin temel amacı geçmişle yüzleşmek, veri yasalarını keşfetmek, bilinenleri özetlemek; gelecekle yüzleşmek, veri trendlerini araştırmak ve bilinmeyeni tahmin etmektir. Büyük veri analizi yoluyla şeylerin anlaşılmasını ve karar verme yeteneğini geliştirmek ve sonunda zekayı gerçekleştirmek için. İş zekası, makine zekası, yapay zeka veya akıllı müşteri hizmetleri, akıllı soru ve cevap, akıllı öneri, akıllı tıbbi bakım, akıllı ulaşım ve diğer ilgili teknolojiler ve sistemler olsun, özleri bu hedefe doğru gelişiyor. Bulut bilişim platformlarının ve açık kaynaklı büyük veri sistemlerinin (Hadoop, Spark, Storm vb.) Hızlı gelişimi ile büyük veri altyapısının inşası ile ilgili teknoloji ve destek elde etmek kolaylaştı. Aynı zamanda, mobil İnternet ve Nesnelerin İnterneti teknolojilerinin kapsamlı veri toplama yetenekleri, büyük verilerin birikmesini ve patlamasını nesnel olarak teşvik etti. Bununla birlikte, büyük veri uygulamalarını karaya çıkarmak için, yukarıda belirtilen doğru soru sorma ve sorunları çözmek için büyük veri araçlarını kullanma becerisinin yanı sıra, kişisel olarak aşağıdaki büyük darboğazlarla da karşı karşıya olduğunu düşünüyorum:

1) BT'nin DT (Veri Teknolojisi, DT) teknolojisi jeneriklerine dönüşümü, geleneksel donanım ve yazılım teknik mimarilerini, büyük ölçüde paralel hesaplama, kuantum bilgisayarlar, derin sinir ağı yongaları, dağıtılmış depolama sistemleri, GPU büyük ölçekli hesaplama vb. Gibi zorluklarla karşı karşıya bıraktı. Her ikisi de geleneksel BT teknolojisi mimarisinin alt üst edilmesidir. Bu aşamada, büyük veri analizi ile ilgili çeşitli açık kaynak teknolojileri ve sistemleri gelişmekte ve büyük veri teknolojisi ekosistemi çok büyük ve karmaşıktır ve yüksek teknik eşik de dolaylı olarak bu noktayı göstermektedir. Araştırmacılar ve Ar-Ge personeli, bu teknolojik değişim dalgasına ayak uydurmak için, özellikle de büyük verinin uygulanması için çok önemli olan akademi ve endüstri kombinasyonunu sindirmek ve biriktirmek için zamana ihtiyaç duyarlar Derin öğrenme alanındaki atılımlar buna örnektir. Sınırlı teknolojide uzmanlaşmak (veya temel teknik yetenekler koşulu altında) koşullarında büyük veri uygulama araştırmaları ve iniş uygulamalarının nasıl hızlı bir şekilde yürütüleceği, teknoloji seçimi açısından derinlemesine tartışma, analiz ve değerlendirme gerektirir.

2) Geleneksel iş zekası (BI) uygulamalarında çok fazla hata ve ders, uzun proje döngüleri, müşteri sabrını test etme, yüksek uygulama girdi maliyetleri vardır ve nihai sonuçlar çoğunlukla pahalı lüks raporlardır ve beklenen sonuçları elde etmez. Ayrıca, geleneksel veri ambarı ve veri pazarı mimarisi altında, büyük verilerin depolama kapasitesi, genişletme kapasitesi ve zayıf eşzamanlılığı gibi sorunlar temelde çözülemez. Büyük veri analizi başarısızlık derslerini nasıl özetliyor ve BI projelerinden deneyim kazanıyor? Büyük veri uygulamaları geleneksel BI sistemleriyle birleşecek mi yoksa onların yerini alacak mı? Kurumsal büyük veri teknolojisi mimarisi, İnternet devlerinden kaynaklanan ana akım büyük veri teknolojisi çerçevesiyle organik olarak nasıl birleştirilebilir? Ayrıca derinlemesine özetlenmesi gereken pek çok konu var ve bunlar çözülmezse iki kat sonuç alacaklar.

3) Büyük veri uygulamalarının standardizasyonu ve ticarileştirilmesi. Çok kaynaklı heterojenlik, dinamikler ve alaka düzeyi gibi büyük verilerin özelliklerini hedeflemek, büyük veri analizi süreçlerinin ve uygulamalarının yönetimini standartlaştırmak ve çevrimdışı analiz, çevrimiçi analiz, gerçek zamanlı analiz ve bellek analizi gibi bilgi işlem çerçevelerinin işlenmesini entegre etmek. Metin, video, ses, web sayfası, ilişkisel veritabanı vb. Gibi çok kaynaklı heterojen veriler, büyük veri analizi sonuçlarının uygulama etkisini ölçmek ve değerlendirmek için modlar arası modellemede kullanılır. İster teknoloji seçimi, ister iş desteği açısından olsun, gerçek savaş deneyiminin biriktirilmesini ve desteklenmesini gerektiren hala birçok sorun var ve bunları bir kez ve tamamen çözmek gerçekçi değil.

4) Yukarıda tartışılan büyük veri uygulamalarının karşılaştığı zorluklara ek olarak, aşağıdaki temel sorunların büyük veri mimarisinin kendi teknik perspektifinden çözülmesi gerekir: Yüksek ölçeklenebilirlik, büyük ölçekli veri büyümesini ve çok sayıda iş analizinin hızlı genişlemesini destekleyebilir; yüksek hata toleransı ve kararlılığı, büyük veri analizi ve otomatik kurtarma vb. Arızalarını destekleyebilir; yüksek performans ve paralel destek, toplu olarak kullanılabilir Veri koşulları altında çeşitli hesaplama modellerini ve analiz ve işlemeyi hızlı bir şekilde tamamlayın; çok modlu verileri ve çoklu analiz görevlerini işleyebilen çok kaynaklı heterojen ortamlar için destek; açıklık ve paylaşım desteği, standart veri ve geliştirme arayüzleri sağlayabilir, verileri destekleyebilir ve Sistem entegrasyonu; verimlilik ve maliyet kontrolü, sınırlı bir süre, insan gücü ve finansal kaynaklar vb. Altında sistem performansını artırabilir, bu da büyük veri sistemi mimarisinin tasarımı için daha yüksek gereksinimleri ortaya koyar.

5) Büyük veri yönetimi düşüncesi, geliştirme ve uygulama uygulamasından kopmuştur Büyük veri, nicel bilimin ve nesnel yöntemlerin konumunu güçlendirmiştir. Ancak aslında, bu aşamada, teknisyenler de dahil olmak üzere birçok iş lideri, büyük verilerin işlenmesi ve kullanılması konusunda hala özneldir ve makine öğreniminin kara kutusu karşısında, modelin kusurlarını ve uygulanabilir kapsamını derinlemesine kavramak zordur. Büyük veri madenciliği analizinin nicel sonuçları, nesnel gerçeklerle daha uyumlu olmayabilir Büyük veri, iyi veriye eşit değildir Karar vermeye etkili bir şekilde nasıl yardımcı olunacağı anahtardır.

Dahası, büyük veri çok parçalanmış durumdadır.Büyük veri yalnızca Google, Amazon, BAT ve diğer internet şirketleriyle ilgili değildir.Her sektör ve şirketin verilere dikkat etme izleri vardır: bir üretim hattındaki gerçek zamanlı sensör verileri, Algılama verileri, yüksek hızlı demiryolu ekipmanlarının çalışma durumu verileri, ulaştırma departmanlarının verileri izleme vb. İkinci olarak, mevcut açık kaynak büyük veri sistemi mimarisi ve araç seti internet devlerinden türetilmiştir ve bu teknik mimari geleneksel işletmeler ve hükümetle ilgili kuruluşlar için uygun olmayabilir. Farklı kuruluşların sahip olduğu verilerin türleri ve yapıları oldukça farklı olabileceğinden; yine büyük veri uygulamalarının süreç ve özellikleri açısından bakıldığında, veri biliminin özü tıpkı bebek öğrenmesi, girdi-yanıt-geri bildirim-öğrenme gibi yinelemedir. Yeniden girdi, sürekli eğitim ve öğrenme zeka üretecektir.Büyük veri analiz sistemi aynıdır Uyarlanabilir optimizasyon ve sürekli iyileştirme, büyük veri sisteminin temel özellikleridir. Bu nedenle, bu, büyük veri teknolojisi mimarisinin son derece güçlü esnekliğe, ölçeklenebilirliğe veya çevikliğe sahip olmasını gerektirir.

Büyük veri uygulamalarının neden çevik olması gerekiyor?

Büyük veri uygulamalarının yukarıdaki beş yönünün darboğaz analizi, büyük veri uygulamalarının gerçekten değer elde edip üretmesinin uzun bir yol aldığını göstermektedir. Elbette bu, beklentilerimize bağlıdır. "Kurumsal Büyük Veri Uygulama Ders Programı" nda Makalede net bir tanım var: Büyük veri uygulamasının etkisi kolay kolay inkar edilemez ve elbette çok iyimser olamaz. Anahtar, aşamada, teknolojinin olgunluğunda, tasarım ve geliştirme yeteneklerinde yatıyor. Neden büyük verinin çevik olması gerektiği ya da neden çevik büyük veriyi önerdim, esas olarak yukarıda bahsedilen büyük veri uygulaması darboğaz yargısına dayanıyor: büyük veri uygulamaları birçok pratik problemle karşı karşıya, her şeyden önce büyük verinin uygulama sürecine ve özelliklerine bakıyoruz (Şekil 1), Büyük verinin başarması gereken şey, kaynak verilerin tüm yönlerini (dağınık, belirli bir endüstriyi çevreleyen ilgili veriler veya belirli bir analiz konusu) ETL aracılığıyla konu verilerine düzenlemek, konu verilerinden bilgi özelliklerini çıkarmak ve özellik madenciliğinden kalıpları keşfetmektir. Değerli bilgilerle, karar verme desteği, kurallar ve tahminler gibi bilgi bilgileri üzerinde oluşturulur ve uygulanır, izlenir ve değerlendirilir ve son olarak, kapalı döngü bilgi işleme sürecinin tekrarlanan doğrulaması, optimizasyonu ve sürekli yinelemesi için büyük veri sistemine geri beslenir.

Şekil 1 Büyük veri uygulama piramidi modeli

İkincisi, ortak bir büyük veri uygulama mimarisi ve süreci var mı? Genel olarak konuşursak, farklı endüstriler, farklı şirketler ve farklı uygulama senaryolarının farklı teknik mimarileri ve analiz süreçleri olacaktır.Üçüncüsü, büyük veri uygulamalarının uygulanmasında karşılaşılması gereken birçok pratik sorun vardır.Proje döngüsü uzundur, bu da müşteri sabrını ve teknoloji ekolojisini test eder. Büyük ve karmaşık, az sayıda bileşik yetenek, bir genel bulmak zor, uygulama etkisinin nasıl ölçüleceğine dair bir standart yok, kullanıcı katılımı düşük, beklenen hedeflere ulaşmak zordur, makine öğrenimi veri deneyleri, veri mühendisliğine ve diğer konulara nasıl başvurulacağı, büyük verilerin analizi Sistem mimarisi, temel teknolojiler ve uygulama metodolojisi daha yüksek gereksinimleri ortaya koyuyor. Çevik büyük verilerin bazı sorunları çözüp çözemeyeceğini görelim.

Çevik Büyük Veri Metodolojisi

(1) Çevik nedir?

Çevik nedir, önce birkaç kavrama bakalım:

Çevik Geliştirme, temel olarak kullanıcı ihtiyaçlarının evrimini alır ve yazılım geliştirmeye yinelemeli ve aşamalı bir yaklaşım benimser. Çevik geliştirmede, bir yazılım projesi inşaatın erken aşamasında birden fazla alt projeye bölünür ve her bir alt projenin sonuçları test edilmiş ve görünürlük, entegrasyon ve operasyon özelliklerine sahiptir. Başka bir deyişle, büyük bir projeyi birbirine bağlı, ancak bağımsız olarak da çalıştırılabilen ve ayrı ayrı tamamlanabilen çok sayıda küçük projeye bölmektir.Bu süreç boyunca yazılım her zaman kullanılabilir durumda olur.

Çevik Yönetim: Çevik yönetim, proje sürecini planlamak ve yönlendirmek için yinelemeli bir yöntemdir Çevik yazılım geliştirme gibi, çevik projeler de yineleme adı verilen küçük bölümlerde tamamlanır. Her bir yineleme proje ekibi tarafından incelenip değerlendirilir ve yinelemenin değerlendirilmesinden elde edilen bilgiler projenin bir sonraki adımını belirlemek için kullanılır. Kısa geliştirme döngüsü ve uygun talep yönetimi nedeniyle, çevik yönetim, yazılım geliştirme endüstrisinden proje yönetimini benimseyen çoğu sektöre uzanıyor.

"Yalın" olarak kısaltılan Yalın Üretim (Yalın Üretim), Japonya'nın Toyota Üretim Sisteminden türetilen bir yönetim felsefesidir ve Massachusetts Teknoloji Enstitüsü profesörü James tarafından geliştirilmiştir. P. "Uluslararası Otomobil Programı (IMVP)" aracılığıyla Womack gibi uzmanlar, dünya çapında 17 ülkede 90'dan fazla otomobil üreticisine anket ve karşılaştırmalı analiz gerçekleştirerek, Japonya Toyota Motor Corporation'ın üretim yönteminin modern üretim işletmeleri için en uygun üretim yöntemi olduğuna inandılar. Organizasyonel yönetim yöntemi, yalın üretim sistem yapısı, personel organizasyonu, operasyon modu ve pazar arz ve talebindeki değişiklikler yoluyla gerçekleşir, böylece üretim sistemi kullanıcıların değişen ihtiyaçlarına hızlı bir şekilde adapte olabilir ve üretim sürecindeki tüm gereksiz ve gereksiz şeyler düzene sokulabilir. Ve nihayet, pazar arzı ve pazarlama dahil olmak üzere üretimin tüm alanlarında en iyi sonuçları elde edin.

Yalın Düşünme ve Yalın Yönetim, yalın üretimden türetilmiştir.Yalın yönetim, üretim sistemindeki ilk yönetim uygulamasından başarıyla uygulanmıştır ve kademeli olarak işletmenin çeşitli yönetim işlerine ve ayrıca başlangıçtaki belirli iş yönetimine kadar genişletilmiştir. Yöntem, stratejik bir yönetim konseptine yükseltilir. Yalın yönetim, şirketin tüm faaliyetlerinde "Yalın Düşünce" kullanılmasını gerektirir. "Yalın Düşünme" nin özü, insan gücü, ekipman, sermaye, malzemeler, zaman ve alan dahil olmak üzere minimum kaynak yatırımı ile mümkün olduğunca fazla değer yaratmak ve müşterilere yeni ürünler ve zamanında hizmetler sunmaktır.

Şekil. Modern yazılım mühendisliği, temel teknoloji araç yığını çok olgun, yapı taşı çevik geliştirme ve yalın üretim benzer kavramlara sahip

Yukarıdaki kavramsal tanımdan, çevik ve yalının ikiz kardeşler olduğu ve anahtar kelimelerinin gereksinimlerin evrimini, yinelemeyi, görselleştirmeyi, kademeli ilerlemeyi, entegrasyonu ve operasyonu, yalın, minimum kaynak girdisini vb. İçerdiği görülebilir. Tek bir uygulama sisteminin inşası için, geleneksel yazılım mühendisliğinin çevik geliştirme ve yalın yönetim düşüncesine acil bir ihtiyacı yoktur.Ancak, çok kaynaklı, heterojen ve işbirliğine dayalı büyük veri sistemi mimari tasarımı, Ar-Ge ve proje uygulaması karşısında, çevik ve yalın Tasarım konsepti çok önemli, neden öyle diyorsun? Aşağıdaki şekil tipik bir geleneksel bilgi teknolojisi mimarisi ile büyük veri sistemi mimarisi arasındaki bir karşılaştırmadır Deneyimli arkadaşlar bazı ipuçlarını görebilmelidir.

Şekil 2 Geleneksel bilgi sistemi ile büyük veri sistemi mimarisinin karşılaştırılması

Burada hala kendi büyük veri öğrenme alışverişi düğme eteğimi tavsiye etmek istiyorum: 957205962, etek hepsi büyük veri geliştirmeyi öğreniyor, eğer büyük veriyi öğreniyorsanız, editör sizi katılmaya davet ediyor, herkes bir yazılım geliştirme partisidir , 2018'de kendim tarafından derlenen en yeni büyük veri gelişmiş materyallerinin ve gelişmiş geliştirme eğitimlerinin bir kopyası dahil olmak üzere kuru ürünleri zaman zaman paylaşın (yalnızca büyük veri geliştirmeyle ilgili). Büyük verinin derinliklerine inmek isteyen gelişmiş ve küçük ortaklara hoş geldiniz.

Yukarıdaki şeklin sol kısmı geleneksel bilgi teknolojisi mimarisi ve sağ kısmı ortak büyük veri sistemi mimarisidir. Tabii ki, belirli teknik bileşenler farklı ihtiyaçlara göre seçilmiştir. Bu mimari sabit değildir ve her bileşenin en az birkaç bileşeni vardır. Bir yedek ve gerektiğinde genişletilebilir. Bu grafikten, geleneksel bilgi sistemlerinin dünyayı tek bir kişi tarafından fethedebileceği sonucuna varabiliriz, oysa büyük veri sistemlerinin ana fikri dağıtım ve birlik ve işbirliği ... Kişi ne kadar güçlü olursa olsun, ne kadar akıllı olursa olsun, enerjisi ne kadar güçlü olursa olsun. Etkili entegrasyondan sonra bir grup insan kadar güçlü değildir ve büyük veri sistemi mimarisi birçok yönün entegrasyonundan sorumludur (aynısı Hadoop sistem mimarisinin Şekil 3-Şematik diyagramında gösterildiği gibi Hadoop, Spark vb. Gibi büyük veri altyapısı için de geçerlidir) .Başka bir deyişle, bu Yazılım geliştirme veya üretim sürecindeki çevik ve yalın yönetim gibi, şirketin ustası (Master) görevleri atar ve personel dağıtımını yapar, her çalışan (köle) kendi küçük hedefli işini tamamlamaya çalışır ve her seviyedeki süpervizörler yatay ve dikey performans gösterir. İşbirliği ve etkin entegrasyon şirketin büyük hedefleridir.Büyük veri sistemi mimarisinin evriminin insan sosyal işbirliği fikrine çok yakın olduğu görülebilir. Büyük veri sistemi mimarisinin dağıtılmış işbirliği yeteneklerini etkin bir şekilde desteklemek için çevik ve yalın tasarım fikirleri gerekli referanslardır.

Şekil 3 Hadoop sistem mimarisinin şematik diyagramı

(2) Çevik Büyük Verinin Tanımı

Öyleyse çevik büyük veri nedir? Bu makale bir ön tanım vermektedir (henüz yeterince olgun değildir): "Çevik büyük veri, veri biliminin yinelemeli doğasına ve çevik Ar-Ge yönetimi fikirlerine, bileşenleştirme, hizmet ve kapsayıcılaştırma vb. Teknoloji, büyük veri sistemi mimarisinin yalın tasarımı ve temel bileşen işbirliği, kademeli olarak çok seviyeli verilerin füzyon işlemesini ve çoklu bilgi işlem çerçevelerinin ve modellerinin genişletilmesini ve verimli yönetimini gerçekleştirir, büyük veri analizi ihtiyaçlarına hızlı bir şekilde yanıt verir ve hızlı bir şekilde büyük veri üretim sistemi oluşturur. , Büyük veri analizi yeteneklerini hızla yineleyin, böylece büyük veri sistemlerinin analiz verimliliğini ve büyük veriyle karar vermenin değerini artırın. " Çevik büyük verinin temel unsurları SFV ilkelerini (Küçük, Hızlı, Doğrulama, SFV) takip eder: Biri küçük, ikincisi hızlı ve üçüncüsü kanıt. Küçük işletme analizi hedefleri kesilir, prototipler hızlı bir şekilde prototipten çıkarılır ve hızlı bir şekilde yinelenir ve ardından etkinliği kanıtlandıktan sonra genişletilir. Bir dereceye kadar, geleneksel BI projelerinin başarısızlıklarının çoğu, bu üç ilkenin kavranamamasından kaynaklanmaktadır.Ancak, İnternet şirketlerinin büyük veri sistemlerinin başarısı, bu üç ilkeyi kavramış oldukları için açık kaynak büyük veri teknolojilerinin gelişmesini sağlayabilir.

Çevik büyük verilerin aşağıdaki temel sorunları çözmesi gerekir: Farklı türde heterojen alt sistemler arasındaki etkili entegrasyon sorununu çözmek için birleşik, standartlaştırılmış, modüler ve yapılandırılabilir bir büyük veri mimarisi nasıl elde edilir. Uygulama işlevleri mevcut işlevsel bileşenlerle birleştirilebilir, hizmetin yeniden kullanımı yoluyla maliyetleri düşürür ve bileşenler arasında değiş tokuş edilen veri biçimi standartlaştırılmalı ve arabirim haline getirilmelidir; bileşenlerin kombinasyonu az miktarda programlama veya yapılandırma ile tamamlanabilir. Ortak modeller ve Araçların entegrasyonu ve standardizasyonu, kullanımın nasıl basitleştirileceği, programcı olmayanlar için kullanıma hazır veri madenciliği ve analiz yetenekleri sağlayabilir; büyük veri uygulamasının tüm süreci (toplama, depolama, analiz, yönetim) görselleştirilebilir. Veri biliminin yinelemeli doğasına ve yüksek verimli bileşenleştirilmiş araçların kullanımına dayalı olarak, büyük verinin her bir işlevsel alt sistemi (modülü) bileşenleştirilir, model standartlaştırılır ve büyük veri prototip sistemi hızla seçilir, yapılandırılır ve gerçek ihtiyaçlara göre hızla oluşturulur. Büyük veri analizinin sonuçlarını hızlı bir şekilde yineleyin ve değişen ihtiyaçlara uyum sağlayın, prototipi mümkün olan en kısa sürede bir üretim sistemine dönüştürün. Hızlı yineleme, hızlı geri bildirim ve kapalı döngü doğrulama sürecinde, müşterilerin büyük veri analizinin sistem düşünme ve yönetim düşüncesi reformunu aşamalı olarak tamamlamasına izin verin.Sadece hızlı ve kırılmamış, hızlı kanıtlama ve yalın tasarım ilkesi olan dünya dövüş sanatları, çevik büyük veri uygulamasının özüdür Amaçları.

Şekil 4 Çevik yinelemeli geliştirmenin şematik diyagramı

(3) Çevik büyük veri süreci optimizasyonu

Çevik büyük veri için hızlı, küçük ve kanıtlanmış SFV ilkelerine göre, geleneksel sektörler arası Standart Veri Madenciliği İşlemini (CRISP-DM) geliştirdik ve mikro hizmetler ve kapsayıcılara dayalı olarak önerdik (çevikliği takiben Büyük verinin temel teknolojileri ile ilgili bölüm ayrıntılı olarak tanıtılacaktır), Mikro hizmetlere dayalı Çevik Büyük Veri İşleme, aşağıda gösterildiği gibi:

Şekil 5. CRISP-DM süreci ve çevik büyük veri işleme süreci

Geleneksel veri madenciliği süreci ile karşılaştırıldığında, çevik büyük veri işleme süreci iki seviyeden genişletilmiştir: birincisi, mimariyi desteklemek için konteyner tabanlı mikro hizmet teknolojisini kullanır; ikincisi, geleneksel veri madenciliği modelleri, sistemleri ve gerçek karar geribildirimi arasındaki kopukluğu giderir. Veri biliminin yinelemeli doğasına göre, uyarlamalı yinelemeli yükseltme ve akıllı karar evrimi desteği, model sistem ve gerçekçi karar geri bildirimi olmak üzere iki süreç için gerçekleştirilir. Bu genişleme sayesinde, çevik büyük veri metodolojisi ve geleneksel veri madenciliği teknolojisinin yanı sıra ortaya çıkan ana akım büyük veri çerçevesi mimari ve süreci tamamlayabilir ve bütünleştirebilir. Çevik büyük veri SFV ilkesini gerçekleştirmek için çevik büyük veri mimarisinin tasarımı çok önemlidir. Çevik büyük veri mimarisi, bileşen yönetimi, veri füzyonu, kaynak planlaması, hizmet soyutlaması, dağıtım operasyonu ve bakımı, hesaplama modelleri ve standart veri setleri ve çevik büyük veri işleme prosedürleri gibi birden çok düzeyde bilimsel ve etkili tasarım desteği gerektirir. . Temel amaç, büyük veri füzyon işleme ve analiz işlevlerinin hizmetini, standardizasyonunu ve sürecini gerçekleştirmek.Veri füzyonu ve mikro hizmet teknolojisine dayalı olarak, mikro hizmetleri oluşturmak ve yönetmek için modüler ve yapılandırılabilir bir büyük veri analiz platformu tasarlamak. Hızlı uygulama, çeşitli mikro hizmetlerin bölünmesi, birleştirilmesi, düzenlenmesi ve dinamik konfigürasyonu yoluyla yeniden kullanılabilir, ölçeklenebilir ve esnek bir şekilde ayarlanabilen bir büyük veri analiz sistemi oluşturulur ve böylece çevik büyük veri hedefine ulaşılır.

4. Çevik Büyük Verinin Anahtar Teknolojileri

Büyük veri çağında, çeşitli yeni teknolojiler ve bilgi işlem çerçeveleri sonsuz bir akışta ortaya çıkıyor, analiz gereksinimlerindeki sürekli değişikliklerle birleştiğinde, büyük veri mimarisinin nasıl yapılacağı, iş ihtiyaçlarını karşılamak ve teknolojik güncellemelerin hızına ayak uydurmak için herhangi bir zamanda nasıl ayarlanabilir hale getirilebilir, büyük veri uygulamaları tarafından çözülmesi gereken temel konulardır. Bu aynı zamanda çevik büyük veri mimarisinin önerilmesinin temel nedenidir. Her fırsatta düzinelerce yüzlerce bilgi sistemiyle büyük kuruluşlarla karşılaşmak, fiziksel, sanal, genel ve özel bulut ortamlarında tutarlılığın, birlikte çalışabilirliğin ve taşınabilirliğin nasıl sağlanacağı, BT altyapısı için büyük bir zorluktur. Bu nedenle, mikro hizmetler ve konteyner teknolojileri ortaya çıktı.Microservisler, sistem modüllerinin bileşenleştirmesini ve bağımsız otonom çalışmasını gerçekleştirir.Konteynerler hafif sanallaştırma gerçekleştirebilir ve aralarında herhangi bir arayüz olmadan sandbox mekanizmasını tamamen kullanırlar. Mikro hizmetlerin, kapsayıcıların ve bulut bilişim teknolojilerinin doğal birleşimi ve bunların hızlı geliştirme, dağıtım ve bakım avantajları, mikro hizmetlere ve kapsayıcılara dayalı çevik büyük veri uygulamaları için potansiyeli çok büyük hale getirir.

(1) Mikro hizmet teknolojisi

Hizmetin özü, davranışın soyutlanmasıdır.Nesne yönelimli yöntem dünyayı nesne varlığının boyutundan tanımlarken, hizmet odaklı (SOA) dünyayı temelde iki farklı boyutun tanımı olan davranış modeli boyutundan tanımlar. yöntem.

Şekil 6. Yazılımın bir hizmet olarak geliştirilmesi

Veri biliminin yinelemeli doğası nedeniyle, bir hizmet olarak büyük veri analizi bir uygulama sıcak noktası haline geldi ve mikro hizmetler ve konteyner teknolojisi, bu makalede önerilen çevik büyük veri SFV'nin temel ilkelerini etkili bir şekilde destekleyebilir. Son yıllarda, mikro hizmetler (Şekil 7'de gösterildiği gibi Conway yasasından kaynaklanan tasarım fikirleri) İnternet ve büyük veri şirketleri için bir araştırma ve tasarım etkin noktası haline geldi.Google, Amazon, Facebook, Baidu, JD.com ve Ctrip gibi şirketlerin hepsi mikro hizmetler teorisini benimsiyor. Ürün tasarımı, geliştirme ve dağıtım için teknoloji. Netflix'ten Adrian Cockcroft, mikro hizmetleri "rafine SOA (Servis Odaklı Mimari, SOA)" olarak adlandırıyor ve bunun yeni ve yenilikçi bir mimari olduğuna inanıyor. Agile'ın babası Martin Fowler, "Mikro hizmetler" adlı makalesinde mikro hizmetlerin tanımını verdi. Özetle, mikro hizmet tasarım fikri, büyük uygulamalar geliştirmek için birkaç küçük hizmeti kullanma yöntemidir. Her hizmet kendi başına çalışır. Süreçte bilgi, hafif bir iletişim mekanizması aracılığıyla değiş tokuş edilir.Her mikro hizmetin tanecikliği, iş kapasitesinin boyutuna göre oluşturulur ve farklı programlama dilleri tarafından uygulanabilir.Yapılan hizmet zinciri, konteynerler gibi teknolojiler aracılığıyla otomatik olarak dağıtılabilir.

Şekil 7. Conway Yasası, sistemin yapısı, sistemi tasarlayan kuruluşun iletişim yapısı ile sınırlıdır. Tasarım ilerledikçe sistemin yapısı değişebileceğinden, tasarım basit ve esnek tutulmalıdır.

Yukarıdaki mikro hizmet tanımından, ademi merkeziyetçilik, atomizasyon, bağımsız özerklik, hızlı kombinasyon ve otomatik dağıtım özelliklerinin mikro hizmetler teknolojisinin temel unsurları olduğu görülebilir. Asıl fikir, tek bir uygulama yapısını parçalamak ve orijinal devi kırmaktır. Uygulama katmanı işlevleri, daha küçük ayrıntı düzeyine sahip mikro hizmet modüllerine bölünmüştür ve veritabanı ayrıca destek için karşılık gelen mikro hizmet işlevsel birimlerine bölünmüştür (Şekil 8'de gösterildiği gibi). Bulut tabanlı konteyner teknolojisi, bu hizmet modüllerini ayrı ayrı ve ağ üzerinden çalıştırmak için kullanılır. Hafif iletişim mekanizması, bu ayrıştırılmış hizmet modüllerini sinerjik olarak birbirine bağlayarak büyük ölçekli ve karmaşık görevleri tamamlamak için mikro hizmet kümeleri ve ağları oluşturur.Karmaşık bir sistemi birkaç küçük mikro hizmet modülüne bölmenin bu yöntemi dağıtılmış ve düşük kuplajlıdır. Mimari, büyük verilerin dağıtılmış işleme özelliklerine büyük ölçüde uyum sağlayabilir.

Şekil 8 Geleneksel monolitik uygulama mimarisi ile mikro hizmet mimarisi arasındaki fark

(2) Konteyner teknolojisi

Mikro hizmet teknolojisi, hizmetlerin birbirini etkilememesi için benzer bir yapı taşı oluşturma yöntemi kullanır ve aynı sistemin mikro hizmetleri farklı geliştirme dilleri ve veritabanı teknolojilerini kullanabilir. Bununla birlikte, her fırsatta düzinelerce veya yüzlerce bilgi sistemine sahip büyük kuruluşlar karşısında, fiziksel, sanal, genel ve özel bulut ortamlarında tutarlılığın, birlikte çalışabilirliğin ve taşınabilirliğin nasıl sağlanacağı BT altyapısı için büyük bir zorluktur. . Böylelikle konteyner teknolojisi ortaya çıktı.Konteyner ilk olarak Docker tarafından önerildi ve kendi PaaS bulut servis platformuna uygulandı.Son yıllarda yaygın olarak kabul gördü.Birçok büyük işletme tek uygulama sistemlerine mikro hizmet vermeye ve bunları konteynerlerde konuşlandırmaya başladı. İşletim sistemine dayalı kapsayıcılar, geleneksel sanallaştırma teknolojilerine (VMware gibi) göre daha hafif sanallaştırma elde edebilir ve aralarında arabirimler olmadan tamamen korumalı alan mekanizmasını kullanırlar. Hadoop'un alt sistemi Kubernetes, bulut bilişim ve Docker konteyner teknolojisine dayalı mikro hizmetlerin geliştirilmesini ve devreye alınmasını destekleyebilmiştir.Konteyner teknolojisi ile bulut bilişimin doğal birleşimi ve hızlı geliştirme, dağıtım ve bakım avantajları mikro hizmetler ve çevik büyük veri mimarisi için önemlidir. Tasarım ve uygulama önemli bir destekleyici rol oynar.

Şekil 9 Docker konteyner mimarisi diyagramı

(3) Veri birleştirme teknolojisi

Büyük verilerin depolanması, madenciliği, analizi ve anlaşılması, birden çok kaynağın alaka düzeyi, dinamikleri ve heterojenliği nedeniyle büyük zorluklarla karşı karşıyadır. Verilerin birden çok formatta birleştirilmiş, standartlaştırılmış ve füzyon işlemesinin nasıl gerçekleştirileceği, çevik büyük verilerle çözülmesi gereken önemli bir sorundur. Genel büyük veri füzyon hedefinden farklı olarak, bu makale temel olarak standart veri kümeleri oluşturma perspektifinden büyük veri çok taneli füzyonu yürütür ve birleşik veri birimleri (UDU) oluşturarak çok modlu özellik füzyonunu ve çoklu türleri ve yapıları destekler. Veri setlerinin kapsüllenmesi ve birleştirilmesi. Farklı bilgi işlem modellerinin işlenmesini destekleyen çok kaynaklı heterojen verilerin çıkarılması, kaynaştırılması ve UDU veri kümelerine entegre edilmesi, çok taneli bilgi füzyon teknolojisinin temel amacıdır. Birleşik veri birimi, veri kaynağı ve analiz gereksinimleri değiştikçe hızla yeniden düzenlenebilen, ayarlanabilen ve güncellenebilen bağımsız ve esnek bir varlık veri kümesidir. Bilgi füzyonu yoluyla oluşturulan UDU standart veri seti, çevik büyük veri işlemenin temelini oluşturur.

Çeşitli makine öğrenimi modellerinin veri uyarlama özellikleri göz önüne alındığında, standart bir veri seti tanımı öneriyoruz: Bilginin birden çok düzeyde füzyon işlenmesi ve büyük verilerin ayrıntı düzeyi için Birleşik Veri Birimi (UDU). Özellikle çok modlu veriler için, birleşik veri birimi tasarım yöntemi, veri depolama optimizasyonunu ve makine öğrenimi modeli veri girişi standardizasyonunu gerçekleştirebilir.Akıllı büyük veri sisteminin temel veri organizasyonu ve işleme birimi olarak birleşik veri birimini kullanmak büyük veriyi iyileştirebilir Büyük veri işleme yeteneklerini iyileştirmek için modellerin ve algoritmaların uyarlanabilirliğini ve çevikliğini analiz edin. Çok taneli bilgi füzyonunun tasarımı aşağıdaki şekilde gösterilmektedir.

Şekil 10 Büyük veri çok taneli bilgi füzyon tasarımı

Yukarıdaki şekildeki UDU birleşik veri birimi, en az üç düzeyde büyük veri füzyonunu destekleyebilir. Biri, modlar arası özelliklerle (zaman + uzay özellikleri gibi) büyük veri hesaplama modellerinin işlenmesini destekleyen özellik düzeyinde füzyondur; diğeri, destekleyen veri düzeyinde füzyondur. Çok boyutlu veri küpü (Veri Küpü), veri pazarı (yıldız, kar tanesi modu) ve diğer veri modu ve veri yapısı entegrasyonu; üçüncüsü, farklı model görevlerinden (sınıflandırma, kümeleme, tahmin, ilişkilendirme vb.) Model düzeyinde entegrasyondur. ) Açı, ilgili veri birimi işlemesini destekler. Büyük veri birleşik veri birimi tasarlamak ve oluşturmak için aşağıdaki üç adım gereklidir.

1) Özellik çıkarma: Verilerle ilgili konum özniteliklerini elde etmek için yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriler üzerinde veri entegrasyonu ve özellik çıkarma gerçekleştirin ve verilerdeki zaman özellikleri, uzamsal özellikler veya diğer genel özellikler dahil olmak üzere çeşitli özellikleri çıkarın Zaman ve uzay korelasyon nitelikleri ve diğer gözlem nitelikleri.

2) Füzyon paketi: Çıkarılan çeşitli veri özellikleri veya önceden işlenmiş veriler, üst düzey madencilik ve bilgi işlem hizmetlerine hizmet etmek için standart bir analiz veri seti oluşturmak için farklı hesaplama modellerinin veri işleme özelliklerine ve gereksinimlerine göre birleşik bir yapıya ve biçime sahip bir veri işleme biriminde paketlenir. Hızlı veri adaptasyonu sağlayın. XML / JSON gibi meta veri tanımlama yöntemleri ve teknolojileri ve kimlik kimliği, temel öznitelikler, anlamsal öznitelikler ve yapı dahil olmak üzere her bir birleşik veri birimi türü için temel bilgiler ve çeşitli öznitelik tanımları ve açıklamaları aracılığıyla farklı türde birleştirilmiş veri birimi tanımları gerçekleştirilebilir. Özellikler ve diğer içerik. 3) Servis arayüzü: kapsüllenmiş birleşik veri birimi veri seti, farklı madencilik bilgi işlem hizmet modelleri için hızlı veri adaptasyonunu gerçekleştirir, birleşik bir veri birimi arama arayüzü tasarlar, paketlenmiş veri birimini arayüz tanımı ve parametre ayarı yoluyla analiz eder ve analiz eder Veri setinin çeşitli öznitelik özellikleri ve yapısal bilgileri çıkarılır.

Çevik büyük veri sistemi mimarisi

Çevik büyük verinin temel teknolojilerinin yukarıdaki analizine dayanarak, etkili bir çevik büyük veri sistemi mimarisinin nasıl tasarlanacağı ve uygulanacağı, çevik büyük veri uygulamalarının temel içeriğidir. Trafik büyük veri işlemeyi örnek alarak, çevik işleme mimarisi başlangıçta tasarlanmıştır. Büyük veri trafiğinin karmaşıklığı ve analiz hedeflerinin çeşitliliği nedeniyle, geleneksel veri madenciliği analiz modeli ve büyük veri teknolojisi mimarisi için bir zorluk oluşturmaktadır. Örneğin, yoğun trafik geçmiş statik verileri için çevrimdışı toplu işleme teknolojisinin benimsenmesi gerekirken dinamik gerçek zamanlı akışlı trafik verilerinin bir akışlı bilgi işlem çerçevesi tarafından işlenmesi gerekir. Ek olarak, metin, görüntü, video ve sensörler gibi çok modlu verileri işlemek için farklı makine öğrenimi modellerinin kullanılması gerekir Çapraz modal füzyon hesaplama analizinin nasıl gerçekleştirileceği de bir uygulama zorluğudur. Trafik büyük veri analizi gereksinimlerindeki değişikliklere ve genişlemeye yanıt olarak, büyük veri sisteminin işlevleri ve modelleri nasıl hızlı bir şekilde yanıtlayıp genişletebileceği ve ayarlayabileceği, ulaşım için çevik büyük veri mimarisinin tasarımında çözülmesi gereken önemli bir sorundur.

Başka bir deyişle, farklı trafik büyük veri analizi ihtiyaçlarını desteklemek için esnek bir işleme mimarisi tasarlayabilmelidir.Büyük veri mimarisi, farklı toplama, depolama, hesaplama ve uygulama seviyelerinden farklı analiz ihtiyaçlarının değişikliklerini veya genişlemelerini karşılayabilmelidir. Çevik büyük veri metodolojisinin ve temel teknolojilerinin analizine ve araştırmasına dayanan çevik büyük veri mimarisi, dört seviyeden tasarlanmıştır: veri toplama entegrasyonu, büyük ölçekli veri depolama ve veri füzyonu, çok modlu / çok modlu bilgi işlem mikro hizmetleri ve veri uygulaması. Mikro hizmetlere dayalı bilgi işlem modelinin soyutlanması ve yakınsama katmanında işleme yoluyla, standart bir veri kümesi oluşturmak için çok tanecikli büyük verilerin entegrasyonuna ve kaynaştırılmasına dayanan birleşik bir veri birimi oluşturarak, çevik ve hizmet odaklı trafik büyük veri madenciliği gerçekleştirilir. Standart arayüzler ve eklenti geliştirme yöntemlerini kullanarak, ana akım büyük veri işleme çerçeveleri (Hadoop, Spark, Storm, vb.), Tak ve çalıştır bileşenine ve hizmet tasarımına dayalı birleşik konfigürasyon yönetimi olabilir, her bir alt sistem ve bileşen katmanı, Analiz hedeflerine, hızlı seçim, esnek konfigürasyon, prototip oluşturma ve yinelemeli yükseltmelere göre (aşağıdaki şekilde gösterildiği gibi, iki noktalı çizginin farklı tasarım yollarına göre, geçmiş veritabanı verilerinin toplu işleme analizini veya genel ağdan toplanan verilerin akış işleme analizini hızlı bir şekilde yapılandırabilirsiniz. ), çevik büyük verinin genel mimari tasarımı aşağıdaki şekilde gösterilmektedir.

Şekil 11 Ulaşım için çevik büyük verinin genel mimari tasarımı

1) Veri toplama katmanı: Destek için üç toplama teknolojisi düzeyi vardır: Biri, ilişkisel veritabanları ile Hadoop sistemleri arasında veri çıkarma ve alışveriş için Sqoop teknolojisinin kullanılması gibi geleneksel iş sistemi veritabanlarının ve yarı yapılandırılmış ve yapılandırılmış verilerin toplanması ve entegrasyonudur; diğeri ulaşım Gerçek zamanlı akış verilerinin toplanması, gerçek zamanlı sensör verilerini, konumlandırma yörünge verilerini ve diğer gerçek zamanlı akış verilerini içerir; üçüncüsü, kamu ağından veri taraması, açık platformlardaki veri arayüzleri ve sektörün genel veritabanlarından veri alışverişi dahil toplu taşıma verilerinin toplanmasıdır. Toplanan verilerin çıkarılması, dönüştürülmesi ve yüklenmesi (ayıklama-dönüştürme-yükleme, ETL) işleme, veri çıkarma, dönüştürme, temizleme ve gizlilik duyarsızlaştırma ve diğer ön işleme çalışmaları dahil olmak üzere, entegre verilerin trafik büyük veri bulutuna önceden işlenmesi gerekir. Depolama merkezi.

2) Veri depolama katmanı: Taşıma alanındaki verilerin ölçeği çok büyüktür ve veri depolama katmanının, büyük verilerin depolama genişlemesini desteklemek için bulut bilişime dayalı bir dağıtılmış bulut depolama sistemi tasarlaması gerekir. Bulut tabanlı sütun depolama, NoSQL depolama veya veri ambarı depolama yetenekleri sağlayın; iş ihtiyaçlarına ve hızlı yapılandırmaya göre ilgili dağıtılmış depolama modu değiştirilebilir ve geleneksel BI sisteminin veri ambarı ve veri pazarı da gerektiği gibi entegre edilebilir. PB düzeyinde depolama kapasitesi genişletmesi sağlamak için Hadoop kümesini kullanın.Aynı zamanda, Hadoop YARN ve Spark Mesos gibi küme kaynak yönetimi çerçeveleri birden çok depolama modunu ve bilgi işlem modunu destekleyebilir (şekildeki çift okla gösterildiği gibi, çoğunlukla depolama ve bilgi işlem kaynaklarını yönetir. ) Bulut kaynak planlaması. Bu temelde, çok tanecikli bilgi füzyonu çeşitli depolanmış veriler üzerinde gerçekleştirilir ve hesaplama hizmet katmanı için standartlaştırılmış bir analiz veri seti sağlamak için birleşik bir veri işleme birimi oluşturulur.

3) Veri hesaplama katmanı: Büyük veri trafiğinin çok kaynaklı, heterojen, büyük ve diğer özellikleri göz önüne alındığında, geleneksel bilgi işlem modellerinin doğrudan kullanılması zordur. Veri hesaplama katmanının, verimli veri madenciliği ve Hadoop toplu işleme, Fırtına akışı işleme ve Spark bellek işlemeye dayalı makine öğrenimi elde etmek için bulut bilişime dayalı paralel çerçeveler gibi ana akım büyük veri işleme çerçevelerinin çeşitli bilgi işlem modellerinin ve yöntemlerinin uygulanmasını karşılaması gerekir.MapReduceStormSpark

957205962 2018

UDUMapReduceStormSparkPaxosZookeeperREST(Representational State Transfer)RPC(Remote Procedure Call Protocol)IPC(Inter-Process Communication)