Veri yönetimi ve analiz trendleri dünyayı değiştiriyor
Yazar: Andrew Brust
Çeviri: Zhang Yuan
Redaksiyon: Pan Yilin
Bu makale var 2500 kelime , Okumanız tavsiye edilir 6 dakika .
Bu makale sizlerle analiz alanında geniş kapsamlı 7 değişikliği tartışıyor ve bunları tek tek sunuyor.
Şu anda veri dünyasında neler oluyor ve 2018'de pazarı nasıl etkileyecek? Örneğin şu başlıklar: Yapay zeka her yerde ve her şeyi değiştirecek; şirketler altyapılarını ve verilerini buluta taşımaya devam ediyor; GDPR verileri etkinleştirecek Koruma, her şirketin en önemli önceliği haline gelir. Bunu biliyorsunuz, ancak bu abartıya biraz şüpheci olabilirsiniz.
Peki, hangi önemli değişiklikler meydana geldi? Mimari ve satın alma stratejilerini formüle ederken ve bu alanlarda kararlar alırken nelere dikkat etmeniz gerekiyor? Ardından, analiz alanındaki 7 geniş kapsamlı değişikliği tartışacağız ve bunları birleştireceğiz Tek tek sunuldu.
Hadoop her zaman temeldir
Evet, bu büyük veri projelerinin başarısızlık oranı yüksek; Spark bir ölçüde Hadoop'un yerini aldı ve giderek daha fazla müşteri onu bağımsız olarak çalıştırmaya başladı, bu nedenle endüstri Hadoop'u suçlamaya başladı ... ve artık isminden bahsetmiyor . Yani Hadoop'un modası geçmiş olması gerektiğini düşünüyorsunuz, değil mi?
Yanlış! Herkes veri göllerinden bahsediyor, çoğu zaman bu sadece Hadoop kodudur. Dahası, birçok şirket veri göllerini bulut depolamada uygulasa da, bu verileri analiz etmek için genellikle Hadoop ekosistem teknolojisini kullanırlar. Ek olarak, HDFS ve Hadoop dosya sistemlerini simüle etmek için bulut depolamayı kullanmaya başladığınızda, bir bulut veri gölü ile bir Hadoop veri gölü arasında önemli bir fark olmadığını fark edeceksiniz.
İyi haber şu ki, bu yıl Hadoop her zaman yapması gerekeni yapacak: birçok şirket tarafından düşük anahtar kabulü ve stratejik rolünü oynayacak birçok veri aracından biri haline gelecek. Hadoop, Spark, İş Zekası (BI) ve veri ambarları dahil olmak üzere bu veri teknolojilerinin birleşimi, mevcut analitik pazarını bu kadar heyecan verici kılıyor.
Güle güle! Kurumsal düzeyde iş zekası yığını
MicroStrategy, bu yılın başlarında, kurumsal düzeyde bir iş zekası şirketi olarak, ön uç rakiplerine taviz verdiğini ve ürünlerini tanıttığını duyurdu. MicroStrategy, arka uç OLAP platformunu ve ilgili veri işlemeyi kullanarak para kazanabileceğine inanıyor. Şirket, veri görselleştirme ve gösterge panolarındaki rekabetin daha zor olduğunun farkına varmış gibi görünüyor ve başarılı olsa bile, azalan getiriler getirecek.
Öyleyse arka uç kurumsal geliri korumak ve büyümeye devam etmek için yeterli mi? Bekleyip göreceğiz. Ancak kesin olan bir şey var ki, tek bir kurumsal düzeydeki iş zekası yığını dağılmaya başladı ve yeni zorluklar başlamak üzere.
Veri katmanlama
Veri depolama ve erişim frekansı arasındaki korelasyon gibi veri katmanlama kavramına aşina olabilirsiniz. "Sıcak" veriler, yani en yaygın kullanılan veriler, bazen erişim istekleri katı hal sürücüler veya hatta CPU önbelleği gibi çok hızlı depolamaya yönlendirilir; popüler olmayan veriler genellikle daha eski, ancak daha ucuz dönen sabit disklerde depolanır Arasında.
Depolama hiyerarşisinin iyileştirilmesiyle birlikte, bu yıl diğer hiyerarşik yapıların kademeli olarak kabul edildiğini göreceğiz. Örneğin, analiz, belirli ekipler veya iş birimleriyle ilgili deneysel veri kümelerinden, tüm işletme için yararlı olan yüksek düzeyde yapılandırılmış, denetlenmiş ve fikir birliğine dayalı verilere kadar her şeyi içerir. Ortada, boyut veya temizlik nedeniyle üretim seviyesinin biraz altında düşünülebilecek yapılandırılmış bir veri kümesi var.
Deneysel veri kümeleri en iyi bir veri gölünde depolanır; mantıksal olarak, yüksek düzeyde sansürlenmiş veri kümeleri en iyi şekilde bir veri ambarında depolanır. Ara veri kümeleri, Hadoop veya bulut depolamasına yerleştirilmek için daha uygun olabilir, ancak IBM Big SQL, Microsoft PolyBase ve Oracle Big Data SQL gibi SQL-on-Hadoop araçları genellikle ilişkisel veritabanlarından sorgulama yapmak için kullanılır.
Başka bir hiyerarşi türü, verilerin makine öğrenimi modellerini tasarlamak için mi yoksa yalnızca verileri katman verilerini analiz etmek için mi kullanıldığına bağlı olabilir Diğer hiyerarşiler, veri kaynağının güvenilirliği ile tanımlanabilir.
Hiyerarşik yapı önemlidir, çünkü sorgu tarafındaki iş zekası ve büyük veri analizi araçlarının yanı sıra işlem veritabanları, NoSQL veritabanları, veri ambarları ve depo tarafındaki veri gölleri dahil olmak üzere ilgili araçlar ve teknolojiler de hiyerarşiktir. Sonunda, hiyerarşik yapı basitleştirilebilir ve teknoloji entegre olma eğiliminde olabilir, ancak şimdi pek çok teknoloji seçeneğiyle, araç zincirinin dağıtımındaki en iyi uygulamalarımızı şart koşmak için verilerdeki hiyerarşik yapıya ihtiyacımız var.
Malların görselleştirilmesi
MicroStrategy'nin Tableau, Qlik ve Power BI ile iş birliği duyurusu sadece rakipler için bir imtiyaz değildir. Aslında, bu üç self servis iş zekası aracı artık endüstri standartları haline geldi ve görselleştirme alanında yeteneklerini göstermek isteyen diğer şirketler için daha da engeller yarattı.
Ayrıca tüm sektörü ticarileştirdiler. Tableau Public, Qlik Sense Cloud Basic ve Power BI Desktop (ve Power BI bulut hizmetlerinin ücretsiz katmanı) arasında, giriş düzeyinde analiz işlevlerini ücretsiz olarak deneyimleyebilirsiniz. Plotly gibi görselleştirme araçlarının eklenmesiyle D3 ekosistemini ve açık kaynağı deneyimleyebilirsiniz. Jeo-uzamsal / harita platformunda, analitik yeteneklerinizin zamanla sınırlı olmaktan parayla sınırlı olmaya değiştiğini göreceksiniz Daha iyi ürün özellikleri elde etmek için ödeme yapmanız gerekir.
Günümüzde, kullanıcılar iyi veri işleme yeteneklerini verdikleri için almışlardır. Derinden etkilenmiş olsalar da bundan memnun değiller.İyi ürünlerin belirgin rekabet avantajları olmayacak, ancak zayıf ürünler rekabet açısından dezavantajlı olmaya mahkumdur.
Veri yönetimi
Veri yönetişimi teknolojisi geçmiş dönemde hak ettiği ilgiyi görmemiş olsa da şimdi biraz saygı görmeye başladı. ABnin "Genel Veri Koruma Yönetmeliği" (GDPR) bir örnektir ve sonuç olarak, yeterli yönetişimin olmaması bu yıl etkili yönetişim araçlarına olan talepte çok önemli bir sorun noktasıdır.
Düzenlemelere uyum katalizör olsa bile, yönetişimin arkasında başka itici güçler vardır. Bunların en büyüğü, veri gölündeki veri kümelerini daha düzenli ve keşfedilmesini kolaylaştıran veri sınıflandırmasıdır. Veri keşif araçları, veritabanlarını ve veri göllerini görüntüleyerek veriler içindeki ve arasındaki ilişkiler ve veri akışları hakkında rapor oluşturmanıza yardımcı olabilir. Başka bir bakış açısıyla, bu araçlar veri gölünün kendisini yatırımında daha kullanışlı ve daha etkili hale getiriyor. Şirketler önceki yıllarda yatırımlarından daha iyi getiri elde etmeye çalışırken, veri sınıflandırma ve keşif araçları giderek daha popüler hale gelecek ve yönetişim teknolojilerinin gelişimini daha da teşvik edecek.
Bulut veri gölü = bulut veri kilidi
Bulut depolamaya dayalı veri göllerinin gelişme trendinden bahsettik. Ancak gerçek şu ki, bu rastgele görünen buluta gitmenin ilginç bir durumu değil Bu, büyük bulut sağlayıcılarının merkezi satış noktası ve satış stratejisidir.
Belirli bir bulut platformunda, ne kadar çok veri depolarsanız, veri hazırlama, analiz, tahmine dayalı modelleme ve model eğitimi (üst düzey GPU'larda) dahil ancak bunlarla sınırlı olmamak üzere bu platformda o kadar çok iş yaparsınız. Sanal makineyi hızlandırın). Bulut savaşı, veri depolama savaşıdır ve kazanan sizi bunun derinliklerine götürebilir.
Konteyner devrimi
Docker tabanlı konteyner teknolojisinin veri merkezi ve yazılım geliştirme alanındaki her şeyi değiştirdiğini herkes bilir. Bu değişikliğin etkisi çok büyük ve hafife alınmamalıdır.
Ama veri ve analiz dünyasında da benzer değişikliklerin olduğunu biliyor muydunuz? Söylemesi zor, çünkü bu geçiş açık olmasa da gerçek:
-
MapR, birleşik veri platformunu PACC (Persistent Application Client Container) aracılığıyla yeniden konumlandırdı
-
Bulut sağlayıcıları, düğümleri daha hızlı dağıtmak ve daha fazla kaynak paylaşımını teşvik etmek için kapsayıcı teknolojisini kullanır ve böylece geçici kümelerin daha dayanıklı görünmesini sağlar
-
Hadoop, kısa bir süre önce 3.0 sürümünü yayınladı ve yakında Docker konteynerlerinde YARN Explorer çalıştırmayı destekleyecek, böylece Hadoop iş kodlarının bağımlılıkları kümedeki her düğümde yüklü koda göre farklı olabilir.
-
Ürünleri diğer yazılımların temel sürümüne bağlı olan her yazılım satıcısının, kapsayıcıların kendileri ve müşterileri için sürüm çakışmalarını ortadan kaldırabileceğini giderek fark ettiği giderek daha açık hale geliyor.
Sonra bir karar verin
Başlıca eğilimleri belirlemek ve tahmin etmek çok ilginç. Sektörde meydana gelen spesifik ve göze çarpan değişiklikler, tedarikçiler ve müşteriler tarafından izlenen stratejiler, kendi gelişim planınızı oluşturmanıza yardımcı olabilir ve kararınız için bir temel sağlar: bu yıl ne yapacaksınız ve ne yapmayacaksınız. Ve makul bir şekilde beklediğiniz sonuç. Veri analizi gibi yenilikçi etkin noktalar için, planınızı sürekli olarak planlamanız ve büyük bahisler yapmanız gerekir, ancak aynı zamanda belirli önlemleri de almanız gerekir. Bu yedi trend analizinin bu iki noktaya ulaşmanıza yardımcı olabileceğini umuyor ve inanıyoruz.
Orijinal bağlantı:
Zhang Yuan , Bir bulut bilişim şirketinde hizmet mühendisi. Yağmurlu günler, sıradan kitaplar okumak, teknik hücrelerin eksikliği gibi, tavır ve bakış açısına sahip insanları takdir edin ve sevin, romantizmi sevin, ritüel duygusuna dikkat edin ve kayıt yapmayı sever. Son dileğim, kendi yuvama sahip olmak ve özlediğime bir mektup yazmak.
