g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Büyük veri nedir? Bilgi özeti

Büyük veri nedir

Büyük veri, belirli bir süre içinde geleneksel yazılım araçlarıyla içeriği yakalanamayan, yönetilemeyen ve işlenemeyen bir veri koleksiyonunu ifade eder. Büyük veri teknolojisi, çeşitli veri türlerinden hızlı bir şekilde değerli bilgiler elde etme yeteneğini ifade eder. Büyük verilere uygulanabilen teknolojiler arasında büyük ölçüde paralel işleme (MPP) veritabanları, veri madenciliği ızgaraları, dağıtılmış dosya sistemleri, dağıtılmış veritabanları, bulut bilgi işlem platformları, İnternet ve ölçeklenebilir depolama sistemleri bulunur.

Büyük verinin özellikleri

Spesifik olarak, büyük verinin 4 temel özelliği vardır:

Biri, çok büyük miktarda veri. Baidu'nun verilerine göre, yeni ana sayfa navigasyonunun günde 1,5 PB'den fazla veri sağlaması gerekiyor (1PB = 1024TB) Bu veriler yazdırılırsa, 500 milyar A4 kağıdı aşacak. Veriler, şimdiye kadar insanlar tarafından üretilen tüm basılı materyallerin veri hacminin sadece 200 PB olduğunu doğruluyor.

İkincisi, çeşitli veri türleridir. Mevcut veri türleri yalnızca metin biçiminde değil, aynı zamanda resimler, videolar, sesler ve coğrafi konum bilgileri gibi birden çok veri türündedir.Kişiselleştirilmiş veriler mutlak çoğunluğu oluşturur.

Üçüncüsü, hızlı işlem hızıdır. Veri işleme "1 saniye yasasını" takip eder ve yüksek değerli bilgiler çeşitli veri türlerinden hızlı bir şekilde elde edilebilir.

Dördüncü olarak, değer yoğunluğu düşüktür. Örnek olarak videoyu ele alalım: Kesintisiz izleme sürecinde bir saatlik video için, potansiyel olarak yararlı veriler yalnızca bir veya iki saniyedir.

1 Veri bilimi hakkında konuşun

Veri Bilimi Büyük verinin yükselişinden bu yana, bu kavram veri alanında da sıcak bir tartışma konusu haline geldi.Geçen yıldan bu yana, "veri bilimcisi" bir iş pozisyonu haline geldi ve çeşitli işe alım bilgilerinde yer aldı. Peki veri bilimi tam olarak nedir? Büyük veri ile veri bilimi arasındaki ilişki nedir? Veri biliminde büyük veri nasıl bir rol oynar? Bu makale esas olarak popüler bilimde bir rol oynamayı amaçlamaktadır, böylece veri çalışması yapmak üzere olan veya bu işle uğraşan arkadaşların veri bilimi çalışmalarına dair kapsamlı bir anlayışa sahip olmaları ve ayrıca büyük veri alanına girmek için fikirleri olan arkadaşların, gerçekten büyük veri çalışmasına başlamadan önce sektörün durumu hakkında bir anlayışa sahip olmalarını sağlar. Bilinen. Veri bilimi karışık bir disiplinler arasıdır (aşağıdaki şekilde gösterildiği gibi). Tamamen bir veri bilimcisi olabilmek için, matematik ile Bilgisayar bilgisi Ve belli Uzmanlık alanında bilgi . Yapılan iş veri etrafında dönüyor.Veri miktarı patladıktan sonra, büyük veri veri biliminin bir dalı olarak kabul ediliyor.

2 Büyük veri hakkında konuşmak

Büyük veri Aslında, uzun yıllardır ortalıkta, ancak her yerde bulunan sensörler ve her yerde bulunan veri gömme noktaları ile veri elde etmek daha kolay, daha büyük ve daha çeşitli hale geldi, bu nedenle orijinal geleneksel Veri alanı, artan miktarda veriyi işleyebilen ve kullanabilen yeni bir platforma geçmeyi düşünmelidir. Daha fazla ayrıntı için aşağıdaki iki noktayı kullanın:

Dr. Wu Jun tarafından ortaya atılan bir nokta: Mevcut endüstri + yeni teknoloji = yeni endüstri, büyük veri de bu prensibe uygundur, ancak ortaya çıkan şey sadece yeni bir endüstri değil, tam bir endüstriyel zincirdir: orijinal veri alanı + yeni Büyük veri teknolojisi = büyük veri endüstrisi zinciri;

Veri kullanımının kapsamı, orijinal veri uygulaması esas olarak mevcut verilerdeki verilerden numune almak ve daha sonra tahmin veya karar verme için verilerdeki potansiyel kuralları keşfetmek için veri madenciliği ve analizi yapmaktır.Ancak, örnekleme her zaman verilerin bir kısmını atacaktır. Yani, bazı potansiyel kurallar ve değerler kaybedilecektir.Veri ve içerik miktarı birikmeye devam ettikçe, işletmeler veri uygulamalarında tam veri miktarına gittikçe daha fazla dikkat ederek, neyin düşünülebileceğini veya düşünülemeyeceğini keşfetmek için mümkün olduğunca tüm olası kuralları kapsamaktadır. değeri.

Aşağıdaki şekilde gösterildiği gibi, büyük veri alanı aşağıdaki ana yönlere ayrılabilir:

1 Veri platformu

Veri Platformu, istikrarlı ve güvenli bir büyük veri platformu oluşturun ve sürdürün, talep üzerine büyük veri mimarisi tasarlayın, büyük veri teknolojisi ürünlerini ve çözümlerini araştırın ve seçin, dağıtımı uygulayın ve çevrimiçi olun. Büyük veri alanında yer alan teknolojilerin çoğu için, bazı bölümleri anlamak ve yetkin olmak gerekir.Dağıtık sistemlerin tek arka planı.

2 Veri toplama

Web / Sensor / RDBMS'den ve diğer kanallardan veri alan Veri Toplama, açık kaynak dağıtılmış bir veri toplama bileşeni olan Apache Nutch ve tanınmış Python tarayıcı çerçevesi ScraPy gibi büyük veri platformları için veri kaynakları sağlar.

3 Veri Ambarı

Veri Ambarı, geleneksel veri ambarının çalışma içeriğine biraz benzer: veri ambarı hiyerarşik yapısını, ETL'yi ve veri modellemeyi tasarlama, ancak farklı platformlara dayanır.Büyük veri çağında, veri ambarları çoğunlukla Hive gibi büyük veri teknolojisine dayalı olarak uygulanır. Hadoop tabanlı veri ambarı.

4 Veri işleme

Veri İşleme, belirli özel gereksinimlerde işleme veya veri temizlemeyi tamamlamak için küçük bir ekipte veri ambarında birleştirilir.Geçmişte, ETL bazı filtre öğelerini araçlarla doğrudan yapılandırmak ve işlemek için kullanılabilir ve kod kısmı daha az olacaktır. Günümüzde, büyük veri platformunda veri işleme, daha çeşitli işlemler yapmak için daha fazla kod yöntemi kullanabilir ve gerekli teknolojiler Hive, Hadoop, Spark vb. BTW, veri işlemeyi küçümsemeyin.Sonraki veri analizi ve veri madenciliği, veri işlemenin kalitesine dayanır.Veri işlemenin tüm süreçte özellikle önemli bir konuma sahip olduğu söylenebilir.

5 Veri analizi

Veri analizi yapmak için istatistiksel analiz yöntemlerine dayanan Veri Analizi: regresyon analizi, varyans analizi vb. Hadoop'ta Ad-Hoc etkileşimli analiz ve SQL gibi büyük veri analizi teknolojileri, Hive, Impala, Presto, Spark SQL ve OLAP: Kylin'i destekleyen teknolojileri içerir.

6 Veri madenciliği

Veri Madenciliği nispeten geniş bir kavramdır ve büyük miktarda veriden faydalı bilgiler bulmak olarak doğrudan anlaşılabilir. Büyük veride veri madenciliği, temel olarak büyük veri platformlarında veri madenciliği algoritmaları tasarlamak ve uygulamaktır: sınıflandırma algoritmaları, kümeleme algoritmaları, ilişkilendirme analizi vb.

7 makine öğrenimi

Makine Öğrenimi ve veri madenciliği genellikle birlikte tartışılır ve hatta aynı şey olarak kabul edilir. Makine öğrenimi, bilgisayar ve istatistiğin disiplinler arası bir konusudur. Temel amaç, bir x- > Y'nin işlevi (eşleme) sınıflandırma veya regresyon için kullanılır. Genellikle veri madenciliği ile birleştirilmesinin nedeni, birçok veri madenciliği çalışmasının, platformdaki çeşitli satın alımları bazı makine öğrenimi algoritmaları aracılığıyla analiz eden kişiselleştirilmiş öneri gibi makine öğrenimi tarafından sağlanan algoritma araçlarıyla gerçekleştirilmesidir. Ve koleksiyon günlüğü, beğendiğiniz ürünleri tahmin etmek için bir öneri modeli alın.

8 derin öğrenme

Derin Öğrenme, makine öğreniminde bir konudur (çok popüler bir konu ).Derin öğrenmenin içeriğinden, sinir ağı algoritmalarının bir türevidir ve görüntülerin, konuşmanın, doğal dilin vb. Sınıflandırılması ve tanınmasında çok iyi sonuçlar elde etmiştir. Etkisi, işin çoğu Ayarlama . Mevcut Google çevirisinin öncekinden çok daha doğru olduğunu bulup bulmadığınızı bilmiyorum, çünkü geçen yılın sonunda Google, Google çevirisinin özünü orijinal istatistiksel yöntemden sinir ağı tabanlı yönteme değiştirdi ~ Yani ~

9 Veri görselleştirme

Veri Görselleştirme, analiz ve madencilikten sonra yüksek değerli verileri patronlar, müşteriler ve kullanıcılar önünde daha güzel ve esnek bir şekilde gösterir, daha ön uç şeylerdir.Belki biraz estetik bilgi gereklidir. Kullanıcı tercihlerini birleştirerek verinin değerini en uygun şekilde sunun.

10 Veri uygulaması

Veri Uygulaması, doğru reklam, kişiselleştirilmiş öneri, kullanıcı portreleri vb. Gibi yukarıdakilerin her birinden türetilebilen uygulamalar.

Büyük veri geliştirme ve yüksek maaşlar için eksiksiz bir gerekli kaynak seti [ücretsiz erişim]

Oracle'ın kıdemli teknik direktörü, büyük verilerin geliştirilmesine tam olarak yardımcı olmak için uzun yıllar boyunca eksiksiz bir müfredat sistemi [büyük veri ve yapay zeka geliştirme için görülmesi gereken bir] oluşturdu Sıfır temel + giriş + iyileştirme + proje = yüksek maaş !