Büyük veri nedir? Ekonomiyi ve toplumu etkiler mi? Daha yakından inceleyelim ve anlayalım
Dünya, giderek daha hızlı hale gelen hayal edilemeyecek miktarda dijital bilgi içeriyor ... İş dünyasından bilime, hükümetten sanata, bu etki her yerde. Bilim adamları ve bilgisayar mühendisleri bu fenomen için yeni bir terim icat ettiler: "büyük veri". Büyük veri çağı ne anlama geliyor? Büyük veri kavramı ne anlama geliyor? Büyük veri analizi ne anlama geliyor? Sözde büyük veri, büyük veri nedir, kaynağı nerede ve tanımı nedir?
Yazılım geliştirme ekibi, 2018'de kendim tarafından derlenen en son büyük veri gelişmiş materyallerinin ve gelişmiş geliştirme eğitimlerinin bir kopyası dahil olmak üzere zaman zaman kuru ürünleri paylaşacaktır (yalnızca büyük veri yazılım geliştirmeyle ilgili). İlerlemeye hoş geldiniz ve küçük Ortaklar katılır.
: Büyük verinin tanımı.
1. Büyük miktarda veri olarak da bilinen büyük veri, iş operasyonlarına yardımcı olmak için insan beyni veya hatta ana yazılım araçları tarafından makul bir sürede yakalanamayacak, yönetilemeyecek, işlenemeyecek ve düzenlenemeyecek kadar büyük miktarda veri anlamına gelir. Daha olumlu bir karar verme amacı için bilgiler.
2. Büyük veri teknolojisi, veri toplama, depolama, yönetim, analiz ve madencilik, görselleştirme ve diğer teknolojiler ve bunların entegrasyonu dahil olmak üzere çeşitli büyük veri türlerinden hızlı bir şekilde değerli bilgiler elde etme yeteneğini ifade eder. Büyük verilere uygulanabilen teknolojiler arasında büyük ölçüde paralel işleme (MPP) veritabanları, veri madenciliği ızgaraları, dağıtılmış dosya sistemleri, dağıtılmış veritabanları, bulut bilgi işlem platformları, İnternet ve ölçeklenebilir depolama sistemleri bulunur.
İnternet büyülü bir büyük ağdır ve büyük veri geliştirme de bir modeldir.Büyük veriyi gerçekten öğrenmek istiyorsanız buraya gelebilirsin.Bu eteğin ilk sayısı seksen beş, ortası bir-yedi ve sonuncusu seksen beş. Bunları sırayla birleştirerek bulabilirsin Söylemek istediğim, bu yönü yapmak ya da anlamak istemiyorsan, sadece eğlenceye katılırsan gelme.
3. Büyük veri uygulaması, değerli bilgiler elde etmek için büyük veri teknolojisini belirli bir büyük veri koleksiyonuna entegre etme ve uygulama davranışını ifade eder. Farklı alanlardaki farklı işletmeler, farklı şirketler veya hatta aynı alandaki farklı şirketlerin aynı işi için, iş gereksinimleri, veri toplama, analiz ve madencilik hedeflerindeki farklılıklar nedeniyle, kullanılan büyük veri teknolojisi ve büyük veri bilgi sistemi de oldukça benzer olabilir. Büyük fark. Büyük verinin değeri yalnızca "nesne, teknoloji ve uygulama" üçlüsünün eşzamanlı gelişimine bağlı kalarak tam olarak gerçekleştirilebilir.
Teknolojiniz sınırına ulaştığında, verinin sınırıdır. "Büyük verinin nasıl tanımlanacağı değil, en önemli şey nasıl kullanılacağıdır. En büyük zorluk, hangi teknolojilerin verileri daha iyi kullanabileceği ve büyük verinin nasıl kullanılacağıdır. Bu Geleneksel veritabanları ile karşılaştırıldığında, Hadoop gibi açık kaynaklı büyük veri analizi araçlarının yükselişi, bu yapılandırılmamış veri hizmetlerinin değeri nedir?
2: Büyük veri türleri ve değer madenciliği yöntemleri
1. Büyük veri türleri kabaca üç kategoriye ayrılabilir:
1) Geleneksel kurumsal veriler (Geleneksel kurumsal veriler): CRM sistemlerinin müşteri verilerini, geleneksel ERP verilerini, envanter verilerini ve muhasebe verilerini içerir.
2) Makine tarafından üretilen / sensör verileri: arama kayıtları (Arama Ayrıntıları Kayıtları), akıllı sayaçlar, endüstriyel ekipman sensörleri, ekipman günlükleri (genellikle Dijital egzoz), işlem verileri vb.
3) Sosyal veriler (Sosyal veriler): kullanıcı davranış kayıtları, geri bildirim verileri vb. Dahil. Twitter ve Facebook gibi sosyal medya platformları.
2. Büyük verinin ticari değerini araştırmanın dört ana yöntemi vardır:
1) Müşteri gruplarını alt bölümlere ayırın ve ardından her grup için özel hizmetleri özelleştirin.
2) Gerçek ortamı simüle edin, yeni talepleri keşfedin ve yatırım getirisi oranını artırın.
3) Departman bağlantılarını güçlendirin ve tüm yönetim zincirinin ve endüstriyel zincirin verimliliğini artırın.
4) Hizmet maliyetlerini azaltın ve ürün ve hizmet yeniliği için gizli ipuçlarını keşfedin.
Üç: büyük verinin özellikleri
Endüstri, büyük verinin özelliklerini özetlemek için genellikle 4 Vs (yani Hacim, Çeşitlilik, Değer, Hız) kullanır. Spesifik olarak, büyük verinin 4 temel özelliği vardır:
1. Veri hacmi çok büyük
Büyük veri hacimleri (hacimler), genellikle yaklaşık 10 TB boyutunda büyük veri kümelerini ifade eder, ancak pratik uygulamalarda birçok kurumsal kullanıcı, PB düzeyinde bir veri hacmi oluşturarak birden çok veri kümesini bir araya getirir; Baidu verileri, , Yeni ana sayfa navigasyonunun günde 1.5PB'den fazla veri sağlaması gerekiyor (1PB = 1024TB) Bu veriler yazdırılırsa, 500 milyar A4 kağıdı aşacaktır. Veriler, şu ana kadar insanlar tarafından üretilen tüm basılı materyallerin veri hacminin sadece 200 PB olduğunu doğruluyor.
2. Büyük ve çeşitli veri türleri
Veri kategorileri (çeşitlilik) büyüktür, veriler birden çok veri kaynağından gelir ve veri türleri ve biçimleri daha bol hale gelir. Yarı yapılandırılmış ve yapılandırılmamış veriler dahil olmak üzere önceden tanımlanmış yapılandırılmış veri kategorisini aşmıştır. Mevcut veri türleri yalnızca metin biçiminde değil, aynı zamanda resimler, videolar, sesler ve coğrafi konum bilgileri gibi birden çok veri türündedir.Kişiselleştirilmiş veriler mutlak çoğunluğu hesaba katar.
3. İşlem hızı hızlıdır
Çok büyük miktarda veri olması durumunda, gerçek zamanlı veri işleme de gerçekleştirilebilir. Veri işleme "1 saniye yasasını" izler ve yüksek değerli bilgiler çeşitli veri türlerinden hızlı bir şekilde elde edilebilir.
4. Yüksek değerli özgünlük ve düşük yoğunluk
Veri doğruluğu (Veracity) yüksektir.Sosyal veriler, kurumsal içerik, işlem ve uygulama verileri gibi yeni veri kaynaklarının ilgisiyle, geleneksel veri kaynaklarının sınırlamaları ortadan kalkar ve şirketler, özgünlüklerini sağlamak için etkin bilgi gücüne giderek daha fazla ihtiyaç duyar. Emniyet. Örnek olarak videoyu ele alalım: Kesintisiz izleme sürecinde bir saatlik video için, potansiyel olarak yararlı veriler yalnızca bir veya iki saniyedir.
Dört: Büyük verinin rolü
1. Büyük verilerin işlenmesi ve analizi, yeni nesil bilgi teknolojisi füzyon uygulamalarının düğümü haline geliyor
Mobil İnternet, Nesnelerin İnterneti, sosyal ağlar, dijital ev, e-ticaret vb. Yeni nesil bilgi teknolojisinin uygulama biçimleridir ve bu uygulamalar büyük veri üretmeye devam etmektedir. Bulut bilgi işlem, bu devasa ve çeşitli büyük veriler için depolama ve bilgi işlem platformları sağlar. Farklı kaynaklardan gelen verilerin yönetimi, işlenmesi, analizi ve optimizasyonu yoluyla sonuçlar, büyük ekonomik ve sosyal değer yaratacak olan yukarıdaki uygulamalara geri beslenecektir.
Büyük veri, sosyal değişimi teşvik edecek enerjiye sahiptir. Ancak bu enerjiyi serbest bırakmak, titiz bir veri yönetimi, içgörülü veri analizi ve yönetim yeniliğini teşvik eden bir ortam gerektirir (Carnegie Mellon Üniversitesi Heinz Okulu Dekanı Ramayya Krishnan).
2. Büyük veri, bilgi endüstrisinin sürekli hızlı büyümesi için yeni bir motordur
Büyük veri pazarı için yeni teknolojiler, yeni ürünler, yeni hizmetler ve yeni formatlar ortaya çıkmaya devam edecek. Donanım ve entegre ekipman alanında, büyük veri yonga ve depolama endüstrileri üzerinde önemli bir etkiye sahip olacak ve aynı zamanda entegre veri depolama işleme sunucuları ve bellek bilgi işlem pazarlarının oluşmasına neden olacaktır. Yazılım ve hizmetler alanında büyük veri, hızlı veri işleme ve analizi, veri madenciliği teknolojisi ve yazılım ürünlerinin gelişimini tetikleyecektir.
3. Büyük verilerin kullanımı, temel rekabet gücünün artırılmasında önemli bir faktör haline gelecektir. Hayatın her kesimindeki kararlar "iş odaklı" olacaktır.
"Veriye dayalı" dönüşümü yapın. Büyük verilerin analizi, perakendecilerin pazar dinamiklerini gerçek zamanlı olarak kavramasını ve hızlı yanıt vermesini sağlayabilir; tüccarlara daha doğru ve etkili pazarlama stratejileri formüle etmeleri için karar verme desteği sağlayabilir; şirketlerin tüketicilere daha zamanında ve kişiselleştirilmiş hizmetler sunmasına yardımcı olabilir; tıpta Kamu hizmetleri alanında, büyük veriler de ekonomik kalkınmanın teşvik edilmesinde ve sosyal istikrarın korunmasında önemli bir rol oynamaya başladı.
4. Büyük veri çağında bilimsel araştırma yöntemleri ve araçları büyük değişikliklere uğrayacak
Örneğin, örnekleme anketi sosyal bilimlerin temel araştırma yöntemidir. Büyük veri çağında, internetteki araştırma nesneleri tarafından üretilen büyük davranışsal verilerin gerçek zamanlı izlenmesi ve izlenmesi, madencilik ve analiz, düzenleri ortaya çıkarmak ve araştırma sonuçlarını ve karşı önlemleri ortaya koymak için gerçekleştirilebilir.
Beş: Büyük verinin iş değeri
1. Müşteri gruplarının segmentasyonu
"Büyük veri", müşteri gruplarını segmentlere ayırabilir ve ardından her bir gruba özel benzersiz eylemler gerçekleştirebilir. Pazarlama ve hizmetler için belirli müşteri gruplarını hedeflemek, işletmelerin peşinde koşmak olmuştur. Bulutta depolanan muazzam miktardaki veri ve "büyük verilerin" analiz teknolojisi, tüketicilerin gerçek zamanlı ve aşırı segmentasyonunun son derece düşük maliyetli olmasını mümkün kılar.
2. Gerçekliği simüle edin
Gerçekliği simüle etmek, yeni ihtiyaçları keşfetmek ve yatırım getirisini artırmak için "büyük verileri" kullanın. Giderek daha fazla ürün sensörlerle donatılmıştır ve otomobillerin ve akıllı telefonların popülaritesi toplanabilir verilerde büyük bir artışa neden olmuştur. Blog, Twitter, Facebook ve Weibo gibi sosyal ağlar da büyük miktarda veri üretiyor.
Bulut bilgi işlem ve "büyük veri" analiz teknolojisi, satıcıların bu verileri işlem davranışı verileriyle birlikte gerçek zamanlı olarak yüksek maliyet verimliliği ile depolamasını ve analiz etmesini sağlar. İşlem süreci, ürün kullanımı ve insan davranışı dijitalleştirilebilir. "Büyük veri" teknolojisi bu verileri veri madenciliği için entegre edebilir, böylece bazı durumlarda model simülasyonları, farklı değişkenler altında (farklı bölgelerdeki farklı promosyon programları gibi) hangi programın en yüksek yatırım getirisine sahip olduğunu belirlemek için kullanılabilir.
3. Yatırım getirisini artırın
"Büyük veri" sonuçlarının ilgili departmanlar arasında paylaşılma derecesini artırın ve tüm yönetim zinciri ve endüstriyel zincirin yatırım getirisini artırın. Güçlü "büyük veri" yeteneklerine sahip departmanlar, "büyük verilerin" sonuçlarını daha zayıf "büyük veri" yeteneklerine sahip departmanlarla bulut bilişim, İnternet ve dahili arama motorları aracılığıyla paylaşarak iş değeri yaratmak için "büyük verileri" kullanmalarına yardımcı olabilir.
4. Veri depolama alanı kiralama
İşletmeler ve bireyler büyük miktarlarda bilgiyi saklama ihtiyacına sahiptir, ancak verilerin uygun şekilde depolanması ile potansiyel değerinden daha fazla yararlanmak mümkün olabilir. Özellikle, bu iş modeli kişisel dosya depolama ve kurumsal kullanıcılar için iki kategoriye ayrılabilir. Temelde kullanımı kolay API'ler aracılığıyla, kullanıcılar çeşitli veri nesnelerini buluta kolayca yerleştirebilir ve ardından su ve elektrik gibi kullanıma göre ücretlendirebilir. Şu anda pek çok şirket, Beijing Kaiyun United, NetEase, Nokia ve benzeri gibi ilgili hizmetleri başlattı. Operatörler ayrıca China Mobile'ın Caiyun servisi gibi ilgili hizmetleri de başlattı.
5. Müşteri ilişkilerini yönetin
Müşteri yönetimi uygulamasının amacı, yeni müşterileri artırmak, müşteri sadakatini artırmak, müşteri kayıp oranını düşürmek ve müşterileri artırmak için müşterileri analiz etmek ve özelliklerine göre (doğal özellikler ve davranış özellikleri dahil) farklı açılardan müşterileri derinlemesine anlamaktır. Tüketim vb. Küçük ve orta ölçekli müşteriler için, özel CRM açıkça büyük ve pahalıdır. Birçok küçük ve orta ölçekli işletme, Fetion'u birincil CRM olarak kullanır. Örneğin, Fetion grubuna eski müşterileri eklemek, yeni ürün önizlemelerini yayınlamak, özel satış bildirimleri yayınlamak ve arkadaş çevresinde satış öncesi ve satış sonrası hizmetleri tamamlamak.
6. Kişiselleştirilmiş ve doğru öneri
Operatörler içinde, uygulama mağazası yazılım önerisi, IPTV video programı önerisi vb. Gibi kullanıcı tercihlerine dayalı olarak çeşitli hizmetler veya uygulamalar önermek yaygındır ve korelasyon algoritmaları, metin soyut çıkarma ve duyarlılık analizi gibi akıllı analiz algoritmalarından sonra bunlar olabilir Müşterilerin hassas pazarlama yapmalarına yardımcı olmak için veri madenciliği teknolojisini kullanan ticarileştirilmiş hizmetlere doğru genişleyen, gelecekteki kârlar, müşteri katma değerli parçaların paylaşımından gelebilir.
Örnek olarak günlük "istenmeyen mesajlar" ı ele alalım. Mesajların tümü "spam" değildir, çünkü alıcılar bunlara ihtiyaç duymaz ve spam olarak kabul edilir. Kullanıcı davranış verilerini analiz ettikten sonra, ihtiyaç duyan kişilere gerekli bilgileri gönderebilirsiniz, böylece "spam mesajlar" değerli bilgiler haline gelir. Japonya'daki McDonald's'ta, kullanıcılar cep telefonlarına kupon indiriyor ve ardından DoCoMo operatörünün mobil cüzdan indirimlerini ödemek için restoranlara gidiyor. Operatörler ve McDonald's, sıklıkla hangi hamburgerleri satın aldıkları, hangi mağazaları harcayacakları ve ne sıklıkla harcadıkları gibi ilgili tüketim bilgilerini toplar ve ardından kullanıcılara doğru bir şekilde kuponlar gönderir.
7. Veri arama
Veri arama yeni bir uygulama değil. "Büyük veri" çağının ortaya çıkmasıyla birlikte, gerçek zamanlı, tam ölçekli aramaya olan talep giderek güçlendi. Çeşitli sosyal ağları, kullanıcı davranışlarını ve diğer verileri arayabilmeliyiz. Ticari uygulama değeri, gerçek zamanlı veri işlemeyi analiz ve reklamla, yani gerçek zamanlı reklamcılık işi ve uygulama içi mobil reklamcılığın sosyal hizmetleriyle ilişkilendirmektir.
Operatörün sahip olduğu kullanıcıların çevrim içi davranışlarına ilişkin bilgiler, elde edilen verilerin "daha kapsamlı bir boyuta" sahip olmasını ve daha ticari değere sahip olmasını sağlar. Tipik uygulamalar China Mobile'ın "Pangu Araması" dır.
Altı: Büyük verinin ekonomi ve toplum üzerindeki önemli etkisi
1. Büyük ekonomik faydaların gerçekleştirilmesini teşvik edebilir
Örneğin, Çin'in perakende sektörünün net karının büyümesine katkıda bulunur ve imalat ürünü geliştirme ve montaj maliyetlerini düşürür. 2023 yılında küresel büyük verinin, bilgi teknolojisi harcamalarını doğrudan ve dolaylı olarak 120 milyar ABD dolarına çıkaracağı tahmin edilmektedir.
2. Sosyal yönetim düzeyini geliştirebilir ve geliştirebilir
Kamu hizmetleri alanında büyük verilerin uygulanması, ilgili işlerin gelişimini etkin bir şekilde teşvik edebilir, ilgili departmanların karar verme düzeyini, hizmet verimliliğini ve sosyal yönetim düzeyini iyileştirebilir ve büyük bir sosyal değer yaratabilir. Birçok Avrupa şehri, sürücüleri en iyi rotayı seçmeye yönlendirmek için gerçek zamanlı olarak toplanan trafik akış verilerini analiz eder ve böylece kentsel trafik koşullarını iyileştirir.
3. Yüksek performanslı analiz araçları olmadan, büyük verinin değeri açığa çıkmayacaktır.Büyük verinin uygulamasına ilişkin net bir anlayış sürdürülmelidir, ne analiz sonuçlarında batıl inançlar ne de eksik doğruluğu nedeniyle önemli rolünü reddetmemelidir.
1) Çeşitli nedenlerle, analiz edilen ve işlenen veri nesneleri, kaçınılmaz olarak çeşitli yanlış verileri ve yararsız verileri içerecektir.Ayrıca, büyük veri teknolojisinin çekirdeğini oluşturan veri analizi, yapay zeka ve diğer teknolojiler henüz tam olarak olgunlaşmamıştır, dolayısıyla bilgisayar Büyük veri analizi ve işlemenin sonuçları tamamen doğru olamaz. Örneğin Google, yüz milyonlarca kullanıcının aranan içeriğini analiz ederek grip salgınlarını profesyonel kuruluşlara göre daha hızlı tahmin edebilir, ancak Weibo'daki gereksiz bilgilerin karışması nedeniyle bu tahmin birçok kez hatalı olmuştur.
2) Büyük verinin rolü ve değerinin odak noktasının, büyük veri kullanıcılarının yenilikçi düşüncelerine rehberlik etmek ve ilham vermek ve karar vermeye yardımcı olmak olduğu açıkça yerleştirilmelidir. Basitçe ifade etmek gerekirse, eğer bir problemle başa çıkmak için, genellikle insanlar bir metot düşünebilir ve büyük veri on referans metodu sağlayabilir, bunlardan sadece üçü uygulanabilir olsa bile, problemi çözme düşüncesini üç kat genişletecektir.
Bu nedenle, büyük verinin rolünü abartmadan veya küçültmeden objektif olarak anlamak ve oynamak, büyük verinin doğru anlaşılması ve uygulanması için ön şarttır.
Yedi: Son olarak, Beijing Kaiyun United size bir özet verecek
Büyük verinin temel değerinin tahmin olup olmadığına bakılmaksızın, büyük veriye dayalı karar verme modeli birçok şirkete kâr ve itibar kazandırmıştır.
1. Büyük verinin değer zincirinin analizinden üç mod vardır:
1) Büyük veriyi tutmak, ancak onu iyi kullanmamak; daha tipik olanlar finans kurumları, telekomünikasyon endüstrileri, devlet kurumları vb.
2) Veri yok, ancak veriye sahip kişilerin onu kullanmasına nasıl yardımcı olacağınızı bilin; Accenture, IBM, Oracle, vb. Gibi daha tipik BT danışmanlığı ve hizmet şirketleri.
3) Hem veri hem de büyük veri düşüncesi vardır; daha tipik olanlar Google, Amazon, Mastercard vb.
2. Gelecekte büyük veri alanında en değerli şeyler iki şeydir:
1) Büyük veriye sahip insanlar, bu tür insanlar büyük verinin potansiyel değerini gerçek faydalara dönüştürebilir;
2) Büyük verinin dokunduğu iş alanı yok. Bunlar henüz kazılmamış petrol kuyuları ve altın madenleri, sözde mavi okyanus.
Büyük veri, bilgi teknolojisi ve profesyonel teknoloji, bilgi teknolojisi endüstrisi ve çeşitli endüstrilerin yakından entegre olduğu tipik bir alandır.Güçlü uygulama gereksinimlerine ve geniş uygulama olanaklarına sahiptir. Ortaya çıkan bu alanın getirdiği yeni fırsatları kavramak için, büyük veriyi sürekli takip etmek ve araştırmak, büyük verinin bilgi ve anlayışını sürekli iyileştirmek, teknolojik yenilik ve uygulama yeniliğinin sinerjisine bağlı kalmak, ekonomi ve toplumun çeşitli alanlarında büyük verinin gelişimini hızlandırmak gerekiyor. Ülkeler, endüstriler ve işletmeler için uygulama gereksinimlerini ve uygulama düzeyini yeni bir aşamaya taşımak için kullanım
