Koleksiyon Büyük veri uygulamaları ve çözümleri (tam sürüm) mp.weixin.qq.com
içindekiler
1. Büyük Veriye Genel Bakış
1.1. Genel Bakış
1.2. Büyük veri tanımı
1.3. Büyük Veri Teknolojisinin Geliştirilmesi
2. Büyük veri uygulaması
2.1. Büyük Veri Uygulamasının Açıklaması
2.2. Büyük veri uygulama mimarisi
2.3. Büyük veri endüstrisi uygulamaları
3. Büyük veri çözümleri
3.1. Büyük veri teknolojisi bileşimi
3.2. Büyük veri işleme süreci
3.3. Büyük veri işlemenin temel teknolojisi-Hadoop
3.4. Büyük veri işleme teknolojisinin gelişme beklentileri
4. Baz istasyonu büyük veri uygulamalarına ve vakalarına dayanır
4.1. Meteorolojik afet acil durum SMS yayın platformu
4.2. Turizm kaynak analizi
1
Büyük veriye genel bakış
Burada hala kendi kendime yaptığım büyük veri öğrenme alışverişi qq eteğini tavsiye etmek istiyorum: 957205962, etek hepsi büyük veri geliştirmeyi öğreniyor, eğer büyük veriyi öğreniyorsanız, editör sizi katılmaya davet ediyor, herkes bir yazılım geliştirme partisidir, 2018'de kendim tarafından derlenen en yeni büyük veri gelişmiş materyallerin ve gelişmiş geliştirme eğitimlerinin bir kopyası dahil olmak üzere kuru malları zaman zaman paylaşın (yalnızca büyük veri geliştirmeyle ilgili). Büyük verinin derinliklerine inmek isteyen gelişmiş ve küçük ortaklara hoş geldiniz.
1.1. Genel Bakış
Büyük veri, BT endüstrisindeki bir başka teknolojik değişimdir. Büyük veri dalgası yükseliyor ve bu da ulusal yönetişim, kurumsal karar alma ve kişisel yaşamlar üzerinde derin bir etkiye sahip. Bulut bilişim ve Nesnelerin İnternetinden sonra bilgi teknolojisi endüstrisinin başka bir alanı olacak. Büyük yenilik ve değişim. Önümüzdeki on yıl, "büyük verinin" başını çektiği bir akıllı teknoloji çağı olacak.Sosyal ağların kademeli olarak olgunlaşmasıyla birlikte mobil bant genişliği hızla artacak, bulut bilişim ve IoT uygulamaları daha bol hale gelecek ve daha fazla sensör cihazı ve mobil terminal birbirine bağlanacak. İnternete erişim, ortaya çıkan veriler ve büyüme oranı tarihteki herhangi bir dönemden çok daha hızlı olacaktır.
Veri teknolojisi gelişiminin geçmişi Şekil 1'de gösterilmektedir:
1.2. Büyük veri tanımı
"Büyük veri", birden fazla teknolojiyi kapsayan bir kavramdır, basitçe ifade etmek gerekirse, belirli bir süre içinde geleneksel yazılım araçlarıyla içeriği yakalanamayan, yönetilemeyen ve işlenemeyen bir veri koleksiyonunu ifade eder. IBM, "büyük veri" kavramını, Hacim, Çeşitlilik, Hız ve sonuçta ortaya çıkan değer olarak dört V olarak tanımlar. Şekil iki;
Büyük veri kavramını anlamak için önce "büyük" ile başlamalıyız. "Büyük", veri ölçeğini ifade eder. Büyük veri genellikle 10 TB üzerindeki veri miktarını ifade eder (1 TB = 1024 GB). Büyük veri, geçmişteki büyük verilerden farklıdır ve temel özellikleri 4 V (Hacim, Çeşitlilik, Değer ve Hız) yani büyük hacim, çeşitlilik, düşük değer yoğunluğu ve hızlı hız ile özetlenebilir.
Veri hacmi çok büyük. TB seviyesinden PB seviyesine.
Yukarıda bahsedilen web günlükleri, videolar, resimler, coğrafi konum bilgileri vb. Gibi birçok veri türü vardır.
Düşük değerli yoğunluk. Örnek olarak videoyu alın Sürekli izleme sırasında, faydalı olabilecek veriler yalnızca bir veya iki saniyedir.
Hızlı işlem hızı. 1 saniye kuralı. Bu son nokta, geleneksel veri madenciliği tekniklerinden de temelde farklıdır. Tüm dünyada Nesnelerin İnterneti, bulut bilişim, mobil İnternet, Araçların İnterneti, cep telefonları, tabletler, PC'ler ve çeşitli sensörler veri kaynakları veya veri taşıma yöntemleridir.
Büyük veri teknolojisi, çeşitli büyük miktarda veriden hızlı bir şekilde değerli bilgiler elde etmek için kullanılan teknolojiyi ifade eder. Büyük veri sorunlarını çözmenin özü büyük veri teknolojisidir. Şu anda bahsedilen "büyük veri" yalnızca verilerin kendi ölçeğini ifade etmekle kalmaz, aynı zamanda veri toplamak için kullanılan araçları, platformları ve veri analiz sistemlerini de içerir. Büyük veri araştırma ve geliştirmenin amacı, büyük veri teknolojisini geliştirmek ve ilgili alanlara uygulamak ve büyük veri işleme sorunlarını çözerek çığır açan gelişimini teşvik etmektir. Bu nedenle, büyük veri çağının getirdiği zorluk, yalnızca değerli bilgiler elde etmek için büyük miktarda verinin nasıl işleneceğine değil, aynı zamanda zamanın gelişiminin ön saflarını ele geçirmek için büyük veri teknolojisinin araştırma ve geliştirmesinin nasıl güçlendirileceğine de yansımaktadır.
1.3. Büyük Veri Teknolojisinin Geliştirilmesi
Büyük veri teknolojisi, çeşitli ultra büyük ölçekli verilerden çok ekonomik bir şekilde ve yüksek hızlı yakalama, keşif ve analiz teknolojisi ile değer elde etmek için kullanılan yeni nesil bir teknoloji ve mimariyi tanımlar ve gelecekte acil olarak hızlı veri büyümesine ihtiyaç vardır. Yeni tedavi teknikleri arayın. Şekil 3'te gösterildiği gibi:
"Büyük veri" çağında insanlar büyük bilgileri internet, sosyal ağlar ve Nesnelerin İnterneti aracılığıyla zamanında ve kapsamlı bir şekilde elde edebilirler. Aynı zamanda, mevcut bilgi biçiminin değişimi ve evrimi, bir bilgi taşıyıcısı olarak verilerin insanların hayal gücünün çok ötesinde bir hızla hızla genişlemesine neden oldu.
Bulut çağının gelişiyle birlikte, veri yaratmanın ana gövdesi kademeli olarak işletmelerden bireylere kaymıştır ve bireyler tarafından üretilen verilerin çoğu resimler, belgeler ve videolar gibi yapılandırılmamış verilerdir. Bilgi teknolojisinin yaygınlaşması, şirketlerin İnternet üzerinden daha fazla ofis süreci elde etmesini sağlamıştır ve sonuçta ortaya çıkan veriler temelde yapılandırılmamış verilerdir. 2012 yılına kadar yapılandırılmamış verilerin tüm İnternet veri hacminin% 75'inden fazlasına ulaşacağı tahmin edilmektedir. Bilgeliği çıkarmak için kullanılan "büyük veri" genellikle bu yapılandırılmamış verilerdir. Geleneksel veri ambarı sistemleri, iş zekası, bağlantı madenciliği ve diğer uygulamalar, veri işleme süresi için genellikle saatler veya günler gerektirir. Ancak "büyük veri" uygulamaları, veri işlemenin gerçek zamanlı doğasını vurgular. Çevrimiçi kişiselleştirilmiş öneri, stok işlem işleme ve gerçek zamanlı trafik bilgileri gibi veri işleme süresi dakikalar hatta saniyeler gerektirir.
Küresel bir teknoloji araştırma ve danışmanlık şirketi olan Gartner, "büyük veri" teknolojisini 2012'de birçok şirket ve kuruluş için stratejik öneme sahip ilk on teknolojiden ve trendlerden biri olarak listeledi. Bulut bilişim, yeni nesil analiz ve bellek gibi diğer alanlarda araştırma yaptı. Bilgi işlem ve benzeri "büyük veri" araştırmasının tamamlayıcısıdır. Gartner, ortaya çıkan teknoloji olgunluk eğrisinde "büyük veri" teknolojisini bir dönüşüm teknolojisi olarak görüyor, bu da "büyük veri" teknolojisinin önümüzdeki 3-5 yıl içinde ana akıma gireceği anlamına geliyor.
"Büyük verilerin" çeşitliliği, veri toplama kaynaklarının karmaşıklığını belirler: Akıllı sensörlerden sosyal ağ verilerine, sesli resimlerden çevrimiçi işlem verilerine kadar olasılıklar sonsuzdur. Doğru veri kaynağını seçmek ve çapraz analiz yapmak, şirket için en önemli faydaları yaratabilir. Veri kaynaklarının hızla artmasıyla, veri çeşitliliği "büyük veri" uygulamaları için acil bir sorun haline geldi. Örneğin, verilere gerçek zamanlı olarak ve çeşitli veritabanı yönetim sistemleri aracılığıyla güvenli bir şekilde nasıl erişileceği, mevcut depolama yatırımlarının kullanımını en üst düzeye çıkarmak için depolama stratejilerinin nasıl optimize edileceği, mevcut veri depolama teknolojilerinin nasıl değerlendirileceği ve veri depolama özelliklerinin nasıl iyileştirilip güçlendirileceği. Bir anlamda veri, bir işletmenin temel varlığı haline gelecektir.
"Büyük veri" yalnızca teknolojik bir değişiklik değil, aynı zamanda bir iş modeli değişikliği. "Büyük veri" kavramı öne sürülmeden önce, İnternet geleneksel şirketlere genel olarak yeni bir satış kanalı sağlasa da, ikisi paralel olarak gelişti ve çok az örtüşüyordu. İster Google'ın kullanıcıların kişisel bilgilerini analiz etmesi ve kullanıcı tercihlerine göre doğru reklamlar sunması, ister Facebook'un kullanıcıların çevrimdışı sosyal ilişkilerini yarı gerçek bir imparatorluk kurmak için çevrimiçi olarak taşıması olsun, bu iş ve tüketim modellerinin hala yapamayacağını görebiliriz. İnternet olmadan, geleneksel işletmeler hala İnternete aşılanamaz. Aynı zamanda, geleneksel işletmelerin geniş bir kullanıcı yelpazesinin gerçek ihtiyaçlarını geleneksel kullanıcı analizi araçlarıyla elde etmesi zordur.
Toplu üretimden kitlesel özelleştirmeye geçiş için işletmeler, kullanıcı ihtiyaçlarının özelliklerini kavramalıdır. İnternet çağında, bu talep özellikleri genellikle kullanıcıların kasıtsız davranışlarında ortaya çıkar. Cevap ancak bilgileri ilişkilendirme, referans, kümeleme ve sınıflandırma gibi yöntemlerle analiz ederek elde edilebilir.
"Büyük veri", İnternet ve geleneksel işletmeler arasında bir kesişim noktası oluşturur. İnternet şirketlerinin geleneksel şirketlerin tedarik zincirine entegrasyonunu destekler ve geleneksel şirketlere İnternet genlerini yerleştirmiştir. Geleneksel şirketler ile İnternet şirketlerinin birleşimi ve netizenlerin ve tüketicilerin entegrasyonu, kesinlikle tüketim, üretim ve yönetim modellerinde muazzam değişikliklere yol açacaktır.
Büyük veri, BT endüstrisinin yeni hakim zirveleri haline geliyor. İşletmeler ve kuruluşlar, büyük verilerin gelişimini teşvik ettiler. İlgili teknolojiler gelişiyor ve İnternet uygulamaları alanında ortaya çıktı. Spesifik durum aşağıdaki Şekil 4'te gösterilmektedir:
Büyük veri, büyük teknik ve iş fırsatları getirecek. Büyük veri analizi, madencilik ve kullanım, işletmelere büyük iş değeri getirecek. Uygulama verilerinin ölçeğindeki hızlı artışla, geleneksel bilgi işlem ciddi zorluklarla, büyük ölçekli veri işleme ve endüstri uygulamalarıyla karşı karşıya Talep artıyor ve giderek daha fazla sayıda büyük ölçekli veri işleme uygulaması var. Geleneksel sistemler, işleme için yeterli depolama ve bilgi işlem kaynağı sağlayamıyor. Bulut bilgi işlem teknolojisi en ideal çözümdür. Anket, şu anda BT uzmanlarının bulut bilişimdeki birçok önemli teknolojiden en çok endişe duyduklarını gösteriyor.Büyük veri paralel işlemenin evrensel ve hazır çözümleri yoktur. Uygulama endüstrisi için bulut bilişim platformu yazılımı ve sanallaştırma yazılımı Kendiniz geliştirmenize gerek yoktur, ancak sektördeki büyük ölçekli veri işleme uygulamaları için hazır ve evrensel bir yazılım yoktur. Birçok paralel algoritmayı, dizin sorgu optimizasyonu teknolojisi araştırmasını ve sistem tasarımı ve uygulamasını içeren özel uygulama gereksinimleri için özel olarak geliştirilmesi gerekir. Hepsi, büyük veri işleme teknolojisinin geliştirilmesi için büyük bir itici güç sağlar.
2
Büyük veri uygulaması
2.1. Büyük Veri Uygulamasının Açıklaması
Büyük veri ne yapabilir? Büyük veriyi pek çok yerde tartıştığımızda, sadece özetliyoruz ve üç şey yapıyoruz:
İlk olarak, bilginin anlaşılması. Her resim, her haber ve gönderdiğiniz her reklam bilgidir.Bu bilgileri anlamanız önemli bir büyük veri alanıdır.
İkincisi, kullanıcının anlayışı, her bir kişinin temel özellikleri, potansiyel özellikleriniz, her bir kullanıcının sörf alışkanlıkları vb. Bunlar kullanıcının anlayışıdır.
Üçüncüsü, ilişki. İlişki bizim özümüzdür, bilgi ile bilgi arasındaki ilişki, bir Weibo ile diğeri arasındaki ilişki ve bir reklam ile diğeri arasındaki ilişkidir. Bir Weibo ile bir video arasındaki ilişki, ona çıplak gözle baktığımızda nispeten basittir.
Örneğin, bir Weibo Kuzey Kore'nin son iki gün içinde gemimizi kaçırdığını ve Weibo'nun muhtemelen bundan bahsettiğini söylüyor. İnsan gözü bir bakışta anlayabilir. Ama bir makine bunun bir şey olduğunu ve aralarındaki nedensel ilişkiyi nasıl anlayabilir? Bu çok zor. Sonra kullanıcılar arasındaki ilişki var. Dinlemeye istekli olduğunuz, arkadaşlarınız, ilgi alanlarınız, müzik uzmanısınız, yemek yemesiniz, o kullanıcı da gurme, onu dinlemeye hazırsınız. Bu, kullanıcılar ve kullanıcılar arasındaki ilişkinin anlaşılmasıdır. Ayrıca, kullanıcılar ve bilgiler arasında, hangi tür Weibo ile ilgilendiğiniz, ne tür bilgilerle ilgilendiğiniz ve ticarileştirme söz konusu ise, ne tür reklamlar veya ürünlerle ilgilendiğiniz konusunda bir anlayış vardır. Aslında kullanıcı ile bilgi arasındaki ilişkidir ve bunu yapmaktan başka bir şey değildir.
Büyük veri çok fazla ama aslında üç şey yapıyor: kullanıcıları anlamak, bilgiyi anlamak ve ilişkileri anlamak. Bu üç şey arasında bir şeyden bahsetmemiz gerekirse, birine eğilim denir. O aynı zamanda ilişkinin bir çeşididir, ancak ilişki biraz daha uzakta, duyguların analizi ve hükümet departmanlarımız tarafından yapılan kamuoyunun izlenmesi. Büyük ölçekli verileri izleyebilir ve insanların hareketlerini analiz edebilir. Amerika Birleşik Devletleri'ndeki Hollywood'da, son iki yıl da gelecek filmlerin gişesini tahmin etmek için FACEBOOK ve TIWTTER verilerine dayanıyor. Kendisi de bir trend analizi ama biz bu trendi önceden getiriyoruz. Çekirdek bu üç şeydir.
2.2. Büyük veri uygulama mimarisi
2.3. Büyük veri endüstrisi uygulamaları
2.3.1. Tıp endüstrisi
1. Seton Healthcare, sağlık hizmeti içeriğini analiz etmek ve tahmin etmek için IBM'in en son Watson teknolojisini kullanan ilk müşteridir. Bu teknoloji, şirketlerin hastayla ilgili çok sayıda klinik tıbbi bilgi bulmasına ve büyük veri işleme yoluyla hasta bilgilerini daha iyi analiz etmesine olanak tanır.
2. Toronto, Kanada'daki bir hastanede prematüre bebekler için saniyede 3000'den fazla veri okuması yapılmaktadır. Bu veri analizi sayesinde hastane, hangi prematüre bebeklerin sorun yaşadığını önceden bilebilir ve prematüre bebeklerin ölmesini önlemek için hedeflenen önlemleri alabilir.
3. Daha fazla girişimcinin sosyal ağlar aracılığıyla veri toplayan sağlık uygulamaları gibi ürünler geliştirmesini kolaylaştırır. Belki önümüzdeki birkaç yıl içinde topladıkları veriler doktorun teşhisini daha doğru hale getirecektir.Örneğin, genel bir yetişkine günde üç kez bir tablet yerine, kanınızdaki ilacın metabolize edildiğini algıladığında size otomatik olarak hatırlatacaktır. İlacı tekrar al.
2.3.2. Enerji Endüstrisi
1. Akıllı şebeke şu anda Avrupa'da akıllı sayaç olarak adlandırılan uygulamaya konmuştur. Almanya'da güneş enerjisi kullanımını teşvik etmek için evde güneş enerjisi kurulacak, size elektrik satmanın yanı sıra fazla elektriğiniz olduğunda geri satın alabilirsiniz. Şebeke toplama yoluyla her beş veya on dakikada bir veri toplayın Toplanan veriler, müşterilerin elektrik tüketim alışkanlıklarını vb. Tahmin etmek için tüm şebekenin önümüzdeki 2-3 ay içinde ne kadar elektriğe ihtiyaç duyacağını tahmin etmek için kullanılabilir. Bu tahmin ile elektrik üretiminden veya elektrik tedarik şirketlerinden belli bir miktar elektrik satın alınabilir. Elektrik biraz vadeli işlemlere benzediği için önceden satın alırsanız daha ucuza, spot satın almak daha pahalı olacaktır. Bu tahmini geçtikten sonra, tedarik maliyetleri düşürülebilir.
2. Vestas rüzgar sistemi BigInsights yazılımına ve IBM süper bilgisayarlarına dayanır ve ardından rüzgar türbinlerini ve tüm rüzgar çiftliğini kurmak için en iyi yeri bulmak için hava durumu verilerini analiz eder. Büyük verileri kullanarak, birkaç hafta süren analiz çalışmaları artık bir saatten daha kısa sürede tamamlanabilir.
2.3.3. İletişim endüstrisi
1. XO Communications, IBM SPSS tahmine dayalı analiz yazılımını kullanarak müşteri kayıp oranını neredeyse yarı yarıya düşürdü. XO artık müşteri davranışını tahmin edebiliyor, davranışsal eğilimleri bulabiliyor ve hatalı bağlantıları belirleyebiliyor, böylece şirketlerin müşterileri elde tutmak için zamanında önlemler almasına yardımcı oluyor. Ayrıca, IBM'in yeni Netezza ağ analizi hızlandırıcısı, ölçeklenebilir platformun tek bir uçtan-uca ağ, hizmet ve müşteri analizi görünümü sağlayarak iletişim şirketlerinin daha bilimsel ve makul kararlar almasına yardımcı olacaktır.
2. Telekom operatörleri, on milyonlarca müşteri verisi üzerinden çeşitli kullanıcı davranışlarını ve trendlerini analiz edebilir ve bunları ihtiyaç sahibi şirketlere satabilir.Bu yeni bir veri ekonomisidir.
3. China Mobile, büyük veri analizi yoluyla, işletme tarafından işletilen tüm iş için hedefli izleme, erken uyarı ve izleme gerçekleştirir. Sistem, piyasa değişikliklerini ilk seferde otomatik olarak yakalar ve daha sonra piyasa durumunu en kısa sürede alabilmesi için en hızlı şekilde görevlendirilen kişiye iletir.
4. NTT docomo, müşterilere yakındaki restoranlar hakkında bilgi sağlamak için cep telefonunun konum bilgisini İnternetteki bilgilerle birleştirir ve son tren saatine yaklaşırken son tren bilgi hizmetini sağlar.
2.3.4. Perakende
1. "Müşterilerimizden biri, müşterilere yerel mağazalar, İnternet ve posta siparişi katalog işi aracılığıyla hizmet veren lider bir profesyonel moda perakendecisidir. Şirket, müşterilere farklılaştırılmış hizmetler sunmayı ve şirketin farklılaşmasını nasıl konumlandıracağını umuyor. Twitter ve Facebook'tan sosyal bilgiler toplayarak, kozmetiklerin pazarlama modelini daha derinlemesine anladılar.Sonra iki tür değerli müşterinin elde tutulması gerektiğini fark ettiler: yüksek tüketiciler ve yüksek nüfuz sahipleri. Ücretsiz makyaj hizmetlerini kabul ederek, Kullanıcının ağızdan ağza tanıtımı, işle ilgili zorluklara çözümler sağlayan işlem verileri ve etkileşimli verilerin mükemmel bir kombinasyonudur. "Informatica'nın teknolojisi, bu perakendecinin, müşteri ana verilerini zenginleştirmek ve iş hizmetlerini daha iyi hale getirmek için sosyal platformlardaki verileri kullanmasına yardımcı oldu. Hedeflenen.
2. Perakende şirketleri ayrıca müşterilerin mağazadaki hareketlerini ve ürünlerle etkileşimlerini izler. Bu verileri işlem kayıtlarıyla birleştirerek hangi ürünlerin satılacağı, bunların nasıl yerleştirileceği ve fiyatların ne zaman ayarlanacağı konusunda fikir vermek için analizler yaptılar. Bu yöntemler, önde gelen bir perakende şirketinin envanterini% 17 oranında azaltmasına yardımcı oldu. Aynı zamanda, pazar payı korunurken, yüksek marjlı özel markalı ürünlerin oranı artırılmıştır.
3
Burada hala kendi kendime yaptığım büyük veri öğrenme alışverişi qq eteğini tavsiye etmek istiyorum: 957205962, etek hepsi büyük veri geliştirmeyi öğreniyor, eğer büyük veriyi öğreniyorsanız, editör sizi katılmaya davet ediyor, herkes bir yazılım geliştirme partisidir, 2018'de kendim tarafından derlenen en yeni büyük veri gelişmiş materyallerin ve gelişmiş geliştirme eğitimlerinin bir kopyası dahil olmak üzere kuru malları zaman zaman paylaşın (yalnızca büyük veri geliştirmeyle ilgili). Büyük verinin derinliklerine inmek isteyen gelişmiş ve küçük ortaklara hoş geldiniz.
Büyük veri çözümü
3.1. Büyük veri teknolojisi bileşimi
Büyük veri teknolojisi, aşağıdakileri içeren dört teknolojiden oluşur:
3.1.1. Analiz teknikleri
Analiz teknolojisi, gerçek zamanlı cevaplar almak için büyük verilerin analiz edilmesi anlamına gelir.Büyük verinin özelliğinden dolayı, büyük veri analizi teknolojisi hala geliştirme aşamasındadır, eski teknoloji gün geçtikçe iyileştirilecek ve yeni teknoloji daha çok ortaya çıkacaktır. Büyük veri analizi teknolojisi aşağıdaki beş yönü kapsar
3.1.1.1. Görsel analiz
Veri görselleştirme, sıradan kullanıcılar veya veri analizi uzmanları için en temel işlevdir. Veri görselleştirme, verilerin kendi adına konuşmasına ve kullanıcıların sonuçları sezgisel olarak hissetmesine olanak tanır.
3.1.1.2. Veri madenciliği algoritması
Görselleştirme, makine dilinin insanlara çevrilmesidir ve veri madenciliği makinenin ana dilidir. Segmentasyon, kümeleme, aykırı değer analizi ve çeşitli algoritmalar, verileri ve dokunma değerini iyileştirmemize olanak tanır. Bu algoritmalar büyük veri hacmiyle başa çıkabilmeli ve aynı zamanda yüksek işlem hızına sahip olmalıdır.
3.1.1.3. Tahmine dayalı analiz yetenekleri
Veri madenciliği, analistlerin veri taşıyan bilgileri daha hızlı ve daha iyi sindirmesine ve anlamasına, böylelikle kararın doğruluğunu artırmasına olanak sağlarken tahmine dayalı analiz, analistlerin görüntü analizi ve veri madenciliği sonuçlarına dayalı ileriye dönük bazı kararlar vermesine olanak tanır.
3.1.1.4. Anlamsal Motor
Yapılandırılmamış verilerin çeşitlendirilmesi, veri analizine yeni zorluklar getiriyor. Verileri analiz etmek ve iyileştirmek için bir dizi araca ihtiyacımız var. Anlamsal motorun, verilerden aktif olarak bilgi çıkarabilmesi için yeterli yapay zeka ile tasarlanması gerekir.
3.1.1.5. Veri kalitesi ve veri yönetimi
Veri kalitesi ve yönetimi, en iyi yönetim uygulamalarıdır.Standartlaştırılmış süreçler ve makineler aracılığıyla veri işleme, önceden belirlenmiş bir kalite analizi sonucunun elde edilmesini sağlayabilir.
Büyük veri analizi teknolojisinin başlangıçta İnternet endüstrisinde ortaya çıktığını biliyoruz. Web arşivleri, kullanıcı tıklamaları, ürün bilgileri, kullanıcı ilişkileri ve diğer veriler, sürekli büyüyen devasa bir veri kümesi oluşturmuştur. Bu büyük veriler, kullanıcı deneyimini geliştirmek, hizmet kalitesini iyileştirmek ve yeni uygulamalar geliştirmek için kullanılabilecek pek çok bilgi içerir.Bu bilginin verimli ve doğru bir şekilde nasıl keşfedileceği temelde büyük İnternet şirketlerinin şiddetli rekabet ortamında konumunu belirler. Öncelikle, Google'ın başını çektiği teknoloji tabanlı internet şirketleri, toplu işlemleri büyük ölçekte eşzamanlı olarak işlemek için ucuz PC sunucu kümelerini kullanan MapReduce teknik çerçevesini önerdi.
Yapılandırılmamış verileri depolamak için dosya sistemini kullanarak, kapsamlı yedekleme ve felaket kurtarma stratejileri ile birlikte, önceki pahalı kurumsal mini bilgisayar kümesi + ticari veritabanı çözümü ile karşılaştırıldığında, bu uygun fiyatlı büyük veri çözümünün yalnızca performans kaybı değil, aynı zamanda Ölçeklenebilirlikte kazanan. Önceden, bir veri merkezi çözümü tasarlarken, çözümün uygulanmasından sonraki ölçeklenebilirliği göz önünde bulundurmamız gerekiyordu. Genel yöntem, gelecekte belirli bir süre için iş hacmini ve veri hacmini tahmin etmek ve zaman zaman ihtiyaç duyulması durumunda yedek bilgi işlem birimleri (CPU) ve depolama eklemektir.
Bu yöntem, doğrudan erken aşamada büyük bir tek seferlik yatırıma yol açar ve bu bile, bilgi işlem gereksinimleri ve depolama tasarım miktarını aştığında sistem performansını garanti edemez. Kapasitenin genişletilmesi gerektiğinde, sorunlar birbiri ardına gelecektir. Birincisi, ticari paralel veritabanları genellikle tüm düğümlerin fiziksel izomorfizmini, yani benzer hesaplama ve depolama yeteneklerini gerektirmesidir. Donanım güncellendikçe, genellikle eklediğimiz yeni donanım mevcut donanımdan daha güçlü olacaktır. Bu şekilde, eski donanım sistemin darboğazı haline gelir. Sistemin performansını sağlamak için eski donanımı kademeli olarak değiştirmemiz gerekiyor ve ekonomik maliyet çok büyük. İkincisi, mevcut en güçlü ticari paralel veri tabanı bile, yönetebildiği veri düğümleri sadece onlarca ya da yüzlerce sıradadır, bu esas olarak mimari tasarım problemlerinden kaynaklanmaktadır, bu yüzden ölçeklenebilirliği sınırlıdır. MapReduce + GFS çerçevesi yukarıdaki sorunlardan rahatsız değildir. Kapasitenin genişletilmesi gerekiyor Sadece bir kabin ekleyin, uygun bilgi işlem birimleri ve depolama ekleyin; küme sistemi, mevcut sistemin çalışmasını etkilemeden bu kaynakları otomatik olarak tahsis edecek ve planlayacaktır.
3.1.2. Veritabanını saklayın
Bellek İçi Veritabanları bilginin hızlı bir şekilde akmasına izin verir.Büyük veri analizi, çok sayıda kaydedilmiş veri akışını hızlı bir şekilde işlemek için genellikle depolama veritabanlarını kullanır. Örneğin, belirli bir ulusal zincir mağazanın belirli bir günde satış kayıtlarını analiz ederek, tüketicilere belirli kurallara göre zamanında ödül ve geri bildirim sağlamak için belirli özellikleri elde edebilir.
Bununla birlikte, geleneksel ilişkisel veritabanları, katı tasarım kuralları, güçlü tutarlılık sağlamak için performansın terk edilmesi ve zayıf ölçeklenebilirlik gibi büyük veri analizinde kademeli olarak ortaya çıkar. Bunu takiben, NoSQL veri depolama modeli popüler hale geldi. Bazılarının Sadece SQL Değil olarak anladığı NoSQL, belirli bir veri depolama modeli değildir, ilişkisel olmayan veritabanları sınıfı için genel bir terimdir. Özellikleri şunlardır: sabit veri tablosu modu yoktur ve yatay olarak dağıtılabilir ve ölçeklenebilir. NoSQL, tamamen ilişkisel veritabanlarına aykırı değil, eksikliklerinin bir tamamlayıcısı ve uzantısıdır. Tipik NoSQL veri depolama modelleri arasında belge depolama, anahtar-değer depolaması, grafik depolama, nesne veritabanı, sütun depolama vb. Yer alır.
NoSQL veritabanı, bulut platformu üzerine inşa edilmiş yeni bir veri işleme modelidir. NoSQL çoğu durumda bulut veritabanı olarak da adlandırılır. Veri işleme modu, çeşitli düşük maliyetli sunucularda ve depolama disklerinde tamamen dağıtıldığı için, web sayfalarının ve çeşitli etkileşimli uygulamaların işlemdeki büyük verileri hızla işlemesine yardımcı olabilir. Zynga, AOL, Cisco ve diğer şirketler için web uygulama desteği sağlar. Normal veritabanları, yapılandırılması ve etiketlenmesi gereken adlar ve hesap numaralarına benzer şekilde verileri kategorilere ayırmalı ve düzenlemelidir. Ancak NoSQL veritabanı bunlarla hiç ilgilenmez, çeşitli belge türlerini işleyebilir.
Aynı anda çok büyük veri taleplerini işlerken herhangi bir sorun yaşamaz. Örneğin bir Zynga oyununa aynı anda 10 milyon kişi giriş yaparsa, bu verileri dünyanın her yerindeki sunuculara dağıtır ve bunları veri işlemede kullanır.Sonuç aynı anda 10.000 kişiden farklı değildir. Günümüzde birçok farklı NoSQL modeli vardır. Couchbase, 10gen'in mongoDB'si ve Oracle'ın NoSQL'i gibi ticari modeller; CouchDB ve Cassandra gibi açık kaynaklı ve ücretsiz modeller ve Amazon'un en yeni NoSQL bulut hizmeti.
3.1.3. Dağıtılmış Hesaplama Teknolojisi
Dağıtık hesaplama, NoSQL ve gerçek zamanlı analiz teknolojisini birleştirir.Gerçek zamanlı analizi ve NoSQL veri işlevlerini aynı anda işlemek istiyorsanız, dağıtılmış hesaplama teknolojisine ihtiyacınız vardır. Dağıtılmış teknoloji, büyük miktarda veriyi gerçek zamanlı olarak analiz etmek için bir dizi teknolojiyi birleştirir. Daha da önemlisi kullandığı donanımın çok ucuz olması bu teknolojinin yaygınlaşmasını mümkün kılıyor. SGI'dan Sunny Sundstrom, bağlantılı veya organize görünmeyen verileri analiz ederek birçok değerli sonuç elde edebileceğimizi açıkladı. Örneğin, bazı yeni kalıplar veya yeni davranışlar ayrı ayrı keşfedilebilir. Dağıtılmış bilgi işlem teknolojisini kullanan bankalar, bazı tüketici davranışlarından ve modellerinden hileli çevrimiçi işlemleri belirleyebilir.
Dağıtık bilgi işlem teknolojisi imkansızı mümkün kılar ve dağıtılmış bilgi işlem teknolojisi imkansızı mümkün kılmanın yolunu açar. Skybox Imaging buna iyi bir örnektir. Şirket, belirli bir şehirde ne kadar park yeri olduğu veya belirli bir limanda şu anda kaç geminin bulunduğu gibi gerçek zamanlı sonuçlar elde etmek için uydu görüntülerini analiz ediyor. Bu gerçek zamanlı sonuçları ihtiyaç duyan müşterilere satarlar. Bu teknoloji olmadan, bu kadar büyük miktardaki uydu görüntü verilerini hızlı ve ucuz bir şekilde analiz etmek imkansız olurdu. Şekil 5'te gösterildiği gibi:
Dağıtılmış bilgi işlem teknolojisi, Google'ın çekirdeği ve Yahoo'nun temelidir. Şu anda, dağıtılmış bilgi işlem teknolojisi Google tarafından oluşturulan teknolojiye dayanmaktadır, ancak Yahoo tarafından yeni kurulmuştur. Google toplamda iki makale yayınladı. 2004 yılında yayınlanan MapReduce adlı makale birden çok bilgisayar arasında verilerin nasıl işleneceğini tanıttı; diğeri 2003 yılında, temelde birden çok sunucuda verilerin nasıl saklanacağıyla ilgili olarak yayınlandı. Yahoo'dan bir mühendis olan Doug Cutting, oğlunun oyuncak filinin adını taşıyan bu iki makaleyi okuduktan sonra dağıtılmış bir bilgisayar platformu kurdu. Şekil 6'da gösterildiği gibi
Hadoop, yoğun bir dağıtık işleme açık kaynak çerçevesi olarak, büyük veri işleme alanında bir fark yarattı.
3.2. Büyük veri işleme süreci
3.2.1. Edinme
Büyük veri toplama, istemciden (Web, Uygulama veya sensör formu vb.) Gönderilen verileri almak için birden fazla veritabanının kullanılması anlamına gelir ve kullanıcılar bu veritabanları aracılığıyla basit sorgular ve işleme görevleri gerçekleştirebilir. Örneğin, e-ticaret şirketleri, her işlem verisini depolamak için MySQL ve Oracle gibi geleneksel ilişkisel veritabanlarını kullanır.Ayrıca, Redis ve MongoDB gibi NoSQL veritabanları da veri toplama için yaygın olarak kullanılır.
Büyük veri toplama sürecinde, ana özelliği ve zorluk eşzamanlı kullanıcı sayısının yüksek olmasıdır, çünkü aynı anda hem erişip hem de çalışacak binlerce kullanıcı olabilir, örneğin tren bileti web siteleri ve Taobao ve eşzamanlı ziyaretleri Zirvede milyonlara ulaşır, bu nedenle onu desteklemek için çok sayıda veritabanının koleksiyon tarafında konuşlandırılması gerekir. Ve bu veritabanları arasında denge ve parçanın nasıl yükleneceği gerçekten derinlemesine düşünme ve tasarım gerektirir.
3.2.2. İçe aktarma / ön işleme
Toplama terminalinin kendisi birçok veritabanına sahip olsa da, bu büyük verileri etkin bir şekilde analiz etmek istiyorsanız, verileri yine de ön uçtan merkezi bir büyük ölçekli dağıtılmış veritabanına veya dağıtılmış depolama kümesine aktarmalısınız ve temel bilgileri içe aktarabilirsiniz. Bazı basit temizlik ve ön işlem çalışmaları yapın. Bazı işletmelerin gerçek zamanlı bilgi işlem ihtiyaçlarını karşılamak için içe aktarırken veriler üzerinde akış hesaplamaları yapmak için Twitter'dan Storm'u kullanan bazı kullanıcılar da vardır.
İçe aktarma ve ön işleme sürecinin özellikleri ve zorlukları temelde büyük miktarda içe aktarılan verilerdir ve saniyedeki içe aktarma hacmi genellikle yüzlerce megabayta ve hatta gigabayta ulaşır.
3.2.3. İstatistik / Analiz
İstatistikler ve analiz, en yaygın analiz gereksinimlerini karşılamak için içlerinde depolanan büyük verilerin genel analizini ve sınıflandırmasını gerçekleştirmek için ağırlıklı olarak dağıtılmış veritabanlarını veya dağıtılmış hesaplama kümelerini kullanır. Bu bağlamda, bazı gerçek zamanlı gereksinimler EMC'nin GreenPlum, Oracle's Exadata ve MySQL tabanlı sütunlu depolama Infobright'ı kullanılır ve bazı toplu işleme veya yarı yapılandırılmış veri ihtiyaçları Hadoop'u kullanabilir.
İstatistik ve analizin bu bölümünün ana özelliği ve zorluğu, analize dahil olan veri miktarının büyük olmasıdır ve bu, sistem kaynaklarını, özellikle de G / Ç'yi büyük ölçüde işgal eder.
3.2.4. Madencilik
Önceki istatistik ve analiz sürecinden farklı olarak, veri madenciliği genel olarak önceden belirlenmiş temalara sahip değildir.Genel olarak, öngörü (Predict) etkisine ulaşmak için mevcut veriler üzerinde çeşitli algoritmalara dayalı hesaplamalar gerçekleştirir, böylece bazı Üst düzey veri analizi ihtiyacı. Tipik algoritmalar arasında kümeleme için Kmeans, istatistiksel öğrenme için SVM ve sınıflandırma için NaiveBayes bulunur. Kullanılan ana araçlar Hadoop'un Mahout'udur. Bu sürecin özellikleri ve zorlukları, temel olarak madencilik için kullanılan algoritmanın çok karmaşık olması ve hesaplamada yer alan veri ve hesaplama miktarının büyük olması ve yaygın olarak kullanılan veri madenciliği algoritmalarının çoğunlukla tek iş parçacıklı olmasıdır.
Büyük veri işlemenin genel süreci, nispeten eksiksiz bir büyük veri işleme olarak kabul edilmesi için en azından bu dört adımı karşılamalıdır.
3.3. Büyük veri işlemenin temel teknolojisi-Hadoop
Büyük veri teknolojisi, donanım ve yazılımın birçok yönünü kapsar.Şu anda, çeşitli teknolojiler temelde nispeten bağımsız depolama, geliştirme, platform mimarisi ve veri analizi ve madenciliğinin her alanında bağımsız olarak mevcuttur. Bu bölüm esas olarak büyük veri işleme Hadoop'un çekirdek teknolojisini tanıtır ve analiz eder.
3.3.1. Hadoop'un Bileşimi
Büyük veri geleneksel veri türlerinden farklıdır ve yapılandırılmış verilerin yanı sıra metin ve multimedya gibi yapılandırılmamış veriler dahil olmak üzere TB veya hatta PB düzeyinde bilgilerden oluşabilir. Bu veri türlerinin tutarlı olmaması, standart depolama teknolojilerinin büyük verileri etkili bir şekilde depolayamamasına neden olur ve ayrıca büyük miktarda veriyi etkili bir şekilde depolamak ve işlemek için geleneksel sunucuları ve SAN yöntemlerini kullanmak bizim için zor. Bunlar, "büyük verilerin" farklı işleme yöntemleri gerektirdiğini ve Hadoop'un şu anda yaygın olarak kullanılan bir büyük veri işleme teknolojisi olduğunu belirlemiştir. Hadoop, Java tabanlı, dağıtılmış yoğun bir veri işleme ve veri analizi yazılımı çerçevesidir. Bu çerçeve, büyük ölçüde Google'ın 2004 tanıtım belgesinde açıklanan MapReduce teknolojisinden esinlenmiştir. Hadoop'un ana bileşenleri Şekil 7'yi içerir:
Hadoop Common: ortak modül,
Diğer Hadoop modüllerini destekleyin
Ha d o o p Di s t r i b u t e d Fi l eSystem (HDFS): yüksek trafikli uygulama veri erişimi sağlamak için dağıtılmış dosya sistemi
Hadoop YARN: iş planlamasını ve küme kaynak yönetimini destekleyen bir çerçeve
HadoopMapReduce: büyük veriler için esnek bir paralel veri işleme çerçevesi
Diğer ilgili modüller şunları içerir:
ZooKeeper: Son derece güvenilir dağıtılmış koordinasyon sistemi
Oozie: MapReduce iş planlamasından sorumludur
HBase: Yapılandırılmış verileri büyük tablolar olarak depolayabilen, ölçeklenebilir dağıtılmış veritabanı
Hive: MapRudece üzerinde oluşturulmuş bir veri ambarı yazılım paketi
Pig: Hadoop tabanlı gelişmiş veri işleme katmanı
Hadoop çerçevesinde, en düşük seviyeli HDFS, dosyaları Hadoop kümesindeki tüm depolama düğümlerinde depolar. HDFS mimarisi, bir dizi belirli düğüme dayanmaktadır (Şekil 8),
Burada hala kendi kendime yaptığım büyük veri öğrenme alışverişi qq eteğini tavsiye etmek istiyorum: 957205962, etek hepsi büyük veri geliştirmeyi öğreniyor, eğer büyük veriyi öğreniyorsanız, editör sizi katılmaya davet ediyor, herkes bir yazılım geliştirme partisidir, 2018'de kendim tarafından derlenen en yeni büyük veri gelişmiş materyallerin ve gelişmiş geliştirme eğitimlerinin bir kopyası dahil olmak üzere kuru malları zaman zaman paylaşın (yalnızca büyük veri geliştirmeyle ilgili). Büyük verinin derinliklerine inmek isteyen gelişmiş ve küçük ortaklara hoş geldiniz.
Bu düğümler bir NameNode ve çok sayıda DataNode içerir. HDFS'de depolanan dosyalar bloklara bölünür ve ardından bu bloklar birden çok bilgisayara (DataNodes) kopyalanır. Bu, geleneksel RAID mimarisinden çok farklıdır. Bloğun boyutu (genellikle 64MB) ve kopyalanan blokların sayısı, dosya oluşturulurken istemci tarafından belirlenir. NameNode tüm dosya işlemlerini kontrol edebilir. HDFS içindeki tüm iletişimler standart TCP / IP protokolüne dayanır. NameNode, HDFS içinde meta veri hizmetleri sağlar, dosya sistemi ad alanını yönetmekten ve harici istemcilerin erişimini kontrol etmekten sorumludur. Dosyayı DataNode üzerindeki çoğaltılmış bloğa eşleyip eşlemeyeceğine karar verir. DataNode'lar genellikle raflar halinde düzenlenir ve raflar tüm sistemleri bir anahtar aracılığıyla birbirine bağlar. H a d o p M a p R e d u c e, Google MapReduce'un açık kaynaklı bir uygulamasıdır. MapReduce teknolojisi basit bir paralel hesaplama modelidir.Sistem düzeyinde ölçeklenebilirlik ve hata toleransı sorunlarını çözer.Kullanıcı tarafından yazılan Harita işlevlerini ve Azaltma işlevlerini kabul ederek, ölçeklenebilir büyük ölçekli bir kümede otomatik olarak paralel olarak çalışır. Büyük ölçekli verileri işleyebilir ve analiz edebilir. Hadoop, çok sayıda arayüz ve soyut sınıf sağlar, böylece Hadoop uygulama geliştiricilerine hata ayıklama ve performans ölçümü için kullanılabilecek birçok araç sağlar. Ha d o p uygulama örneğinde, istemci adına tek bir ana sistemde Ma pRe d u c e'yi başlatan bir uygulamaya JobTracker denir. NameNode'a benzer şekilde, MapReduce uygulamalarını kontrol etmekten sorumlu, Ha d o p kümesindeki tek sistemdir. Başvuru gönderildikten sonra, HDFS'de bulunan giriş ve çıkış dizinleri sağlanacaktır. JobTracker, TaskTracker'a bağlı diğer görevlerin nasıl oluşturulacağını belirlemek için dosya blok bilgilerini (fiziksel miktar ve konum) kullanır. MapReduce uygulaması, girdi dosyası bloğunun göründüğü her düğüme kopyalanır ve belirli bir düğümdeki her dosya bloğu için benzersiz bir alt görev oluşturulur. Her TaskTracker, durum ve tamamlanma bilgilerini JobTracker'a bildirir. Şekil, Şekil 9'da gösterildiği gibi örnek bir kümede iş dağılımını göstermektedir:
3.3.2. Hadoop'un Avantajları:
Hadoop, kullanıcıların büyük verileri işleyen uygulamaları kolayca geliştirmelerine ve çalıştırmalarına olanak tanır. Aşağıdaki avantajlara sahiptir:
3.3.2.1. Yüksek güvenilirlik.
Hadoop'un verileri parça parça depolama ve işleme yeteneği güvenilirdir.
3.3.2.2. Yüksek ölçeklenebilirlik.
Hadoop, verileri dağıtır ve mevcut bilgisayar kümeleri arasında bilgi işlem görevlerini tamamlar. Bu kümeler kolayca binlerce düğüme genişletilebilir.
3.3.2.3. Yüksek verimlilik.
Hadoop, verileri düğümler arasında dinamik olarak taşıyabilir ve her düğümün dinamik dengesini sağlayabilir, böylece işlem hızı çok yüksektir.
3.3.2.4 Yüksek hata toleransı.
Hadoop, verilerin birden çok kopyasını otomatik olarak kaydedebilir ve başarısız görevleri otomatik olarak yeniden dağıtabilir. Hadoop, Java dilinde yazılmış bir çerçeveyle birlikte gelir, bu nedenle bir Linux üretim platformunda çalıştırmak idealdir. Hadoop üzerindeki uygulamalar, C ++ gibi başka dillerde de yazılabilir.
3.3.3. Hadoop'un Eksiklikleri
Büyük verileri işlemek için bir yazılım çerçevesi olan Hadoop, birçok ticari şirket tarafından tercih edilir, ancak kendi teknik özellikleri de büyük veri sorununu tamamen çözemeyeceğini belirler. Mevcut Hadoop tasarımında, tüm meta veri işlemleri, bir performans darboğazı olabilecek merkezi bir Ad Düğümü aracılığıyla gerçekleştirilmelidir. Hadoop'un tek NameNode ve tek Jobtracker'ın mevcut tasarımı, tüm Hadoop'un ölçeklenebilirliğini ve güvenilirliğini ciddi şekilde kısıtlıyor. İlk olarak, NameNode ve JobTracker, tüm sistemdeki bariz tek nokta arıza kaynaklarıdır. Üçüncüsü, tek bir NameNode'un bellek kapasitesi sınırlıdır, bu da bir Hadoop kümesindeki düğüm sayısını yaklaşık 2000 ile sınırlar ve desteklenebilen dosya sistemi boyutu 10-50 PB ile sınırlıdır ve desteklenebilecek maksimum dosya sayısı yaklaşık 150 milyondur. Aslında, bazı kullanıcılar kümelerinin NameNode'unu yeniden başlatmanın birkaç saat sürdüğünden şikayet ettiler, bu da sistemin kullanılabilirliğini büyük ölçüde azaltır. Hadoop yaygın olarak kullanıldığından ve çeşitli ihtiyaçlarla karşı karşıya kaldığından, insanlar Hadoop'un tamamen okunabilir ve yazılabilir bir dosya sistemi, Anlık Görüntü, Yansıtma vb. Gibi daha fazla özellik sağlamasını bekler. Bunlar, Hadoop'un mevcut sürümü tarafından desteklenmiyor, ancak kullanıcıların güçlü talepleri var.
3.3.4. Başlıca ticari "büyük veri" işleme çözümleri
"Büyük veri", teknoloji şirketleri tarafından bulut bilişimden sonra bir başka büyük iş fırsatı olarak görülüyor. IBM, Google, Amazon ve Microsoft gibi çok sayıda tanınmış şirket bu pazara giriyor. Buna ek olarak, birçok start-up da büyük veri altına hücumuna katılmaya başladı. Hadoop, yapılandırılmamış veritabanlarının bir temsilcisidir.Düşük maliyet, yüksek ölçeklenebilirlik ve esneklik gibi avantajları, onu büyük veri işleme ve analizi için çeşitli iş hizmeti çözümleri için ilk tercih haline getirir. Oracle, IBM ve Microsoft'un üç büyük ticari veri sağlayıcısı, Hadoop'un ana destekçileridir. Birçok tanınmış şirket, Hadoop teknolojisine dayalı kendi ticari büyük veri çözümlerini sağlar. Bu bölüm esas olarak Hadoop'a dayalı tipik ticari büyük veri çözümlerini tanıtır.
3.3.2.5. IBM InfoSphere Büyük Veri Analizi Platformu
I B M tarafından Mayıs 2011'de başlatılan InfoSphere büyük veri analizi platformu, kurumsal düzeyde bir büyük veri analizi ürünüdür. Ürün, birbirini tamamlayan BigInsight ve Akışları içerir.Hadoop'u temel alan BigInsights, büyük ölçekli statik verileri analiz eder. Veri işleme yeteneklerini iyileştirmek için herhangi bir zamanda düğüm ekleyebilen çok düğümlü dağıtılmış bilgi işlem sağlar. St reams, gerçek zamanlı verileri analiz etmek için bellek hesaplamasını kullanır. Hadoop MapReduce dahil olmak üzere açık kaynak teknolojilerini IBM sistemleriyle yakından bütünleştirir
Burada hala kendi kendime yaptığım büyük veri öğrenme alışverişi qq eteğini tavsiye etmek istiyorum: 957205962, etek hepsi büyük veri geliştirmeyi öğreniyor, eğer büyük veriyi öğreniyorsanız, editör sizi katılmaya davet ediyor, herkes bir yazılım geliştirme partisidir, 2018'de kendim tarafından derlenen en son büyük veri gelişmiş materyallerinin ve gelişmiş geliştirme eğitimlerinin bir kopyası dahil olmak üzere kuru malları zaman zaman paylaşın (yalnızca büyük veri geliştirmeyle ilgili). Büyük verinin derinliklerine inmek isteyen gelişmiş ve küçük iş ortaklarına hoş geldiniz.
