g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Büyük veri ile ilgili büyük veri geliştirme ve teknolojiler

Günümüzde İnternet teknolojisinin hızla gelişmesiyle birlikte birçok arkadaş büyük veri geliştirme nedir, büyük veri ile ilgili teknolojiler nelerdir gibi sorular soruyor. Bugün bunun hakkında konuşalım. Büyük veriyle ilgili büyük veri geliştirme ve teknolojiden bahsedelim.

Her şeyden önce, büyük veri, belirli bir zaman çerçevesi içinde geleneksel yazılım araçlarıyla yakalanamayan, yönetilemeyen ve işlenemeyen bir veri koleksiyonunu ifade eder.Daha güçlü karar verme, içgörü ve keşif ve süreç optimizasyonu yeteneklerine sahip olmak için yeni bir işleme modeli gerektirir. Muazzam, yüksek büyüme oranı ve çeşitlendirilmiş bilgi varlıkları.

Peki büyük veriyle ilgili teknolojiler nelerdir?

1. Bulut teknolojisi

Büyük veri kümelerinin gerçek zamanlı analizi, işi onlarca, yüzlerce ve hatta on binlerce bilgisayara dağıtmak için dağıtılmış bir işleme çerçevesi gerektirdiğinden, büyük veri genellikle bulut bilişimle ilişkilendirilir. Büyük verinin elektrik olduğu, bulut bilişimin sanayi devriminin lokomotifi olduğu söylenebilir.

Bulut bilişim fikrinin kökeni 1960'larda McCarthy tarafından ortaya atıldı: bilgi işlem gücü kullanıcılara su ve elektrik gibi bir hizmet olarak sağlandı.

Günümüzde, Google, Amazon ve Facebook gibi bir dizi İnternet şirketinin önderliğinde etkili bir model ortaya çıkmıştır: bulut bilişim bir altyapı platformu sağlar ve bu platformda çalışan büyük veri uygulamaları.

Endüstri, ikisi arasındaki ilişkiyi şu şekilde açıklıyor: Büyük verinin bilgi birikimi olmadan, bulut bilişimin bilgi işlem gücü ne kadar güçlü olursa olsun, onu kullanacak bir yer bulmak zordur; bulut bilişimin işleme yeteneği olmadan, büyük verinin bilgi birikimi ne kadar zengin olursa olsun, sonunda olacaktır. Bu çok güzel.

Peki, büyük verilerin hangi bulut bilişim teknolojilerine ihtiyacı var?

Sanallaştırma teknolojisi, dağıtılmış işleme teknolojisi, büyük veri depolama ve yönetim teknolojisi, NoSQL, gerçek zamanlı veri akışı işleme, akıllı analiz teknolojisi (benzer örüntü tanıma ve doğal dil anlama), vb.

Bulut bilişim ve büyük veri arasındaki ilişki aşağıdaki şekil ile gösterilebilir: İkisinin kombinasyonu aşağıdaki etkileri üretecektir: Bulut bilişim teknolojisinin sürekli gelişimi yoluyla, büyük iş verilerine dayalı daha yenilikçi hizmetler sağlanabilir Büyük veri hizmetlerinin inovasyon maliyetini azaltın.

Bulut bilişim ile büyük veriyi karşılaştırırsanız, en belirgin ayrım iki yöndedir:

Birincisi, ikisi kavramsal olarak farklı: Bulut bilgi işlem BT'yi değiştirirken, büyük veri işleri değiştirdi. Ancak, büyük verilerin sorunsuz çalışması için altyapı olarak buluta sahip olması gerekir.

İkincisi, büyük veri ve bulut bilişimin hedef kitleleri farklıdır Bulut bilişim, CIO'ların ve diğerlerinin ilgilendiği teknik katmandır ve gelişmiş bir BT çözümüdür. Ve büyük veri, CEO'nun dikkat ettiği iş katmanının ürünüdür ve büyük verinin karar vericisi de iş katmanıdır.

2. Dağıtılmış işleme teknolojisi

Dağıtılmış işleme sistemi, farklı konumlarda veya farklı işlevlerde veya farklı verilerle birden çok bilgisayarı bir iletişim ağına bağlayabilir.Kontrol sisteminin birleşik yönetimi ve kontrolü altında, bilgi işleme görevleri koordineli bir şekilde tamamlanabilir - bu, dağıtılmış işlem sistemidir Tanım.

Örnek olarak Hadoop'u (Yahoo) ele alalım. Hadoop, MapReduce modelini uygulayan ve büyük miktarda veriyi dağıtılmış işlemeyi gerçekleştirebilen bir yazılım çerçevesidir. Güvenilir, verimli ve ölçeklenebilir bir şekilde işlenir.

MapReduce, Google tarafından önerilen temel bir bulut bilişim modelidir. Dağıtılmış bir bilgi işlem teknolojisi ve basitleştirilmiş bir dağıtılmış programlama modelidir. MapReduce modelinin ana fikri, otomatik olarak yürütülecek sorunları (programlar gibi) parçalarına ayırmaktır. Haritaya bölünebilir (haritalama) ve azaltılabilir (basitleştirme) Veriler bölündükten sonra, Harita fonksiyonunun programı aracılığıyla veriler farklı bloklara eşlenir ve dağıtılmış işlemin etkisini elde etmek için bilgisayar kümesine dağıtılır. Program, geliştiricinin ihtiyaç duyduğu sonuçları çıkarmak için sonuçları bir araya getirir.

Hadoop'un özelliklerine bir göz atalım. İlk olarak, güvenilirdir çünkü hesaplama öğelerinin ve depolamanın başarısız olacağını varsayar, bu nedenle başarısız düğümler için işlemi yeniden dağıtabilmesini sağlamak için çalışma verilerinin birden çok kopyasını tutar. İkincisi, Hadoop etkilidir çünkü paralel olarak çalışır ve paralel işleme yoluyla işlemeyi hızlandırır. Hadoop ayrıca ölçeklenebilir ve petabaytlarca veriyi işleyebilir. Ek olarak, Hadoop topluluk sunucularına güvenir, bu nedenle maliyeti nispeten düşüktür ve herkes kullanabilir.

Hadoop'un bileşimini de bu şekilde anlayabilirsiniz, Hadoop = HDFS (dosya sistemi, veri depolama teknolojisi ile ilgili) + HBase (veritabanı) + MapReduce (veri işleme) + ... Diğerleri

Hadoop'ta kullanılan teknolojilerden bazıları şunlardır:

HDFS: Hadoop Dağıtılmış Dosya Sistemi-HDFS (Hadoop Dağıtılmış Dosya Sistemi)

MapReduce: Paralel Hesaplama Çerçevesi

HBase: Google BigTable'a benzer dağıtılmış NoSQL sütun veritabanı.

Hive: Facebook tarafından sağlanan veri ambarı aracı.

Zookeeper: Facebook'un katkıda bulunduğu Google Chubby'ye benzer işlevler sağlayan dağıtılmış bir kilit tesisi.

Avro: Yeni veri serileştirme formatı ve aktarım aracı, kademeli olarak Hadoop'un orijinal IPC mekanizmasının yerini alacak.

Pig: Kullanıcılara çoklu arayüzler sağlayan büyük veri analizi platformu.

Ambari: Kümeleri hızla izleyebilen, dağıtabilen ve yönetebilen Hadoop yönetim aracı.

Sqoop: Hadoop ve geleneksel veritabanları arasında veri aktarmak için kullanılır.

Pratik bir örnek vermek gerekirse, bu örnek biraz eski olmasına rağmen, Taobao'nun devasa veri teknolojisi mimarisi, büyük verinin işleyişini ve işleme mekanizmasını anlamamıza hala yardımcı oluyor:

Yukarıdaki şekilde gösterildiği gibi, Taobao'nun devasa veri ürünü teknik mimarisi, yukarıdan aşağıya beş seviyeye ayrılmıştır: veri kaynağı, bilgi işlem katmanı, depolama katmanı, sorgu katmanı ve ürün katmanı.

Veri kaynağı katmanı. Taobao mağazalarının işlem verilerini saklayın. Veri kaynağı katmanında üretilen veriler, aşağıdaki 2. maddede açıklanan "bulut merdivenine", DataX, DbSync ve Timetunel aracılığıyla yarı gerçek zamanlı olarak iletilir.

tigo eski

Hesaplama katmanı. Taobao, bu bilgi işlem katmanında bir Hadoop kümesi kullanıyor Şimdilik Cloud Ladder dediğimiz bu küme, bilgi işlem katmanının ana bileşenidir. Bulut merdiveninde, sistem her gün veri ürünleri üzerinde farklı MapReduce hesaplamaları gerçekleştirir.

Depolama katmanı. Bu seviyede, Taobao iki şey kullanır, biri MyFox ve diğeri Balo. MyFox, MySQL tabanlı dağıtılmış ilişkisel bir veritabanı kümesidir ve Prom, Hadoop Hbase teknolojisine dayalı bir NoSQL depolama kümesidir.

Sorgu katmanı. Bu katmanda Glider, HTTP protokolü aracılığıyla dinlendirici bir arayüz sağlar. Veri ürünü, istediği verileri benzersiz bir URL aracılığıyla alır. Aynı zamanda veri sorgusu MyFox üzerinden yapılır.

Son katman ürün katmanıdır, bu nedenle bunu açıklamaya gerek yoktur.

3. Depolama teknolojisi

Büyük veri soyut olarak büyük veri depolama ve büyük veri analizi olarak ikiye ayrılabilir.İkisi arasındaki ilişki: büyük veri depolamanın amacı büyük veri analizini desteklemektir. Şimdiye kadar, tamamen farklı iki bilgisayar teknolojisi alanı var: büyük veri depolama, PB veya EB'ye genişletilebilen veri depolama platformlarının geliştirilmesine adanmıştır; büyük veri analizi, çok sayıda farklı veri kümesini en kısa sürede işlemeye odaklanır.

Depolama söz konusu olduğunda, herkesin işittiği, iyi bilinen bir Moore Yasası vardır: entegre devrelerin karmaşıklığı 18 ayda iki katına çıkar. Bu nedenle, bellek maliyeti her 18-24 ayda bir yarı yarıya düşer. Düşen maliyet, büyük verilerin depolanabilirliğini de yarattı.

Örneğin, Google 500.000'den fazla sunucuyu ve 1 milyon sabit diski yönetiyor ve Google hala bilgi işlem ve depolama yeteneklerini genişletiyor.Bu genişletmelerin çoğu ucuz sunuculara ve sıradan depolama sabit disklerine dayanıyor. Bu, hizmet maliyetini büyük ölçüde düşürür, böylece teknoloji araştırma ve geliştirmeye daha fazla fon yatırılabilir.

Örnek olarak Amazon'u ele alalım: Amazon S3, İnternet odaklı bir depolama hizmetidir. Hizmet, geliştiricilerin ağ ölçeği hesaplamalarını daha kolay gerçekleştirmesine olanak verecek şekilde tasarlanmıştır. Amazon S3, kullanıcıların web üzerindeki herhangi bir konumda herhangi bir boyuttaki verileri depolayabileceği ve alabileceği basit bir web hizmeti arabirimi sağlar. Bu hizmet, tüm geliştiricilerin aynı yüksek ölçeklenebilirlik, güvenilirlik, güvenlik, hızlı ve ucuz altyapıya erişmesine olanak tanır ve Amazon bunu küresel web sitesi ağını çalıştırmak için kullanır. S3'ün tasarım göstergelerine bakalım: belirli bir yılda% 99,999999999 dayanıklılık ve% 99,99 kullanılabilirliğe sahip veri öğeleri sağlayın ve her iki tesiste aynı anda veri kaybına dayanabilir.

S3 çok başarılı ve gerçekten verimli.S3 bulutun depolama nesneleri trilyon düzeyine ulaştı ve performansı oldukça iyi. S3 bulut, trilyonlarca bölgeler arası depolama nesnesine sahiptir ve AWS'nin nesne yürütme istekleri en yüksek sayı olan bir milyona ulaştı. Şu anda yüz binlerce kuruluş, günlük işlerinin tamamını veya bir kısmını AWS aracılığıyla yürütüyor. Bu kurumsal kullanıcılar 190'dan fazla ülkede ve Amazon kullanıcıları dünyanın hemen her köşesinde bulunuyor.

4. Algılama teknolojisi

Büyük verilerin toplanması, algılama teknolojisinin gelişimi ile yakından ilgilidir. Algılayıcı teknolojisine, parmak izi tanıma teknolojisine, RFID teknolojisine, koordinat konumlandırma teknolojisine vb. Dayalı algılama yeteneklerinin iyileştirilmesi, Nesnelerin İnternetinin gelişiminin de temel taşıdır. Tüm dünyada endüstriyel ekipmanlarda, otomobillerde ve elektrik sayaçlarında sayısız dijital sensör bulunmakta ve havadaki konum, hareket, titreşim, sıcaklık, nem ve hatta kimyasal maddelerdeki değişiklikleri herhangi bir zamanda ölçüp iletmekte ve büyük miktarda veri üretilmektedir.

Akıllı telefonların yaygınlaşmasıyla birlikte algı teknolojisinin gelişimin zirve dönemini başlattığı söylenebilir.Coğrafi konum bilgilerinin yaygınlaşmasının yanı sıra evdeki en son "iPhone 5S" gibi bazı yeni algılama yöntemleri de sahnede görünmeye başladı. Parmak izi sensörü anahtarda yerleşiktir. Yeni cep telefonu ekshalasyon yoluyla yakılan yağ miktarını doğrudan algılayabilir. Cep telefonları için koku sensörü, hava kirliliğinden tehlikeli kimyasallara kadar kimyasalları izlemek için kullanılabilir. Microsoft, kullanıcının mevcut ruh halini algılayabilen bir akıllı telefon teknolojisi geliştiriyor. Google Glass InSight'ın yeni teknolojisi, insanları giyim yoluyla tanıyabilir.

tigo eski

Buna ek olarak, algıyla ilgili bizi ferahlatan birçok teknolojik yenilik var: örneğin, diş sensörleri oral aktiviteyi ve diyeti gerçek zamanlı olarak izliyor, giyilebilir bebek cihazları bebekleri büyütmek için büyük verileri kullanabilir ve Intel, göz küresi okumalarını izlemek için bir 3D dizüstü kamera geliştiriyor. Duyguları anlayan Japon şirketleri, kullanıcıların kalp atışlarını izleyebilen yeni tekstil malzemeleri geliştiriyor ve endüstri, biyometrik teknolojiyi ödeme alanına sokmaya çalışıyor.

Aslında bu algıların yavaş yavaş yakalandığı süreç, dünyanın sayısallaştırıldığı süreçtir.Dünya tamamen dijitalleştikten sonra, dünyanın özü bilgidir.

Ünlü bir sözün dediği gibi, "İnsanlık uygarlığı sürdürürdü, ama şimdi bu bilgi.

Büyük veri geliştirme ve yüksek maaş [ücretsiz erişim] için eksiksiz bir gerekli kaynak seti

Oracle'ın kıdemli teknik direktörü, büyük veri geliştirmeye tam olarak yardımcı olmak için yıllarca dikkatli bir şekilde eksiksiz bir kurs sistemi oluşturdu [büyük veri ve yapay zeka geliştirme için görülmesi gereken bir şey] Sıfır temel + giriş + iyileştirme + proje = yüksek maaş !