Büyük veri nereden geliyor?
Modern iş piyasası veri odaklı bir ortamdır.Teknoloji ne kadar güncellenirse güncellensin verinin yeri doldurulamaz bir konuma sahip olduğu ve verisiz büyük veri hizmetlerinden bahsetmenin saçma olduğu ve veri desteği olmayan bir büyük veri platformunun boş bir kabuk olduğu söylenebilir. Şirket içi veriler veya harici veriler, büyük veri platformumuzun veri kaynağını oluşturabilir.Büyük veri platformu verilerinin kaynağı temel olarak veritabanları, günlükler, ön uç gömme noktaları ve tarayıcılardan gelir.
01 Veritabanından içe aktar
Büyük veri teknolojisi popüler hale gelmeden önce, ilişkisel veritabanı (RDMS) veri analizi ve işlemenin ana yoluydu. Geliştirilmesinden bu yana veritabanı teknolojisi oldukça mükemmeldi.Büyük veri ortaya çıktığında endüstri, veritabanı veri işleme yöntemlerinin büyük verilere uygulanıp uygulanamayacağını düşünüyordu, bu nedenle Hive ve Spark SQL gibi büyük veri SQL ürünleri doğdu.
Hive büyük veri ürünlerinin ortaya çıkmasına rağmen, iş verileri üretim sürecinde hala RDMS'de saklanmaktadır.Bunun nedeni, ürünlerin kullanıcı işlemlerine gerçek zamanlı olarak yanıt vermesi ve milisaniyeler içinde okuma ve yazma işlemlerini tamamlaması gerektiğidir.Büyük veri ürünleri bu duruma yanıt vermemektedir. . Bu noktada bir sorunuz olabilir, iş veritabanını büyük veri platformuna nasıl senkronize edersiniz? Genel olarak, verileri veri ambarına çıkarmak için gerçek zamanlı ve çevrimdışı iş verileri koleksiyonunu kullanırız. Daha sonra veri işleme ve analizi gerçekleştirin Bazı yaygın veritabanı içe aktarma araçları arasında Sqoop, Datax ve Canal bulunur.
Yeni başlayanların çoğu büyük veri kavramı konusunda muğlaktır.Büyük veri nedir, neler yapılabilir, öğrenirken hangi yol izlenmeli ve öğrendikten sonra nerede geliştirilmeli, daha fazlasını öğrenmek, öğrenmek istiyor Öğrenciler büyük veri öğrenme kesinti grubuna katılmaya davetlidir: 740041381, sizinle paylaşacak çok sayıda kuru ürün (sıfır tabanlı ve gelişmiş klasik gerçek savaş) ve size mevcut yerel en iyileri paylaşmak için ücretsiz dersler vermek için Tsinghua Üniversitesi'nden mezun olan kıdemli bir büyük veri öğretim görevlisi Büyük veri üst düzey pratik pratik öğrenme süreci sistemini tamamlayın.
Sqoop, Hadoop ve ilişkisel veritabanları arasında çevrimdışı verileri aktarmak için bir Apache aracıdır. Hadoop kümesinin Hdfs, Hbase ve Hive ile ilişkisel veritabanları (MySQL, Postgres, vb.) Arasında veri senkronizasyonunu gerçekleştirin.Geleneksel ilişkisel veritabanları ile Hadoop'u birbirine bağlayan bir köprüdür. Sqoop'a benzer şekilde, atax ayrıca çevrimdışı veri iletimini gerçekleştirir ve Alibaba veritabanı serisinin veri senkronizasyonunu destekler.
Canal, gerçek zamanlı veri müdahalesi sağlamak için MySql'in BinLog günlüğünü okuyarak verileri gerçek zamanlı olarak büyük veri platformuna aktarır.
Daha fazlasını öğrenmek istiyorsanız, "Veri senkronizasyonu hakkında konuşma" adlı önceki makaleyi okuyabilirsiniz.
02 günlük içe aktarma
Günlük sistemi, sistem operasyonumuzun her durum bilgisini kelimeler veya günlükler halinde kaydeder.Bu bilgiler, sanal dünyadaki iş veya ekipman davranışının izleri olarak anlaşılabilir ve önemli iş göstergelerini ve ekipman çalışma durumunu günlüğe kaydedebilir. Bilgi analiz edilir.
Apache Flume, büyük veri günlük toplama için yaygın olarak kullanılan bir araçtır. En küçük bağımsız operasyon birimi Ajan ile Flume operasyonunun çekirdeğinin Ajan olduğu şekilden görülebilir. Aracı esas olarak üç bileşenden oluşur: Kaynak, Kanal ve Alıcı.
Kaynak: Verileri toplayın, verileri bir olay olarak kapsülleyin ve Kanala gönderin.Veri kaynağı kurumsal sunucu, dosya sistemi, bulut, veri havuzu vb. Olabilir.
Kanal: Genelde okuma hızı yazma hızından daha hızlıdır. Bu nedenle, okuma ve yazma hızlarındaki farkı eşleştirmek için bazı tamponlara ihtiyacımız var. Temel olarak Kanal, Kaynak tarafından gönderilen olayları depolamak, olayları sıralamak ve Sink'e göndermek için kullanılan bir mesaj kuyruğu işlevi sağlar.
Sink: Kanaldan veri toplayın ve HDFS, Hive, Hbase vb. Gibi büyük veri depolama cihazlarına gönderin. Sink ayrıca yeni bir Kaynak giriş kaynağı olarak kullanılabilir.İhtiyaçlara göre çeşitli işleme yapıları geliştirmek için iki Aracı kademeli olarak kullanılabilir.
03 Ön uç gömülü nokta
Neden gömmem gerekiyor? Günümüzün İnternet şirketleri, sadece PV ve UV'yi saymak yerine dönüştürme, ekleme ve elde tutmaya gittikçe daha fazla önem veriyor. Bu analiz veri kaynakları gömme noktaları aracılığıyla elde edilir Ön uç gömme noktaları üç türe ayrılır: manuel gömme noktaları, görsel gömme noktaları ve otomatik gömme noktaları.
Manuel gömme:
Ön uç, verilerin döndürüldüğü yazılı gömme SDK'sının işlevini çağırmalı ve belirtime göre parametreleri Http aracılığıyla alt sunucuya iletmelidir. Bu yöntem detaya inebilir ve verileri doğru bir şekilde toplayabilir, ancak mühendislik miktarı çok fazladır.
Otomatik gömme noktası:
Gömülü olmayan nokta olarak da adlandırılır, yani noktayı gömmeye, gömülü noktayı tüm pozisyonlarda ayarlamaya ve kullanıcının tüm işlemlerini toplamaya gerek yoktur.Bu yöntem, verileri birleşik SDK üzerinden döndürür ve ardından analiz için gerekli verileri seçer. Sunucunun baskısı birçok gereksiz veriyi toplar ve kaynakları israf eder. Uygulamada, tüm gömülü noktaları toplamak için bazı kullanıcılar veya bazı basit işlem sayfaları kullanılabilir.
Görselleştirilmiş gömülü nokta:
Manuel gömme ile otomatik gömme arasında bir yoldur Görsel etkileşim yoluyla gömme noktalarının belirlenmesi, insan müdahalesinin otomatik bir gömme şekli olarak anlaşılabilir.
Puan gömme yöntemi nasıl seçilir? Bir düğme için, görsel gömme veya otomatik gömme kullanıyorsanız, kullanıcı düğmeyi tıkladığında kolayca toplayabilirsiniz.Bir siparişin ürün detayları gibi elde edilmesi için çalıştırılması gereken verileri toplamak imkansızdır.Bu durumda, kılavuzu kullanmalısınız. Gömülü nokta işleme ve toplama. Bu bakımdan gömme sorunu tek bir teknik çözümle çözülmemeli, farklı senaryolarda farklı gömme çözümleri seçmemiz gerekiyor.
04 Sürüngen
Şimdiye kadar, tarayıcı verileri şirket için önemli bir stratejik kaynak haline geldi.Ekran verilerini elde ederek ve bunları kendi verileriyle karşılaştırarak yöneticiler daha iyi kararlar alabilirler. Ve tarayıcıların rakiplerden veri alması ne kadar zor olursa, şirket için o kadar değerli olur.
özet
Veri toplama kendi başına bir amaç değildir, yalnızca mevcut, kullanılabilir ve nihai uygulama analizine hizmet edebilecek veri toplama esastır. Veri toplamanın doğruluğu, bu veri analizi raporunun yararlı olup olmadığını belirler. Yalnızca veri toplama bilimsel, nesnel ve titizlikle mantıklı olduğunda, bu tür veri analizine dayalı sonuçlar pratik değer ve öneme sahiptir.
Yeni başlayanların çoğu büyük veri kavramı konusunda muğlaktır.Büyük veri nedir, neler yapılabilir, öğrenirken hangi yol izlenmeli ve öğrendikten sonra nerede geliştirilmeli, daha fazla anlamak istiyor, öğrenmek istiyor Öğrenciler büyük veri öğrenme kesinti grubuna katılmaya davetlidir: 740041381, sizinle paylaşacak çok sayıda kuru ürün (sıfır tabanlı ve gelişmiş klasik gerçek savaş) ve size mevcut yerel en iyileri paylaşmak için ücretsiz dersler vermek için Tsinghua Üniversitesi'nden mezun olan kıdemli bir büyük veri öğretim görevlisi Eksiksiz büyük veri üst düzey pratik ve pratik öğrenme süreci sistemi.
