Büyük veri sistemi öğrenme yolu (tam bir büyük veri öğrenme öğreticileri ve PDF e-kitapları seti ile)
Büyük veri öğrenme yolu
Önsöz: Büyük veri nedir? Yapay zeka nedir?
İlk aşama: Linux sistemi
İkinci aşama: büyük web sitelerinin yüksek eşzamanlı olarak işlenmesi
Üçüncü aşama: Hadoop Dağıtılmış Dosya Sistemi: HDFS
Dördüncü aşama: Hadoop dağıtılmış bilgi işlem çerçevesi: Mapreduce
Beşinci aşama: Hadoop çevrimdışı sistemi: Kovan
Altıncı aşama: Hadoop çevrimdışı bilgi işlem sistemi: Hbase
Yedinci aşama: Hayvan bekçisi gelişimi
Sekizinci aşama: elasticsearch dağıtılmış arama
Aşama 9: CDH küme yönetimi
Onuncu aşama: Storm gerçek zamanlı veri işleme
On birinci aşama: Redis önbellek veritabanı
On ikinci aşama: Spark çekirdek bölümü: Spark Core
13. Aşama: Makine Öğrenimi
On Dördüncü Aşama: Makine Öğrenimi: Öneri Sistemi Projesi
Aşama 15: Mülakat ve başarılı iş aramanın sırları
On altıncı aşama: girişten sonra CTO'ya hızlı büyüme
İlk aşama linux + arama + hadoop sistemi Linux temelleri kabuk programlama Yüksek eşzamanlı mimari lucene, solr araması hadoop sistemi HDFS Harita indirgeme hbase hayvanat bahçesi görevlisi kovan kanal sqoop Project battle one Makine öğreniminin ikinci aşaması R dili Mahout Proje savaşı iki Fırtına akışı hesaplamasının üçüncü aşaması kafka fırtına Redis Proje savaşı üç Dördüncü aşama kıvılcım bellek hesaplaması scala programlama kıvılcım çekirdeği kıvılcım sql kıvılcım akışı kıvılcım mllib spark graphx Proje savaşı dört python makine öğrenimi spark python programlama Proje savaşı beş Proje savaşı altı Bulut bilişim platformunun beşinci aşaması liman işçisi kvm openstack bulut bilişim İstihdam rehberinin ilk aşaması: Linux + arama + hadoop sistemi Linux ana hatları Bu bölüm, Hadoop, hbase, NoSQL, Spark, Storm, docker, kvm, openstack'i daha iyi öğrenmek için büyük veri alanına girmenize ve iyi bir Linux temeli oluşturmanıza yardımcı olacak temel bir derstir Ve diğer birçok kurs. Çünkü proje oluşturmak veya dağıtmak için Linux kullanan işletmelerde bir istisna yoktur. 1) Linux'a giriş, Linux kurulumu: VMware Workstation sanal yazılım kurulum süreci, CentOS sanal makine kurulum süreci 2) Raf sunucuları anlama, linux dağıtmak için gerçek raf sunucuları kullanma 3) Yaygın Linux komutları: ortak komutlara giriş, ortak komutlar Kullanım ve uygulama 4) Linux sistem süreci yönetiminin temel ilkeleri ve ps, pkill, top, htop vb. Gibi ilgili yönetim araçlarının kullanımı; 5) Linux başlangıç süreci, ayrıntılı işlem seviyesi, ayrıntılı chkconfig 6) VI, VIM editörü: VI, VIM Editör tanıtımı, VI, VIM ve ortak kısayol tuşları 7) Linux kullanıcı ve grup hesabı yönetimi: kullanıcı yönetimi, grup yönetimi 8) Linux disk yönetimi, lvm mantıksal birim, nfs ayrıntılı açıklaması 9) Linux sistem dosyası izin yönetimi: dosya İzin girişi, dosya izinleri işlemi 10) Linux RPM paketi yönetimi: RPM paketi tanıtımı, RPM kurulumu, kaldırma ve diğer işlemler 11) yum komutu, yum kaynak yapımı 12) Linux ağı: Linux ağ tanıtımı, Linux ağ yapılandırması ve Bakım 13) Kabuk programlama: Kabuğun tanıtımı, kabuk komut dosyalarının yazılması 14) Linux'ta ortak yazılımların yüklenmesi: JDK'yi kurun, Tomcat'i kurun, mysql kurun, web projesi dağıtımı büyük ölçekli web sitesi bu bölümün çalışmasıyla yüksek eşzamanlı işleme, herkes büyük veriyi anlayacaktır Verinin kaynağı, veriler nereden geliyor ve ardından büyük verinin daha iyi anlaşılması. Ve He Guo'nun büyük ölçekli web sitelerinin yüksek eşzamanlılık sorunuyla başa çıkmayı öğrenerek, Linux'u daha derinlemesine öğrendim ve aynı zamanda mimariyi daha yüksek bir perspektiften inceledim. 1) Katman 4 yük dengeleme a) Lvs yük dengeleme i. Yük algoritması, NAT modu, doğrudan yönlendirme modu (DR), tünel modu (TUN) b) F5 yük dengeleyiciye giriş 2) Katman 7 yük dengeleme a) Nginx b ) Apache3) Tomcat, eşzamanlılık miktarını artırmak için jvm optimizasyonu 4) Önbellek optimizasyonu a) Java önbelleğe alma çerçevesi i. Oscache, ehcacheb) Önbellek veritabanı i. Redis, Memcached 5) Lvs + nginx + tomcat + redis | memcache on milyonlarca eşzamanlı yük dengeleyici iki katmanlı bir yük oluşturmak için İşleme 6) Haproxy7) Fastdfs küçük dosyadan bağımsız depolama yönetimi 8) Redis önbelleğe alma sistemi a) Redis'in temel kullanımı b) Redis sentinel yüksek kullanılabilirlik c) Redis arkadaş tavsiye algoritması Lucene kursu Büyük veride metin verilerini aramak çok önemli bir parçadır, özellikle Makine öğreniminde metin madenciliğinin temel taşı olan, içindeki kelime segmentasyon teknolojisidir.Java alanındaki temel arama teknolojisi lucene'yi öğrenmemiz gerekiyor ve ayrıca Baidu ve Google gibi arama sistemlerinin nasıl uygulandığını da anlayabiliriz. 1) Lucene tanıtımı 2) Lucene ters indeks ilkesi > 3) İndeks Oluşturma İndeks Yazıcısı 4) Arama İndeks Arama Aracı 5) Sorgu6) Sıralama ve filtreleme (filtre) 7) İndeks optimizasyonu ve vurgulama Solr rotası Lucene teknolojisi örneğin bir motor ise, Solr bir veya iki şekilli arabadır. Solr'u öğrendikten sonra, kuruluştaki arama sistemini hızlı bir şekilde yapılandırmanıza yardımcı olabilirsiniz. Her şeyden önce Solr, Lucene'ye dayanmaktadır. Lucene, bir dizi bilgi alma araç setidir, ancak bir arama motoru sistemi içermez. Dizin yapısı, okuma-yazma dizinleme araçları, alaka düzeyi araçları ve sıralama gibi işlevleri içerir, bu nedenle Lucene'i kullandığınızda Veri toplama, analiz, kelime bölümleme ve diğer yönler gibi arama motoru sistemine yine de dikkat etmeniz gerekir. Solr'ın amacı kurumsal düzeyde bir arama motoru sistemi oluşturmaktır, bu nedenle tanıdığımız arama motoru sistemine daha yakındır. Bu bir arama motoru hizmetidir.Çeşitli API'ler aracılığıyla uygulamanız, bunun yerine arama hizmetlerini kullanabilir. Arama mantığının uygulamada birleştirilmesi gerekir. Ayrıca Solr, daha çok bir arama çerçevesine benzeyen konfigürasyon dosyasına göre veri analizi yöntemini tanımlayabilmekte ve ayrıca master-slave ve hot swap kütüphanesi gibi işlemleri de desteklemektedir. Ayrıca Piaohong ve facet gibi arama motorlarının ortak işlevleri için destek eklendi. 1) Solr nedir 2) Projede neden solr kullanılır 3) Solr prensibi 4) Solr'ın tomcat'te çalıştırılması 5) Solr'nin indeksleme ve arama için nasıl kullanılır 6) Solr'un çeşitli sorguları 7) Solr filtresi 8) Solr'un sınıflandırılması 9) Solr'nin öne çıkan özellikleri 10) Solr'nin belirli bir alanının istatistikleri 11) Solr'nin kapsam istatistikleri 12) Solrcloud kümesi için Hadoop çevrimdışı hesaplama taslağı Bir, ilk karşılaştık Büyük veriyi duyduysanız, hadoop'u duymuş olmalısınız.Bu bölüm, hadoop'un kullanımını, büyük veride kullanımını anlamanıza ve hızlı bir hadoop deneysel ortam oluşturmanıza yol açacaktır.Bu süreçte, sadece önceki Linux bilgisini değil, aynı zamanda Hadoop'un mimarisini derinlemesine anlayın ve gelecekteki büyük veri projeleriniz için sağlam bir temel oluşturun. 1) Hadoop ekolojik ortamına giriş 2) Hadoop bulut bilişiminde konum ve ilişki 3) Yurtiçi ve yurtdışındaki Hadoop uygulama örneklerine giriş 4) Hadoop kavramı, sürümü, geçmişi 5) Hadoop çekirdek bileşimi ve hdfs'ye giriş, mapreduce mimarisi 6) Hadoop küme yapısı 7) Hadoop sözde dağıtımının ayrıntılı kurulum adımları 8) Hadoop'u komut satırı ve tarayıcı üzerinden gözlemleyin İki, HDFS mimarisi ve kabuk ve java işlemleri İlkeyi bilmekten bir ağ disk projesi geliştirmeye kadar HDFS'nin ayrıntılı bir analizi, herkesin büyük verileri öğrenmek için iyi bir temel oluşturmasına olanak tanır.Büyük veri dağıtılır ve dağıtılmış öğrenme, dağıtılmış dosya sistemini (HDFS) öğrenmeyle başlar. 1) HDFS temelindeki çalışma prensibi 2) HDFS datanode, adenode ayrıntılı açıklama 3) Hdfs kabuğu 4) Hdfs java api Üç, Mapreduce'u ayrıntılı olarak açıklayın Mapreduce, herhangi bir büyük veri şirketinin kullanacağı bir hesaplama çerçevesi olduğu söylenebilir.Aynı zamanda bu konuda uzman olması gereken bir büyük veri mühendisidir.Öğretmenin teoriye ilişkin ayrıntılı açıklamasına ek olarak, buradaki öğrenme, herkesin çok sayıda vakada iyice ustalaşmasını sağlayacaktır. 1) Mapreduce'un dört aşamasına giriş 2) Yazılabilir3) Girdi Bölme ve Çıktı Bölme4) Maptask5) Karıştırma: Sıralama, Bölme, Gruplama, Birleştirme 6) Azaltma Dört, Mapreduce vakası 1) İkincil sıralama 2) Ters sıralama indeksi 3) Optimal yol 4) Telekom veri madenciliği ------ hareketli yörünge tahmin analizi (Çin Prism Projesi) 5) Sosyal arkadaş öneri algoritması 6) İnternette doğru reklamcılık itme algoritması 7) Alibaba Tianchi Büyük Veri Yarışması "Tmall Öneri Algoritması" Durum 8) Gerçek muharebe çağrı bankası algoritmasını eşleştirin Five, Hadoop 2.x küme yapısı Sizi çok sayıda MapReduce programı geliştirmeye yönlendirdim Bu bölüm, gelişmiş programların dağıtılmış bir kümede çalışmasına ve sağlam ve yüksek oranda erişilebilir bir kümede çalışmasına izin verecektir. 1) Hadoop 2.x küme yapısı sistemine giriş 2) Hadoop 2.x küme yapısı 3) NameNode yüksek kullanılabilirlik (HA) 4) HDFS Federation5) ResourceManager yüksek kullanılabilirlik (HA) 6) Hadoop kümesi genel sorunları ve çözümleri 7) Hadoop kümesi Dağıtılmış veritabanı Hbase büyük verisinin yönetiminde Hbase'in kullanılmasıyla ilgili çok fazla durum vardır ve bu da herkesin öğrenmesi gerekliliğini vurgulayabilir. Uzun yıllar çalışmış büyük veri mühendisi Hbase'in optimizasyonu bile çalışmanın odak noktasıdır. 1) HBase tanımı 2) HBase ve RDBMS karşılaştırması 3) Veri modeli 4) Sistem mimarisi 5) HBase'de MapReduce 6) Tablo tasarımı 7) Küme oluşturma sürecinin açıklaması 8) Küme izleme 9) Küme yönetimi 10) HBase Shell Ve demo 11) Hbase ağaç tablosu tasarımı 12) Hbase bire çok ve çoktan çoğa tablo tasarımı 13) Hbase Weibo durumu 14) Hbase sipariş durumu 15) Hbase tablo düzeyinde optimizasyon 16) Hbase veri yazma optimizasyonu 17) Hbase okuma veri optimizasyonu Veri ambarı HiveHive, hesaplamalar için sql kullanan bir hadoop çerçevesidir.İşte en sık kullanılan kısım görüşmelerin de odak noktasıdır.Bu bölümde, Hive uygulamasını her yönden öğreneceksiniz ve her türlü ayrıntıya dahil olacaksınız. 1) Veri ambarı hakkında temel bilgiler 2) Kovan tanımı 3) Kovan mimarisine giriş 4) Kovan kümesi 5) İstemci tanıtımı 6) HiveQL tanımı 7) HiveQL ve SQL karşılaştırması 8) Veri türü 9) Harici tablo ve bölüm tablosu 10) ddl CLI istemcisi ile gösteri 11) dml ve CLI istemcisinin gösterimi 12) Seçilmiş ve CLI istemcisinin gösterimi 13) Operatörlerin ve işlevlerin ve CLI istemcisinin gösterimi 14) Hive server2 ve jdbc15) Kullanıcı tanımlı işlevlerin geliştirilmesi ve geliştirilmesi (UDF ve UDAF) Demo 16) Hive optimize edilmiş veri taşıma aracı Sqoopsqoop, ilişkisel veritabanları ile HDFS dağıtılmış veri sistemleri arasında veri dönüşümü için uygundur.İşletmelerde veri ambarları oluşturmak için harika bir araçtır. 1) Sqoop'a giriş ve konfigürasyon 2) Sqoop kabuk kullanımı 3) Sqoop-importa) DBMS-hdfs b) DBMS-kovanı c) DBMS-hbase 4) Sqoop-exportFlume dağıtılmış günlük çerçevesi Flume, Cloudera tarafından sağlanan en eski günlük toplama sistemiydi, şu anda Apache Bir sonraki inkübasyon projesinde Flume, veri toplama için günlük sistemindeki çeşitli veri göndericilerini özelleştirmeyi destekler. Bu bölümü öğrendikten sonra, sadece Flume kullanımında uzmanlaşmakla kalmaz, aynı zamanda Flume'u da geliştirebilirsiniz. 1) Kanal temel bilgisine giriş 2) Kanal kurulumu ve testi 3) Kanal açma yöntemi 4) Kanal kaynağı ile ilgili yapılandırma ve test 5) Kanal havuzu ile ilgili yapılandırma ve test 6) Kanal seçiciyle ilgili yapılandırma ve durum analizi 7) Flume Sink İşlemcilerle ilgili yapılandırma Ve vaka analizi 8) kanal Durdurucularla ilgili yapılandırma ve durum analizi 9) kanal AVRO İstemci geliştirme 10) kanal ve kafka entegrasyonu Zookeeper geliştirme Dağıtılmış kümedeki (Hadoop ekosistemi) Zookeeper'in konumu giderek daha belirgin hale geliyor ve dağıtılmış uygulamalar için önemli hale geliyor Geliştirme ayrıca büyük kolaylık sağlar, bu yüzden sizi Zookeeper'ı derinlemesine öğrenmeye yönlendiriyoruz. Bu kursun ana içeriği derinlemesine Zookeeper, istemci geliştirme (Java programlama, vaka geliştirme), günlük kullanım ve bakım ve web arayüzü izleme içerir. Buradaki herkes, diğer teknolojileri daha sonra öğrenmek için gerekli olan Zookeeper'ı iyi öğreniyor. 1) Zookeeper java api geliştirme 2) Zookeeper rmi high-availability dağıtılmış küme geliştirme 3) Zookeeper redis high-availability monitor uygulamasını 4) Netty asenkron io iletişim çerçevesi 5) Netty dağıtılmış mimari yüksek kullanılabilirlikli proje savaşının zookeeper uygulaması Büyük bir e-ticaret şirketinin log analizi ve sipariş yönetimi Gerçek savaşta öğrenmenin birçok teknik noktası vardır.Bu noktaların pratikte nasıl kullanılacağı, kendi kendine çalışma sürecinde deneyimleyemeyeceğimiz bir şeydir. E-ticaret günlüğü analizi şunları içerir: pv, uv, hemen çıkma oranı, ikinci hemen çıkma oranı, reklam dönüşüm oranı, arama motoru optimizasyonu vb. Sipariş modülleri şunları içerir: ürün önerisi, satıcı sıralaması, geçmiş sipariş sorgusu, sipariş raporu istatistikleri vb. Proje teknik çerçeve sistemi: a) Web projeleri ve bulut bilişim projelerinin entegrasyonu b) Flume, web projelerinde günlükleri avro aracılığıyla gerçek zamanlı olarak toplar c) ETL veri d) Hive toplu sql yürütme e) Hive özel fonksiyonları f) Hive ve hbase entegrasyonu. g) Hbase veri desteği sql sorgu analizi h) Mapreduce veri madenciliği i) Hbase dao işleme j) Projede Sqoop kullanımı. k) Mapreduce zamanlama çağrısı ve izleme aşaması 2: makine öğrenimi R dili makine öğrenimi R kendisi çok iyi bir veri analizi ve veri görselleştirme yazılımıdır ve çok sayıda makine öğrenimi de dahil olmak üzere ilk nesil makine öğrenimi araçlarıdır Paket ekleyin. Bu bölümde, herkesi R dilini öğrenmeye yönlendirmek, herkesi makine öğrenimi alanına yönlendirmektir. Makine öğrenimi algoritmaları ana hat olsa da, vaka çalışması herkesin içerik bağlamını daha net bir şekilde bilmesini sağlayacaktır. 1) R diline giriş, temel fonksiyonlar, veri türleri 2) Doğrusal regresyon 3) Naif Bayes kümeleme 4) Karar ağacı sınıflandırması 5) K-ortalamalı kümeleme a) Aykırı değer algılama 6) İlişkilendirme kuralı keşfi 7) Sinir ağı Mahout Makine öğrenimi Mahout, makine öğrenimi alanındaki klasik algoritmaların bazı ölçeklenebilir uygulamalarını sağlar.Birçok şirket, akıllı uygulamaları hızlı ve kolay bir şekilde oluşturmak için Mahout'u kullanır. Mahout, kümeleme, sınıflandırma, öneri filtreleme ve sık alt öğe madenciliği gibi birçok uygulama içerir. Mahout, Apache Hadoop'u kullanarak buluta etkili bir şekilde genişletilebilir. Sektör tarafından ikinci nesil makine öğrenimi aracı olarak kabul edilmektedir. Bu bölümden sonra, mahut'un bileşenlerini öğrenmenin yanı sıra, gerçekten işinize uygulayabileceğiniz projeleriniz olacak. 1) Neden kullanıldığını ve beklentilerini açıklayın a) Mahout'a kısa bir giriş b) Makine öğrenimine kısa bir giriş c) Mahout bağımsız öneri programının örnek bir gösterimi 2) Yapılandırma ve kurulum (hadoop 2.x sürümü) derleme ve kurulum adımları talimatları a) Komut satırı testi İşbirlikçi filtreleme konseptini çalıştırın 3) Öneri a) Kullanıcı tabanlı işbirliğine dayalı filtrelemeyi açıklayın b) Öğe tabanlı işbirliğine dayalı filtrelemeyi açıklayın 4) Sınıflandırma a) Sınıflandırma kavramı b) Sınıflandırma uygulaması ve Mahout sınıflandırma avantajları c) Sınıflandırma, kümeleme ve tavsiye arasındaki fark d ) Sınıflandırmanın çalışma prensibi e) Sınıflandırmada kavramsal terimler f) Sınıflandırma projesi iş akışı g) Yordayıcı değişkenler nasıl tanımlanır h) Doğrusal sınıflandırıcı ve Bayes sınıflandırıcı tanıtımı i) Karar ağacı sınıflandırıcı ve rastgele orman sınıflandırıcı tanıtımı j) Bayes sınıflandırıcı ve rastgele orman sınıflandırıcı kod ekranı nasıl kullanılır 5) Kümeleme a) Kümeleme kavramı b) Kümeleme adımı süreci c) Kümelemede mesafe ölçümü d) K-ortalamalı kümelemeyi açıklayın e) K-ortalamalı kümeleme algoritması ekranı f) diğer kümeleme algoritmaları g) TF-IDF'nin tanıtımı h) normalleştirme i) Weibo kümeleme vaka projesi gerçek mücadele Weibo Pazarlama Veri Madenciliği Projesi Kullanım verileri Weibo platformundan geliyor ve proje, hedef müşteri gruplarını makine öğrenimi bilgisi aracılığıyla araştırmayı ve Weibo pazarlama reklamcılığı için sözcüler bulmayı amaçlıyor. Proje teknik çerçeve sistemi: a) Dağıtılmış platform Hadoop, MapReduce b) Veri toplama Flumec) Veri temizleme ETL d) Veritabanı Hbase, Redise) Makine öğrenimi Mahout Aşama 3: Storm streaming computing redis caching system müfredatı 1) Redis özellikleri, diğer veritabanları ile karşılaştırma 2) Redis nasıl kurulur 3) Komut satırı istemcisi nasıl kullanılır 4) Redis dizesi türü 5) Redis hash türü 6) Redis listesi türü 7) Redis toplama türü 8) Redis'e erişmek için java nasıl kullanılır [a.python access redis, Redis'e Scala erişimi] 9) redis işlemi (işlem) 10) redis pipeline (pipeline) 11) redis kalıcılığı (AOF + RDB) 12) redis optimizasyonu 13) redis master-slave replikasyonu 14) redis sentinel yüksek kullanılabilirlik 15) twemproxy, codis gerçek savaş 16) redis3.x küme kurulumu ve yapılandırması Kafka kursu Kafka şu anda popüler bir kuyruktur.Veri toplamadan büyük veri hesaplamaya önemli bir bağlantı olduğu söylenebilir.Bu bölümde mimarisini detaylı olarak öğreneceksiniz. Kafka Hemen hemen herkes büyük veri projelerine dahil olacak. 1) Kafka nedir 2) Kafka mimarisi 3) Kafka yapılandırması ayrıntılı açıklama 4) Kafka kurulumu 5) Kafka depolama stratejisi 6) Kafka bölüm özellikleri 7) Kafka yayın ve abonelik 8) Zookeeper koordinasyon yönetimi 9) Java programlama işlemi kafka10) Scala programlama işlemi kafka11) Kanal ve kafka entegrasyonu 12) Kafka ve Storm Storm gerçek zamanlı veri işleme entegrasyonu Bu bölümü inceledikten sonra, Storm'un iç mekanizmalarını ve ilkelerini tam olarak kavrayacak ve çok sayıda gerçek proje aracılığıyla eksiksiz bir proje geliştirme fikrine ve mimarisine sahip olacaksınız. Veri toplamadan gerçek zamanlı hesaplamaya ve ön masada gösterime kadar her şeyi tek bir kişi tarafından tasarlayın ve ustalaşın! Örneğin, Taobao Double 11 büyük ekran projesini bir kişi halledebilir! Sadece elde edilecek proje geliştirme seviyesinden değil, aynı zamanda mimari seviyeden de mimarın bakış açısıyla bir projeyi tamamlamak için. Proje teknik çerçeve sistemi: 1) Storm'un temel kavramları 2) Storm'un uygulama senaryoları 3) Storm ve Hadoop'un Karşılaştırması 4) Storm cluster kurulumu için Linux ortamı hazırlığı 5) Zookeeper cluster inşası 6) Storm cluster yapısı 7) Storm konfigürasyon dosyası konfigürasyon öğesi açıklaması 8) Cluster Çözmek için ortak sorunlar oluşturun 9) Storm ortak bileşenleri ve programlama API'si: Topoloji, Çıkış, Bolt10) Fırtına gruplama stratejisi (akış gruplamaları) 11) Bir WordCount örneği geliştirmek için Strom'u kullanın 12) Fırtına programı yerel modda hata ayıklama, Storm programı uzaktan hata ayıklama 13) Fırtına işlemi işleme 14) Fırtına mesajı güvenilirliği ve hata toleransı ilkesi 15) Mesaj kuyruğu ile birlikte fırtına Kafka: mesaj kuyruğunun temel kavramları (Üretici, Tüketici, Konu, Aracı, vb.), Mesaj kuyruğu Kafka kullanım senaryoları, Kafka programlama API'si ile birleştirilmiş Storm 16) Storm Trident kavramı 17) Trident Durum ilkesi 18) Trident geliştirme örneği 19) Storm DRPC (dağıtılmış uzaktan arama) giriş 20) Storm DRPC pratik açıklaması 21) Storm ve Hadoop 2.x entegrasyonu: Storm on Yarn Fırtına geliştirme savaşı: Kafka + Storm + Hbase + redis proje savaşı ve birden çok vaka Gerçek dövüşü tasarla Çin Mobil Baz İstasyonu Garanti Platformu Bir belediye mobil şirketi her gün büyük trafik verileri üretir (birinci kademe şehirlerde daha yüksek). Büyük sayıların gerçek zamanlı analizi sayesinde, her baz istasyonunun düşüş oranını, toplam baz istasyonu çağrı sayısını, toplam kesilen baz istasyonu çağrı sayısını ve baz istasyonu alarmlarını, 3g / 4g izler İnternet trafiğinin gerçek zamanlı izlenmesi. Baz istasyonunun çalışma koşullarını izlemek için yukarıdaki boyutların gerçek zamanlı analizini yapın. Proje teknik çerçeve sistemi: Storm + hbase + kafka + flume + echartsa) Flume gerçek zamanlı günlük koleksiyonu b) Kafka arabellek kuyruğu c) Storm gerçek zamanlı işleme d) Hbase dao depolama işleme sonuçları e) Ön uç Web gerçek zamanlı görüntüleme raporu Aşama 4: Spark bellek hesaplama Python kursu Python dili Bir parçanız, öğrendikten sonra Python'un özünü tam olarak kavrayabilir ve öğrenmenin bu bölümünde herkes için bir temel oluşturabilir.Popüler bir dil olan Python, diğer hesaplama çerçevelerinde birden çok dilin kullanımına dahil olacaktır. Aynı zamanda kurs, herkesin Python öğrenmesine ve makine öğrenimi vakalarıyla makine öğrenimini daha iyi anlamasına olanak tanıyacak. 1) Python'a giriş ve özellikleri 2) Python kurulumu 3) Temel Python işlemleri (yorumlar, mantık, dize kullanımı, vb.) 4) Python veri yapısı (başlıklar, listeler, sözlükler) 5) Python 6 kullanarak toplu yeniden adlandırma için küçük örnekler ) Python'un ortak yerleşik işlevleri 7) Daha fazla Python işlevi ve kullanmak için yaygın teknikler 8) İstisnalar 9) Python işlevlerinin parametrelerinin açıklaması 10) Python modüllerinin içe aktarılması 11) Python'da sınıflar ve kalıtım
