Özel | Bir makalede Hadoop'u Anlamak (1): Genel Bakış
Küresel ekonominin sürekli gelişmesiyle birlikte, büyük veri çağı sessizce geldi ve Hadoop, büyük veri ortamının temelini oluşturdu.Büyük veri endüstrisine girmek istiyorsanız, önce Hadoop'un bilgisini anlamanız gerekir. Apache, 2017'nin başında Hadoop3.0'ı piyasaya sürdü, bu da bir grup insanın sürekli olarak Hadoop'u optimize ettiği anlamına geliyor.Sadece bu değil, birçok şirket Hadoop'un ticari değerini de doğrulayan ticari sürümlerini kullanıyor.
Okuyucular, "Hadoop'u Anlamak İçin Bir Makale" yazı dizisini okuyarak Hadoop teknolojisi hakkında kapsamlı bir anlayışa sahip olabilirler. Hadoop resmi web sitesinin tüm bilgi noktalarını kapsar ve anlaşılması kolaydır. Kötü İngilizce'ye sahip okuyucular bu makaleyi okuyarak tamamen anlayabilirler. Hadoop.
"Hadoop'u Bir Makalede Anlamak" makale dizisinin bu sayısının özel içeriği, Hadoop'a ilk giriş ve ardından HDFS, MAPREDUCE ve YARN'ın tüm bilgi noktalarının çerçevesine ayrıntılı bir girişe dayanacaktır. İçerik dört konuya bölünür ve önümüzdeki birkaç gün içinde yayınlanır. Takip içeriği için bizi izlemeye devam edin.
1. Giriş
1.1 Hadoop'a Genel Bakış
Hadoop, yüksek güvenilirlik ve yüksek ölçeklenebilirlik ile dağıtılmış bilgi işlem için açık kaynaklı bir yazılımdır. Basit bir programlama modeli kullanarak bir bilgisayar kümesinde büyük miktarda verinin dağıtılmasına izin veren bir çerçevedir. Tasarımının ölçeği, tek bir sunucudan, her biri yerel bilgi işlem ve depolama işlevleri sağlayabilen binlerce makineye kadar değişebilir. Verimliliği desteklemek için donanıma güvenmek yerine.
Hadoop'un kurucusu Doug kesme'dir. Yahoo'daki görev süresi boyunca Hadoop projesini geliştirmiştir. Asıl sebep, bu kişinin arama motoru araştırmalarıyla ilgilenmesiydi. O sırada kullanılan teknolojiler lucene ve nutch'du.
1.2 LuceneNutch
-
Lucene
Açık kaynak kodlu bir tam metin arama motoru araç setidir. Tam bir tam metin arama motoru değil, tam metin arama motorunun bir mimarisidir. Metin analiz motorunun bir parçası olan eksiksiz bir sorgu motoru ve arama motoru sağlar. Lucene'nin amacı yazılım sağlamaktır. Geliştiriciler, hedef sistemde tam metin arama işlevinin gerçekleştirilmesini kolaylaştırmak için basit ve kullanımı kolay bir araç seti sağlar veya buna dayalı tam bir tam metin arama motoru oluşturur.
-
Nutch
Nutch, açık kaynak java tarafından uygulanan bir arama motorudur ve tam metin arama ve web tarayıcıları dahil olmak üzere kendi arama motorumuzu çalıştırmak için ihtiyacımız olan tüm araçları sağlar.
1.3 Hadoop'un nesli
Doug kesme, Lucene ve Nutch'ı kullanırken veri ve hesaplama sorunlarıyla karşılaştı. İki ana sorun var: Bir yandan çok sayıda taranan sayfanın nasıl saklanacağı, diğer yandan arama algoritmasının optimize edilmesi gerekiyor.Bu nedenle, 2005 yılında Nutch ve hadoop'un minyatür versiyonu olan DFS ve MapReduce'u uygulamak 2 yıl sürdü. Lucene'nin bir alt projesi olan nutch'ın bir parçası olarak, Apache Vakfı resmen tanıtıldı. Mart 2006'da, MapReduce ve Nutch Dağıtılmış Dosya Sistemi (NDFS) Hadoop projesine dahil edildi.
1.4 Hadoop projesi için fikirlerin kaynağı
Hadoop projesi fikri, Google tarafından hazırlanan 3 makaleden geliyor
-
GFS- > HDFS
-
Harita indirgeme- > Harita indirgeme
-
Buyuk masa- > Hbase
1.5 Hadoop'un Bileşimi
-
Hadoop Dağıtılmış Dosya Sistemi (HDFS)
Uygulama verilerine erişmek için yüksek verim sağlayan dağıtılmış bir dosya sistemi.
-
Hadoop İPLİK
İşleri planlamak ve küme kaynaklarını yönetmek için bir çerçeve.
-
Hadoop MapReduce
İpliğe dayalı büyük bir veri seti paralel işleme sistemi.
2. Üç çalışma modu
2.1 Bağımsız (yerel) mod
Bu mod, dağıtılmış bir dosya sistemi olmadan tek bir makinede çalışır, ancak yerel işletim sisteminin dosya sistemini doğrudan okur ve yazar. Bağımsız modda (bağımsız), arka plan programı süreci yoktur, her şey bir JVM üzerinde çalışır. Burada DFS de yoktur ve yerel dosya sistemi kullanılır. Bağımsız mod, aynı zamanda en az kullanılan mod olan geliştirme sürecinde MapReduce programlarını çalıştırmak için uygundur.
2.2 Sözde dağıtılmış mod
Bu mod, tek bir makinede çalışır, ancak dağıtılmış işlemde çeşitli düğümleri taklit etmek için farklı Java işlemleri kullanır. Sözde, geliştirme ve test ortamları için uygundur. Bu modda, tüm arka plan programı işlemleri aynıdır. İki makinede çalışıyor.
2.3 Tamamen dağıtılmış mod
Bu mod genellikle bir üretim ortamında, bir Hadoop kümesi oluşturmak için N ana bilgisayar kullanılarak kullanılır ve Hadoop arka plan programı her ana bilgisayarda çalışır. Namenode'un çalıştığı ana bilgisayar, Datanode'nin çalıştığı ana bilgisayar ve kaynak yöneticisinin çalıştığı ana bilgisayar vb. Olacaktır. Dağıtılmış bir ortamda, ana düğüm ve ikincil düğüm birbirinden ayrılacaktır.
3. Komut Kılavuzu
3.1 Genel Bakış
Tüm Hadoop komutları ve alt projeleri aynı temel yapıyı izler:
Kullanım: shellcommand
3.2 Kabuk seçenekleri
Tüm kabuk komutları bir dizi ortak seçeneği kabul eder. Bazı komutlar için bu seçenekler göz ardı edilir. Örneğin, --hostnames'i yalnızca tek bir ana bilgisayarda çalıştırılan komutlara geçirmek yok sayılacaktır.
3.3 Genel seçenekler
Birçok alt komut, davranışlarını değiştirmek için ortak bir yapılandırma seçenekleri kümesini izler:
3.4 hadoop genel komutları
Tüm bu komutlar hadoop kabuk komutlarından yürütülür.
3.4.1 Kullanıcı komutları
Hadoop küme kullanıcıları için yararlı komutlar.
-
Arşiv
Hadoop arşivi özel bir format arşividir. Bir Hadoop arşivi, dosya sistemindeki bir dizine eşlenir. Hadoop arşivinin uzantısı .har'dır. Hadoop Arşivi dizini, meta veri dosyalarını (_index ve _masterindex) ve veri dosyalarını (part- *) içerir , Bu _index dosyası, tüm dosyaların adlarını ve bunlara karşılık gelen parça dosyalarının konumunu içerir.
-
yerli
Bu komut, Hadoop yerel kodunun kullanılabilirliğini kontrol eder.
-
sınıf yolu
Hadoop kavanozunu ve gerekli kitaplıkları elde etmek için gereken sınıf yolunu yazdırın. Parametre olmadan çağrılırsa, komut dosyası tarafından ayarlanan sınıf yolu yazdırılır ve bu, sınıf yolu girişinde joker karakterler içerebilir. Diğer seçenekler, sınıf yolunu yazdırır veya sınıf yolunu joker karakter genişletmeden sonra jar dosyaları listesine yazar. İkincisi, joker karakterlerin kullanılamadığı ve genişletilmiş sınıf yolunun desteklenen maksimum komut satırı uzunluğunu aştığı ortamlarda çok kullanışlıdır.
-
Kimlik
Bu komut, kimlik bilgileri sağlayıcısının içindeki kimlik bilgilerini ve parolaları yönetir. Hadoop'un CredentialProvider API'si, uygulama bölmeyi destekler ve bölünmüş uygulamanın gerekli parolaların nasıl depolanacağını gerektirir. Bir Sağlayıcının konumunu ve türünü belirtmek için core-site.xml'de hadoop.security.credential.provider.path yapılandırma öğesini eklemeniz veya komuttaki -provider komut seçeneğiyle ayarlamanız gerekir. Sağlayıcı yolu, virgülle ayrılmış URL dizelerinden oluşan bir dizedir. Bu dizeler, sağlayıcının türünü ve konumunu gösterecektir.
-
dağıtmak
Aynı anda birçok dosyanın sahipliğini ve izinlerini değiştirin.
-
distcp
Dosyaları veya dizinleri yinelemeli olarak kopyalayın.
-
dtutil
Kimlik bilgisi dosyasında hadoop delegasyonlu belirteçleri elde etmek ve yönetmek için bir yardımcı program. Daha basit olan fetchdt komutunun yerini alması amaçlanmıştır. Her birinin kendi bayrakları ve seçenekleri olan birden fazla alt komut vardır. Bir dosya yazan her alt komut için, -format seçeneği kullanılacak dahili formatı belirleyecektir. java, fetchdt ile eşleşen eski biçimdir. Varsayılan değer protobuf'tur. Hizmete bağlı her alt komut için, kimlik doğrulama için kullanılan kerberos ana adını ve keytab dosyasını belirtmek için bir uygunluk bayrağı sağlanır.
-
fs
Hdfs betiğinin dfs'sine benzer.
-
gridmix
Hadoop Gridmix, hadoop sistemi için bir kıyaslama test programıdır. Büyük ölçekli veri işleme sistemlerini değerlendirmek için gerekli olan çeşitli işlevsel modüllere sahiptir: veri oluşturma, iş oluşturma ve gönderme ve iş tamamlama süresini sayma.
-
kavanoz
Bir jar dosyası çalıştırın.
-
Jnipath
Java.library.path yazdırın ve hesaplayın.
-
kaldırım adı
İsimli konuyu bir Hadoop kullanıcı adına dönüştürmek için auth_to_local kuralını kullanın.
-
anahtar
Anahtarları KeyProvider aracılığıyla yönetin.
-
kms
Anahtar yönetim sunucusu KMS'yi çalıştırın.
-
iz
Hadoop izleme ayarlarını görüntüleyin ve değiştirin.
-
versiyon
Baskı versiyonu.
-
sınıf adı
Classname adlı sınıfı çalıştırın. Sınıf, paketin bir parçası olmalıdır.
-
envvars
Hadoop ortam değişkenlerini görüntüleyin.
3.4.2 Yönetim komutları
-
daemonlog
Arka plan programındaki nitelenmiş sınıf adıyla tanımlanan günlüğün günlük düzeyini alır / ayarlar. Varsayılan olarak, bu komut bir HTTP isteği gönderir, ancak bu istek -protocol https parametresi kullanılarak bir HTTPS isteği gönderilerek geçersiz kılınabilir.
3.4.3 Dosya
etc / hadoop / hadoop-env.sh
Bu dosya, tüm Hadoop kabuk komutları tarafından kullanılan genel ayarları depolar.
etc / hadoop-user-functions.sh
Bu dosya, ileri düzey kullanıcıların belirli kabuk işlevlerini geçersiz kılmasına olanak tanır.
~ / .hadooprc
Bu, bireysel kullanıcının kişisel ortamını depolar. Hadoop-env.sh ve hadoop-user-functions.sh dosyalarından sonra işlenir ve aynı ayarları içerebilir.
4. UNIX Kabuk Kılavuzu
4.1 Önemli son kullanıcı ortam değişkenleri
Apache Hadoop, yazılımın çeşitli yönlerini kontrol eden birçok ortam değişkenine sahiptir. (Bkz. Hadoop-env.sh ve ilgili dosyalar.) Bu ortam değişkenlerinden bazıları, son kullanıcıların çalışma zamanlarını yönetmelerine yardımcı olmaya adanmıştır.
4.1.1 HADOOP_CLIENT_OPTS
Bu ortam değişkeni, artalan süreci olmayan tüm son kullanıcılar tarafından kullanılır. Sistem özelliği tanımları aracılığıyla herhangi bir Java seçeneğini ve herhangi bir Apache Hadoop seçeneğini ayarlamak için kullanılabilir.
4.1.2 (komut) _ (alt komut) _OPTS
Ayrıca her bir alt komuta göre seçenekleri de ayarlayabilirsiniz. Bu, belirli durumlar için özel seçeneklerin oluşturulmasına izin verir. Desenin ilk kısmı kullanılan komuttur, ancak tamamı büyük harflidir. Komutun ikinci kısmı, kullanılan alt komuttur. Ardından, sonunda _OPT dizesi izlenir.
4.1.3 HADOOP_CLASSPATH
Apache Hadoop betikleri, bu ortam değişkenini ayarlayarak çalıştırılan komutların sınıf yoluna daha fazla içerik enjekte edebilir. İki nokta üst üste işaretiyle ayrılmış dizinlerin, dosyaların veya joker karakter konumlarının listesidir.
4.1.4 Değişkenlerin otomatik olarak ayarlanması
Kullanıcının bir dizi ortak ayarı varsa, bunlar $ {HOME} /. Hadoop-env dosyasına yerleştirilebilir. Kullanıcının özelleştirmek isteyebileceği tüm değişkenleri başlatmak ve üzerine yazmak için her zaman bu dosyayı okuyun. .Bashrc dosyasına benzer şekilde bash sözdizimini kullanır.
4.2 Yönetici ortamı
Yöneticinin, çeşitli XML dosyalarına ek olarak, Unix Kabuğu kullanılırken yapılandırılabilen iki temel işlevi vardır.
4.2.1 (komut) _ (alt komut) _OPTS
En önemlisi, arka plan programının nasıl çalıştığını kontrol eden bir dizi _OPTS değişkenidir. Bu değişkenler, bu arka plan yordamlarının tüm ilgili ayarlarını içermelidir.
4.2.2 (komut) _ (alt komut) _USER
Apache Hadoop, her bir alt komut için kullanıcı denetimleri gerçekleştirmenin bir yolunu sağlar. Bu yöntemin atlatılması kolay olmasına ve bir güvenlik özelliği olarak görülmemesi gerekmesine rağmen, kazaları önlemek için bir mekanizma sağlar. Örneğin, HDFS_NAMENODE_USER = hdfs'nin ayarlanması, hdfs namenode ve hdfs daemon start adenode komutlarının, USER ortam değişkenini kontrol ederek, komutu çalıştıran kullanıcının bir hdfs kullanıcısı olup olmadığını doğrulamasını sağlar. Bu aynı zamanda arka plan programı olmayan işlemler için de geçerlidir. Hadoop distcp komutunun çalıştırılmasına izin vermeden önce, HADOOP_DISTCP_USER = jane ayarının yapılması, USER'nin jane olarak ayarlandığını doğrular.
4.3 Geliştirici ve kıdemli yönetici ortamı
4.3.1 Kabuk Profilleri
Apache Hadoop, üçüncü tarafların çeşitli takılabilir arabirimler aracılığıyla yeni özellikleri kolayca eklemelerine olanak tanır. Bu, gerekli içeriği temel kuruluma kolayca enjekte edebilen bir kabuk kodu alt sistemini içerir. Bu özelliğin özü, kabuk yapılandırma dosyaları kavramıdır. Kabuk yapılandırma dosyaları, sınıf yoluna kavanoz ekleme, Java sistem özelliklerini yapılandırma vb. Gibi yürütülebilen kabuk kodu parçalarıdır.
4.3.2 Kabuk API'si
Apache Hadoop kabuk kodunun, yöneticilerin ve geliştiricilerin yapılandırmalarına ve gelişmiş özellik yönetimine yardımcı olmaları için kullanmaları için bir işlev kitaplığı vardır.
4.3.3 Kullanıcı düzeyinde API erişimi
Tek bir kullanıcının hadoop-env.sh dosyasını yeniden yazmasına izin veren .hadoop-env'e ek olarak, kullanıcılar .hadooprc'yi de kullanabilir. Bu, Apache Hadoop kabuk ortamını yapılandırdıktan sonra çağrılır ve tam kabuk API işlevi çağrılarına izin verir.
4.3.4 Dinamik alt komutlar
Üçüncü taraflar, Shell API'yi kullanarak ana Hadoop kabuk komut dosyasına kendi alt komutlarını ekleyebilir (hadoop, hdfs, eşlenmiş, iplik). Alt komut çalıştırılmadan önce, ana komut dosyası (komut adı) _subcommand_ (alt komut) işlevinin var olup olmadığını kontrol edecektir. Bu işlev, parametreleri kalan tüm komut satırı parametrelerine ayarlar.
5. Uygulama senaryoları
Ünlü Amerikan teknoloji blogu GigaOM'da köşe yazarı olan Derrick Harris, uzun yıllardır bulut bilişim ve Hadoop teknolojisini takip ediyor ve aşağıda sizlerle paylaşılan 10 Hadoop uygulama senaryosunu özetledi:
-
Online seyahat : Şu anda, dünya genelindeki çevrimiçi seyahat web sitelerinin% 80'i Cloudera tarafından sağlanan Hadoop dağıtımını kullanıyor ve SearchBI web sitesinde bildirilen Expedia da bunlar arasında yer alıyor.
-
Mobil veri : Cloudera'nın operasyon direktörü, Amerika Birleşik Devletleri'ndeki akıllı telefon veri hizmetlerinin% 70'inin Hadoop tarafından desteklendiğini, bu da kablosuz operatörler tarafından veri depolamanın ve veri işlemenin Hadoop teknolojisini kullandığı anlamına geldiğini söyledi.
-
E-ticaret : Bu senaryo çok kesin olmalı, eBay en büyük uygulayıcılardan biridir. Yurtiçi e-ticaret şirketleri de Hadoop teknolojisinde oldukça geniş rezervlere sahiptir.
-
Enerji çıkarma : American Chevron Company, Amerika Birleşik Devletleri'ndeki en büyük ikinci petrol şirketidir. BT departmanı müdürü, Chevron'un Hadoop kullanma deneyimini tanıttı. Veri toplamak ve işlemek için Hadoop'u kullanıyorlar. Bu veriler, petrol madenlerinin yerini bulabilmeleri için deniz sismik verileridir. .
-
Enerji tasarrufu : Diğer bir enerji hizmeti sağlayıcısı olan Opower da tüketicilere elektrik faturalarından tasarruf sağlayan hizmetler sunmak için Hadoop'u kullanıyor. Bunların arasında, kullanıcının elektrik faturaları tahmin ediliyor ve analiz ediliyor.
-
Altyapı yönetimi : Bu çok basit bir uygulama senaryosudur.Kullanıcılar sunuculardan, anahtarlardan ve diğer cihazlardan veri toplamak ve analiz etmek için Hadoop'u kullanabilir.
-
Görüntü işleme : Başlangıç Skybox Imaging, görüntü verilerini depolamak ve işlemek ve uydulardan alınan yüksek çözünürlüklü görüntülerden coğrafi değişiklikleri tespit etmek için Hadoop'u kullanıyor.
-
Dolandırıcılık tespiti : Bu senaryoda, kullanıcılar buna daha az maruz kalır ve genel finansal hizmetler veya devlet kurumları tarafından kullanılır. Bazı yapılandırılmamış veriler de dahil olmak üzere tüm müşteri işlem verilerini depolamak için Hadoop'u kullanmak, kuruluşların anormal müşteri etkinliklerini bulmasına ve dolandırıcılığı önlemesine yardımcı olabilir.
-
bilgi Teknolojileri Güvenliği : Kurumsal BT altyapısının yönetimine ek olarak, Hadoop, kötü amaçlı yazılımlardan veya ağlardan gelen saldırıları tanımlamak için makine tarafından oluşturulan verileri işlemek için de kullanılabilir.
-
sağlık Sigortası : Tıp endüstrisi de Hadoop'u kullanacak.Örneğin, IBM'in Watson'ı, semantik analiz gibi gelişmiş analiz teknolojileri de dahil olmak üzere hizmetlerinin temeli olarak Hadoop kümesini kullanacak. Tıp kurumları, hastalara sağlık personeli sağlamak ve doktorların hastaları daha iyi teşhis etmelerine yardımcı olmak için anlamsal analizi kullanabilir.
Ana sahne kategorileri aşağıdaki gibidir:
-
Büyük miktarda veri depolama: dağıtılmış depolama (çeşitli bulut diskleri, Baidu, 360 ve bulut platformları hadoop uygulamalarına sahiptir)
-
Günlük işleme: Hadoop bunda iyidir
-
Devasa bilgi işlem: paralel bilgi işlem
-
ETL: oracle, mysql, DB2, mongdb ve ana veri tabanlarına veri çıkarma
-
Veri analizi için HBase kullanın: Çok sayıda okuma ve yazma işlemiyle başa çıkmak için ölçeklenebilirliği kullanın - Facebook, HBase'e dayalı gerçek zamanlı bir veri analiz sistemi oluşturdu
-
Makine öğrenimi: Apache Mahout projesi gibi (ortak alanlar: işbirliğine dayalı tarama, kümeleme, sınıflandırma)
-
Arama motoru: hadoop + lucene uygulaması
-
Veri madenciliği: şu anda popüler reklam önerisi
-
Sırayla çok sayıda dosyayı okuyun. HDFS, rasgele erişim için daha yüksek yük pahasına sıralı okumaları optimize eder.
-
Kullanıcı davranışı özellik modellemesi
-
Kişiselleştirilmiş reklam önerisi
-
Akıllı cihaz önerisi
6. Kaynak önerisi
6.1 İnternet sitesi
Herkese tavsiye ettiğim şey HADOOP resmi web sitesidir: çünkü resmi web sitesi bir teknoloji hakkında ilk elden bilgi kaynağıdır ve kötü bir İngilizceniz varsa bu teknolojinin en kapsamlı ve doğrudan anlaşılması olabilir. Evet, Google'ın web sayfası çevirisini kullanabilirsiniz, doğruluk oranı% 90'ın üzerindedir, bir teknolojiyi öğrenmek için hala mümkündür. Veya bu web sitesini ziyaret edebilir, şu anda 3.0 olmasına rağmen 1.0'ın Çince sürümüne bir göz atabilirsiniz, ancak MAPREDUCE'yi anlamak için hala çok yararlıdır nın-nin.
6.2 kitabın
-
"HADOOP Yetki Rehberi"
Bu kitap, hadoop'a çok kapsamlı bir giriş niteliğindedir.Bu kitap, yazar Tom White'ın orijinal İngilizce kitabının tercümesidir.Yazar, hadoop'a 2006'dan beri katkıda bulunmaktadır. Kendisi, hadoop geliştirme topluluğunun saygın bir kıdemli üyesidir ve hadoop konusunda uzmandır. Teknolojinin çeşitli alanlarında, kendisi tarafından yazılan Hadoop kitaplarının anlaşılması kolaydır ve Hadoop'u kullanmaya başlamak için uygundur.
-
"Hadoop Technology Insider"
"Hadoop Technology Insider" ı önermemin nedeni, bu kitabın yazarı Dong Xicheng, Hadoop alanında kıdemli bir uygulayıcıdır.Hadoop teknolojisini 3 bölüme ayırır: MapReduce, HDFS, YARN, her bölüm ayrıntılıdır Detaylandırma.
6.3 Çevrimiçi sınıf
-
Geek Academy Çevrimiçi Kursu
Yazar tüm çevrimiçi videolara ve çevrimiçi kurslara göz attı, videoların çoğu biraz eski. Geek Academy'nin çevrimiçi kursları tavsiye etmeye değer.
-
Shangxuetang hadoop video paylaşımı
Çevrimiçi video materyallerinin çoğunun biraz eski olduğu gerçeği göz önüne alındığında, yazar Shangxuetang'daki öğrenim videosunu herkesle paylaşacak.
6.4 topluluk
-
hadoop teknik topluluğu
Bu topluluk hadoop, bloglar, forumlar, hadoop indirmeleri ve hadoop ile ilgili aktiviteler hakkındaki bilgileri kapsar.
7. İleri çalışma
7.1 Kağıt indüksiyonu
Aşağıda, daha yetkili belgeler olan Google Büyük Veri hakkındaki üç ünlü makalenin Çince versiyonu bulunmaktadır. Burada okuyucularla paylaşın.
-
Google Dosya Sistemi Çince Sürümü
-
Google Bigtable Çince sürümü
-
Google MapReduce Çince versiyonu
7.2 Mükemmel blog yazısı
-
Dong'un blog yazısı
Yazarın "Dong'un Blogu" nu ilk önermesinin nedeni, hadoop teknoloji insider'ın yazarı, kıdemli bir Hadoop teknoloji uygulayıcısı ve araştırmacısı olması ve ticari Hadoop prototiplerinin yanı sıra dağıtılmış günlük sistemleri, ağ çapında görüntü arama motorları ve Hadoop planlamasının geliştirilmesine katılmış olmasıdır. Ekipman gibi öğelerin tasarımı, araştırılması ve geliştirilmesi. Hadoop hakkında kendi benzersiz görüşlerine sahip. Web sitesi:
-
bigdata_player'ın blog yayını
Hadoop'a yeni başlayan bir okuyucunuz varsa, bigdata_player'ın üç blog gönderisini okuyabilirsiniz:
"Hadoop Temel Bilgisi --- HDFS Bölümü", URL:
"Hadoop Temel Bilgisi --- MapReduce Bölümü", URL:
"Hadoop temel bilgisi --- YARN ilkesinin kısa açıklaması", web sitesi:
-
Bu yolu görmek, neden ne kadar süreceğini düşünüyorsun Blog yazısı
Hadoop'u öğrenirken, Hadoop'un kurulum paketini indirmek için resmi web sitesine gitmek kaçınılmazdır ve indirilen kurulum paketi doğrudan kullanılamaz ve manuel olarak derlenmesi gerekir. Okuyucular hadoop paketlerini derlemek için bu blog gönderisine başvurabilirler. Web sitesi:
Bu sayıdaki "Hadoop'u Tek Bir Makalede Anlamak" yazı dizisindeki özel içerik Hadoop'a ilk giriş ve ardından HDFS, MAPREDUCE ve YARN'ın tüm bilgi noktalarının çerçevesine ayrıntılı bir girişe dayanarak, Dört konuya bölünmüştür ve önümüzdeki birkaç gün içinde uygulanacaktır. Takip içeriği için bizi izlemeye devam edin.
