g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

ELK teknoloji yığını (ElasticSearch, Logstash, Kibana, dikey arama motoru)

Temel bölüm

çalışma prensibi

es iç prensip

ELK küme kurulumu ve dağıtımı

Doküman yönetimi

Endeks yönetimi

aramak

Toplu analiz

Participle

Veri modelleme

Java api

Sıfır kesinti

dizin bölümü birleştirme

İyimser kilit eşzamanlılık kontrolü

Dizin takma adı

Alaka düzeyi puanlama algoritması ve özelleştirme

Yaklaşık toplama algoritması

Doc değerlerinin ve fielddata mekanizmasının ilkeleri

Ebeveyn-çocuk ilişkisi veri modellemesi

Gelişmiş bölüm

Konum arama ve toplama analizi

terim vektörü

önerici araması

Arama şablonu özelleştirme

Sorgu yürütme analizi

span sorgusu

Parça dağıtım özelleştirme

Çoklu toplama analizi

Eklenti geliştirme

Genellikle günlükler farklı cihazlarda saklanır. Düzinelerce veya yüzlerce sunucuyu yönetiyorsanız, günlükleri kontrol etmek için her makinede geleneksel oturum açma yöntemini kullanmaya devam edersiniz. Bu hantal ve verimsiz hissettiriyor mu? Tüm sunuculardaki günlükleri toplamak ve özetlemek için açık kaynak syslog gibi merkezi günlük yönetimi kullanmamız zorunludur.

Günlüklerin merkezileştirilmiş yönetiminden sonra, günlük istatistikleri ve erişim daha zahmetli bir şey haline geldi. Genel olarak, geri alma ve istatistik elde etmek için grep, awk ve wc gibi Linux komutlarını kullanabiliriz, ancak sorgu, sıralama ve istatistik gibi daha zorlu gereksinimler Ve çok sayıda makine hala bu yöntemi kaçınılmaz olarak biraz güçsüz kullanıyor.

Kaynak gerçek zamanlı günlük analizi ELK platformu yukarıda belirtilen sorunlarımızı mükemmel bir şekilde çözebilir.ELK, ElasticSearch, Logstash ve Kiabana olmak üzere üç açık kaynak araçtan oluşur. Uygulamanın amacı, ELK teknoloji yığınının dağıtımını ve uygulamasını anlamaktır.

Elasticsearch, açık kaynaklı, dağıtılmış bir arama motorudur. Özellikleri şunlardır: dağıtılmış, sıfır yapılandırma, otomatik keşif, otomatik dizin parçalama, dizin kopyalama mekanizması, rahat stil arabirimi, çoklu veri kaynakları, otomatik arama yükü vb.

Logstash, günlüklerinizi toplayıp filtreleyebilen ve daha sonra kullanmak üzere saklayabilen (örneğin, arama) tamamen açık kaynaklı bir araçtır.

Kibana aynı zamanda açık kaynak ve ücretsiz bir araçtır.Kibana, Logstash ve ElasticSearch'e önemli veri günlüklerini özetlemenize, analiz etmenize ve aramanıza yardımcı olabilecek günlük analizi dostu bir web arayüzü sağlayabilir.

1. Hedef

Düzgün çalışmasını sağlamak için ELK'yi kurun ve dağıtın. Küme çalışması daha sonra uygulamaya bırakılır.

2. Dağıtılan makine

Sunucu 1: 192.168.136.144 Üç ELK programını dağıtın

Sunucu 2: 192.168.136.138 logstash aracısını dağıtma

Yukarıdaki makineler centos 65 sanal makinelerdir

ELK'nin kurulu sürümü:

elasticsearch-2.4.1.tar.gz

kibana-4.5.1-linux-x64.tar.gz

logstash-2.3.2.tar.gz

Not: Başlangıçta ELK 5.0.0 sürümünü kullandım, ancak bir Logstash ve ES bağlantı sorunuyla karşılaştım (kimlik doğrulama ile ilgili). Bununla başa çıkmanın bir yolu yok, bu nedenle eski sürüm alıştırma için kullanılıyor. En son sürümü kullanmanın riskleri vardır, bu yüzden başlarken dikkatli olun!

3. Kurulum süreci

3.1 Kurulumdan önce hazırlık

1) Yukarıdaki üç yazılımı indirin ve 144 ana bilgisayara yükleyin

2) java 1.8'i hazırlayın (jdk 1.8 iyi olduğu sürece)

3.2 Kurulum adımları

ELK teknoloji yığınının konuşlandırılması aşağıdaki adımlarda gerçekleştirilecektir

Önce ES (Elasticsearch) ve ES eklentilerini kurun, ardından kibana'yı kurun ve son olarak logstash'ı kurun. Sonraki bölümde, logstash aracısını kurmaya devam edeceğiz.

1. ES (Elasticsearch) ve ES eklentilerini yükleyin

Önce elasticsearch-2.4.1.tar.gz dosyasını açın ve ardından dizine girin

Ardından, yapılandırma dizinindeki elasticsearch.yml yapılandırma dosyasını değiştirmeliyiz.

Değiştirilecek içerik

Yukarıdaki içeriği doğru şekilde değiştirin ve projenin yürürlüğe girmesi için öndeki # işaretini kaldırdığınızdan emin olun. ES, root altında çalışmayı desteklemediğinden, dizini yetkilendirmeniz gerekir. Kök kullanıcı olarak oturum açın ve aşağıdaki komutları uygulayın

chown + R nmc: nmc /home/nmc/dev/elk/elk2.3/elasticsearch-2.4.1/

Not: Yukarıdaki komut, bu dizini ve bu dizin altındaki alt dizinleri, nmc kullanıcı grubuna ait olan nmc kullanıcılarına yetkilendirmektir.

Daha sonra nmc kullanıcısına geçiyoruz ve ES'yi başlatmak için nmc kullanıcısını kullanıyoruz. /Home/nmc/dev/elk/elk2.3/elasticsearch-2.4.1/ girin

Komut satırında ./bin/elasticsearch komutunu çalıştırın.

Başlangıçtan sonra, herhangi bir hata bildirilmezse, bu başarı demektir. Kontrol etmek için tarayıcı üzerinden çalıştırabiliriz ve aşağıdaki arayüz başarılı demektir

Daha sonra es eklenti kafasını kurabiliriz. Head'den önce kurulum nispeten basittir. Es başlatılmadığında, ./bin/plugin install mobz / elasticsearch-head komutunu çalıştırın.

Benim ortamımda, paket artık yürütülemiyor. (Bu paketin 5.0 piyasaya sürüldükten sonra entegre edildiği tahmin edilmektedir) Baş paketini İnternetten indirin, sıkıştırmasını açın ve /home/nmc/dev/elk/elk2.3/elasticsearch-2.4.1/plugins adresine yükleyin.

Yeniden başlatın, eklentiyi url'si aracılığıyla görüntüleyebiliriz.

ES bölümünün kurulumu için bu kadar. Kibana kuralım

2. kibana yükleyin

Kök kullanıcı olarak kibana'yı açın ve bu dizine girin. Config dizinindeki kibana.yml dosyasını değiştirin

Yukarıdaki yapılandırmanın geçerli olduğundan emin olun. Sonra kibana'ya başlıyoruz. Başlamak için ./bin/kibana'yı çalıştırdıktan sonra, url'si aracılığıyla kibana arayüzüne giriyoruz.

Varsayılan olarak doğrudan oluşturulabilir. Ardından gözlemlemek için en üstteki keşfet'i tıklayın

3. Daha sonra logstash kuruyoruz. Dekompresyondan sonra dizine girin,

Yapılandırma dizini olmadığı ortaya çıktı, ben de kendim bir tane oluşturdum ve yapılandırma dizininde bir yapılandırma dosyası oluşturdum.

Logstash ve ES'yi yapılandırma dosyasındaki çıktı aracılığıyla bağlayın.

Sonra, logstash'i başlatıyoruz.Başlattıktan sonra, logstash penceresinden herhangi bir içeriği girebiliriz ve ES aracılığıyla kibana arayüzüne geri beslenebilir.