ELK'ye ek olarak, açık kaynak izleme teknolojisi yığınında InfluxData'nın TICK'i de vardır.
Doğru aracı nasıl seçeceğiniz, ne yaptığınıza bağlıdır.
Uygulamalar ifade edebilir ve zaman serisi verileri onların dillerinden biridir. DevOps, bulut bilişim ve konteyner teknolojisi, uygulamaları yazma ve çalıştırma şeklimizi değiştirdi. InfluxData ve topluluğu, bir dizi açık kaynaklı projeye dayanarak, modern ve esnek bir izleme araç seti sağlamak için çalışıyor.
Geçtiğimiz on yılda konteynerler, sanal makineler ve bulut bilişim her şeyi değiştirdi. Bu değişiklikler hızla gerçekleşir, bu değişim hızıyla baş edebilecek bir ortama ihtiyacımız var ve uygulamaların daha sürdürülebilir bir şekilde gelişmeye devam etmesi gerekiyor. Bu nedenle, uygulamanın davranışını anlamamız, hatalarla başa çıkmaya hazır olmamız ve ardından uygulamayı iyileştirmemiz gerekir. Artık ilgili araçlara ve teknolojilere sahip olduğumuza göre, uygulamaların nasıl çalıştığını, altyapının nasıl geliştiğini ve nihayet performansı iyileştirmek için sistem hatalarını anlamak için bunları entegre etmemiz gerekiyor.
İzleme günlüğü
Günlükleri okuyoruz ve uygulama davranışını anlamamıza yardımcı olabilecek bazı araçlar var. Bunu çünkü:
Bir şeye güvenmeliyiz . Sadece ekrandaki bilgilere dayanarak uygulamanın davranışını anlayamıyoruz. Kullanıcıların uygulamayı nasıl kullandığını ve kaç istisna olduğunu bilmemiz gerekiyor. İzlenebilecek birçok gösterge vardır ve bunların bir kombinasyonu sistemimize güven oluşturabilir.
Geleceği tahmin etmeyi umuyoruz. Tahminlerimizi, belirlediğimiz çeşitli gösterge ve davranışlara dayandırmayı umuyoruz, böylece büyüyüp büyümediğimizi, ne kadar büyüdüğümüzü ve gelecekte ne kadar hızlı büyüyebileceğimize karar verebilelim. Bu bilgilerle donanmış olarak, bir plan tasarlayabilir ve belki de pek de iyi olmayan bazı olayları tahmin edebiliriz.
Örnek günlük
Sistem izleme grubu, günlükleri okumak için "kuyruk" adı verilen güçlü bir komut kullanır. Genellikle uygulamamız bu şekilde ifade edilir. Günlüğe gelince, temel veya normal bir durum var. Günlük normal bir durumda çıkmaya devam ederse, herhangi bir sorun yoktur. Günlük çıktısı çok hızlı veya çok yavaşsa, bir sorun vardır ve düzeltici eylemlerin yapılması gerekir.
Günlükler, uygulamaları anlamanın en akıllı yolu değildir, ancak en yaygın olanıdır.Herkes uygulamaları bu şekilde izler. Şimdi kesinlikle daha iyisini yapabiliriz, ancak bu, günlük özelliğini içerir.
Günlük açıklayıcıdır ve birçok bilgi içerir. Bunları veritabanında saklamanın maliyeti çok yüksektir. Günlükler genellikle düz metin biçiminde olduğundan, indekslenmeleri kolay değildir. Bu, motorun günlükler arasındaki ilişkiyi anlamak ve bilgi aramasını desteklemek için çok çalışması gerektiği anlamına gelir. Çok fazla günlüğünüz varsa veya uygulamada olan her şeyi kaydetmek için günlükleri kullanıyorsanız, bunları desteklemek için iyi bir sisteme ihtiyacınız vardır. Bu zordur, ancak imkansız değildir.
Logstash, Kibana, Elasticsearch, NewRelic, CloudWatch, Graphite gibi günlükleri birleştirip neler olup bittiğini hesaplayabilen birçok araç ve hizmet vardır. Bazıları hizmet olarak sunuluyor, bazıları açık kaynaklı projeler ve bazıları her ikisi de. Kilit nokta, birçok seçeneğin olmasıdır.
Bir günlük izleme aracı seçin
Doğru aracı nasıl seçeceğiniz, ne yaptığınıza bağlıdır. İnsanlarla tartışmak veya sadece arşivlemek için bir günlüğe ihtiyaç duyduğunuz bazı senaryolar vardır. Artık günlük, neler olduğu hakkında ayrıntılı bilgi içerdiğine göre, bu senaryolar için günlüğü kullanabilirsiniz. Bir istisna oluştuğunda, türünü belirleyebilirsiniz. Bu tür bilgileri elde etmek için günlükler daha çok kullanılır.
Ancak, diğer bazı senaryolarda, uygulamanın nasıl çalıştığını, örneğin günlüğün artıp azalmadığını ve istisnaların zaman içinde nasıl dağıtıldığını bilmek istersiniz. Ne olduğunu veya neden olduğunu bilmenize gerek yok - sadece uygulamanın davranışının değiştiğini bilmeniz gerekir. Öte yandan, sistem davranışını anlamanıza yardımcı olması için her gün zaman serisi verilerini de kullanıyorsunuz. Zaman serisi verileri, günlükler kadar ayrıntılı değildir - bunlar başka bir dildir. Örneğin, CPU ve belleğin kullanım oranı zaman serisi verileridir.
Zaman serisi verilerini günlükler olmadan kullanamazsınız çünkü bazı sorunlar yalnızca günlüklerin yardımıyla çözülebilir. Günlük veya zaman serisi verilerinin daha iyi olup olmadığını tartışmak için burada değilim, çünkü muhtemelen ikisine de ihtiyacınız var ve bunların bir değeri var. Yalnızca her ikisine de ihtiyacınız olmakla kalmaz, günlük aslında bir tür zaman serisi verisidir. Günlüğü basitleştirmek için zaman serilerini ve değerleri kullanırsanız, bazı hesaplamalar yapabiliriz ve günlüğün indekslenmesi daha kolay olur.
Aslında günlüğü zaman serisi verilerine dönüştürüyorsunuz. Uygulamanızda kaç tane oturum açma ve anormallik olduğunu veya bir finans şirketi iseniz, kaç işlem olduğunu hayal edin.Bunların hepsi zaman serisi verileridir çünkü bunlar bir anda bir değer, tek oturum açma. Zaman içinde bir dağılımdırlar. Bu, zaman serisi verilerinin anlamıdır. Günlükler bu şekilde dönüştürülebilir. Bu bir tamsayı veya değer değil, farklı bir açıdan görüntülenen bir günlüktür.
Basitçe ifade etmek gerekirse, günlüğü tek bir değere ve karşılık gelen zamandaki noktaya sadeleştirebilir ve bu noktaları zaman içinde toplayabilir, karşılaştırabilir vb. Uygulamanızı düşünmek için 10 dakika ayırırsanız, çok sayıda zaman serisi verisi elde edebilirsiniz.
Ayrıca sunucudan alabileceğiniz ve kullanabileceğiniz tüm kaynaklar zaman serisi verileridir. Bunları görselleştirmek için uygulama istatistiklerini kullanabilir ve ardından anormal hızdaki ani artışın bellek kullanımındaki artışa nasıl neden olduğunu anlayabilirsiniz.
Geliştiriciler olarak, 5 yıl önce yaptığımız her şeyin artık karmaşık görüneceğini biliyoruz. Şimdi amacımız işleri basitleştirmek. Basit şeyleri başkalarına açıklamak ve sürdürmek daha kolaydır. Zaman serisi verileri için şunu yapıyorum: bir değer ve bir zaman, değer bir sayıdır. Bu model ile bazı hesaplamalar yapabilir, bunları bir araya getirebilir, bir grafik oluşturabilir ve daha ucuz bir şekilde uygulamadan bilgi alabilirsiniz. Bununla birlikte, Cassandra, MySQL ve MongoDB gibi geleneksel genel amaçlı araçlarla karşılaştırıldığında, InfluxDB bu tür verileri işlemek için daha uygundur, çünkü bir dizi dizi ve sıkıştırma yerine sürekli sorgu ve saklama stratejisi gibi belirli senaryolar için işlevsel özellikler sağlar. Optimizasyon özellikleri.
InfluxDB'yi günlük depolama olarak kullanın
InfluxDB bir zaman serisi veritabanıdır. Uygulama veya sunucu tarafından üretilen tüm bilgileri bu veritabanına itebilirsiniz. Hem Windows hem de Mac'e indirilebilen bir Go ikili dosyasıdır. Kurulumu ve başlatılması kolaydır. InfluxDB, ifade etmek için InfluxQL kullanır. Bu, bu veritabanını sorgulamak için SQL'e çok benzer bir dil kullanabileceğiniz anlamına gelir ve SQL zaten size aşinadır ve başka bir yeni dil öğrenmenize gerek yoktur. İşte InfluxDB'yi seçmenin bazı nedenlerinin bir özeti.
-
kullanımı kolay
-
Tanıdık sorgu sözdizimi
-
Dış bağımlılık yok
-
Açık kaynak
-
Yatay olarak ölçeklenebilir
-
Bir dizi yakından entegre zaman serisi veri platformu üyesi
InfluxDB'nin geniş bir kullanıcı tabanı ve topluluğu vardır. InfluxData platformunun aşağıda tartışılan diğer bileşenleriyle birleştirilen InfluxDB, alışılmadık zaman serisi verilerini (sabit olmayan zaman aralıklarında meydana gelen olaylar) ve düzenli zaman serisi verilerini (sabit zaman aralıklarında olay göstergeleri) aşağıdaki gibi destekleyen tam yığın izleme sistemi oluşturmuştur.
InfluxData'da, beğendiğiniz veritabanı türü yerine neden uygun zaman serisi veritabanını seçmeniz gerektiğini göstermek için bir dizi karşılaştırma testi yaptık. InfluxDB ile diğer karşılaştırılabilir veritabanları arasındaki yazma performansı çok farklıdır. Kıyaslamalar genellikle önyargılıdır, ancak onları bağımsız testlerle daha objektif hale getirmeye çalışacağız. InfluxDB'yi Elasticsearch, MongoDB, Cassandra ve OpenTSDB ile karşılaştıran karşılaştırma testlerine bakın.
Modern bir izleme sistemi oluşturun
InfluxData tam yığın açık kaynak projesine sahiptir - Telegraf (https://www.influxdata.com/time-series-platform/telegraf/), InfluxDB (https://www.influxdata.com/time-series-platform / influxdb /), Chronograf (https://www.influxdata.com/time-series-platform/chronograf/) ve Kapacitor (https://www.influxdata.com/time-series-platform/kapacitor/). Birlikte TICK yığınını oluştururlar.
Eksiksiz bir izleme veya olay sistemleri yığını oluşturun
Telegraf Sunucu tarafında gösterge toplama ve veri gönderme aracıdır.İndirilip başlatılabilen bir Go ikili dosyasıdır.Kullanımı çok basittir. Her sunucuya bir Telegraf kurabilir ve bulunduğu sunucudan bilgi toplayacak şekilde yapılandırabilirsiniz. Telegraf, çeşitli ölçümlerin, olayların, çalıştığı konteynerin veya sistemin günlüklerinin, üçüncü taraf API'lerden alınan ölçümlerin ve hatta StatsD ve Kafka tüketici hizmetleri aracılığıyla izlenen ölçümlerin entegrasyonunu sağlar. Telegraf eklentidir ve giriş ve çıkış eklentileri sağlar.Çıkış eklentileri, InfluxDB, Graphite, OpenTSDB, Datadog, Librato, Kafka, MQTT, NSQ vb. Gibi çeşitli veri ambarlarına, hizmetlere, mesaj kuyruklarına ölçümler gönderebilir. Zaten bir izleme sisteminiz varsa ve güçlü bir toplayıcı arıyorsanız, Telegraf'ı kullanabilirsiniz.
InfluxDB DevOps izleme, günlük verileri, uygulama göstergeleri, Nesnelerin İnterneti (IoT) sensör verileri ve gerçek zamanlı analiz verileri dahil olmak üzere çok sayıda zaman damgası veri kullanım senaryosuna sahip bir veri ambarı olarak kullanılabilen bir depolama motorudur. Telegraf'ın tüm ölçümleri InfluxDB'ye gönderilebilir. InfluxDB, verileri yalnızca belirli bir süre tutacak, otomatik olarak sona erecek ve sistemden artık ihtiyaç duyulmayan verileri silecek ve böylece makine depolama alanından tasarruf edecek şekilde yapılandırılabilir. InfluxDB ayrıca veri etkileşimi için SQL benzeri bir sorgu dili sağlar.
Kronograf InfluxData platformu TICK yığınının kullanıcı arayüzü bileşenidir.InfluxDB'de depolanan tüm verileri Chronograf'ta görebilirsiniz, böylece güçlü sorgular ve alarmlar oluşturulabilir. Chronograf'ın kullanımı kolaydır ve gerçek zamanlı görselleştirilmiş verilerle hızlı bir şekilde gösterge tabloları oluşturmanıza olanak tanıyan bazı şablonlar ve kitaplıklar içerir. InfluxDB ve Kapacitor'u Chronograf'ta da yönetebilirsiniz. Chronograf'ı kullanmayı planlamıyorsanız, Grafana dahil InfluxDB çıktı eklentilerini uygulayan başka projeler de vardır.
Kapacitor TICK yığınının yerel gerçek zamanlı akışlı veri işleme motorudur.Oluşan olaylardan önce önlem almak için izlenen göstergelere dayalı olarak önceden önlemler alacak şekilde yapılandırılabilir. InfluxDB'den akış verilerini ve toplu verileri aynı anda işleyebilir. Kapacitor, dinamik eşik alarmlarını, model eşleştirme göstergelerini işlemek, olasılık ve istatistik anormalliklerini hesaplamak ve alarmlara dayalı dinamik yük dengeleme gibi belirli eylemleri gerçekleştirmek için özel mantık veya kullanıcı tanımlı işlevlerin gömülmesine izin verir. Kapacitor uyarılarını, HipChat, OpsGenie, Alerta, Sensu, PagerDuty, Slack vb. Dahil olmak üzere uyumlu olay yönetimi entegre bileşenlerine gönderebilirsiniz. Örneğin Kapacitor, PagerDuty'ye mesaj gönderebilir, gece bir şeyler ters giderse haberdar olabilir veya Slack'e mesaj gönderebilirsiniz.
InfluxDB'yi başlatmak ve tüm TICK yığınını çalıştırmak oldukça basittir. Bir izleme sisteminin normal şekilde çalışması için ikili dosyaları veya Docker konteynerlerini çalıştırabilirsiniz. Ancak bir izleme sisteminin asıl amacı, altyapı arızalandığında veya uygulama çöktüğünde sizi bilgilendirmektir. İzleme sisteminiz sunucu ile birlikte çökerse, düzgün çalışmıyordur. Bu yüzden izleme sisteminize güvenmeniz gerekir. Uygulama ve sunucu çöktüğünde izleme sisteminin çalışmaya devam edeceğinden% 100 emin olmak için onu uygulama ve altyapıdan ayırmanız gerekir. Bunun basit bir hedef olmadığını veya bazı Docker komutlarını çalıştırması anlamına gelmediğini bilmeniz gerekir.
