ELK Yığını Nedir?
ELK yığını, üç popüler projeden (Elasticsearch, Logstash ve Kibana) oluşan bir yığını tanımlamak için kullanılan bir kısaltmadır. Sıklıkla Elasticsearch olarak anılan ELK yığını, tüm sistem ve uygulamalarınızdaki günlükleri toplayabilmenizi; bu günlükleri analiz edebilmenizi; uygulama ve altyapı izleme, daha hızlı sorun giderme, güvenlik analitikleri ve çok daha fazlası için görselleştirmeler oluşturabilmenizi sağlar.
E = Elasticsearch
Elasticsearch, Apache Lucene üzerinde geliştirilmiş dağıtılmış bir arama ve analiz altyapısıdır. Çeşitli diller için destek, yüksek performans ve şemasız JSON belgeleri, Elasticsearch'ü çeşitli günlük analizleri ve arama kullanım örnekleri için ideal seçim haline getirir.
Daha fazla bilgi için bkz. Elasticsearch Nedir?
21 Ocak 2021 tarihinde Elastic NV, yazılım lisanslama stratejilerini değiştireceklerini ve esnek Apache Lisansı Sürüm 2.0 (ALv2) altında Elasticsearch ve Kibana'nın yeni sürümlerini yayınlamayacaklarını duyurdu. Bunun yerine, yazılımın yeni sürümleri, Elastic Lisansı veya SSPL altında kaynak koduyla birlikte Elastic lisansı altında sunulacaktır. Bu lisanslar açık kaynaklı değildir ve kullanıcılara aynı özgürlükleri sunmaz. Güvenli, yüksek kaliteli, tamamen açık kaynaklı bir arama ve analiz paketi için açık kaynaklı Elasticsearch ve Kibana'nın topluluk odaklı, ALv2 lisanslı bir çatalı olan OpenSearch projesini kullanabilirsiniz.
L = Logstash
Logstash, çeşitli kaynaklardan veri toplamanıza, bu verileri dönüştürmenize ve istediğiniz hedefe göndermenize olanak tanıyan açık kaynaklı bir veri alma aracıdır. Önceden oluşturulmuş filtreler ve 200'ü aşkın eklenti için destek sunan Logstash, kullanıcıların veri kaynağı veya türü fark etmeksizin verileri kolayca almasına olanak tanır.
Logstash, çeşitli kaynaklardan veri toplamanıza, anında dönüştürmenize ve istediğiniz hedefe göndermenize olanak tanıyan, hafif, açık kaynaklı, sunucu tarafı bir veri işleme hattıdır. Genellikle açık kaynaklı bir analiz ve arama altyapısı olan Elasticsearch için bir veri hattı olarak kullanılır. Elasticsearch ile sıkı entegrasyonu, güçlü günlük işleme özellikleri ve verilerinizi kolayca dizinlemenize yardımcı olabilecek 200'den fazla önceden oluşturulmuş açık kaynaklı eklenti sayesinde Logstash, Elasticsearch'e veri yüklemek için popüler bir seçenektir.
Yapılandırılmamış verileri kolayca yükleyin
Logstash; sistem günlükleri, web sitesi günlükleri ve uygulama sunucusu günlükleri dahil olmak üzere çeşitli veri kaynaklarından yapılandırılmamış verileri kolayca almanızı sağlar.
Önceden oluşturulmuş filtreler
Logstash, yaygın veri türlerini kolayca dönüştürebilmenizi, Elasticsearch'te dizinlemenizi ve özel veri dönüştürme hatları oluşturmak zorunda kalmadan sorgulamaya başlayabilmenizi sağlamak için önceden oluşturulmuş filtreler sunar.
Esnek eklenti mimarisi
GitHub'da halihazırda mevcut olan 200'den fazla eklenti sayesinde, veri hattınızı özelleştirmek için ihtiyaç duyduğunuz eklentiyi başka birinin zaten oluşturmuş olması muhtemeldir. Ancak ihtiyaçlarınıza uygun bir eklenti yoksa kendiniz kolaylıkla bir tane oluşturabilirsiniz.
K = Kibana
Kibana, günlük ve zaman serisi analizleri, uygulama izleme ve operasyonel zeka kullanım örnekleri için kullanılan bir veri görselleştirme ve keşif aracıdır. Histogramlar, çizgi grafikleri, dilim grafikleri, ısı haritaları ve yerleşik coğrafi mekansal destek gibi güçlü ve kullanımı kolay özellikler sunar. Ayrıca, popüler bir analiz ve arama altyapısı olan Elasticsearch ile sıkı bir entegrasyona sahiptir ve bu, Kibana'yı Elasticsearch'te depolanan verileri görselleştirmek için varsayılan seçenek haline getirir.
21 Ocak 2021 tarihinde Elastic NV, yazılım lisanslama stratejilerini değiştireceklerini ve esnek Apache Lisansı Sürüm 2.0 (ALv2) altında Elasticsearch ve Kibana'nın yeni sürümlerini yayınlamayacaklarını duyurdu. Bunun yerine, yazılımın yeni sürümleri, Elastic Lisansı veya SSPL altında kaynak koduyla birlikte Elastic lisansı altında sunulacaktır. Bu lisanslar açık kaynaklı değildir ve kullanıcılara aynı özgürlükleri sunmaz. Açık kaynak topluluğunun ve müşterilerimizin güvenli, yüksek kaliteli, tamamen açık kaynaklı bir arama ve analiz paketine sahip olmaya devam etmesini sağlamak için açık kaynaklı Elasticsearch ve Kibana'nın topluluk odaklı, ALv2 lisanslı bir çatalı olan OpenSearch projesini tanıttık. OpenSearch paketi içinde bir arama altyapısı olan OpenSearch ile bir görselleştirme ve kullanıcı arabirimi olan OpenSearch Dashboards yer almaktadır.
Kibana'yı şirket içinde, Amazon Esnek İşlem Bulutu'nda (Amazon EC2) veya Amazon OpenSearch Service'in Apache 2.0 lisanslı sürümlerinde (7.10.2 sürümüne kadar) çalıştırabilirsiniz. OpenSearch Dashboards, kendi kendinize yönetebileceğiniz Kibana'ya açık kaynaklı bir alternatiftir. Kibana'nın son açık kaynaklı sürümünden (7.10.2) türetilmiştir. Birçok gelişme içerir ve OpenSearch Projesi aracılığıyla başarıyla desteklenir. Şirket içindeki veya Amazon EC2'deki dağıtımlarda altyapıyı tedarik etmek, Kibana veya OpenSearch Dashboards yazılımını yüklemek ve altyapıyı yönetmek sizin sorumluluğunuzdadır. OpenSearch Hizmeti'nde Kibana veya OpenSearch Dashboards, tam olarak yönetilen bir hizmet şeklinde etki alanınızla otomatik olarak dağıtılır ve kümeleri yönetmek için gereken tüm ağır işleri otomatik olarak üstlenir.
Etkileşimli grafikler
Kibana, büyük miktarlardaki günlük verilerinde etkileşimli olarak gezinmek için kullanabileceğiniz sezgisel grafikler ve raporlar sunar. Zaman pencerelerini dinamik olarak sürükleyebilir, belirli veri alt kümelerini yakınlaştırıp uzaklaştırabilir ve verilerinizden eyleme dönüştürülebilir öngörüler elde etmek için raporları ayrıntılı olarak inceleyebilirsiniz.
Haritalama desteği
Kibana, coğrafi bilgileri sorunsuz bir şekilde verilerinizin üzerine yerleştirebilmeniz ve sonuçları haritalarda görselleştirebilmeniz için güçlü coğrafi mekansal özelliklerle birlikte gelir.
Önceden oluşturulmuş toplamalar ve filtreler
Kibana'nın önceden oluşturulmuş toplamalarını ve filtrelerini kullanarak histogramlar, en üst N sorguları ve trendler gibi çeşitli analizleri sadece birkaç adımda çalıştırabilirsiniz.
Kolay erişilebilir panolar
Kolayca panolar ve raporlar oluşturup bunları başkalarıyla paylaşabilirsiniz. Tek ihtiyacınız olan, verileri görüntülemek ve incelemek için bir tarayıcıdır.
ELK yığını nasıl çalışır?
- Logstash, verileri alır, dönüştürür ve doğru hedefe gönderir.
- Elasticsearch, alınan verileri dizinler, analiz eder ve bunlarda arama yapar.
- Kibana, analizin sonuçlarını görselleştirir.
ELK yığını ne işe yarar?
ELK yığını; günlük analizi, belge arama, güvenlik bilgileri ve olay yönetimi (SIEM), ayrıca gözlemlenebilirlik dahil olmak üzere çeşitli sorunları çözmek için kullanılır. Arama ve analiz alt yapısı, veri alımı ve görselleştirme sunar.
ELK yığını neden önemli?
ELK yığını, günlük analizi alanındaki bir ihtiyacı giderir. BT altyapınız giderek genel bulutlara taşındıkça, bu altyapıyı izlemek ve sunucu günlüklerini, uygulama günlüklerini ve tıklama akışlarını işlemek için bir günlük yönetimine ve analiz çözümüne ihtiyaç duyarsınız. ELK yığını, geliştiricilerinizin ve DevOps mühendislerinizin hata tespiti, uygulama performansı ve altyapı izleme konusunda çok daha düşük bir fiyatla değerli öngörüler elde etmesi için basit ancak güçlü bir günlük analizi çözümü sunar.
ELK yığını için doğru çözümü nasıl seçebilirim?
AWS'de, ELK yığınını EC2 üzerinde kendiniz dağıtmayı ve yönetmeyi seçebilirsiniz. Ancak otomatik şekilde yönetilen seçenekte, işletme gereksinimlerinizi karşılamak için ölçeği artırmak ve azaltmak ya da güvenlik ve uygunluk gereksinimlerini karşılamak zorluk teşkil eder. Geliştiricilerinizin veya DevOps mühendislerinizin yenilikçi uygulamalar oluşturmaya veya dağıtım, yükseltmeler, yazılım yüklemesi ve düzeltme eki uygulama, yedekleme ve izleme gibi operasyonel görevleri yönetmeye zaman ayırmasını tercih ederseniz OpenSearch Hizmeti, AWS'de OpenSearch kümelerini güvenli ve uygun maliyetli bir şekilde dağıtmayı, çalıştırmayı ve ölçeklendirmeyi kolaylaştıran, tam olarak yönetilen bir açık kaynak alternatifidir.
Hangi AWS teklifleri ELK yığınınızı destekler?
OpenSearch Hizmeti, Apache 2.0 lisanslı Elasticsearch'ün (sürüm 1.5 ila 7.10) ve Kibana'nın (sürüm 1.5 ila 7.10) çeşitli sürümlerini destekler. OpenSearch Hizmeti, kaynaklarınızdan veri toplamak ve dönüştürmek için Logstash ile entegrasyonu da destekler ve ardından hizmete yükler.
AWS tarafından sunulan alım araçları nelerdir?
AWS, kullanım örneği gereksinimlerinizi karşılayan veri alımı aracını seçme esnekliği sunmak için Amazon Kinesis Data Firehose, Amazon CloudWatch Günlükleri ve AWS IoT gibi çeşitli veri alımı araçlarına sahiptir. Daha fazla bilgi edinmek için Amazon OpenSearch Hizmeti Entegrasyonları bölümüne bakın.
OpenSearch, Elasticsearch B.V.'den Apache lisanslı belirli Elasticsearch kodu ve başka kaynak kodu içerir. Söz konusu diğer kaynak kodun kaynağı Elasticsearch B.V. değildir. ELASTICSEARCH, Elasticsearch B.V.'nin tescilli ticari markasıdır.
AWS için sonraki adımlar
AWS Yönetim Konsolu’nda AWS hibrit bulut ile oluşturmaya başlayın.