Logfile-Analyse mit Elasticsearch, Logstash und Kibana

Vorkenntnisse

Voraussetzung für die Schulung sind gute Kenntnisse der jeweiligen System-Administration sowie Grundkenntnisse im Arbeiten mit der Linux-Befehlszeile und Netzwerk-Grundkenntnisse. Der Kurs richtet sich an Linux / Windows Systemadministratoren und an Administratoren von heterogenen Umgebungen mit vielen unterschiedlichen Protokoll-Formaten.

Kursinhalt

Einführung:

• Traditionelle Ansätze, Protokolle zu analysieren
• Welche Probleme gibt es damit?
• Wie löst Logfile-Analyse diese?

Konzepte und Begriffe:

• Der Weg einer Protokoll-Meldung
• Das JSON-Format
• Rest API

Sinnvolle Kombinationen und integrierte Lösungen:

• Der Elastic Stack: Logstash, Elasticsearch, Kibana und Beats
• OpenSearch und OpenSearch Dashboards
• Fluentd, Fluent Bit, Elasticsearch, Kibana
• Graylog

Gängige Log-Quellen:

• Syslog
• Elastic Beats und Fluent Bit
• Webserver, Mailserver, MariaDB, PostgreSQL
• Netzwerk-Komponenten
• Windows Event Log, Windows-Dienste

Transport und Verarbeitung von Protokoll-Meldungen:

• Logstash
• Fluentd
• Graylog
• Rsyslog

Speicherung mit Elasticsearch:

• einzeln und als Cluster
• Monitoring mit Cerebro und Kibana
• Performance-Aspekte
• alte Daten aufräumen
• Backup

Suche:

• Lucene
• Kibana Query Language
• Graylog

Oberflächen:

• Kibana, OpenSearch Dashboards, Graylog
• Protokoll-Daten auswerten
• Graphen und Dashboards bauen
• Administrative Aufgaben erledigen

Ziel

Viele System-Administratoren heterogener Umgebung haben es mit Unmengen an Protokoll-Daten verschiedenster Systeme zu tun, die diese in unterschiedlichen Formaten speichern. Tritt ein Fehler auf, sind diese Logfiles oft der einzige Zugang zur Problem-Ursache. Gerade bei hunderten von Servern ist deren manuelle Analyse und Korrelation über verschiedene Systeme hinweg immens zeitaufwendig. Beschäftigt sich ein Administrator nun mit effizienteren Wegen, sich einen Überblick über diese Daten-Mengen zu verschaffen, findet er eine ganze Reihe unterschiedlicher Software-Lösungen, deren Hersteller oder Entwickler anpreisen, das Problem zu lösen. Ein konzentrierter Überblick über deren Merkmale sowie Vor- und Nachteile fehlt jedoch. Der Kurs hat den Zweck, diese Lücke zu schließen, und ermöglicht den Teilnehmern, verschiedene Lösungen Hands On anzuschauen.

Am Ende des Kurses sind Sie in der Lage, ein professionelles Logfile-Analyse-Setup aufzubauen und auf verschiedenen Systeme anfallende Protokoll-Daten auszuwerten. Durch das Einrichten und Vergleichen unterschiedlicher Lösungen haben Sie einen Überblick über deren Möglichkeiten und Einschränkungen. Dadurch können Sie eine qualifizierte Entscheidung treffen, welche Lösungen Sie einsetzen möchten.