Hamed Ahmadi
ETL - Prozess
Deutsch
Die Firma "priorIT EDV-Dienstleistungen GmbH" beabsichtigt, die
Suchgeschwindigkeit ihrer Anwendung "SEazy" zu steigern. Durch Join-Operationen führt die Verwendung
der aktuellen relationalen Datenbank bei großen Datenmengen zu Problemen. Aus diesem Grund ist
vorgesehen, die für die Suche relevanten Daten, in eine schnelle Suchdatenbank zu übernehmen, um den
Suchvorgang zu beschleunigen. Um die optimale Suchgeschwindigkeit zu erhöhen, wird der ELK-Stack
verwendet. (Elasticsearch, Logstash, Kibana)
English
The company "priorIT EDV-Dienstleistungen GmbH" intends to increase the
search speed of their application "SEazy". Due to join operations, the use of the current relational
database leads to problems with large amounts of data. For this reason it is planned to transfer the
data relevant for the search into a fast search database to speed up the search process.
To increase the optimal search speed, the ELK stack is being used. (Elasticsearch, Logstash, Kibana)
Logstash extrahiert Daten aus der MySQL Datenbank, wendet Filter und Transformationen an, um die Daten aufzuarbeiten, und kann sie mit zusätzlichen Informationen füllen. Nach der Verarbeitung der Daten, leitet Logstash die Daten an Elasticsearch weiter, wo sie für die Indexierung und spätere Suche zur Verfügung stehen.
Elasticsearch ist ein zentraler Bestandteil des ELK-Stacks und dient zur Speicherung, Suche und Analyse großer Mengen von Daten in Echtzeit. Die erhaltenen Daten von der Logstash-Pipeline werden indexiert und für die effiziente Suche und Anaylse vorbereitet. Es ermöglicht die Speicherung und Organisation der Daten. Infolgedessen können schnelle Abfragen und komplexe Suchvorgänge durchgeführt werden.
Dieses leistungsstarke Werkzeug dient zur Datenanalyse und Sicherheitsüberwachung. Kibana ermöglicht Benutzern, benutzerdefinierte Dashboards zu erstellen, um Daten übersichtlich darzustellen. Kibana sendet Suchanfragen an Elasticsearch, um suchrelevante Informationen abzufragen und Grafiken sowie Diagramme zu erstellen.
Docker erleichtert die Installation und Verwaltung des ELK-Stacks. Mit Hilfe von Docker ist man in der Lage Elasticsearch, Logstash und Kibana als seperate Container auszuführen, was die Isolation und das Management auffallend erleichtert. Des Weiteren kann durch die Verwendung einer Docker-Compose Datei der ganze ELK-Stack mit einem einzigen Befehl gestarten und gestoppt werden.
Metricbeat wird verwendet, um Metriken vom System und von Diensten, die auf diesem System laufen, zu sammeln und zu übertragen. Diese Metriken umfassen Daten wie CPU-Nutzung, Speichernutzung, Netzwerkinformationen und viele weitere Leistungsindikatoren. Metricbeat sendet diese Informationen an Elasticsearch, wo sie analysiert werden können. Dies ermöglicht es den Systemadministratoren, Einblicke in die Leistung und Gesundheit des Systems zu erhalten.