Bachelor Thesis BCLR-0148

BibliographyZwietasch, Tim: Detecting Anomalies in System Log Files using Machine Learning Techniques.
University of Stuttgart, Faculty of Computer Science, Electrical Engineering, and Information Technology, Bachelor Thesis No. 148 (2014).
71 pages, english.
CR-SchemaB.8.1 (Reliability, Testing, and Fault-Tolerance)
Abstract

Logdateien werden heutzutage in nahezu allen größeren Computersystemen produziert. Diese enthalten wertvolle Informationen über den Zustand und das Verhalten des darunterliegenden Systems. Aus diesem Grund werden sie sehr häufig als erstes im Falle eines Fehlers oder sonstigem Fehlverhalten in einem System konsultiert. Wegen der enormen Anzahl an Ereignissen, die in Logdateien gespeichert werden, wird die Suche nach Einträgen, welche Informationen über einen Fehler im System besitzen, jedoch sehr erschwert. Computerbasierte Analysetechniken werden aus diesem Grund mehr und mehr unerlässlich für die Diagnose von Fehlverhalten aus Logdateien. In dieser Arbeit werden drei verschiedene Repräsentationsformen für textuelle Informationen vorgestellt und evaluiert, welche sich auf kontextuelle Abhängigkeiten zwischen den Daten in der Eingabe beschäftigen. Zusätzlich wird, basierend auf den drei entwickelten Repräsentationen, ein neuer positionsbasierter Algorithmus zum Erkennen von Anomalien vorgestellt, implementiert und mit verschiedenen anderen Algorithmen verglichen. Die Algorithmen werden auf einer semantisch gefilterten Instanz einer beschrifteten Logdatei ausgeführt, die von dem Supercomputer BlueGene/L stammt. Die Ergebnisse der Ausführung werden anschließend evaluiert, indem die Korrelation zwischen den vorhandenen Beschriftungen und den Ereignissen, die als anomal eingestuft wurden, analysiert wird. Die Ergebnisse zeigen, dass der entwickelte Algorithmus in zwei der drei Repräsentationen die insgesamt beste Korrelation zwischen Ereignissen, die als anomal eingestuft wurden und den beschrifteten Ereignissen, erzeugt.

Full text and
other links
PDF (4666548 Bytes)
Department(s)University of Stuttgart, Institute of Software Technology, Software Reliability and Security
Superviser(s)Pitakrat, Teerat
Entry dateNovember 27, 2014
   Publ. Computer Science