Methods for Enhanced Security Monitoring and APT Detection in Enterprise Networks

Abstract

Anriffe auf IT-Systeme sind heute zur Normalität geworden. Diese reichen von simplen automatisierten Attacken bis zu komplexen nation-state Angriffen, den sogenannten Advanced Persistent Threats (APTs). Organisationen nutzen Security Operations Centers (SOCs) mit Analysten, um sich gegen diese Angriffe zu schützen. Die Analysten untersuchen den Strom an generierten Alarmen der Sicherheitsinfrastruktur. APT Detektion ist von zwei zentralen Faktoren beschränkt: fehlenden Ereignis- und Alarmdaten aufgrund von unzureichendem Sicherheits-Monitoring und Analysten, die von der hohen Alarmanzahl überfordert sind und daher wichtige Alarme übersehen. Diese Dissertation präsentiert fünf Beiträge, die (i) Sicherheits-Monitoring verbessern, um erhöhte Sichtbarkeit auf APT Aktivität zu erhalten und (ii) Analysten mit neuen Mechanismen für APT Detektion unterstützen, das hohe Alarmvolumen zu bewältigen.

Die ersten beiden Beiträge im Bereich Sicherheits-Monitoring verbessern Qualität und Quantität der intern und extern erreichten Sichtbarkeit. Zuerst wird ein Konzept für passive und transparente Entschlüsselung von TLS-Verbindungen mittels kooperativen Hosts vorgestellt. Im Gegensatz zum Aufbrechen von TLS mittels Proxyservern, ist dieser Ansatz weniger rechenintensiv und minimiert eine zentrale Angriffsmöglichkeit, da absolutes Vertrauen in einen Proxyserver nicht mehr erforderlich ist. Die Ergebnisse zeigen, dass die Übertragungslatenz von Schlüsselmaterial mithilfe eines Netzwerkpuffers von 40ms adressiert werden kann. Außerdem wird ein Ansatz zur Charakterisierung des Verhaltens von brute-force Angreifern vorgestellt, der auf einem Set an etablierten und zwei neuen Metriken basiert. Diese werden verwendet, um Angreifer zu gruppieren und zu priorisieren. Die Evaluation auf einem Echtweltdatensatz zeigt, wie die neuen Metriken helfen, mögliche Kollusion zwischen unverbundenen IP Adressen und potentielle APT Aktivität, in Form von Reconnaissance, aufzudecken.

Die verbleibenden drei Beiträge dieser Dissertation unterstützen SOC Analysten mittels neuartiger Ansätze zur Detektion von APT Phasen und Kampagnen. Es wird ein Algorithmus sowie zwei Implementationen zur Rekonstruktion von Lateral Movement vorgestellt, die Sicherheitsrelevante Host-Informationen und unvollständige Alarmsets kombinieren. Die Evaluation der Variante basierend auf k-kürzesten Pfaden zeigt eine Sensitivität von 90% für die Detektion von Insider-Angreifern, die 80% vom erwarteten Pfad abweichen. Außerdem wird ein Konzept zur Erklärung von Klassifikationsentscheidungen von graphbasierten APT Detektionsansätzen beschrieben, die auf Anomalieerkennung basieren. Dies wird erreicht, indem Eingabegraphen systematisch angepasst und die sich ändernden Anomaliewerte beobachtet werden. Der zusätzliche Kontext hilft bei einer schnellen Vorfallsbehandlung. Zuletzt wird ein Ansatz zur Rekonstruktion von APT Kampagnen vorgestellt, der auf einer neuartigen Kill Chain State Machine (KCSM) basiert, die von etablierten Kill Chain Modellen abgeleitet ist. Der Algorithmus aggregiert und verknüpft Alarme entlang des Automaten, um eine kompakte Repräsentation der Kampagne zu erhalten, die Analysten in deren Beurteilung unterstützt. Die Ergebnisse zeigen, dass das Alarmvolumen massiv auf 0.3–3.5% reduziert wird, während Kontextinformationen über die APT Kampagne beibehalten werden. Zusammenfassend können die fünf vorgestellen Ansätze individuell oder zusammen verwendet werden, um die APT Detektionsfähigkeiten eines SOC für Unternehmensnetzwerke zu stärken: verbessertes Sicherheits-Monitoring hilft Indikatoren für APT Aktivität zu erhalten, während die Mechanismen zur Detektion Analysten unterstützen, das hohe Alarmvolumen zu bewältigen.

Nowadays, pervasive attacks on IT systems have become the new normal ranging from simple automated attacks to sophisticated and stealthy nation-state attacks, so-called advanced persistent threats (APTs). To protect against these attacks, organizations utilize security operations centers (SOCs) with expert analysts who investigate the vast stream of alerts generated by security infrastructure. Detection of APTs is limited by two central factors: missed event- and alert-data due to insufficient security monitoring and analysts not investigating key alerts due to alert fatigue from the high overall alert volume. Thus, this thesis presents five contributions to (i) enhance security monitoring for better visibility on APT activity and (ii) support SOC analysts via novel mechanisms for APT detection to cope with the high volume of alerts.

The first two contributions towards security monitoring increase both quality and quantity of internal and external visibility. We introduce a concept for passive and transparent TLS decryption via key sharing of cooperative endpoints. In contrast to TLS interception via proxy servers, our approach is computationally more efficient and prevents a major attack vector, as absolute trust in a single proxy is no longer required. Our results indicate that transfer latency of key material shared by the endpoints can be addressed by a small traffic buffer of about 40ms. In addition, we present an approach to characterize brute-force attacker behavior via a collection of established features and two novel metrics that we leverage to cluster and prioritize attackers. In our evaluation on a real-world dataset of login attempts, we highlight how our metrics helps to establish indicators for likely collusion between unrelated IP addresses and potential APT reconnaissance activity of unclustered login attempts.

The remaining three contributions of this thesis support SOC analysts via novel detection algorithms for APT stages and campaigns. We present an abstract algorithm to reconstruct lateral movement activity based on security relevant host information and incomplete alert sets as well as two concrete implementations. Our evaluation indicates good detection performance for the variant based on k-shortest paths with up to 90% true positive rate for insider attackers that deviate 80% from the expected path. Furthermore, we describe a concept to explain classification decisions of graph-based APT detection approaches that rely on anomaly detection. We achieve this by systematically altering the input graphs and observing the changing anomaly scores. The result is added context that is essential for quick incident response. Last, we introduce an approach to reconstruct entire APT campaigns based on a novel Kill Chain State Machine (KCSM) that is derived from established kill chain models. The algorithm aggregates and links alerts along the state machine to obtain a compact visual representation of the APT campaign that helps analysts to quickly assess it. Our results show that our approach massively reduces the alert volume down to 0.3–3.5% of the original alert set, while retaining the contextual information of the APT campaign. Concluding, our five proposed approaches can be used individually or in conjunction to improve the APT detection capabilities of a SOC for enterprise networks: enhanced security monitoring helps to obtain indicators of APT activity, while our mechanisms for detection support SOC analysts in coping with alert fatigue.