Process-Oriented Analysis and Validation of Multi-Agent-Based Simulations : Concepts and Case Studies

Abstract

In multi-agent-based simulation (MABS) the behavior of individual actors is modelled in large detail. The analysis and validation of such models is rated as difficult in the literature and requires support by innovative methods, techniques, and tools. Problems include the complexity of the models, the amount and often qualitative representation of the simulation results, and the typical dichotomy between microscopic modeling and macroscopic observation perspectives. In recent years, the application of data mining techniques has been increasingly propagated in this context. Data mining might, to some degree, bear the potential to integrate aspects of automated, formal validation on the one hand and explorative, qualitative analysis on the other hand. A promising approach is found in the field of process mining. Due to its rooting in business process analysis, process mining shares several process- and organization-oriented analysis perspectives and use cases with agent-based modeling. On the basis of detailed literature research and practical experiences from case studies, this thesis proposes a conceptual framework for the systematic application of process mining to the analysis and validation of MABS. As a foundation, agent-oriented analysis perspectives and simulation-specific use cases are identified and embellished with methods, techniques, and further results from the literature. Additionally, a partial formalization of the identified analysis perspectives is sketched by utilizing the concept of process dimensions by Rembert and Ellis as well as the MAS architecture Mulan by Rölke. With a view to future tool support the use cases are broadly related to concepts of scientific workflow and data flow modeling. Furthermore, simulation-specific requirements and limitations for the application of process mining techniques are identified as guidelines. Beyond the conceptual work, process mining is practically applied in two case studies related to different modeling and simulation approaches. The first case study integrates process mining into the model-driven approach of Petri net-based agent-oriented software engineering (PAOSE). On the one hand, process mining techniques are practically applied to the analysis of agent interactions. On the other hand, more general implications of combining process mining with reference net-based agent modeling are sketched. The second case study starts from a more code-centric MABS for the quantitative analysis of different logistic strategies for city courier services. In this context, the practical utility and applicability of different process mining techniques within a large simulation study is evaluated. Focus is put on exploratory validation and the reconstruction of modularized agent behavior.

In der agentenbasierten Simulation wird das Verhalten individueller Akteure detailliert im Modell abgebildet. Die Analyse und Validierung dieser Modelle gilt in der Literatur als schwierig und bedarf der Unterstützung durch innovative Methoden, Techniken und Werkzeuge. Probleme liegen in der Komplexität der Modelle, im Umfang und der oft qualitativen Darstellungsform der Ergebnisse sowie in der typischen Dichotomie zwischen mikroskopischer Modellierungs- und makroskopischer Beobachtungssicht begründet. In den letzten Jahren wurde in diesem Zusammenhang zunehmend der Einsatz von Techniken aus dem Data Mining propagiert. Diese bergen in gewisser Weise das Potenzial, Aspekte der automatisierten, formalen Validierung mit denen der explorativen, qualitativen Analyse zu vereinen. Einen vielversprechenden Ansatz bietet das sogenannte Process Mining, welches aufgrund seiner Nähe zur Geschäftsprozessmodellierung mit der agentenbasierten Modellierung vergleichbare prozess- und organisationsorientierte Modellsichten (Perspektiven) und Anwendungsfälle aufweist. Ziel der vorliegenden Arbeit ist es, auf Basis umfangreicher Literaturrecherche und in Fallstudien gesammelter Erfahrungen ein konzeptionelles Rahmenwerk für den systematischen Einsatz von Process Mining zur Analyse und Validierung agentenbasierter Simulationsmodelle vorzuschlagen. Als Grundlage werden agentenspezifische Analyseperspektiven und simulationsspezifische Anwendungsfälle identifiziert und durch Methoden, Techniken und weitere Ergebnisse aus der Literatur ausgestaltet. Darüber hinaus wird ansatzweise eine Teilformalisierung der Analyseperspektiven unter Verwendung des Prozessdimensionen-Konzepts nach Rembert und Ellis sowie der auf Referenznetzen basierenden Architektur Mulan nach Rölke angestrebt. Die Anwendungsfälle werden mit Blick auf eine mögliche Werkzeugunterstützung mit Konzepten der wissenschaftlichen Workflow- und Datenflussmodellierung in Beziehung gesetzt und durch die Identifikation simulationsspezifischer Anwendungsrichtlinien für das Process Mining ergänzt. Neben der konzeptionellen Arbeit wird der Einsatz von Process Mining praktisch in unterschiedlichen Modellierungs- und Simulationsansätzen erprobt. Die erste Fallstudie integriert Process Mining konzeptionell und technisch in den modellgetriebenen Ansatz der Petrinetzbasierten agentenorientierten Softwareentwicklung (PAOSE). Dabei wird einerseits der praktische Einsatz von Process Mining-Techniken zur Interaktionsanalyse von Agenten beschrieben. Andererseits zeigt die Studie generelle Implikationen der Kombination von Process Mining und Referenznetz-basierter Agentenmodellierung auf. Ausgangspunkt der zweiten Fallstudie ist eine eher Code-zentrierte agentenbasierte Simulation zur quantitativen Analyse verschiedener Logistikstrategien für Stadtkurierdienste. Im Rahmen dieser Fallstudie werden Process Mining-Techniken im Hinblick auf Anwendbarkeit und Nutzen für eine großen Simulationsstudie untersucht. Dabei steht die explorative Validierung und die Rekonstruktion modularisierten Agentenverhaltens im Vordergrund.