Artificial Intelligence and Market Manipulation: Challenges for Market Abuse Regulations and Governance of Algorithmic Trading

Abstract

The financial trading industry is amid a technological (r)evolution, fuelled by Artificial Intelligence (AI) and its subfield of Machine Learning (ML). As AI-based algorithmic trading systems become increasingly sophisticated, capable, and autonomous, the active role of human actors is in decline. At the same time, concerns are rising over the implications for market efficiency, integrity, and stability, mainly due to the unintended consequences and potential misuse of advanced applications. This dissertation analyses, conceptualises, and evaluates the novel risks for capital markets posed by ML and other advanced methods, focusing on (Deep) Reinforcement Learning (DRL) methods as a case study. Adopting an interdisciplinary approach, this work bridges insights from Finance, Law, and Informatics. The dissertation begins by exploring how subsequent AI generations in financial trading have spurred greater system complexity. Drawing on state-of-the- art research in Computational Finance, it highlights how the rapid progress in ML— exemplified by DRL applications—has fundamentally impacted capital markets, including the emergence of new market abuse risks. Hence, the dissertation conceptualises four basic scenarios, categorised by varying degrees of human involvement, in which AI trading may foster market manipulation. The discussion extends to the enforcement of market conduct rules, focusing on the heightened risks introduced by DRL methods, which enable autonomous trading agents capable of engaging in market manipulation or even ‘tacit’ collusion, regardless of specific human intent. Building on these insights, the dissertation evaluates the adequacy of the EU regulatory framework for algorithmic trading—specifically MiFID II/MiFIR and MAR/MAD. It explores the ethical and legal challenges arising from the key techno- methodical specificities of AI systems, including their operational ‘autonomy’ and ‘opacity’. Through a detailed analysis of critical elements of algorithmic trading regulation—such as (i) liability rules for market abuse, (ii) enforcement regimes, (iii) supervisory frameworks, and (iv) governance of trading technology—the research identifies significant regulatory gaps and proposes a range of policy solutions. Key recommendations include (i) clarifying the legal definition of market manipulation, (ii) strengthening liability and enforcement regimes, (iii) adopting a behavioural-based approach to market conduct supervision, and (iv) establishing an EU-wide supervisory technology (SupTech) ecosystem for effective cross-market surveillance. Finally, the dissertation introduces a novel risk-based regulatory approach for AI applications in algorithmic trading, inspired by the EU AI Act. This approach departs from the prevailing principle of ‘technology neutrality’, emphasising proportional requirements for AI governance across the entire lifecycle from an engineering perspective. Ultimately, this dissertation advances an interdisciplinary research agenda at the intersection of Finance, Law, and Informatics, aiming to inform and support academics, policymakers, and financial regulators in crafting future-proof regulations for AI within the domain of regulated financial trading.

Die Finanzhandelsbranche befindet sich inmitten einer technologischen (R)Evolution, die durch Künstliche Intelligenz (KI) und ihren Teilbereich des Maschinellen Lernens (ML) vorangetrieben wird. Da KI-basierte algorithmische Handelssysteme immer ausgefeilter, leistungsfähiger und autonomer werden, nimmt die aktive Rolle menschlicher Akteure ab. Gleichzeitig nehmen die Bedenken hinsichtlich der Auswirkungen auf die Markteffizienz, -integrität und -stabilität zu, was hauptsächlich auf die unbeabsichtigten Folgen und den potenziellen Missbrauch fortschrittlicher Anwendungen zurückzuführen ist. In dieser Dissertation werden die neuartigen Risiken für die Kapitalmärkte, die durch ML und andere fortgeschrittene Methoden entstehen, analysiert, konzeptualisiert und bewertet, wobei der Schwerpunkt auf Methoden des (Deep) Reinforcement Learning (DRL) als Fallstudie liegt. Durch einen interdisziplinären Ansatz verbindet diese Arbeit Erkenntnisse aus den Bereichen Finanzen, Recht und Informatik. Die Dissertation beginnt mit der Untersuchung, wie nachfolgende KI-Generationen im Finanzhandel zu einer höheren Systemkomplexität geführt haben. Auf der Grundlage modernster Forschung im Bereich Computational Finance wird aufgezeigt, wie sich der rasante Fortschritt im Bereich ML – beispielhaft dargestellt durch DRL-Anwendungen – grundlegend auf die Kapitalmärkte ausgewirkt hat, einschließlich des Auftretens neuer Risiken des Marktmissbrauchs. Daher werden in der Dissertation vier grundlegende Szenarien konzipiert, die nach unterschiedlichem Grad der menschlichen Beteiligung kategorisiert sind und in denen der KI-Handel Marktmanipulationen begünstigen kann. Die Diskussion erstreckt sich auf die Durchsetzung von Marktverhaltensregeln und konzentriert sich auf die erhöhten Risiken, die durch DRL-Methoden entstehen, die autonome Handelsagenten in die Lage versetzen, Marktmanipulationen oder sogar „stillschweigende“ Absprachen zu betreiben, unabhängig von der spezifischen menschlichen Absicht. Aufbauend auf diesen Erkenntnissen bewertet die Dissertation die Angemessenheit des EU-Rechtsrahmens für den algorithmischen Handel – insbesondere MiFID II/MiFIR und MAR/MAD. Sie untersucht die ethischen und rechtlichen Herausforderungen, die sich aus den wichtigsten technologisch-methodischen Besonderheiten von KI-Systemen ergeben, einschließlich ihrer operativen „Autonomie“ und „Opazität“. Durch eine detaillierte Analyse kritischer Elemente der Regulierung des algorithmischen Handels – wie (i) Haftungsregeln für Marktmissbrauch, (ii) Durchsetzungsregelungen, (iii) Aufsichtsrahmen und (iv) Governance der Handelstechnologie – identifiziert die Forschung erhebliche Regulierungslücken und schlägt eine Reihe von politischen Lösungen vor. Zu den wichtigsten Empfehlungen gehören (i) die Klärung der rechtlichen Definition von Marktmanipulation, (ii) die Stärkung der Haftungs- und Durchsetzungsregelungen, (iii) die Annahme eines verhaltensbasierten Ansatzes für die Überwachung des Marktverhaltens und (iv) die Einrichtung eines EU-weiten SupTech-Ökosystems (Supervisory Technology) für eine effektive marktübergreifende Überwachung. Schließlich stellt die Dissertation einen neuartigen risikobasierten Regulierungsansatz für KI-Anwendungen im algorithmischen Handel vor, der vom EU-KI-Gesetz inspiriert ist. Dieser Ansatz weicht vom vorherrschenden Prinzip der „Technologieneutralität“ ab und betont die Verhältnismäßigkeit der Anforderungen an die KI-Governance über den gesamten Lebenszyklus aus technischer Sicht. Letztendlich fördert diese Dissertation eine interdisziplinäre Forschungsagenda an der Schnittstelle von Finanzen, Recht und Informatik, die darauf abzielt, Akademiker, politische Entscheidungsträger und Finanzaufsichtsbehörden bei der Ausarbeitung zukunftssicherer Vorschriften für KI im Bereich des regulierten Finanzhandels zu informieren und zu unterstützen.