Developing Foundation Models for Particle Physics

Abstract

Foundation models have revolutionized the field of artificial intelligence. For many years, machine learning models were designed and trained independently for a variety of tasks. Foundation models, on the other hand, rely on powerful pre-training methods that enhance model performance on downstream tasks. This thesis presents the development of such pre-training methods tailored for particle physics, with a particular focus on particle jets – collimated sprays of particles measured in high-energy collision experiments, such as at the LHC. The research follows a progressive trajectory: first, a generative model for particle jet constituents, based on the flow matching paradigm, is introduced. It represents the first model for particle jets capable of generating not only the kinematic information of the jet constituents, but also their particle-ID and trajectory displacement features. The second study adapts next token prediction (NTP) – the cornerstone of large language model pre-training – to particle jets, resulting in the field's first cross-task foundation model. Following the initial work on generative pre-training for particle jets with NTP, the unsupervised nature of this approach is fully exploited by applying it to measured, unlabeled collider experiment data. Next, several improvements to the NTP-based pre-training strategy are introduced, and the NTP approach is compared to the closely related masked particle modeling pre-training paradigm. Most notably, a novel joint pre-training is introduced that combines both methods, yielding a substantial performance increase compared to pre-training on NTP alone. Finally, a comprehensive comparison of unsupervised and supervised pre-training approaches is presented. Collectively, these contributions represent multiple defining milestones towards the development of powerful foundation models in the field of particle physics.

Foundation Models haben das Feld der künstlichen Intelligenz revolutioniert. Über viele Jahre hinweg wurden Machine Learning Modelle jeweils individuell für eine Vielzahl an Anwendungen entwickelt. Foundation Models hingegen basieren auf umfassendem sogenanntem Pre-Training und anschließendem Fine-Tuning, was zu einer erheblichen Verbesserung bei der finalen Anwendung führt. Diese Dissertation stellt die Entwicklung solcher Pre-Training-Methoden zugeschnitten auf die Teilchenphysik dar, wobei der Fokus auf sogenannten Teilchenjets – Bündel kollimierter Teilchen, welche bei hochenergetischen Kollisionsprozessen in Teilchenbeschleunigern wie dem LHC entstehen – gesetzt wird. Die hier vorgelegte Arbeit folgt dem folgenden Aufbau: zunächst wird ein auf dem sogenannte Flow-Matching-Prinzip basierendes generatives Modell für Teilchenjet-Bestandteile vorgestellt. Dieses Modell ist das erste generative Modell für Teilchenjets, welches nicht nur die kinematischen Informationen der Jetbestandteile erzeugt, sondern auch deren Teilchen-ID sowie die Verschiebung ihrer Trajektorie bezüglich des Kollisionspunktes. Die zweite Studie adaptiert die sogenannte Next Token Prediction (NTP), welche das grundlegende Konzept für große Sprachmodelle ist, für Teilchenjets. Daraus geht das erste Cross-Task Foundation Model der Teilchenphysik hervor. Basierend auf dieser initialen Arbeit zu generativem Pre-Training für Teilchenjets mit NTP wird der Vorteil, dass NTP keine externen Label benötigt, voll nutzbar gemacht, indem ein Pre-Training auf gemessenen Daten eines Beschleunigerexperiments durchgeführt wird. Darauf aufbauend werden mehrere Verbesserungen der NTP-basierten Pre-Training-Methode vorgestellt, und die NTP Methode wird mit der sehr ähnlichen Methode des Masked Particle Modeling verglichen. Insbesondere wird hierbei eine Pre-Training-Methode eingeführt, welche diese beiden Ansätze kombiniert, was zu einer deutlichen Verbesserung gegenüber des nur auf NTP basierten Pre-Trainings führt. Schließlich wird eine umfassende Vergleichsstudie gezeigt, welche unterschiedliche Pre-Training-Methoden mit und ohne der Nutzung von externen Labels analysiert. Gemeinsam repräsentieren diese Beiträge mehrere Meilensteine hin zu der Entwicklung leistungsstarker Foundation Models in der Teilchenphysik.