Constructing Memory in Context: Environmental, Neural, and Temporal Dynamics of Multisensory Associations

Abstract

How do humans form coherent episodic memories from multisensory experiences? While traditional models have emphasised semantic and spatial information, growing evidence suggests that contextual features, which include environmental richness, internal neural states, and temporal structure, play a crucial role in how memories are encoded, stored, and retrieved. This dissertation examines how such contextual information becomes embedded in multisensory associative memory and influences its reactivation during retrieval. The thesis includes three empirical studies that, although initially independent in design, converge on the central question of how contextual binding supports multisensory memory. In the first study, participants learned audiovisual associations in either a naturalistic virtual environment or a minimalist, artificial setting. Behavioural results showed improved recognition performance in the enriched condition, suggesting that environmental richness can strengthen encoding by enhancing perceptual coherence and semantic depth. The second study investigated the role of pre-stimulus oscillatory states in memory formation. Using rhythmic visual stimulation to entrain alpha and theta oscillations before encoding, this EEG study found that increased alpha power facilitated recognition performance, highlighting the importance of internal brain states in preparing the system for encoding. In the third study, participants encoded audiovisual stimulus pairs presented in either auditory–visual or visual–auditory order and later retrieved them under simultaneous presentation. Multivariate pattern analysis of EEG data during recognition revealed reinstatement of the original modality order, suggesting that the temporal structure itself had been integrated into the memory trace and was accessible during retrieval. Taken together, these findings suggest that contextual binding is a flexible and dynamic process that combines external, internal, and temporal cues into episodic memory representations. Although the studies were not originally designed under a common theoretical framework, they collectively support the view that memory is shaped by the interaction between environmental input, neural preparatory states, and temporal regularities, providing new insights into the mechanisms of episodic memory and highlighting potential options for improving memory performance in educational and clinical contexts.

Wie gelingt es dem menschlichen Gehirn, aus multisensorischen Erfahrungen kohärente episodische Erinnerungen zu bilden? Während klassische Gedächtnismodelle vorrangig semantische und räumliche Informationen hervorheben, rückt die neuere Forschung zunehmend kontextuelle Merkmale in den Fokus – darunter Umweltfaktoren, internale neuronale Zustände und zeitliche Strukturen. Diese Dissertation untersucht, wie solche Kontextmerkmale in multisensorische Assoziationen eingebunden werden und inwiefern sie bei der späteren Erinnerung reaktiviert werden können. Diese Arbeit umfasst drei empirische Studien, die sich um die zentrale Fragestellung gruppieren lassen, wie kontextuelle Bindung die multisensorische Gedächtnisbildung und -wiedergabe unterstützt. In der ersten Studie lernten Teilnehmende audiovisuelle Assoziationen entweder in einer natürlichen virtuellen Umgebung oder in einem minimalistisch gestalteten Computer Experiment. Die behavioralen Ergebnisse zeigen, dass eine reizreiche Lernumgebung die Wiedererkennungsleistung verbessert, vermutlich durch eine stärkere perzeptuelle Kohärenz und semantische Einbettung. Die zweite Studie untersuchte die Rolle prä-stimulusbezogener Gehirnzustände bei der Gedächtniskodierung. Mittels rhythmischer visueller Stimulation wurden vor der Enkodierung Alpha- und Theta-Oszillationen gezielt moduliert. EEG-Daten zeigten, dass insbesondere eine erhöhte Alpha-Oszillationen mit einer verbesserten Gedächtnisleistung einherging. Dies weist daraufhin, dass internale Zustände das Gehirn für erfolgreiche Enkodierung vorbereiten können. In der dritten Studie lernten Teilnehmende audiovisuelle Reize in zwei festgelegten Modalitätsreihenfolgen (auditorisch-visuell oder visuell-auditorisch), wobei die Abfragephase eine simultane Präsentation verwendete. Multivariate Pattern Analysen der EEG-Daten zeigten, dass die ursprüngliche Modalitätsreihenfolge während des Abrufs neurononal reaktiviert wurde. Dies spricht dafür, dass selbst die zeitliche Struktur multisensorischer Episoden als kontextuelles Merkmal mit in die Gedächtnisspur aufgenommen wird. Zusammengefasst zeigen die Studien, dass kontextuelle Bindung ein dynamischer, multidimensionaler Prozess ist, in dem externe Umweltmerkmale, internale neuronale Zustände und zeitliche Ordnungen flexibel in episodische Gedächtnisrepräsentationen integriert werden. Die drei Studien liefern komplementäre Evidenz für die kontextabhängige Organisation multisensorischer Erinnerungen und eröffnen neue Ansätze für die Optimierung von Lern- und Gedächtnisprozessen in alltagsnahen, pädagogischen und klinischen Kontexten.