The robustness of fear: Challenges of methodological heterogeneity in fear conditioning research

Abstract

Meta-science or meta-research is the study of science's own methods and practices in order to improve research practices and ensure the integrity of scientific processes. Three key concepts in meta-science are reproducibility, robustness, and replication which are crucial for ensuring the credibility of scientific findings. Recently, various studies have consistently revealed that achieving reproducible, robust, and replicable results is still a challenge in psychological research. One aspect that accentuates this challenge is the significant heterogeneity in employed methods which is also referred to as the ‘garden of forking paths’. This heterogeneity affects the robustness of research results and makes them difficult to compare, integrate, and generalize. These issues are also present in research addressing anxiety- and stress-related processes.

Research on these processes is of great importance, since anxiety disorders are highly prevalent, causing significant suffering for a large number of individuals and imposing a substantial financial burden on the healthcare system. In the laboratory, the acquisition, treatment, and relapse of fear- and stress-related disorders can be modeled within the classical fear conditioning paradigm. In this paradigm, individual differences in defensive responding – which was regarded as “noise” for decades – can significantly impact fear conditioning processes, and might also play a key role in clinical settings. However, there is considerable methodological heterogeneity in fear conditioning research, and the robustness of findings, particularly concerning individual differences, has been little studied so far. Thus, this thesis aims at bridging that gap by addressing methodological heterogeneity in fear conditioning research and contributing to the accumulation of knowledge on result robustness in a comprehensive series of four studies.

The majority of the data analyzed in these studies were derived from a longitudinal investigation that included a large sample and spanned six measurement time points. Two of these time points involved a two-day differential fear conditioning paradigm, and a variety of outcome measures, including physiological measures (e.g., fMRI and SCR) and self-report data (e.g., fear ratings and questionnaires). While Study I demonstrates, that previously reported associations between individual differences in brain structure and defensive responding could not be replicated, Study II reveals robust group- but limited individual-level longitudinal reliability of commonly used measures in fear conditioning research. Study III highlights the massive heterogeneity in participant exclusion due to ‘non-learning’ and ‘non-responding’ and its impact on results and their interpretation, whereas Study IV introduces an efficient method to explore methodological heterogeneity systematically by testing various analytic approaches simultaneously.

In summary, while fear conditioning research faces challenges such as robustness and methodological heterogeneity, the studies presented in this thesis offer potential remedies to enhance robustness, reduce heterogeneity, and improve comparability, integrability, generalizability, and replicability of research findings. These remedies involve improving reliability and precision, and, more broadly, promoting transparency in reporting as well as fostering a change in scientific culture. To achieve this, meta- and open science tools play an important role and were also used extensively in the studies included in this thesis. In conclusion, the fear conditioning paradigm has strong potential for clinical use, but more research on fear conditioning research is needed to expand the cumulative meta-scientific knowledge. Ultimately this should advance the progress in the field by obtaining reproducible, robust, and replicable findings that accelerate the translation of fear conditioning discoveries into successful clinical interventions.

Meta-Wissenschaft oder Meta-Forschung ist die Untersuchung der Methoden und Praktiken der Wissenschaft selbst, um die Forschungspraktiken zu verbessern und die Integrität wissenschaftlicher Prozesse zu gewährleisten. Drei Schlüsselkonzepte der Meta-Forschung sind Reproduzierbarkeit, Robustheit und Replikation, die für die Glaubwürdigkeit wissenschaftlicher Ergebnisse entscheidend sind. In jüngster Zeit haben verschiedene Studien immer wieder gezeigt, dass es in der psychologischen Forschung immer noch eine Herausforderung darstellt, reproduzierbare, robuste und replizierbare Ergebnisse zu erzielen. Ein Aspekt, der diese Herausforderung noch verschärft, ist die erhebliche Heterogenität der verwendeten Methoden, die auch als "Garten der sich verzweigenden Wege" bezeichnet wird. Diese Heterogenität beeinträchtigt die Robustheit der Forschungsergebnisse und erschwert deren Vergleich, Integration und Verallgemeinerung. Diese Probleme treten auch in der Forschung auf, die sich mit angst- und stressbezogenen Prozessen befasst.

Die Erforschung dieser Prozesse ist von großer Bedeutung, da Angststörungen weit verbreitet sind, bei einer großen Zahl von Menschen erhebliches Leid verursachen und eine erhebliche finanzielle Belastung für das Gesundheitssystem darstellen. Im Labor kann der Erwerb, die Behandlung und der Rückfall von angst- und stressbedingten Störungen mit dem Paradigma der klassischen Angstkonditionierung modelliert werden. Individuelle Unterschiede in der Abwehrreaktion innerhalb des Paradigmas – die jahrzehntelang als Rauschen betrachtet wurden – können die Prozesse der Angstkonditionierung erheblich beeinflussen und könnten auch im klinischen Bereich eine wichtige Rolle spielen. Allerdings gibt es eine erhebliche methodische Heterogenität in der Furchtkonditionierungsforschung, und die Robustheit der Ergebnisse, insbesondere in Bezug auf individuelle Unterschiede, wurde bislang nur wenig untersucht. Ziel dieser Arbeit ist es daher, diese Lücke zu schließen, indem diese methodische Heterogenität in der Furchtkonditionierungsforschung thematisiert wird und in einer umfassenden Serie von vier Studien ein Beitrag zur Akkumulation von Wissen über die Robustheit von Ergebnissen geleistet wird.

Der Großteil der in diesen Studien analysierten Daten stammt aus einer Längsschnittuntersuchung, die eine große Stichprobe umfasste und sich über sechs Messzeitpunkte erstreckte. Zwei dieser Zeitpunkte umfassten ein zweitägiges Paradigma zur differenziellen Angstkonditionierung und eine Vielzahl von Ergebnismessungen, darunter physiologische Messungen (z. B. fMRI und SCR) und Selbstauskünfte (z. B. Angstbewertungen und Fragebögen). Während Studie I zeigt, dass zuvor berichtete Assoziationen zwischen individuellen Unterschieden in der Hirnstruktur und defensivem Verhalten nicht repliziert werden konnten, zeigt Studie II eine robuste gruppenbezogene, aber begrenzte individuelle longitudinale Reliabilität von häufig in der Furchtkonditionierungsforschung verwendeten Messgrößen. Studie III unterstreicht die massive Heterogenität beim Ausschluss von Teilnehmern aufgrund von "Nicht-Lernen" und "Nicht-Reagieren" und deren Auswirkungen auf die Ergebnisse und deren Interpretation, während Studie IV eine effiziente Methode zur systematischen Erforschung der methodischen Heterogenität einführt, die verschiedene analytische Ansätze gleichzeitig testet.

Zusammenfassend lässt sich sagen, dass die Furchtkonditionierungsforschung zwar mit Herausforderungen wie Robustheit und methodischer Heterogenität konfrontiert ist, die in dieser Arbeit vorgestellten Studien jedoch potenzielle Abhilfemaßnahmen bieten, um die Robustheit zu erhöhen, die Heterogenität zu verringern und die Vergleichbarkeit, Integrierbarkeit, Generalisierbarkeit und Replizierbarkeit der Forschungsergebnisse zu verbessern. Diese Abhilfemaßnahmen umfassen die Verbesserung der Reliabilität und Präzision, die Förderung der Transparenz in der Berichterstattung sowie die Förderung eines Wandels der wissenschaftlichen Kultur. Um dies zu erreichen, spielen Meta- und Open-Science-Instrumente eine wichtige Rolle und wurden auch in den Studien, die dieser Arbeit zu Grunde liegen, intensiv verwendet. Zusammenfassend lässt sich sagen, dass das Paradigma der Furchtkonditionierung ein großes Potenzial für die klinische Anwendung hat, dass aber mehr Forschung zur Furchtkonditionierung erforderlich ist, um das kumulative metawissenschaftliche Wissen zu erweitern. Letztendlich sollte dies den Fortschritt auf diesem Gebiet vorantreiben, indem reproduzierbare, robuste und replizierbare Ergebnisse gewonnen werden, die die Umsetzung der Befunde zur Furchtkonditionierung in erfolgreiche klinische Interventionen beschleunigen.