Analyse von statistischen Qualitätsindikatoren psychologischer Studien der Jahre 2010 – 2021 mit dem R-Paket JATSdecoder

Abstract

Einhergehend mit der Digitalisierung und immer größer werdenden Bildungs- und Forschungsetats, steigt die Anzahl jährlich publizierter Forschungsberichte kontinuierlich. Allein in dem Zeitraum, in dem diese Arbeit entstand (2019-2023), ist die Anzahl frei zugänglicher Open-Access Dokumente, die in der PubMed Central Datenbank verlinkt sind, von 2,8 auf 5 Mio. gestiegen. Die Identifikation von relevanten und hochwertigen Studien anhand von Metadaten (meist Titel, Zusammenfassung und Schlüsselwörter) wird mittlerweile durch die schiere Anzahl an Studien erschwert. Eine Option, Studien zusätzlich anhand von methodischen Eigenschaften zu identifizieren, ist daher von immer höherer Relevanz und ermöglicht ebenfalls die Beantwortung von Meta-Fragestellungen zum Wandel dieser Eigenschaften über die Zeit.

In den meisten empirischen Studien ist die Verwendung frequentistischer Verfahren ein allgemeiner Standard. Seit ihrer Entwicklung zu Beginn des letzten Jahrhunderts wird die praktische Anwendung dieser Verfahren jedoch kontrovers diskutiert und kritisiert. In der Literatur sind diverse problematische bzw. fehlerhafte Anwendungsszenarien und weit verbreitete, problematische Forschungspraktiken aufgeführt, die zu starken Einschränkungen der Validität der Ergebnisse und den damit verbundenen Schlussfolgerungen führen. Ein Indiz für die praktische Relevanz dieser Kritikpunkte in der Psychologie liefert die im Jahr 2015 publizierte Replikationsstudie der Open Science Collaboration. In den 100 wiederholten Experimenten, deren Ergebnisse in hochrangigen Zeitschriften verschiedener Disziplinen veröffentlicht wurden, konnte der veröffentlichte Effekt nur in einem geringen Anteil der Replikationen bestätigt werden (je nach Auslegung und Journal zwischen 23% und 62%).

In dieser Arbeit wird das neu entwickelte R-Paket JATSdecoder als hilfreiches Werkzeug der Wissenschaftsforschung vorgestellt (Publikation 1) und evaluiert. Das in JATSdecoder enthaltene Modul get.stats() wird hinsichtlich seiner Eigenschaft, im Text aufgeführte statistische Ergebnisangaben auszulesen, mit der bereits etablierten Software statcheck verglichen (Publikation 2). Die Präzision der Extraktion von ausgewählten methodischen Studienmerkmalen mit dem Modul study.character() wird durch einen Vergleich mit einem händisch kodierten Datensatz der Eigenschaften realisiert (Publikation 3). In einem Anwendungsszenario werden die Veränderungen von ausgewählten, mit JATSdecoder extrahierten, methodischen Studieneigenschaften in N=57.909 psychologischen Forschungspapieren aus 12 Zeitschriften, die innerhalb der letzten 12 Jahre erschienen sind, analysiert (Publikation 4).

JATSdecoder extrahiert verlässlich die Metadaten und Textelemente aus NISO-JATS kodierten Dokumenten und stellt ein allgemeines Werkzeug für die Wissenschaftsforschung dar. Bezüglich der Fähigkeit statistische Testergebnisse verlässlich und korrekt aus Texten zu extrahieren ist die Funktion get.stats() den Algorithmen von statcheck überlegen. Die entwickelten Algorithmen zur Extraktion methodischer Studienmerkmale stellen zusätzlich ein hilfreiches Instrument zur Identifikation von Studien mit spezifischen methodischen Eigenschaften dar und können eine händische Kodierung ersetzen.

Im globalen Vergleich von Studien, die zwischen 2010 und 2015 veröffentlicht wurden und Studien, die zwischen 2016 und 2021 erschienen, hat sich in den hier analysierten Forschungspapieren der Median der ermittelten Stichprobengrößen von 105 auf 190 erhöht. Der Median der Anzahl berichteter p-Werte je Studie sank von 14 auf 12. Der Anteil an Artikeln mit berichteten Korrekturverfahren für multiples Testen hat sich von 27% auf 23% verringert. Berichte von Konfidenzintervallen erhöhten sich von 21% auf 32%, Angaben zu Poweranalysen von 5% auf 11%. In 85% der Artikel wurden Ergebnisse von Nil-Nullhypothesentests mit p-Werten berichtet, von denen lediglich 2% mit einem alpha-Fehlerniveau unterhalb von 0,05 durchgeführt wurden.

Die Forschungsartikel der 12 Zeitschriften, die hier mit JATSdecoder analysiert wurden, stellen eine große, wenngleich selektive Stichprobe aller psychologischen Forschungsberichte dar, weshalb eine Generalisierung der Ergebnisse auf die Psychologie als Ganzes, nur eingeschränkt möglich ist. Weiterhin ist zu beachten, dass die globalen Effekte von den vergleichsweise vielen Open-Access Artikel überlagert sind.