Thematisierung von Replikationen und Open Science Praktiken in Lehre und Studium – Die Rolle von Sekundärdatenanalysen

Thematisierung von Replikationen und Open Science Praktiken in Lehre und Studium – Die Rolle von Sekundärdatenanalysen

Wir begrüßen die Initiative der PsyFaKo, sich mit der Thematisierung der Replikationskrise in der universitären Lehre auseinanderzusetzen. Als Forschungsdatenzentrum (FDZ), das die Daten großer Schulleistungsstudien für wissenschaftliche Zwecke bereitstellt, ist es uns ein Anliegen, den Gedanken von Open Science und Forschungstransparenz in der Psychologie und der empirischen Bildungsforschung zu unterstützen. Die Befragung der Psychologiestudierenden zum Einsatz fragwürdiger Forschungspraktiken (QRPs) demonstriert, dass bereits in der Ausbildung des wissenschaftlichen Nachwuchses mehr zur Förderung von Open Science und Forschungsintegrität getan werden kann.

Unser Kommentar nimmt die Perspektive ein, dass Sekundäranalysen existierender Forschungsdaten eine positive Rolle in der Vermittlung von Wissen über die Replikationskrise und möglichen Lösungsansätzen spielen können. So kann in der Lehre gemeinsam mit Studierenden selbst versucht werden, veröffentlichte Studien sekundäranalytisch zu replizieren. Solche Re- und Sekundäranalysen führen den Studierenden direkt vor Augen, welche Voraussetzungen gegeben sein müssen, um eine Studie tatsächlich replizierbar zu machen.

Wir führten im WiSe 2019/2020 an der Humboldt-Universität zu Berlin ein Seminar zur Replikation von Aussagen über Bildung anhand von Schulleistungsstudien durch. Die Teilnehmenden informierten sich zum Thema Replikationskrise, Forschungsintegrität und Open Science und wählten selbst eine veröffentlichte wissenschaftliche Studie aus, um sie auf Basis eines an unserem FDZ verfügbaren Datensatzes zu replizieren. Die Veranstaltung war als Seminar zum Forschenden Lernen konzipiert. Bei dieser Lehr-Lernform nehmen Studierende aktiv am gesamten Forschungsprozess teil, bearbeiten eine selbst gewählte Fragestellung und generieren Erkenntnisse mit wissenschaftlichen Methoden (Sonntag et al., 2016). Zunächst mussten die Studierenden das Forschungsdesign der Primärforschenden nachvollziehen, um im nächsten Schritt die eigenen Analysen zur Replikation der Ergebnisse daran auszurichten. Im Forschungsprozess begegneten den Studierenden Herausforderungen, welche ihnen die Bedeutung der Verfügbarkeit von Originaldaten und Originalcode sowie der Genauigkeit von Beschreibungen im Methodenteil der Artikel verdeutlichten. Im Verlauf des Seminars reflektierten die Studierenden den eigenen Forschungsprozess, auch im Vergleich mit der Primärstudie. Auch die Korrespondenz mit den Primärforschenden, bei der zum Beispiel nach den Auswertungssyntaxen und dem analytischen Vorgehen bei der Originalstudie gefragt wurde, übernahmen sie selbstständig. Das Seminar mit abschließender Posterpräsentation ermöglichte den Teilnehmerinnen und Teilnehmern einen realistischen Einblick in die Forschungspraxis.

Ein Vorteil der stärkeren Nutzung von Sekundäranalysen in der universitären Lehre ist, dass die Erhebungsplanung und die Datenerhebung, die einen großen Teil der Zeit des empirischen Forschungspraktikums ausmachen, ausgeklammert werden und damit mehr Raum für die Forschungsprozesse, die auf die Datenerhebung folgen, zur Verfügung steht. Bei Sekundäranalysen bereits existierender Daten spielen einige der am häufigsten benannten QRPs eine geringere Rolle, wie beispielsweise die Stichprobenplanung und die Poweranalyse oder das adaptive Nacherheben. Hingegen können Strategien vermittelt werden, die helfen, mit der größeren Flexibilität bei der Auswahl von Analysemethoden umzugehen. Beispielsweise können Freiheitsgrade bei der Datenanalyse sichtbar gemacht, die Befunde einer größeren Anzahl von alternativen Analysemodellen ausgewertet sowie Robustheits- und Generalisierbarkeitsprüfungen durchgeführt werden (Jansen, Neuendorf & Kocaj, im Druck). Die Datenqualität kuratierter Forschungsdaten, die an FDZn verfügbar sind, ist in der Regel hoch und erlaubt realistische Analysen und Replikationen. Sekundäranalysen sind daher eine ideale Ergänzung zu Experimentalpraktika – die sicherlich per se wichtig sind, um den vollen Zyklus eines empirischen Forschungsprojekts zu erleben – indem ein größerer Fokus auf eine transparente Datenauswertung sowie den Bericht und die Interpretation der Ergebnisse gelegt werden kann.

Über die Nutzung in der Lehre hinaus können Sekundäranalysen eine gute Alternative zu eigenen Datenerhebungen für Abschlussarbeiten sein. Auch hier besteht durch einen sekundäranalytischen Ansatz die Möglichkeit, große Datensätze mit hoher Datenqualität zu nutzen und somit auch komplexe Datenanalyseverfahren (z. B. Mehrebenenmodelle, Strukturgleichungsmodelle) praktisch anzuwenden. Durch die Nutzung eines vorhandenen Datensatzes und die Möglichkeit der Veröffentlichung des Analysecodes lassen sich so auch relativ einfach Open Science Prinzipien umsetzen und ein vollständig reproduzierbares empirisches Projekt durchführen. Darüber hinaus gibt es bereits Vorschläge, wie sekundäranalytische Studien präregistriert werden können (z. B. Mertens & Krypotos, 2019; Van den Akker et al., 2019). FDZn können dabei unterstützen (z. B. durch Ausstellung eines Zeitstempels, wann die Daten übergeben wurden).

Wir möchten daher Lehrende ermuntern, die Replikationskrise in der Psychologie anhand von Re- und Sekundäranalysen existierender Datensätze plastisch zu vermitteln. Dabei bietet sich eine Vermittlung dieser Kenntnisse über das Konzept des Forschenden Lernens an. Gut aufbereitete und kuratierte Datensätze hierzu sind beispielweise an FDZn verfügbar¹.