Fachgruppe Biologische Psychologie und Neuropsychologie. Mehr als nur fragwürdig: Reproduzierbarkeit und Open Science in der Lehre aus Sicht der Biologischen Psychologie und Neuropsychologie

Fachgruppe Biologische Psychologie und Neuropsychologie

Mehr als nur fragwürdig: Reproduzierbarkeit und Open Science in der Lehre aus Sicht der Biologischen Psychologie und Neuropsychologie

Die Fachgruppe Biologische Psychologie und Neuropsychologie (FGBNP) begrüßt die Initiative der Studierenden sehr, die sich mit ihrem Beitrag (Brachem et al., 2022) dafür einsetzen, die Reproduzierbarkeit von psychologischen Forschungsergebnissen in der Lehre stärker zu thematisieren. Die FGBNP teilt die Einschätzung der Autor_innen, dass Kenntnisse von Praktiken der ‚offenen und reproduzierbaren Forschungʻ und deren praktische Umsetzung ein fester Bestandteil der akademischen Ausbildung von Psychologie-Studierenden sein sollten. Brachem und Mitautor_innen fordern eine tiefere Auseinandersetzung mit diesen Themen in der psychologischen Lehre ein. Dass dies nun sogar aus den Reihen der Studierenden explizit gefordert wird, unterstreicht die zunehmende Dringlichkeit des Themas. Es besteht Handlungsbedarf in Bezug auf eine Überarbeitung der Curricula und eine entsprechende Sensibilisierung des Lehrpersonals.

In den letzten Jahren konnte eine zunehmend intensivere Auseinandersetzung mit „Open Science“ und „Replizierbarkeit“ in der psychologischen Forschung beobachtet werden. Eine feste Verankerung dieser Themen in der Lehre ist notwendig, um die zukünftige Generation von Psycholog_innen bereits im Studium zu einer kritischen Auseinandersetzung damit zu befähigen. Die Frage, die es zu beantworten gilt, ist also nicht mehr ob, sondern wie, wann und durch wen man diese Themen optimal in die Lehre einbinden kann. Die auftretenden praktischen, ethischen sowie rechtlichen Fragen und Herausforderungen bei der Implementierung von Praktiken der offenen und reproduzierbaren Wissenschaft sind dabei zum Teil subdisziplinspezifisch. Mit diesem Diskussionsbeitrag wollen wir diese Frage aus Sicht der Biologischen Psychologie und Neuropsychologie beleuchten.

Biopsychologische Lehre ist im Bachelor- und Master-Studium verankert und setzt sich in der Ausbildung von Promovierenden fort. Damit ist sie in allen bei Brachem und Kolleg_innen näher beleuchteten Veranstaltungsformaten beteiligt (Experimentalpraktika, Vertiefungsseminare, Abschlussarbeiten sowie Projektarbeiten). Dort sollte eine Vertiefung von Themen und Praktiken der offenen und reproduzierbaren Forschung mit biopsychologischem Blickwinkel stattfinden.

Eine Behandlung des Themas Replizierbarkeit, der sogenannten Replikationskrise und damit verwandter Themen wie ‚Questionable Research Practicesʻ (QRPs, auf Deutsch: ‚fragwürdige Forschungspraktikenʻ), und Open Science in der (psychologischen) universitären Lehre erfordert dabei Fingerspitzengefühl: Die berechtigte Kritik und die Darstellung problematischer Praktiken im aktuellen und historischen Verlauf sollten konstruktiv in die Lehre integriert werden und Lehrende dürfen bei den Studierenden keine Wissenschaftsresignation oder generelle Wissenschaftsskepsis befördern. Das Lernziel sollte daher stets lösungs- und zukunftsorientiert sein. Auch die aktuelle pandemische Situation hat dabei noch einmal vor Augen geführt wie wichtig es ist zu vermitteln, dass sich wissenschaftliche Erkenntnis kumuliert, d.h. einem dynamischen Prozess unterliegt und sich nicht auf singuläre Befunde oder Studien stützt.

Brachem und Mitautor_innen schlagen vor, das Thema Replikationskrise, mögliche Ursachen und Lösungsansätze in methodischen Veranstaltungen als festen Bestandteil zu integrieren sowie auch in den Grundlagen- und Anwendungsfächern eine Bestandsaufnahme der Befunde im Hinblick auf deren Replizierbarkeit durchzuführen. Diese Impulse unterstützen wir vollumfänglich und gehen hier auf weitere, spezifische Herausforderungen und Themen für die biopsychologische Lehre ein.

In der vorgestellten und anderen ähnlichen Umfragen (Brachem et al., 2022; Fiedler & Schwarz, 2016; John, Loewenstein, & Prelec, 2012; Moran, Richard, Wilson, Twomey, & Coroiu, 2021) wird stark auf die Anwendung von sog. QRPs und deren Folgen für die Replizierbarkeit fokussiert. Jedoch lassen sich nicht alle Forschungspraktiken, die einen negativen Einfluss auf die Replizierbarkeit wissenschaftlicher Befunde haben, auch notwendigerweise als fragwürdig einstufen.

In der Biologischen Psychologie erschwert zum Beispiel ein ausgeprägter Methodenpluralismus die Replizierbarkeit von Befunden. Die anfallenden Daten müssen erst aufwändig erhoben, prozessiert und vorverarbeitet werden, bevor sie für die abschließende statistische Analyse zur Verfügung stehen. Diese Verarbeitung umfasst nicht selten eine Vielzahl von Schritten und deren Kombinationsmöglichkeiten, für die es oft keinen allgemein verbindlichen, standardisierten und wissenschaftlich fundierten Goldstandard gibt. Oft ko-existieren multiple, gleichermaßen plausible wie wissenschaftlich akzeptierte Verfahren zur Erhebung, Verarbeitung und Quantifizierung von neuro-physiologischen Reaktionen. Beispiele dafür sind unterschiedliche Software-Tools zur Analyse von Bildgebungsdaten (Carp, 2012), Methoden zur Quantifizierung Stimulus-induzierter Hautleitfähigkeitsreaktionen (Kuhn, Gerlicher, & Lonsdorf, 2021), oder die Erhebung und Berechnung der sogenannten ‚error-related negativityʻ in der Elektroenzephalografie (Sandre et al., 2020) sowie bereits existierende Lösungsansätze zur Homogenisierung (z.B. https://fmriprep.org/en/stable/).

Die Umfragen, die bisher zur Abschätzung der Häufigkeit von QRPs durchgeführt wurden, umfassen zumeist Studierende oder Wissenschaftler_innen innerhalb der Psychologie allgemein (eine Übersicht findet sich bei Moran et al., 2021). Die Disziplinen der Biologischen Psychologie und Neuropsychologie stellen dabei jedoch nur einen sehr kleinen Anteil (z. B. 6.6% in Moran et al., 2021) und wenige Studien haben bisher offene und reproduzierbare sowie fragwürdige Forschungspraktiken spezifisch in der Biologischen und / oder Neurowissenschaftlichen Psychologie untersucht. Eine Ausnahme stellt die Umfrage von Héroux und Kolleg_innen (2017) unter australischen Neurowissenschafter_innen dar, die jedoch zu ähnlichen Ergebnissen kommt wie allgemeinere Umfragen. Auch hier wurden jedoch ausschließlich QRPs abgefragt, während das Problem des oben angesprochenen Methodenpluralismus’ nicht im Vordergrund stand. Auch die aktuelle Umfrage von Brachem und Kolleg_innen greift zwar die Frage nach ‚Flexibler Datenanalyseʻ auf, was sich jedoch auf das sog. (intentionale) p-hacking in der statistischen Auswertung bezieht und nicht auf die Ko-Existenz multipler alternativer Aufzeichnungs- und Verarbeitungspfade, die in der Literatur als multiverse (Steegen, Tuerlinckx, Gelman, & Vanpaemel, 2016) oder garden of forking paths (Gelman & Loken, 2013) bezeichnet werden. Darüber hinaus wurde bisher ebenfalls kaum berücksichtigt, dass auch eine unvollständige Beschreibung aller Datenaufzeichnungs- und Datenverarbeitungsschritte die (direkte) Replizierbarkeit einschränkt.

Die Komplexität der biopsychologischen Methodik erschwert zudem auch eine Stichprobenumfangsplanung und a-priori Powerberechnung, da diese ebenso komplex und zum Teil nicht final gelöst sind und über die allgemeinen in der Methodenlehre vermittelten Inhalte hinausgehen. Insbesondere bei Abschlussarbeiten beeinflussen die zeitlichen und finanziellen Ressourcen in der Regel stärker den darstellbaren Stichprobenumfang als andere Erwägungen, was entsprechend bei der Begründung des Stichprobenumfangs berücksichtigt werden sollte (Lakens, 2021).

Neben diesen Biopsychologie-spezifischen methodischen Herausforderungen sind auch ethische und rechtliche Fragen (Meyer, 2018) im Zuge der Veröffentlichung von Forschungsdaten als ‚open dataʻ in der Biologischen Psychologie und Neuropsychologie mitunter komplexer als in anderen psychologischen Subdisziplinen – und ebenfalls zum Teil bisher nicht eindeutig geklärt. So besteht bei den hier üblicherweise erhobenen Datentypen zum Teil ein wesentlich größeres Risiko der Re-Identifizierbarkeit von Versuchspersonen (z. B. Gesundheitsdaten, Re-Identifizierungsrisiko bei Bildgebungs- oder genetischen Daten), was besondere Abwägungen und Maßnahmen erfordert. Die Komplexität der Erhebung und Verarbeitung von biopsychologischen Daten erschwert auch generell die Nachnutzbarkeit von ‚open dataʻ. Auch diese Themen sollten in biopsychologischen Lehrveranstaltungen explizit angesprochen und beispielhaft eingeübt werden. Dies bietet sich zum Beispiel im Rahmen von Experimentalpraktika oder Kolloquia zu Abschlussarbeiten an. Dort könnten auch generell nicht fachspezifische, praktische Fragen im Hinblick auf „open data“ behandelt und diskutiert werden wie Open Science und DSGVO konformes Aufklärungs- und Einwilligungsmaterial, die FAIR Prinzipien des Wissenschaftsdatenmanagements (d. h. findable, accessible, interoperable & reusable; Wilkinson et al., 2016) sowie wo, wann und was im Zuge der Veröffentlichung von Daten geteilt werden sollte bzw. nicht geteilt werden darf. Ebenso relevant sind die Thematisierung unterschiedlicher Zugriffsklassen – insbesondere bei Daten mit erhöhtem Re-Identifizierungsrisiko. Dabei sollten die Lehrenden mit der von der DGPs veröffentlichten Handreichung zum Forschungsdatenmanagement vertraut sein und diese den Studierenden vermitteln (Gollwitzer et al., 2020).

Die Ausbildung der Studierenden und Promovierenden zur kritisch-konstruktiven Auseinandersetzung mit dem Thema Replizierbarkeit setzt voraus, dass das Lehrpersonal entsprechend ausgebildet und geschult ist. Dazu müssen Zeit, Ressourcen und Weiterbildungsmöglichkeiten zur Verfügung stehen. Erfreulicherweise wird die Einbettung dieser neuen Themen in die Lehre durch viele qualitativ hochwertige Materialien und Kursinhalte erleichtert, die dank vieler engagierter Kolleg_innen frei für die eigene Weiterbildung sowie Verwendung in der eigenen Lehre zur Verfügung stehen.

Hilfreiche Beispiele finden sich in der Auflistung der Inhalte verschiedener Kurse auf dem OSF (https://osf.io/vkhbt/) oder auf den Seiten des ‚Framework for Open and Reproducible Research Trainingʻ (https://forrt.org/). Zu verweisen sei auch auf bereits publizierte Glossarien zu relevanten Begriffen (https://forrt.org/glossary/) sowie auf Vorschläge, wie die Themen der offenen und reproduzierbaren Wissenschaft konkret und interaktiv in die psychologische Lehre eingebunden werden könnten (Button, 2018; Hanna, Pither, & Vis-Dunbar, 2020; Jekel et al., 2020; Pownall et al., 2021; Strand & Brown, 2019; Wagge et al., 2019). Ebenso gibt es eine Vielfalt von interaktiven Apps (z.B. https://osf.io/cwaqj/; https://tinyurl.com/2jkztzhw; https://shinyapps.org/apps/p-hacker/; https://www.nicebread.de/introducing-p-hacker/; https://projects.fivethirtyeight.com/p-hacking/), Podcasts, Blog-Einträgen oder Twitterfeeds, die sinnvoll in die Lehre sowie deren Vor- und Nachbereitung durch die Studierenden integriert werden können. Diese Medien sprechen Studierende häufig besonders an, was sich positiv auf Motivation und Lernerfolg auswirkt. Die offen verfügbaren Materialien behandeln das Thema Replizierbarkeit und Open Science in der Psychologie zumeist jedoch generell und es liegen unseres Wissens keine Materialsammlungen vor, die spezifisch und ausschließlich auf Themen der Biologischen Psychologie und Neuropsychologie eingehen. Ein offener und reger Austausch zwischen Lehrenden bezüglich dieser Lerninhalte und deren Einbettung in die biopsychologische Lehre findet aktuell primär über die Plattform Slack der DGPs ‚Interessengruppe für Offene und Reproduzierbare Forschung in der Biologischen Psychologie und Neuropsychologieʻ (IGOR) statt. Interessierte Lehrende sind eingeladen IGOR und diesem Austausch beizutreten (https://www.dgps.de/fachgruppen/fgbi/aktivitaeten-der-fachgruppe/igor/). Zudem werden von der FGBNP zusammen mit der Deutschen Gesellschaft für Psychophysiologie und deren Anwendung (DGPA) seit einigen Jahren eine Vielzahl von Veranstaltungen und Diskussionsrunden zu Themen der Offenen und Reproduzierbaren Wissenschaft angeboten.

Es ist eine große Chance aber auch eine große Verantwortung, den Paradigmenwechsel hin zu einer offenen und reproduzierbaren Wissenschaft konstruktiv zu gestalten. Das Engagement der Studierenden, wie es der Beitrag von Brachem und Mitautor_innen zeigt, ist dabei die Voraussetzung für eine gelungene Umsetzung. Die FGBNP begrüßt die Initiative der Studierenden sehr und möchte auch explizit studentische Initiativen fördern. Dies kann im Rahmen von IGOR umgesetzt werden, aber auch lokal durch die Einrichtung spezifischer Journal-Clubs (z. B. https://reproducibilitea.org/) oder Vortragsreihen. Wir laden Studierende herzlich ein, Mitglieder in unserer Fachgruppe zu werden und sich dort aktiv einzubringen.