Realitätscheck Open Science in der universitären Lehre

Realitätscheck Open Science in der universitären Lehre

Der Erwerb von Kompetenzen in Open Science-Praktiken (OSP) ist zunehmend in der universitären Lehre im Fach Psychologie geboten. Brachem et al. (2022) zeigen jedoch, dass viele Aspekte noch nicht genug berücksichtigt werden, was zu fragwürdigen Forschungspraktiken (QRP) unter Studierenden führen kann. In Tübingen setzen wir OSP bereits zum Teil in der Lehre ein und nutzen diese Erfahrungen hier zur Überprüfung der Umsetzbarkeit. Denn nicht alles für die Lehre Wünschenswerte ist auch machbar – mit der Gefahr der unerwünschten Ablehnung von Open Science durch Überforderung auf beiden Seiten. Manche OSP bedürfen zudem ethischer Überlegungen, sodass z. B. eine Veröffentlichung von Daten aus studentischen Projekten schwierig, bei Abschlussarbeiten im Rahmen von Forschungsprojekten jedoch möglich ist. In Abbildung 1 geben wir einen Überblick über (noch) nicht bzw. gut umsetzbare sowie sehr zeitaufwendige Maßnahmen. Hier berücksichtigen wir Lehrveranstaltungen in Psychologie von Bachelorstudium bis Promotion, wobei Komplexität und Selbstständigkeit hinsichtlich der umsetzbaren OSP über das Studium zunehmen.

Im Studium erhöhen OSP den Lernerfolg, implizieren jedoch erheblichen zusätzlichen Aufwand für Studierende und Lehrende ohne Anerkennung durch Credits oder Lehrdeputate. Einige OSP wie Präregistrierungen sind früh im Studium umsetzbar, andere wie Registered Reports (RR) dagegen nicht, außer die Veranstaltungen dauern mehrere Semester. Denn selbst bei günstig verlaufenden Reviews werden RRs in der Regel erst nach einem halben Jahr akzeptiert, woraufhin die Datenerhebung startet. Für eine Promotion sind sie hingegen äußerst wertvoll, da Promovierende sich vertiefend mit der inhaltlichen und methodischen Planung auseinandersetzen und QRPs wie z. B. HARKING oder p-hacking damit vermieden werden. Insbesondere für eine kumulative Dissertation führt eine In-Principle-Acceptance zu Planungssicherheit und einem gleich verteilten Schreibprozess.

Methoden. Die Vermittlung von Methodenvielfalt basierend auf einem grundlegenden Verständnis statistischer Konzepte (keine „Kochrezept-Statistik“) befähigt Studierende, ihre Daten mit der angemessenen statt einer willkürlich präferierten Methode auszuwerten. Beispielsweise können Nulleffekte als ein zentrales Thema von Open Science je nach studentischer Expertise durch p-Werte oder Effektstärken von Signifikanztests, Äquivalenztests, Bayeschen Verfahren oder Simulationen analysiert werden. Dabei wird die Verwendung von Open Source Software empfohlen (z. B. R). Zudem ist Datenmanagement eine Kernkompetenz, inklusive Aufsetzen von Datenstrukturen und nachvollziehbarer Dokumentation. Ebenso braucht es Übung, die grundlegenden Kenntnisse und Kompetenzen, die in der Methodenlehre vermittelt werden, selbständig anzuwenden. In praktischen Veranstaltungen sollte mit Blick auf OSP auch ein Selbstverständnis für korrektes und vollständiges Berichten von Ergebnissen vermittelt werden. Diese Transparenz ist in unseren Augen die Grundlage für jegliche Bestrebung der Open Science-Bewegung.

Konzeptuelle Fertigkeiten. In Forschungsseminaren ist eine kritische Auseinandersetzung mit der Literatur einzuüben, sodass Studierende lernen, wichtige Einflussgrößen wie den Stichprobenumfang und einen etwaigen Publikationsbias bei der Bewertung der Literaturlage adäquat zu berücksichtigen. In spezifischen Seminaren zu Open Science kann theoretisches und praktisches Wissen hierzu vermittelt werden. Wir haben sehr gute Erfahrungen mit der Reflektion von Studien durch Essays gemacht, um die Diskussion zwischen Studierenden anzuregen. Die Themen Reproduktion und Replikation lassen sich bereits in Experimentalpraktika durch Replikationsstudien empirisch erfahrbar machen. Fortgeschrittenere Studierende können anspruchsvolle Literaturarbeit innerhalb von systematischen Reviews und Metaanalysen umsetzen.

Präregistrierungen. Studierende können Fragestellungen mit Templates (osf.io, aspredicted.org) registrieren, wobei die wachsende Selbstständigkeit mit sinkendem Bedarf an Musterlösung, Feedback und Kontrolle einhergeht. Die Konzeption einer Präregistrierung kann bereits früh die Abstraktionsschritte von Forschungsfrage und Hypothesen zu Stichprobenkalkulation, Ausreißeranalyse und statistischer Auswertung begleiten (siehe z. B. Forschungsdesign-Vorlage der PCI RR Initiative).

Verbreitung. Es kann die Möglichkeit in Betracht gezogen werden, Abschlussarbeiten als Preprints oder durch studentische Initiativen wie das Journal of European Psychology Students zu veröffentlichen. Dem Aspekt von Open Peer Review können Studierende zudem durch gegenseitiges Kommentieren von Präregistrierungen begegnen.

Fazit. Studierende sollten im Rahmen ihres Studiums alle OSP kennen. Für die praktische Umsetzung von OSP in der Lehre braucht es mehr Zeit (Erhöhung von Credits / ‌Lehrdeputat), gut aufbereitetes und öffentlich zugängliches Material (FORRT, MOOC) sowie Open Science-Koordinationsstellen, die über neueste Möglichkeiten und Fortschritte informieren. Wir sind der Meinung, dass die Anwendung von OSP in der Lehre zu einem vertieften und reflektierenden Wissenschaftsverständnis führt. Unserer Erfahrung nach ist es wesentlich, OSP-Techniken auch praktisch einzuüben statt nur darüber zu lesen. Deshalb sollten wir kreativer in der Festlegung von Leistungen der Studierenden sein, z. B. Open Data (aufbereiteter, durch Web Scraping erstellter Datensatz) oder Open Material (Bericht eines programmierten Experimentes mit technischen Details) oder RRs als Abschlussarbeiten. Falls notwendig sollten Prüfungsordnungen entsprechend geändert werden, damit OSP als wesentliche Komponente einer verantwortungsbewussten Wissenschaft eingeübt werden. Unsere Vision ist ein Mentoring-System, bei dem Studierende länger innerhalb einer Forschungsgruppe begleitet werden, um den Erwerb von solidem Methodenwissen, die Umsetzung von OSP und eine gesunde zukunftsgerichtete Wissenschaftsethik zu gewährleisten.