Im Namen des Vorstands der Deutschen Gesellschaft für Psychophysiologie und ihre Anwendung e.V. (DGPA). Das Potential der biopsychologischen und neurowissenschaftlichen Lehre zur Vermittlung von Open Science Praktiken

Im Namen des Vorstands der Deutschen Gesellschaft für Psychophysiologie und ihre Anwendung e.V. (DGPA)

Das Potential der biopsychologischen und neurowissenschaftlichen Lehre zur Vermittlung von Open Science Praktiken

Das Positionspapier von Brachem und Kolleg_innen stellt dar, inwiefern die Replikationskrise der Psychologie und die Verwendung fragwürdiger Forschungs- sowie Open Science Praktiken bei Studierenden der Psychologie bekannt sind. Aus der Liste fragwürdiger Forschungspraktiken, die in der Studierendenumfrage benannt wurden, war die Ausnutzung von Flexibilität in der Datenanalyse nur ca. 50 % der befragten Studierenden bekannt. Gerade beim Thema flexibler Datenanalyse wären bio- und neuropsychologische Lehrfächer besonders geeignet, diese Problematik kritisch aufzugreifen und deren Einfluss zu verdeutlichen, da in neurowissenschaftlichen Studien eine sehr große Vielfalt an möglichen Analysepfaden existiert. In einem Review fand Carp (2012) in 241 zufällig ausgewählten Studien mit funktioneller Magnetresonanztomographie (fMRT) aus den Jahren 2007 bis 2011 insgesamt 207 einzigartige Analyseprozeduren. In einer anderen Studie untersuchten 70 Teams von Forschenden denselben fMRT-Datensatz (Botvinik-Nezer et al., 2020), wobei sich für jede der untersuchten Hypothesen mindestens vier unterschiedliche Analyseprozeduren fanden. Da Variationen in den unterschiedlichen Parametern der Analysen teilweise mit substanziellen Veränderungen der Ergebnisse einhergehen können, kann diese große Heterogenität eine geringe Replizierbarkeit zur Folge haben.

Desweiteren lässt sich gerade anhand von Neuroimagingstudien verdeutlichen, welche Auswirkungen mangelhafte Stichprobenplanung und geringe statistische Power haben können. In einer Studie von Button und Kolleg_innen (2013) wurde aufgezeigt, dass die statistische Power neurowissenschaftlicher Studien aus dem Jahr 2011 im Median 21 % beträgt. Eine Analyse von Meta-Analysen über Neuroimaging-Studien, die in den Jahren 2006 – 2009 veröffentlicht wurden, zeigte im Median eine statistische Power von sogar nur 8 % (Button et al., 2013). Dies wird vorrangig auf die kleinen Stichprobengrößen zu dieser Zeit zurückgeführt. Carp (2012) zeigte in seinem Review, dass die Stichprobengröße von fMRT-Studien im Median 15 Probanden betrug. Der positive prädiktive Wert ist in diesen Studien somit gering. Weiterhin führt die geringe Power dazu, dass nur Effekte mit großer Stärke gefunden werden können. Dadurch sind die Effektstärken in diesen Publikationen vermutlich um 25 – 50 % überschätzt (winner’s curse; Button et al., 2013), worauf zu achten ist, wenn man diese Effektstärken für die Stichprobenplanung heranzieht. Die Studie von Szucs und Ioannidis (2020) zeigte, dass der Median des Stichprobenumfangs von fMRT-Studien nur mit einer Rate von 0,74 Proband_innen pro Jahr zunimmt und somit nicht von einer nennenswerten Verbesserung hinsichtlich dieser Problematik ausgegangen werden kann.

Durch den impliziten Druck, neue, innovative Studien durchzuführen, den aktuell noch zu geringen Stellenwert von Replikationsstudien und den zuvor genannten methodischen Problematiken früher neurowissenschaftlicher Studien sind nun viele Befunde in den Lehrbüchern der Biopsychologie und Neurowissenschaften präsent, deren Effektstärken vermutlich überschätzt wurden oder die auf zufälligen Charakteristika bei der Zusammensetzung der Stichprobe beruhen und potenziell nicht generalisierbar sind (Button et al., 2013). Tatsächlich zeigte die empirische Studie von Bossier und Kolleg_innen (2020), dass eine annehmbare Replizierbarkeit selbst bei den statistisch vorteilhaften Innersubjekt Designs wahrscheinlich erst ab Stichprobenumfängen im dreistelligen Bereich gegeben ist – weit über dem, worauf die bisherige Literatur basiert ist und was auch heute die gängigen Stichprobengrößen in Bildgebungsstudien sind.

In der Lehre dieser Fächer sollte auf diese Besonderheit der frühen neurowissenschaftlichen Forschung hingewiesen werden. Studierende sollten darin geschult werden, Ergebnisse neurowissenschaftlicher Studien mit kleinen Stichproben kritisch zu hinterfragen. Ausserdem sollte der hohe Wert von Replikationsstudien mit ausreichend großen Stichproben, zum Beispiel durch Forschungskollaborationen mehrerer Arbeitsgruppen über Forschungseinrichtungen und Universitäten hinweg oder sequentiell innerhalb einer Arbeitsgruppe, vermittelt werden. Eine Möglichkeit, Studierenden das Vorgehen für Replikationsstudien zu vermitteln und gleichzeitig eine ausreichende Stichprobengröße zu erlangen, ist das Angebot an Studierende, kumulative Replikationsstudien im Rahmen von Semesterprojekten, Forschungspraktika und Abschlussarbeiten durchzuführen (Quintana, 2021). Im Verlauf dieser praktischen Arbeiten sollten Studierende ebenfalls darin unterwiesen werden, wie eine Stichprobenplanung zur Maximierung der statistischen Power angesichts oft begrenzter Ressourcen durchgeführt wird. Desweiteren könnte die Möglichkeit genutzt werden, diese praktischen Arbeiten der Studierenden zu präregistrieren. Dadurch wird schon bei der Vorbereitung der Arbeit der Fokus darauf gelenkt, welche Flexibilität bei der statistischen Auswertung vorhanden ist und welch hohen Stellenwert es haben sollte, sich im Vorhinein informiert und begründet für eine Auswertungsmethode zu entscheiden.

Unsere Aufgabe als Lehrende dieser Fächer ist es, den Studierenden die kritische Reflektion wissenschaftlicher Studien zu ermöglichen und deren Wert aufzuzeigen, sodass sie ein Bewusstsein dafür entwickeln können, welche Befunde verlässlich sind und welche bis zur systematischen Replikation als vorläufig gelten sollten. Dabei liegt es in unserer Verantwortung, Studierenden aktuelle, spannende und vielversprechende Studien darzustellen und gleichzeitig die primären Inhalte unserer Lehre auf replizierte Befunde, Meta- und Mega-Analysen zu begründen. Auf diese Weise können wir den Studierenden die Bedeutung von Open Science Praktiken für den kumulativen wissenschaftlichen Prozess aufzeigen und sie selbst daran beteiligen. Daher eignet sich in unserer Wahrnehmung die Lehre in neurowissenschaftlichen Fächern besonders zur Vermittlung des Werts von Open Science Praktiken.