Forschungstransparenz als hohes wissenschaftliches Gut stärken

Groß angelegte Replikationsprojekte der letzten Jahre haben gezeigt, dass eine überraschend hohe Anzahl an nicht-replizierbaren Befunden in der wissenschaftlichen psychologischen Literatur existiert. Je nach Zusammenstellung der zu replizierenden Studien befand sich die Quote der erfolgreichen Replikationen nur zwischen 12 % und 39 % (z. B. Klein et al., 2014; Nosek & Lakens, 2014; Open Science Collaboration, 2015). Auch in anderen Feldern wird dies als Problem erkannt und diskutiert, zum Beispiel in der Medizin (Begley & Ellis, 2012: 11 % Replikationsquote; Prinz, Schlange & Asadullah, 2011: 20 – 25 % Replikationsquote). Wir glauben, dass sich unser Fach, nicht zuletzt durch die kritische Diskussion in der nationalen und internationalen Presse, in einer Glaubwürdigkeitskrise befindet.

Aufgrund der kumulativen Evidenz der letzten Jahre ist aus unserer Sicht folglich nicht mehr die Frage, ob wir in vielen Bereichen der Psychologie (und anderen Disziplinen) eine Glaubwürdigkeitskrise haben, sondern welche Konsequenzen sinnvollerweise aus der Krise gezogen werden können, um verlorenes Vertrauen wiederherzustellen und die Glaubwürdigkeit unserer Forschung deutlich zu erhöhen. Im Folgenden möchten wir (1) einige Ursachen für die Replikationskrise andiskutieren, (2) aufzeigen wie eine offene Forschung („Open Science“) eine Antwort auf die Krise sein kann, und (3) exemplarisch vorstellen, welche Schritte konkret am Department Psychologie der LMU München als Reaktion auf die Krise umgesetzt wurden.

Einige Ursachen für die Replikationskrise

Warum kann ein großer Anteil unserer wissenschaftlichen Literatur nicht erfolgreich repliziert werden? Aus einer evolutionären Perspektive lässt sich diese „Warum“-Frage auf zwei Ebenen beantworten (Tinbergen, 1963): Man kann in der proximaten Betrachtungsweise nach den Wirkursachen fragen. Diese stellen die konkreten Mechanismen dar, die ein Phänomen verursachen. Die ultimate Betrachtungsweise hingegen fragt nach der Zweckursache: Was ist der Nutzen eines bestimmten Verhaltens oder Merkmals?

Als Wirkmechanismen möchten wir drei Prozesse andiskutieren, die zu einer Inflation von falsch-positiven (und somit nicht replizierbaren) Ergebnissen führen: (a) unabsichtliche Fehler, (b) Flexibilität in der Datenanalyse und (c) questionable research practices (QRPs). Als Zweckursache lässt sich (d) das aktuelle Anreizsystem in der Wissenschaft identifizieren (vgl. auch hierzu Abele-Brehm & Bühner, 2016), welches einen Forschungsstil belohnt, der nicht unbedingt zu belastbaren Erkenntnissen führt.

(a) Unabsichtliche Fehler. Während mit „Replikation“ der Versuch gemeint ist, ein Forschungsergebnis in einer neuen Stichprobe noch einmal zu zeigen, zielt die „Reproduktion“ eines berichteten Befundes lediglich darauf ab, anhand desselben Datensatzes noch einmal zu den berichteten Ergebnissen zu kommen (Asendorpf et al., 2013). Ist ein Befund aufgrund eines Rechenfehlers falsch-positiv und nicht reproduzierbar, so ist dieser auch nicht replizierbar. Wie steht es um die Reproduzierbarkeit der Forschung? Die Zeitschrift Quarterly Journal of Political Science verlangt seit 2005, dass bei Einreichungen von Manuskripten die Primärdaten und die Analyseskripte mitgeliefert werden. Während des Reviewprozesses wird die Reproduzierbarkeit überprüft, also nachgerechnet, ob die Zahlenangaben im Manuskript mit den Ergebnissen der Analyseskripte von den Autoren selbst übereinstimmen. Diese scheinbar triviale Anforderung an wissenschaftliche Sorgfalt wurde regelmäßig verletzt (Eubank, 2016): 58 % aller Einreichungen hatten Diskrepanzen bis hin zu falschen Vorzeichen, und das, obwohl die Autoren vorher wussten, dass ihre Analysen verifiziert werden. Ähnliche Ergebnisse zeigte eine Untersuchung aus der Ökonomie, welche die Ergebnisse von nur 49 % der 59 untersichten Artikel reproduzieren konnte (Chang & Li, 2015).

(b) Flexibilität in der Datenanalyse. Gelman und Loken (2014) haben das Bild des „garden of forking paths“ geprägt. Diese Metapher beschreibt, dass Forscher während des Prozesses der Datenanalyse viele Ad-hoc-Entscheidungen treffen, welche kontingent zu den Daten sind (z. B.: Wie gehe ich genau mit Ausreißern um?). Diese Entscheidungen führen jeweils zu unterschiedlichen Analysepfaden, wobei einige dieser Pfade zu signifikanten Ergebnissen führen, andere nicht. Wenn nun im Prozess der Datenanalyse ein optionales Stoppen stattfindet, in dem Sinne, dass man solange Analysevarianten ausprobiert bis ein signifikantes Ergebnis erreicht wurde, erhöht dies die Wahrscheinlichkeit von falsch-positiven und somit nicht replizierbaren Ergebnissen.

(c) Questionable research practices (QRPs). Unter QRPs werden Praktiken der Datenerhebung und -analyse verstanden, die in der Wahrnehmung der Forscher noch nicht als offensichtlicher Betrug gelten, sondern eher eine Grauzone von „halb-legalen“ Praktiken darstellen – oft dadurch legitimiert, „dass es ja alle so machen“. Dazu gehört zum Beispiel, dass man eine Vielzahl von Variablen erhebt, aber nur die berichtet, bei denen eine statistische Analyse ein signifikantes Ergebnis erbrachte, oder dass man bei fast-signifikanten Ergebnissen so lange nacherhebt, bis der p-Wert unter die kritische Grenze rutscht. Wenn diese und andere Praktiken in Kombination angewendet werden, kann die Wahrscheinlichkeit für ein falsch-positives Ergebnis vom nominalen 5 %-Niveau leicht auf über 50 % gehoben werden (Simmons, Nelson & Simonsohn, 2011). In großen Umfragen versuchten John, Loewenstein und Prelec (2012) und Fiedler und Schwarz (2015) die Prävalenz solcher Praktiken zu erheben. Die Ergebnisse beider Umfragen zeigen, dass diese Techniken regelmäßig und in nicht zu vernachlässigendem Ausmaß angewandt werden.

(d) Anreizstrukturen. Solange die Anreizstrukturen Quantität (möglichst lange Publikationslisten, h-index) und unrealistisch perfekte Ergebnisse belohnen (Gervais, Jewell, Najle & Ng, 2015; Giner-Sorolla, 2012), wird die Inflation falsch-positiver Ergebnisse zunehmen, insbesondere da häufig nur signifikante Ergebnisse publiziert werden, die zum Teil aus Studien mit geringer Power stammen. Damit wird ein Forschungsstil gefördert, der die Ausbeutung des Stichprobenfehlers für Forscher attraktiv erscheinen lässt (Bakker, van Dijk & Wicherts, 2012; Engel, 2015; Higginson & Munafò, 2016; Smaldino & McElreath, 2016).

Forschungstransparenz als (Teil–)Antwort

Zusammenfassend muss man davon ausgehen, dass ein großer Anteil der publizierten Ergebnisse entweder auf einem Rechenfehler beruht, durch QRPs „schöngerechnet“ wurde oder durch unintentionale Biases während der Datenanalyse stärker dargestellt wurde, als es angemessen wäre. Viele dieser proximaten Mechanismen funktionieren auch unbewusst, so dass nicht unbedingt Absicht unterstellt werden muss. In Kombination tragen diese neben anderen Faktoren jedoch dazu bei, dass ein Großteil der Literatur wie oben berichtet nicht replizierbar ist. Welche konkreten Maßnahmen könnten zu einer Verbesserung der Situation führen?

Im Folgenden möchten wir argumentieren, dass Forschungstransparenz (aktuell auch oft unter dem etwas breiteren Begriff der „Open Science“ zusammengefasst) ein wichtiger Baustein zur Lösung dieser Probleme ist.

Offene Daten. Die bisher erfolgten Korrekturen von Rechenfehlern konnten nur stattfinden, wenn die Primärdaten verfügbar waren¹. Gleichzeitig zeigten Publikationen mit offenen Daten weniger Rechenfehler und eine stärke Evidenz für die berichteten Effekte im Vergleich zu Publikationen ohne bereitgestellte Daten (Wicherts, Bakker & Molenaar, 2011). Offene Daten sind also (momentan zumindest) ein valides Qualitätsmerkmal. Offene Primärdaten ermöglichen weiterhin, im Sinne des „garden of forking paths“ alternative plausible Analysevarianten zu explorieren. So kann die Robustheit der Ergebnisse gegenüber Variationen in den Analysepfaden festgestellt werden, welche wiederum einen Rückschluss auf die vermutliche Replizierbarkeit erlauben (Simonsohn, Simmons & Nelson, 2015; Steegen, Tuerlinckx, Gelman & Vanpaemel, 2016).

Die Bereitstellung von Daten zum Zwecke der Reproduktion publizierter Ergebnisse wird häufig als eine Selbstverständlichkeit guter wissenschaftlicher Praxis angesehen. Zum Beispiel muss bei jeder Publikation in einer APA-Zeitschrift unterschrieben werden, dass die Daten zum Zwecke der Nachvollziehbarkeit von Analysen jedem bereitstellt werden. Dies ist jedoch praktisch nicht gegeben, denn Untersuchungen zeigten, dass die Primärdaten nur in 27 % (Wicherts, Borsboom, Kats & Molenaar, 2006), bzw. 38 % (Vanpaemel, Vermorgen, Deriemaecker & Storms, 2015) tatsächlich verfügbar gemacht wurde, und das oft auch nur nach mehrmaligem Nachhaken und monatelangem Warten. Teilweise fordern Datenbereitsteller unrealistisch hohe Geldbeträge (Ferguson, 2016) oder stellen so restriktive Auflagen an Datennachnutzer, dass eine Reproduktion oder sinnvolle Reanalyse von Datensätzen unmöglich ist (Coyne, 2016). Auch aus diesem Grund fordern DFG und DGPs auch einen prinzipiell unbeschränkten Zugang zu Primärdaten.

Reproduzierbare Analyseskripte. Wenn zusammen mit den Primärdaten auch die Datenanalysen als Skripte abgespeichert werden (z. B. SPSS-Syntax oder R-Skripte), ist jede Analyse mit allen Optionen exakt reproduzierbar. Werden vor der Publikation alle Skripte unter den Koautoren zirkuliert, kann von denen im Sinne eines „code reviews“ auch die Qualität, Dokumentation und Fehlerfreiheit der Analysen überprüft werden.

Präregistrierungen. Legt man sich vor der Datenerhebung auf die Hypothesen, die fokalen Variablen und die Vorgehensweise in der statistischen Auswertung fest, dann sind die Freiheitsgrade so eingeschränkt, dass die meisten Varianten von p-hacking verhindert werden. Gleichzeitig zieht eine Präregistrierung eine klare Trennlinie zwischen konfirmatorischer und explorativer Forschung (Wagenmakers, Wetzels, Borsboom, van der Maas & Kievit, 2012). Gerade durch diese Vorabfestlegung gewinnt eine präregistrierte Studie an Glaubwürdigkeit (Chambers, Feredoes, Muthukumaraswamy & Etchells, 2014). Auch wenn empirische Daten dazu bisher fehlen, kann man davon ausgehen, dass Effekte, die in präregistrierten Studien gezeigt wurden, eine höhere Wahrscheinlichkeit für eine erfolgreiche Replikation haben als diese aus nicht präregistrierten Studien.

Anreizstrukturen. Gerade unter Nachwuchswissenschaftlern besteht die Sorge, dass ein Engagement in Forschungstransparenz strategisch zu Nachteilen in der individuellen Karriere führt. Wer auf p-hacking verzichtet, mit hoher Teststärke forscht (was im Regelfall zu größerem Aufwand bei der Datenerhebung führt), und seine imperfekten Primärdaten offen zur kritischen Begutachtung bereitstellt, hat möglicherweise eine geringere Menge an Publikationen als Mitbewerber, die diese Strategien nicht nutzen (John et al., 2012). Wenn die Wissenschaft als System nicht genau diejenigen Forscher herausselektieren will, die aufwändige Maßnahmen ergreifen, um belastbare Erkenntnisse zu produzieren, müssen die Auswahlkriterien bei der Vergabe von Stellen, Professuren und Forschungsmitteln so angepasst werden, dass gute Forschung belohnt, aber zumindest nicht bestraft wird (Nelson, Simmons & Simonsohn, 2012; Nosek, Spies & Motyl, 2012).

Maßnahmen auf Ebene der Zeitschriften, Fachgesellschaften und Drittmittelgeber

Einige Veränderungen haben bereits auf der Ebene von Zeitschriften stattgefunden. So bieten viele Zeitschriften nun „Badges“ für Forschungstransparenz an (Open Data, Open Material, und Preregistered Study; https://osf.io/tvyxz), zum Beispiel Psychological Science, das European Journal of Personality, oder Social Psychology. Im Jahr 2015 wurden auch die Transparency and Openness Promotion (TOP) Guidelines für Zeitschriften eingeführt (Nosek et al., 2015), welche acht Transparenzstandards mit jeweils vier Abstufungen definieren. So reicht zum Beispiel der Standard „Datentransparenz“ von „Zeitschrift ermuntert zu offenen Daten oder sagt nichts“ (Level 0) bis zu „Die Analysen werden basierend auf den öffentlichen unverfügbaren Daten von unabhängiger Stelle nachgerechnet und verifiziert“ (Level 3). Im November 2017 hatten bereits über 5000 Zeitschriften und 78 Organisationen die Richtlinien unterzeichnet².

Auch auf der Ebene der Wissenschaftsorganisationen und der Fachgesellschaften ist vieles in Bewegung. So bekennt sich die DFG in ihren aktualisierten Leitlinien zum Umgang mit Forschungsdaten vom September 2015³ klar zu offenen Daten. Sie betont dort, dass Daten, die aus öffentlich-rechtlichen Mitteln finanziert wurden, im Grundsatz der Öffentlichkeit zum Zwecke der Nachprüfbarkeit und Nachnutzung frei zur Verfügung stehen. Die EU hat Open Science ebenfalls zu einem Kernthema gemacht: „The European Commission is now moving decisively from ‚Open accessʻ into the broader picture of ‚Open scienceʻ“⁴. Die Deutsche Gesellschaft für Psychologie (DGPs) greift das Thema ebenfalls vielfältig auf, zum Beispiel durch die im September 2016 verabschiedeten Empfehlungen zum „Umgang mit Forschungsdaten“ (Schönbrodt, Gollwitzer & Abele-Brehm, 2016) oder den Empfehlungen der DGPs-Kommission „Qualität der psychologischen Forschung“ (Fiedler et al., 2015).

Maßnahmen an den psychologischen Instituten vor Ort

Diese Reformen auf institutioneller Ebene sind sehr zu begrüßen. Welche konkreten Möglichkeiten gibt es jedoch für einzelne Wissenschaftler und an den psychologischen Instituten, um die Forschungstransparenz zu erhöhen?

Im Folgenden möchten wir einige konkrete Schritte vorstellen, die das Department Psychologie an der Ludwig-Maximilians-Universität München mit dem Ziel unternommen hat, die Forschungstransparenz zu erhöhen. Wir wollen exemplarisch aufzeigen, welche konkreten Schritte möglich sind und aus der Praxis berichten, was funktioniert hat. Dabei möchten wir betonen, dass das hier skizzierte „Münchner Modell“ nur einer von vielen möglichen Wegen ist, diese Ziele zu befördern. Es haben sich an mehreren deutschsprachigen Universitäten vergleichbare Initiativen zusammengeschlossen⁵, welche dieselben Ziele vertreten, aber durchaus unterschiedliche Schwerpunkte und Wege der Umsetzung wählen. Eine Pluralität in den Ansätzen ist begrüßenswert, da sich nur so gute Strategien der Zielerreichung von schlechten trennen lassen. Die verschiedenen Initiativen haben sich im „Netzwerk der Open-Science-Initiativen“ (NOSI) zusammengeschlossen (https://osf.io/tbkzh) und stehen im regelmäßigen Austausch. Neue Initiativen oder Interessenten sind herzlichen willkommen in dem offenen Netzwerk.

Bei allen Schritten an unserem Department geht es uns darum, positive Anreize zu setzen, und einen inklusiven Dialog mit möglichst vielen Beteiligten zu erreichen. Es geht nicht darum, eine „Replikationspolizei“ zu installieren, die Forschung am Department in „gut“ und „schlecht“ einzuteilen oder gar das Publizieren durch „neue Transparenzhürden“ zu erschweren. Es geht uns auch nicht darum, zurückzuschauen und frühere Forschung unseres oder anderer Departments mithilfe von Indizes zu be- oder verurteilen. Es geht darum die Forschungstransparenz als ein hohes wissenschaftliches Gut zu stärken.

All das geschieht in dem Bewusstsein, dass wir in vielen Punkten Neuland betreten, dass sich die verschiedenen Teilbereiche der Psychologie unterscheiden, und dass Maßnahmen nach einiger Zeit daraufhin evaluiert werden sollten, ob sie den gewünschten Effekt erzielen und ob unerwünschte Nebenwirkungen auftreten (Ioannidis, 2014). Maßnahmen sollten möglichst wenig bürokratischen Aufwand erzeugen: Sie sollen Forschung besser machen, aber nicht von der eigentlichen Forschung abhalten. Im Folgenden möchten wir skizzieren, was im Laufe der letzten zwei Jahre entwickelt wurde.

Koordinierte Schritte hin zu einer reproduzierbareren und transparenten Forschung

Robert Merton (1942) hat vier Normen definiert, die im Kern jeder Wissenschaft stehen. Zwei davon haben direkt mit offener Wissenschaft zu tun: „Kommunitarismus“ bezeichnet die Norm, dass wissenschaftliche Erkenntnisse, Methoden und Daten ein Gemeingut sind. Es gibt auch eine Gegennorm zum Kommunitarismus: „Secrecy is the anti-thesis of this norm; full and open communication its enactment“ (S. 274).

Eine weitere Norm der Wissenschaft ist laut Merton der „organisierte Skeptizismus“. Kern wissenschaftlichen Arbeitens ist demnach, dass Behauptungen auf Basis empirischer Fakten und logischer Konsistenz überprüft werden und nachvollziehbar sind. Dies ist nur dann ganz möglich, wenn Zugang zu den methodischen Details und den Primärdaten gegeben ist. Ansonsten müsste man auf Autoritätsbeweise und guten Willen vertrauen. Letzteres ist zwischenmenschlich angenehm, aber wissenschaftlich nicht angemessen.

Was verlieren wir, wenn wir diese Kernelemente wissenschaftlichen Arbeitens vernachlässigen? Akademische Psychologen sind nicht die Einzigen, die Erklärungen für menschliches Verhalten und Erleben anbieten. Es gibt eine Vielzahl von selbsternannten Selbsthilfe-Gurus, Talkshow-Kommentatoren oder politischen Interessengruppen, die ebenfalls Erklärungen zur conditio humana im Angebot haben. Auf wessen Aussagen sollten sich politische Entscheidungen, Therapien, Personalentwicklungsmaßnahmen oder Gutachten in Gerichtsprozessen stützen? Die Normen und Methoden der Wissenschaft heben wissenschaftlich-psychologische Erklärungen über diese alternativen Alltagserklärungen hinaus, und stellen letztendlich auch eine notwendige Legitimation für eine öffentliche Finanzierung von sozialwissenschaftlicher Forschung dar (Lupia, 2014).

Die aktuellen Entwicklungen, sowohl auf technologischer Ebene, als auch auf Ebene der Publikationsstrukturen, ermöglichen nun den Übergang zu einer wesentlich höheren Stufe einer transparenten Wissenschaft. Dieser Übergang muss auch ganz konkret vor Ort in den Instituten und Arbeitsgruppen implementiert werden. Forschungstransparenz alleine ist sicher kein hinreichender Faktor für gelungene Wissenschaft, denn man kann mit maximaler Transparenz schlechte Untersuchungsdesigns anwenden, fehlerhaft argumentieren, oder äußerst triviale oder abwegige Forschungsfragen untersuchen. Erfolgreiche Wissenschaft bedarf wesentlich mehr, und die aktuelle Replikationskrise kann auch als Krise der psychologischen Theorienbildung gesehen werden (siehe auch Glöckner, Fiedler & Renkewitz, in dieser Ausgabe). Wir sind jedoch der festen Überzeugung, dass Forschungstransparenz ein notwendiger Baustein einer glaubwürdigen und replizierbaren Forschung ist, der uns näher an unseren gesellschaftlichen Auftrag und unsere eigentlichen Werte als Wissenschaftler heranbringt (Anderson, Martinson & De Vries, 2007). Viele Worte sind über die Glaubwürdigkeitskrise geschrieben worden. Nun ist es an der Zeit, zu handeln und verschiedene Stellschrauben unserer Forschungspraxis und unseres wissenschaftlichen Systems zu justieren¹⁰.