FAQ zu Open Data und Open Science in der Sportpsychologie

Bei uns am Lehrstuhl werden Daten (noch) nicht veröffentlicht. Was kann ich tun? Ich will nicht, dass mein Vorgehen als Kritik an der bisherigen Forschungspraxis verstanden wird.

So etwas lässt sich gut als Ich-Botschaft verpacken: „Ich halte es für wichtig, transparent und reproduzierbar zu forschen. Und darum mache ich das in meinen eigenen Projekten jetzt auch so“. Also lieber unprätentiös mit gutem Beispiel vorangehen, und nicht anderen vorwerfen: „Ihr müsst das jetzt alles anders machen!“. Seit Psychological Science die „Open Data Badge“ eingeführt hat, ist innerhalb von 1,5 Jahren die Quote von offenen Daten von unter 3 % auf fast 40 % angestiegen (Kidwell et al., 2016). Keiner wurde dazu verpflichtet; aber da es immer mehr Autor_innen machen, ändert sich langsam die erlebte Norm, und andere werden ganz automatisch mitziehen (und hoffentlich nicht nur aus „compliance“, sondern weil sie tatsächlich die Vorteile erkennen). Abgesehen davon denken wir nicht, dass eine solche Ich-Botschaft als Kritik verstanden wird. Aber es kann zum Nachdenken anregen – wir kennen mehrere Beispiele von Fällen, in denen Studierende und Promovierende transparent forschen wollten, und nun die Professorinnen und Professoren nachziehen.

Ich verstehe, dass das Präregistrieren von Daten die Qualität der Forschung und Veröffentlichungen erhöht und notwendig für das ganze Wissenschaftssystem sind. Ich bin aber noch kein Teil dieses Systems. Ich habe Angst, dass ich auch gar nicht reinkomme, wenn ich es nicht so mache, wie die anderen, die „researcher degrees of freedom“ zu ihren Gunsten nutzen. Jetzt gibt es so eine Übergangszeit, wo das eine gewollt ist (Veröffentlichung von Daten, Präregistrieren von Studien), das andere aber noch möglich ist. Wie kann ich denn hier handeln?

Entsteht den heutigen Nachwuchswissenschaftler_innen ein Nachteil, weil sie sich mitten im Umbruch befinden? Oder gibt es auch Chancen?

Eine kurze Gegenüberstellung von Vor- und Nachteilen für den Einzelnen:

Vorteile: Präregistrierung ist meistens keine zusätzliche Arbeit, sondern nur vorverlegte Arbeit: Hypothesen und Analyseplan werden vor der Datenerhebung festgehalten. Das kann am Ende sogar Energie sparen, weil man später nur noch dem Protokoll folgen muss. Einige Zeitschriften bieten eine „Preregistration Badge“¹ an, die das Vertrauen anderer in die eigene Arbeit erhöht. Reicht man eine Arbeit vor der Datenerhebung als Registered Report² ein, erhöht sich zudem die Annahmechance stark (z.B. haben Registered Reports bei Cortex aktuell eine Annahmequote von ~90 %), und man darf das Manuskript bereits vor der Datenauswertung als „in-principle acceptance“ auf der Publikationsliste führen. Weitere Vorteile hat Eric-Jan Wagenmakers (2016) in einem Blogpost gesammelt.

Für Open Data gibt es ebenfalls eine Badge (s. Fußnote 1) und erhöhtes Vertrauen von Seiten der Kolleginnen und Kollegen. Es erhöht die Chancen, zitiert zu werden, weil andere die eigenen Daten für ihre Forschung nutzen können. Weitere Vorteile wurden von Markowetz (2015) zusammengetragen.

Nachteile: Präregistrierung verhindert „p-hacking“ und verringert daher die Wahrscheinlichkeit eines (scheinbar) positiven Befundes. Aber: ist das wirklich ein Nachteil? Möchte man eine Karriere auf falsch positive Befunde aufbauen?

Open Data ist oft zunächst zusätzliche Arbeit: Der Datensatz muss so aufbereitet werden, dass er für andere verständlich ist. Doch davon profitiert man langfristig auch selbst: Wer kann aus dem Stegreif einen zwei Jahre alten Datensatz öffnen und die damalige Analyse wiederholen? Durch Open Data lässt sich mehr aus den eigenen Daten herausholen, weil sie langfristig nutzbar sind. Doch was, wenn jemand in meinen offenen Daten einen Fehler findet und ich meinen Artikel korrigieren oder zurückziehen muss? Das kann vorkommen (vgl. Retraction Watch, 2015) – genau so sollte Wissenschaft doch schließlich funktionieren. Das Risiko einer so späten Fehlerentdeckung kann man verringern, indem man z.B. vor der Publikation einen Preprint online stellt und Peers um Kritik bittet, oder indem man ein Analyse-Tandem mit einem Kollegen oder einer Kollegin bildet und gegenseitig die Datenauswertung auf Fehler prüft.

Das System wandelt sich: Immer mehr Journals³ und auch Geldgeber wie die DFG in Deutschland, Research Councils in Großbritannien, der Schweizer Nationalfond, EU Research Council und die National Science Foundation in den USA verlangen Open Data als neuen Standard. Inzwischen werden auch immer mehr Stellen mit einem Open-Science-Statement ausgeschrieben, welches Kandidatinnen und Kandidaten bittet, in einem Statement ihre bisherigen Open-Science-Aktivitäten darzulegen (z.B. W3-Professuren Sozialpsychologie an der LMU München und in Köln, W3-Professur für Klinische Psychologie und Psychotherapie in Göttingen, W2-Professur für Pädagogische Psychologie in Münster, Post-Doc Mitarbeiterstelle in Saarbrücken). Diese Bewegung zu mehr Transparenz ist in vollem Gange. Wer die eigene Arbeitsweise jetzt umstellt und entsprechende Erfahrungen vorweisen kann, wird attraktiv für Institutionen, die über kurz oder lang durch Politik und Geldgeber ohnehin veränderte Arbeitsabläufe umsetzen werden. Wir gehen davon aus, dass Publikationen nach Open-Science-Kriterien nach spätestens einigen Jahren weithin als Bonus anerkannt werden. Und die Zukunft, in der das der Fall sein wird, ist länger als die momentane Übergangsphase.

Weitere Ideen zu dieser Frage liefern ein Blogpost von Dorothy Bishop (2017) sowie eine Podcast-Episode von „The Black Goat“⁴.

Meine Stärken liegen darin, die Problemfelder im Sport zu identifizieren, wissenschaftliche Fragestellungen abzuleiten und dann im Feld oder im Labor zu prüfen. Ich arbeite methodisch sorgfältig und tue was ich kann, bin aber kein Methoden- und Statistikexperte. Sicherlich kann man meine Daten geschickter und nach den allerneuesten Regeln der Kunst auswerten. Ich fühle mich etwas ausgeliefert, weil es so sehr auf Analysemethoden ankommt, die ich vielleicht nie verstehe.

Forschungstransparenz ist orthogonal zu komplexen Forschungsmethoden. Ein gut gemachter t-Test, der auf einer präregistrierten Hypothese beruht und für den die Daten offen bereitstellt werden, kann viel mehr wert sein als eine hochkomplexe Analyse, die nicht reproduzierbar ist, da sie auf verschlossenen Daten beruht und keinen reproduzierbaren Code hat. Ein offener Umgang mit den eigenen Daten und Analysemethoden eröffnet einem außerdem neue Kooperationsmöglichkeiten mit Kolleg_innen, die eventuell noch bessere Auswertungsmöglichkeiten sehen.

Zählt es denn gar nicht, dass ich Leistungssportler_innen gewinnen kann und für die Praxis wirklich wichtige Fragen beantworten kann?Gehört die Planung und Durchführung der Datenerhebung (mit all ihren Tücken) nicht auch zu den Kompetenzen, die Wissenschaftler und Wissenschaftlerinnen haben sollten? („Datenerhebung zum Anfassen“)

Planung und Durchführung von Datenerhebungen ist natürlich eine wichtige Kompetenz! Gute Forschung hat aber immer viele Facetten, die zum Teil voneinander unabhängig sind. Man kann mit den tollsten modernen Analyseverfahren völlig belanglose Fragestellungen untersuchen, und man kann mit kompletter Transparenz eine schlecht durchgeführte Studie machen. In beiden Fällen ist nicht viel gewonnen. Insofern: ja, es zählt ganz viel, wenn man seltene oder schwer zu erhebende Populationen gewinnen kann und mit viel Mühe Daten erhebt.

Es gibt auch sehr unterschiedliche Stellenprofile, und nicht alle verlangen alle Kompetenzen gleichermaßen. In der Methodenlehre gibt es z.B. Stellen, für die Programmierkenntnisse für komplexe Simulationsstudien gesucht werden. Kenntnisse in realer Datenerhebung können hier zu Recht weniger relevant sein. Letztendlich ist es eine Frage der Berufungskommissionen, diese Kompetenzen zu gewichten.

Ich habe mühsam Interviews geführt, Befragungen vorgenommen, alles ausgewertet und digitalisiert. Andere haben es sich hier auch einfacher gemacht. Warum sollte ich diese Arbeit meinen Konkurrent_innen „schenken“, mit denen ich mich im Wettbewerb um die nächste Post-Doc-Stelle befinde? Wendet sich hier die Veröffentlichung von Daten nicht gegen mich?

Bei dieser Frage wird der Konflikt zwischen der individuellen Perspektive und der Gemeinwohlperspektive auf den Punkt gebracht. Und dieser Konflikt, der ein klassisches soziales Dilemma ist, ist nicht trivial.

Aus der Gemeinwohlperspektive ist die Veröffentlichung von Daten das Beste, was der Wissenschaft passieren kann: Durch Nachnutzung und Zusammenlegung von Datensätzen kann viel mehr und viel schneller Wissen generiert werden, als wenn Daten hinter verschlossenen Türen auf eine potentielle Nachnutzung durch die Originalautor_innen warten (die in der Praxis oft genug niemals stattfindet). Man muss hier auch über die Perspektive seiner eigenen Forscherkarriere hinausdenken: Was für ein Schatz wären die Datensätze aus den großen, klassischen Experimenten der Psychologie der 50er Jahre?

Gerade wenn die Datenerhebung aufwändig war und vielleicht einmalige Daten produziert hat, ist es umso wichtiger, sie zur Verfügung zu stellen. Ein Beispiel: 2013 wurde in einer südafrikanischen Höhle eine neue Menschengattung, der homo naledi gefunden (Berger et al., 2015). Der Fund war eine große Sensation in der anthropologischen Forschung. Aber anstatt wie üblich auf „ihrem Schatz“ zu sitzen und stückchenweise die Erkenntnisse an die Öffentlichkeit zu lassen, haben die beteiligten Forscherinnen und Forscher sofort die Knochenfragmente in einen 3d-Scanner gesteckt und in eine offene Datenbank geladen. Weltweit werden nun mit 3d-Druckern die Fragmente reproduziert und daran geforscht. Dieses Vorgehen hat zu einer Wissensexplosion geführt. Auch aus diesem Grund bestehen viele Drittmittelgeber mittlerweile darauf, dass alle Daten aus von ihnen geförderten Projekten veröffentlicht werden.

Aus individueller Perspektive gibt es oft einen Impuls, zu denken „die Daten gehören mir“ und sich gegen „research parasites“ zu wehren. Hier kann es helfen, die Perspektive der Versuchspersonen einzunehmen, die ihre Zeit zur Verfügung gestellt haben: Ihr Einsatz sollte sich lohnen. Durch die Offenlegung ihrer Daten lohnt er sich mehr, weil der größtmögliche Nutzen für die Wissenschaft erzielt werden kann. Auch wenn Wissenschaftlerinnen und Wissenschaftler, die Daten generieren, ein Erstnutzungsrecht haben, „gehören“ die Daten ihnen nicht, sondern sind als ein öffentliches Gut anzusehen, da die Steuerzahler_innen die Erhebung in den meisten Fällen ermöglicht haben.

Unser Vorschlag wäre, im eigenen Lebenslauf zu markieren, welche Publikationen auf Daten-Reanalysen beruhen, und bei welchen man federführend selbst die Daten erhoben hat. Keines von beidem ist intrinsisch „besser“, aber es ist dann transparent, und die Berufungskommission kann gewichten, welche Art von Qualifikationen und Erfahrungen gewünscht werden. In manchen Fällen werden Kandidat_innen, die sich ausschließlich auf Reanalysen spezialisiert haben, schlechte Karten haben. In anderen Fällen könnte genau das gewünscht sein. Die Sichtbarkeit und Wertschätzung von eigenen Datenerhebungen und dem damit verbundenem Aufwand ist definitiv ein Thema, das wir in Zukunft verstärkt diskutieren müssen. Letztendlich ist die Erhebung von Daten eine notwendige Bedingung einer empirischen Wissenschaft – ohne geht es einfach nicht.

Das Präregistrieren von Studien führt sicher dazu, von Anfang an sauberer zu arbeiten. Es wird mehr Zeit im Vorfeld investiert und gut überlegt. Wenn ich nun meine nächste Studie präregistriere, mich also genau festlege auf die Hypothesen, Analysen und auf jede AV und es kommt nicht heraus, was ich angenommen habe, aber etwas anderes Interessantes – Kann ich das dann direkt verwenden? Also ohne dann noch mal eine Studie mit der neuen Hypothese durchführen zu müssen?

Ja, kann man. Präregistrierung bedeutet nur, die Trennlinie zu ziehen zwischen „Das haben wir vorher schon vermutet“ und „das kam überraschend heraus“. Fast jede präregistrierte Studie hat zwei Abschnitte im Ergebnisteil: „konfirmatorische Analysen“ und „explorative Analysen“. Im ersten Teil beschreibt man alles, was präregistriert wurde, im zweiten berichtet man alle interessanten explorativen Ergebnisse. Das eine ist nicht zwingend besser als das andere – es ist einfach nur als das bezeichnet, was es ist. Um starke Schlüsse aus einem explorativen Befund zu ziehen, kommt man letztendlich jedoch nie um eine neue Datenerhebung herum, doch das ist natürlich auch ohne Präregistrierung der Fall (eine Alternativvariante bei großen Datensätzen ist eine Kreuzvalidierung, bei der die Daten in einen „Trainingsteil“ zum Explorieren und einen „Testteil“ zum Überprüfen der generierten Hypothesen aufgeteilt werden).

Mein Vertrag ist befristet, mir bleibt nicht die Zeit für eine gänzlich neue Studie. Ich brauche aber noch eine Publikation. Welche Möglichkeiten habe ich?

Präregistrierungen und Registered Reports sind nur ein (neuer) Weg, Studien zu publizieren. Es wird immer auch das „klassische“ Artikelformat geben, wo man ohne vorherige Registrierung publiziert. Registered Reports bringen jedoch sogar einen Vorteil, wenn man dringend eine „sichere“ Publikation braucht: Für dieses Artikelformat reicht man Theorie- und Methodenteil vor der Datenerhebung zum Review ein. Wird das Paper angenommen, erhält man eine „in-principle acceptance“, d.h. dass die Studie unabhängig von den Ergebnissen später in jedem Fall publiziert wird, solange man sich an das eigene Protokoll gehalten hat. Studien, die sich auf dieser Stufe befinden, darf man in der eigenen Publikationsliste bereits als „provisionally accepted“ führen. Wie diese (Teil-)Publikationen dann im Sinne einer Prüfungsordnung gewertet werden, ist jedoch Sache der Promotionsordnungen und der zuständigen Kommissionen.

Wird es eines Tages „Pflicht“, die Daten zu veröffentlichen? Zukunftseinschätzung?

Wir müssen gar nicht in die Zukunft blicken – es ist jetzt schon in vielen Fällen Pflicht. Viele Drittmittelgeber verlangen es (DFG, EU), und immer mehr Journals verlangen es auch bereits (siehe Fußnote 3). Der Trend geht ganz klar in Richtung „open by default“ – Ausnahmen sind möglich, müssen aber begründet werden. Wenn die Begründung nachvollziehbar ist, ist aber auch nichts „Anrüchiges“ daran, Daten nicht ganz offen zur Verfügung zu stellen.

Führen die Regularien letztendlich zu einer geringeren Anzahl an (besseren) Publikationen?

Hoffentlich. Siehe dazu auch der Ruf nach „Slow Science“ von Uta Frith (2015).

Und: Wird dann auch die Anzahl erforderlicher Publikationen für eine kumulative Promotion/Habilitation angepasst? Können die Promotions- und Habilordnungen so schnell angepasst werden?

Es müssen tatsächlich mehrere Räder ineinandergreifen, um den Übergang mit möglichst wenigen Reibungsverlusten hinzubekommen. An der LMU München wurde z.B. gerade die Promotionsordnung revidiert, sodass eine kumulative Promotion nun zwei Artikel „in press“ vorsieht (ein Wechsel zu einer klassischen Monographie ist jedoch auch jederzeit möglich). Es lohnt sich, dafür an der eigenen Fakultät Lobbyarbeit zu betreiben!

Wer viel und hoch publiziert, erhält die Promotion und hat bessere Chancen auf eine der raren Post-Doc-Stellen… Regularien verhindern zwar die Nutzung von „researcher degrees of freedom“, beheben aber den Problemzustand (Publikationsdruck) nicht. Müsste man nicht zuerst diesen beheben, bevor man an einem späteren Rädchen in der der Kausalkette dreht?

Es gibt keine übergeordnete Instanz, die plangerecht die Stellrädchen in der richtigen Reihenfolge dreht. Stattdessen gibt es Akteure auf verschiedenen Ebenen – Departments, Zeitschriften, Arbeitsgruppen, Fachgesellschaften – die Veränderung in ihrem Wirkungskreis erreichen. Aber ja: im Idealfall sollten jetzt schnell die Beurteilungskriterien angepasst werden. Aber das geschieht ja auch bereits. Zum Beispiel gibt es Stellenausschreibungen, für die Kandidatinnen und Kandidaten nur ihre X besten Publikationen vorlegen sollen anstatt der gesamten Publikationsliste. So könnte zum Beispiel der Fokus von Quantität zurück auf Qualität verschoben werden. Jede und jeder Einzelne kann helfen, diesen Prozess zu beschleunigen – sei es als Mitglied in Berufungskommissionen, als Mittelbauvertreter_in in Gremien, als Gutachter_in, oder einfach durch die Vermittlung einer neuen Norm in der eigenen Arbeit („Wir machen das jetzt so“).

Die „Vertrauenskrise“ umfasst auch indirekt das mangelnde Vertrauen in die Forschenden, dass sie korrekt mit ihren Forschungsdaten umgehen. Eine Reaktion darauf ist Kontrolle (Überprüfbarmachen von Daten durch Veröffentlichung). Erhöht Kontrolle Vertrauen?

Eine Norm der Wissenschaft (Merton, 1973) ist der „organisierte Skeptizismus“. Wissenschaft unterscheidet sich u.a. darin von Marketing, Lobbyismus, oder religiösen Überzeugungen: wissenschaftliche Behauptungen sind transparent entstanden, reproduzierbar und überprüfbar. Daher auch das Motto der traditionsreichen Royal Society (die wohl älteste existierende Wissenschaftsgesellschaft): Nullius in verba – auf niemandes Worte schwören. Und der organisierte Skeptizismus betrifft in erster Linie mich persönlich: „The first principle is that you must not fool yourself – and you are the easiest person to fool“ (Feynman, 1974). Menschen machen ständig Fehler – bewusst wie unbewusst – und diese lassen sich nur mit der nötigen Transparenz aufklären. „Vertrauen“ in Wissenschaftlerinnen und Wissenschaftler sollte daher so irrelevant wie möglich sein. Und das dürfen wir auf keinen Fall persönlich nehmen – die Möglichkeit, Forschungsergebnisse nachprüfen zu können sollte nicht mit Misstrauen verwechselt werden. Darüber hinaus wäre es eine verkürzte Sichtweise, das Bereitstellen von Daten primär unter dem Aspekt der Kontrolle wahrzunehmen – es geht auch darum, Nachnutzung zu ermöglichen und Wissen zu vermehren.

Die Veröffentlichung von Daten erfordert selbst ein hohes Maß an Vertrauen, beispielsweise in das Fachkollegium, dass es die Daten nicht als „Waffe“ benutzt, in die Datennachnutzer, dass sie fair mit den Daten umgehen und in das Wissenschaftssystem, dass es den Mehraufwand, den das Veröffentlichen von Daten macht, belohnt. Warum sollte man dieses Vertrauen aufbringen, wenn sich die Forschenden in der Vergangenheit nicht sonderlich vertrauenswürdig verhalten haben?

Ein kurzes Gedankenexperiment: Was ist das Schlimmste, was andere mit meinen Daten anstellen können? Sie könnten sie als ihre eigenen verkaufen. In diesem Fall kann ich immer nachweisen, dass ich sie früher online gestellt habe. Das wäre also ein leicht nachweisbares Plagiat. Eine weitere Möglichkeit ist, dass andere Wissenschaftler_innen Fehler in meinen Analysen entdecken und ich meine Publikation korrigieren oder gar zurückziehen muss. Diesen Punkt hatten wir oben bereits kurz erwähnt. Ein solcher Prozess stellt den Kern von Wissenschaft dar: Fehler werden korrigiert. Wir alle machen ständig Fehler. Uns gegen berechtigte Kritik abzuschirmen, ist keine Lösung und erweist der Wissenschaft einen Bärendienst. Im Gegenteil müssen wir uns an mehr Kritik und Korrektur gewöhnen und sie als etwas Natürliches ansehen. Mit einer größeren Offenheit sollte also auch unbedingt eine größere Fehlertoleranz einhergehen. Einen weiteren Aspekt sollte man nicht unterschätzen: Wer seine Daten offenlegt, zeigt, dass er nichts zu verbergen hat – das verlangt anderen Respekt ab und bringt einen in eine gute Verhandlungsposition.

Die Möglichkeit der Überprüfung von publizierten Ergebnissen gibt dem Fachkollegium mehr „Informationsmacht“ über die eigene Forschung. Die meiste „Macht“ erhalten die Methoden/Statistikexpertinnen und -experten. Welche Vor- und welche Nachteile sind hiermit verbunden?

Wie oben bereits angesprochen, ist Überprüfbarkeit und der „organisierte Skeptizismus“ ein Kernkriterium von Wissenschaft. Wenn Kolleg_innen meine Arbeit anhand meiner Daten überprüfen und zu einem anderen Ergebnis kommen als ich, muss ich mich damit auseinandersetzen. Post-hoc-Analysen und -Kritiken der eigenen Arbeit können zwar durchaus schmerzhaft sein, doch sie sind der Kern von Wissenschaft. Angenommen, wir wären in der Medikamentenforschung, und es wird festgestellt, dass aufgrund eines Rechenfehlers das Medikament bei Kindern falsch dosiert wird und sie daran sterben. Würde man nun versuchen, die Literatur so schnell wie möglich zu korrigieren, oder würde man versuchen, die Daten zurückzuhalten und Reanalysen zu verhindern?

Nun ist die Forschung in der Psychologie meist weniger dramatisch; aber die Aufgabe der Wissenschaft ist dennoch, valides Wissen zu generieren. Und dazu gehört in manchen Fällen eben auch, Fehler zu korrigieren. Begreift man solche Kritik als Chance, wird man langfristig deutlich robustere Forschung produzieren können. Indem man seine Daten öffnet und möglicherweise sogar Fehler und Korrekturen eingesteht, signalisiert man, dass einem der Erkenntnisgewinn und die Reliabilität der wissenschaftlichen Literatur wichtig sind. Das ist für die Reputation sicherlich besser als ein defensives Mauern.

Das bisherige, intransparente Publikationssystem sorgt häufig dafür, dass wissenschaftliche Daten unnatürlich „sauber“ erscheinen. Aber jeder, der schon mal selbst erhoben und ausgewertet hat, weiß: Echte Daten sind unordentlich! Hier besteht sicher die Sorge, dass offengelegte Daten das wahre Ausmaß dieser Unordnung sichtbar machen und gegenüber den unrealistischen Schönheiten in der publizierten Literatur schlecht aussehen. Auch hier gibt es sicher noch viel Änderungsbedarf: Wir müssen lernen, dass unperfekte Datensätze normal sind und „perfekte“ Datensätze im Gegenteil Skepsis auslösen sollten („zu schön, um wahr zu sein“).

„Forscherinnen und Forscher, die Originaldaten erheben, dürfen daher gegenüber Forscherinnen und Forschern, die die Daten anderer nachnutzen, keinen karrieretechnischen Nachteil haben (bspw. weil letztere im gleichen Zeitraum eine größere Anzahl an Publikationen vorweisen können).“ → Keinen Nachteil? Sollten Sie nicht sogar einen Vorteil genießen?

Die Gewichtung der unterschiedlichen Kompetenzen sollte eine Frage des Stellenprofils sein und ist Aufgabe der Berufungskommission.

Quantifizierung? Was ist (wieviel) mehr wert? Ist 3 × Daten nachgenutzt besser als 1 × Originaldaten erhoben und ausgewertet?

Auch das ist eine Frage des Stellenprofils und kann nicht pauschal beantwortet werden.

„Die DGPs empfiehlt ihren Mitgliedern, bei der Besetzung von Professuren und der Evaluation der wissenschaftlichen Leistungen der Bewerberinnen und Bewerber auch darauf zu achten, inwiefern sie Kriterien der Transparenz – im Sinne der vorliegenden Empfehlungen – in ihrer Forschung berücksichtigen.“ → Was bedeutet „berücksichtigen“? Welches Gewicht in der Bewertung soll Datentransparenz bei der Bewertung von Personen erhalten?

Transparenz ist unserer Meinung nach eine notwendige, aber nicht hinreichende Bedingung für gute Forschung. Natürlich muss man berücksichtigen, dass die Standards früher andere waren. Relevant ist aus unserer Sicht also eher: Hat jemand etwas aus der aktuellen Krise gelernt und erste Schritte unternommen? Darum haben wir bei der Ausschreibung der W3 Sozialpsychologie und drei weiterer Professuren an der LMU auch folgenden Absatz eingefügt: „Das Department Psychologie legt Wert auf transparente und replizierbare Forschung und unterstützt diese Ziele durch Open Data, Open Material und Präregistrierungen. Bewerber_innen werden daher gebeten, in ihrem Anschreiben darzulegen, auf welche Art und Weise sie diese Ziele bereits verfolgt haben und in Zukunft verfolgen möchten.“ Es wurde vor allem Gewicht auf „in Zukunft verfolgen möchten“ gelegt, und weniger zum Thema „bereits verfolgt haben“ erwartet. In Zukunft werden die Erwartungen da jedoch sicherlich höher werden. Dieser Absatz wurde in ähnlicher Form in Professurausschreibungen der Universitäten Köln, Münster und Göttingen verwendet. Das zeigt, dass ein Engagement in Forschungstransparenz kein Karrierehemmnis ist, sondern vielmehr in Zukunft ein notwendiger Baustein der Karriereplanung sein wird.

Muss Transparenz, wenn sie ein Evaluationskriterium sein soll, dann nicht auch besser quantifizierbar sein?

Ja und nein. Nein, weil der Quantifizierungswahn mit Impact-Faktoren, Zitationsindizes, Auszählen von Publikationslisten usw. uns eher einen Bärendienst in der Bewertung von wissenschaftlicher Leistung erwiesen hat – vgl. Goodharts Gesetz: „When a measure becomes a target, it ceases to be a good measure“ (Strathern, 1997, S. 308).

Ja, weil das eigentlich ganz gut quantifizierbar ist: Welcher Anteil der Publikationen stellt Daten bereit? Wie oft wurde ein_e Autor_in erfolgreich von einer unabhängigen Gruppe repliziert? Wurde mindestens einmal präregistriert?