Empfehlungen zur Bewertung wissenschaftlicher Leistungen bei Berufungsverfahren in der Psychologie

Hintergrund

Die Deutsche Gesellschaft für Psychologie trat im Januar 2023 als erste wissenschaftliche Fachgesellschaft im deutschsprachigen Raum der Coalition for Advancing Research Assessment (CoARA; https://coara.eu/) bei. Diese Koalition hat sich zur Aufgabe gestellt, die Art und Weise, in der wir Forschungsleistungen evaluieren, grundlegend zu reformieren. Die bisherige und noch immer vorherrschende Form der Evaluation anhand primär quantitativer Metriken soll überwunden werden, da sie zunehmend als dysfunktional eingeschätzt wird (Abele-Brehm & Bühner, 2016a; 2016b; European Commission. Directorate General for Research and Innovation, 2021). Neben der DGPs sind bereits 501 weitere Institutionen aus 35 Ländern (Stand: März 2023) CoARA beigetreten, unter anderem die DFG, Leibniz-Gemeinschaft, Schweizerischer Nationalfond, Wissenschaftsfonds FWF, sowie diverse Universitäten. Das angestrebte Umsteuern hat sich in der Vergangenheit jedoch schwierig gestaltet, da die Trägheit des Systems, die Beharrungskräfte und kulturellen Gewohnheiten vieler Akteur_innen, die ungeklärte Zuständigkeit für den Reformprozess, und ein Mangel an echter Steuerungsfähigkeit die notwendigen Veränderungen bisher verlangsamten oder gleich ganz blockierten.

Ein wichtiger erster Schritt auf diesem Weg wurde 2012 mit der Verabschiedung der San Francisco Declaration on Research Assessment (DORA; https://sfdora.org) getan, die die DGPs 2021 ebenfalls unterzeichnete. DORA fordert akademische Einrichtungen auf, bei Einstellungen und Beförderungen keine fragwürdigen oder diskreditierten Indikatoren für Forschungsqualität und -produktivität mehr zu verwenden und zielt dabei insbesondere auf den Impact-Factor (IF) wissenschaftlicher Zeitschriften ab. Wären IFs (oder vergleichbare Kategoriensysteme, wie die Einteilung in A/B/C-Journals – was häufig mit IF korreliert) valide Indikatoren, würde man eine deutlich positive Korrelation mit objektiven Qualitätsindikatoren der darin enthaltenen Artikel erwarten. Forschungsergebnisse zeigen jedoch, dass sie, im Gegenteil, oft gar nicht oder sogar negativ damit korrelieren (Aksnes et al., 2019; Brembs, 2018; Dougherty et al., 2019; Dougherty & Horne, 2022; Fraley & Vazire, 2014; Kepes et al., 2022; Serra-Garcia & Gneezy, 2021). Darüber hinaus zeigen großangelegte Studien, dass selbst die qua Impact-Faktor „besten“ Journals ihres jeweiligen Faches inakzeptabel schlechte Reproduzierbarkeitsraten aufweisen (Open Science Collaboration, 2015; Errington et al., 2021). Das klassische Peer-Review erfüllt daher seine Funktion offenbar nicht in ausreichendem Maße.

Neben den von DORA problematisierten IFs werden inzwischen aber auch die meisten anderen gängigen Metriken der Forschungsproduktivität sehr kritisch bewertet, und es wird von ihrer weiteren Verwendung abgeraten. Dies betrifft insbesondere (a) die reine Anzahl erworbener (Co–)‌Autorenschaften, (b) eingeworbene Drittmittelsummen, und (c) h-Indizes. Dahinter steht die Einsicht, dass die reine Menge des Forschungsoutputs einer Person wenig aussagekräftig ist, solange es an glaubwürdiger Qualitätskontrolle mangelt, und dass zumindest einige dieser Indizes nicht nur relativ leicht und risikofrei manipulierbar sind, sondern auch eifrig manipuliert werden (Chapman et al., 2019; Falagas & Alexiou, 2008; Fong & Wilhite, 2017; Gasparyan, Ayvazyan & Kitas, 2013; Pruschak & Hopp, 2022). Individuelle Drittmittelsummen sind stark vom jeweiligen Forschungsfeld abhängig, und Berufungskommissionen sollten nicht unkritisch die Vorstellung übernehmen, dass „gute“ Forschung sich durch einen möglichst schnellen Verbrauch möglichst vieler Ressourcen auszeichnet.

Unmittelbar nach der Unterzeichnung von DORA beauftragte die Deutsche Gesellschaft für Psychologie eine Arbeitsgruppe mit der Ausarbeitung eines möglichst konkreten Vorschlags, wie die Ziele der Reform in akademischen Einstellungs- und Beförderungsverfahren praktisch umgesetzt werden können. Hintergrund dafür waren unter anderem entsprechende Nachfragen aus dem Kreis der Mitglieder. Die Arbeitsgruppe entwickelte zwei eng miteinander verbundene Positionspapiere, die zusammen mit Kommentaren aus der Scientific Community in einem Sonderheft der Zeitschrift Meta-Psychology veröffentlicht werden. Wir möchten hier auf diesen Prozess aufmerksam machen und einige der wesentlichen Inhalte zusammenfassen. Zugleich soll damit für die Mitglieder der DGPs eine weitere Möglichkeit geschaffen werden, die Vorschläge in einem deutschsprachigen Forum zu kommentieren. Dabei kann und soll ein besonderer Fokus auf der Umsetzbarkeit im hiesigen akademischen Umfeld liegen. Unser Ziel ist es, möglichst viele Leser_innen der Psychologischen Rundschau zu einer Auseinandersetzung mit den Vorschlägen, zu einer aktiven Diskussion darüber, und auch zu einer Implementierung der Vorschläge zu ermuntern.

Im Folgenden werden Kernpunkte der Reformvorschläge zusammengefasst und mit Überlegungen zur Implementierung im deutschsprachigen akademischen System ergänzt. Für Details zu den Reformvorschlägen bitten wir, die zwei Positionspapiere (Schönbrodt et al., 2022; Gärtner et al., 2022) zu lesen.

Das übergeordnete Ziel der Reformvorschläge besteht zum einen darin, die inhaltliche Breite der im Rahmen von Evaluationen berücksichtigten akademischen Leistungen zu vergrößern. Konkret werden fünf Bereiche von wissenschaftlichen Aktivitäten identifiziert, die insbesondere bei Berufungsverfahren berücksichtigt werden sollen (siehe Abb. 1): (1) Forschung, (2) Lehre, (3) Führung (z. B. Mentoring, Organisations- und Managementkompetenz, strategisches Denken), (4) akademische Selbstverwaltung (z. B. an der Forschungseinrichtung oder in Fachgesellschaften) und (5) gesellschaftlicher Impact (z. B. Patente, Wissenschaftskommunikation, „Citizen Science“ (Bürgerwissenschaft), Umsetzungen in der Alltagspraxis). Diese fünf Bereiche wissenschaftlicher Aktivitäten sind als multidimensionales Profil gedacht: je nach Anforderungsprofil der Stelle sind manche Dimensionen mehr oder weniger wichtig.

Zum anderen sollen bessere Indikatoren und Verfahren für diese fünf Bereiche wissenschaftlicher Aktivitäten entwickelt werden. Für den ersten Bereich (Forschung) wurde bereits ein konkretisierter Entwurf vorgelegt (Gärtner et al., 2022). Die darin enthaltenen Indikatoren wurden auch unter dem Aspekt entwickelt, dass keine unzumutbare Mehrbelastung für Mitglieder von Berufungskommissionen entstehen soll – das neue System muss auch bei Verfahren mit einer sehr hohen Zahl von Bewerbungen funktionieren. In dem Vorschlag werden neben wissenschaftlichen Publikationen auch veröffentlichte Datensätze und die Entwicklung und Pflege von Forschungssoftware als relevante und potentiell gleichwertige Forschungsbeiträge berücksichtigt. Alle drei Arten von Forschungsbeiträgen werden auf drei voneinander unabhängigen Dimensionen evaluiert: methodische Stringenz (als eine entscheidende Facette wissenschaftlicher Qualität), Impact, sowie Quantität.

Zentral ist die Annahme, dass methodische Stringenz eine notwendige Bedingung für Wissenschaftlichkeit ist, deren Fehlen nicht durch die beiden anderen Dimensionen kompensiert werden kann: Eine kleine Menge methodisch überzeugender Forschung ist einer großen Menge methodisch schwacher Forschung eindeutig vorzuziehen. Erst wenn eine gewisse Mindestschwelle an methodischer Stringenz erreicht wurde, dürfen daher die beiden anderen Dimensionen (Impact und Menge) eine Rolle in der Evaluation spielen.

Die vorgeschlagenen Indikatoren für methodische Stringenz und Impact stellen konkrete Alternativen zum Gebrauch von Impact-Faktoren, h-Indizes und der reinen Anzahl an Publikationen dar. Dabei wird die methodische Qualität ausgewählter Forschungsbeiträge (z. B. Artikel) der Bewerber_innen direkt eingeschätzt, anstatt sich auf die bisher gängigen, weitaus weniger aussagekräftigen Proxies dafür wie z. B. den Impact-Faktor zu verlassen.

Für die anderen Bereiche wissenschaftlicher Aktivitäten (2) bis (5) wurden bisher noch nicht systematisch neue Indikatoren entwickelt. Im Folgenden beziehen wir uns entsprechend nur auf die Bewertung der Forschungsleistung (Gärtner et al., 2022).

Ein zweistufiger Prozess zur Bewertung wissenschaftlicher Leistungen

Konkret wird vorgeschlagen, die akademischen Leistungen (und damit auch das Potenzial) von Personen, die sich auf Professuren bewerben, in zwei aufeinanderfolgenden Phasen zu bewerten (siehe Abbildung 2). Der Fokus von Phase 1 (Longlist) liegt darauf, effizient anhand objektivierbarer und valider Indikatoren eine Negativselektion anhand von Minimalanforderungen vorzunehmen. In gewisser Weise wird hier die Qualitätssicherung nachgeholt, die das Peer-Review-System bisher nicht in ausreichendem Maße leistet (siehe oben). In unserem aktuellen Implementierungsvorschlag berücksichtigen wir in Phase 1 nur den Bereich (1) Forschung, weil für die anderen Bereiche wissenschaftlicher Aktivitäten noch keine gut messbaren Indikatoren vorliegen und auch in der aktuellen Praxis der Bereich Forschung in der Regel das höchste Gewicht in Berufungskommissionen hat. Für diesen Bereich soll anhand von Kriterien ein gewisses Mindestniveau methodischer Stringenz etabliert werden. Sobald Indikatoren für die anderen Bereiche wissenschaftlicher Aktivitäten (2) – (5) vorliegen, können auch diese mit Minimalstandards in Phase 1 bewertet werden. Die Selektion in Phase 1 kann algorithmisch unterstützt geschehen, um den Aufwand auch bei langen Bewerbungslisten in bewältigbaren Grenzen zu halten. In Phase 1 sollte auch, wie bisher üblich, die allgemeine inhaltliche Passung zur Ausschreibung berücksichtigt werden. In Phase 2 (Shortlist) erfolgt dann eine intensive inhaltliche Auseinandersetzung mit den Arbeitsschwerpunkten und -ergebnissen der einzelnen Personen.

Zur Umsetzung: Chancen und Hindernisse

Die hier gemachten Vorschläge stehen im Einklang mit einer inzwischen umfangreichen Literatur, die dringenden Reformbedarf im Bereich der Wissenschaftsevaluation artikuliert (z. B. Abele-Brehm & Bühner, 2016a; 2016b; Dougherty et al., 2019; Dougherty & Horne, 2022; European Commission. Directorate General for Research and Innovation, 2021). Dennoch vollzieht sich der Übergang zu einer sachgerechteren Leistungsbewertung im Rahmen akademischer Berufungs- und Beförderungsverfahren bisher quälend langsam. Was sind mögliche Gründe dafür?

Erstens könnte es schlicht an Vorstellungen darüber mangeln, „wie es besser geht“. Um dem abzuhelfen wurde hier und in den beiden erwähnten Preprints (insbesondere bei Gärtner et al., 2022) eine alternative Vorgehensweise im Detail beschrieben, die sich direkt implementieren lässt.

Zweitens könnten Bedenken bestehen, dass eine stärker an der wissenschaftlichen Qualität (als der Quantität) orientierte Vorgehensweise einen unzumutbaren Mehraufwand für die Mitglieder von Evaluationskommissionen und / oder für Personen bedeutet, die sich bewerben. Wir sind jedoch zuversichtlich, dass solche Bedenken unbegründet sind, denn (a) werden die Bewerber_innen in Phase 1 gebeten, die meisten relevanten Angaben selbst zur Verfügung zu stellen, (b) werden solche Angaben nur für eine relativ überschaubare Anzahl von Forschungsbeiträgen verlangt, (c) lassen sich solche Angaben, wenn sie einmal vorliegen, in weiteren Verfahren direkt übernehmen, und (d) gibt es deutliche Hinweise, dass eine unabhängige Überprüfung derartiger Angaben auch an Dritte (z. B. studentische Hilfskräfte) delegiert werden kann (Leising et al., 2022b), ohne dass darunter die Urteils-Reliabilität leidet. Die Punkte a und d halten den Aufwand für Kommissionen in Grenzen, die Punkte b und c den Aufwand für Bewerber_innen.

Als Beteiligte an Berufungsverfahren haben alle Autoren des vorliegenden Artikels bereits Erfahrungen mit vereinfachten Varianten des hier skizzierten Vorgehens machen können, die gänzlich positiv waren: Eine einfache Suche nach bestimmten Schlüsselbegriffen (regist*, power, model, representative, open, etc.) in PDFs ermöglicht bereits eine schnelle und relativ gute Einschätzung der wissenschaftlichen Glaubwürdigkeit von Publikationen. In ersten Berufungskommissionen werden sogar bereits einige der hier vorgeschlagenen Bewertungskriterien von Bewerber_innen abgefragt und bei der Entscheidungsfindung berücksichtigt. Ideal wäre allerdings eine Lösung, in der wissenschaftliche Zeitschriften selbst die Erfüllung der wichtigsten Qualitätskriterien überprüfen und die Ergebnisse dann in standardisierter – und vielleicht sogar maschinenlesbarer – Form als Metadaten an die Artikel anhängen.

Drittens könnte die vollständige Übernahme des hier skizzierten Vorgehens als unzulässige Beschneidung des bereits erwähnten Ermessensspielraums von Kommissionen empfunden werden und Reaktanz erzeugen. Es sei daher darauf hingewiesen, dass es keinerlei Kontroll- oder Sanktionsgewalt in dieser Sache gibt. Kommissionen sind und bleiben selbstverständlich völlig frei in der Entscheidung, ob sie (Teile) der hier gegebenen Empfehlungen anwenden möchten oder nicht. Die Empfehlungen sind nicht mehr als ein Angebot, ein gut durchdachtes und schon zum Teil in der Praxis erprobtes System anzuwenden, anstatt an vielen Standorten eigene Verfahren zu entwickeln, die dann wieder schwer miteinander vergleichbar sind. Wir gehen davon aus, dass die hier vorgeschlagenen Kriterien nach nunmehr zehnjähriger intensiver Diskussion im Rahmen der Glaubwürdigkeitsdebatte in den Wissenschaften eine Art Minimalkonsens darstellen und von den meisten Fachvertreter_innen geteilt werden. Abwandlungen dieser Empfehlungen im Rahmen konkreter Verfahren sind aber selbstverständlich immer denkbar und legitim, etwa im Hinblick auf die relative Gewichtung einzelner Kriterien oder die Einbeziehung anderer Indikatoren, die für das zu besetzende Fach relevanter sind. Ebenso legitim ist selbstverständlich der vollständige Verzicht auf solche empirie-zentrierten Kriterien, wenn es etwa eine Professur mit Schwerpunkt in der Theorie- oder Methodenentwicklung zu besetzen gilt.

Viertens besteht auch hier wieder das altbekannte soziale Dilemma, dass diejenigen, die sich als erste aus dem noch vorherrschenden Bewertungssystem verabschieden, nach den geltenden Kriterien schlechter abschneiden und dadurch Nachteile haben könnten (Nosek & Bar-Anan, 2012). So ist es nicht ausgeschlossen, dass Universitäten, die in der Auswahl ihres Personals nicht die Gesamtzahl der (Co–)‌Autorenschaften von Bewerber_innen oder deren eingeworbene Drittmittelsummen optimieren, in einigen der derzeit gängigen Universitätsrankings schlechter dastehen als solche, die beim bisherigen Modell bleiben. Hier sind politischer Wille und Mut zur Veränderung gefragt – vor allem auf Seiten der Professurinhaber_innen – denn sie verfügen im System mit weitem Abstand über die größte Gestaltungsmacht und Unabhängigkeit. Spätestens seit der Gründung von CoARA mit ihren renommierten Mitgliedern sollte das Reformklima aber so salient geworden sein, dass ein klares Bekenntnis zu einer neuen Berufungspolitik eigentlich nur noch als Zeichen von Fortschrittlichkeit interpretiert werden kann. Wir empfehlen, durch möglichst öffentliche Positionierungen und Forderungen den Druck auf Fakultäts- und Universitätsleitungen entsprechend zu erhöhen.

Ein fünfter und bisher eher nachlässig behandelter Aspekt besteht darin, dass Kommissionen es als peinlich empfinden könnten, an Bewerber_innen methodische Standards anzulegen, die möglicherweise von den meisten Fakultätsmitgliedern selbst (noch) nicht erfüllt werden – und gleichzeitig auf Bewertungsdimensionen zu verzichten, die sie stark verinnerlicht haben und auf denen sie vielleicht selbst bisher noch glänzen. Hier kann Abhilfe geschaffen werden durch (a) ein klares Bekenntnis zum eigenen Lernbedarf und (b) entsprechende Umstellungen der eigenen Forschungspraxis. Eine solche Umstellung ist gerade für bereits etablierte Forscher_innen erheblich risikofreier als für Forscher_innen, die noch am Anfang ihrer Laufbahn stehen und über eine vergleichsweise unsichere berufliche Position verfügen.

Sechstens könnte es als unfair gegenüber Bewerber_innen wahrgenommen werden, wenn jetzt „auf einmal“ die Bewertungskriterien so deutlich in Richtung Qualität verschoben werden. Es kann die Situation entstehen, dass in der Landschaft der potentiellen akademischen Arbeitgeber die „alten“ und die „neuen“ Bewertungsstandards gleichzeitig vorhanden sind, was aus der Sicht der Karriereplanung ein gewisses Optimierungsproblem darstellt. Hierzu ist zu sagen, dass es sich bei der Umstellung ja zweifelsohne um einen schrittweisen Prozess handelt, der in dieser Hinsicht noch gewisse Ermessensspielräume zulässt. Die Unterzeichnung von CoARA durch die DGPs kann und sollte aber durchaus so verstanden werden, dass es mit der schon lange absehbaren Umstellung nunmehr „ernst wird“. Mit dem Wissen, dass Forschungsqualität und methodische Stringenz auch in Berufungsverfahren einen hohen Stellenwert einnimmt, würde es Bewerber_innen und insbesondere Jungwissenschaftler_innen (Early Career Researchers) sicher leichter fallen, sich diesen Aspekten noch stärker zuzuwenden und dies in ihrer Karrierelaufbahn zu berücksichtigen (anstatt im Dilemma von Quantität vs. Qualität zu „schwimmen“). Gleichzeitig positionieren sich Institutionen mit ihren (öffentlich kommunizierten) Bewertungskriterien und bewerben sich ihrerseits um die besten Köpfe. So können sich Bewerber_innen bewusst aussuchen, ob sie ihre Kompetenz an einer Institution einbringen, die wissenschaftliche Qualität priorisiert, oder sich stattdessen in ein Hamsterrad des „mehr, schneller, teurer“ begeben wollen, bei dem im Extremfall die wissenschaftliche Substanz eine untergeordnete Rolle spielt.

Siebtens könnte der Vorschlag, die Summe eingeworbener Drittmittel in Berufungsverfahren gar nicht mehr zu berücksichtigen, auf Widerstände stoßen. Hierzu sei gesagt, dass die Fähigkeit zur Einwerbung von Drittmitteln für die Forschung auch aus Sicht der Arbeitsgruppenmitglieder zu den wünschenswerten Qualifikationen wissenschaftlich arbeitender Personen gehört. Aus den oben genannten Gründen (Abhängigkeit der Drittmittelsummen vom Forschungsfeld, Fehlanreize für möglichst teure Forschung) empfehlen wir alternativ, zu ermitteln, ob Kandidat_innen prinzipiell in der Lage sind, Fördermittel zu akquirieren. Dies kann mit einem Nachweis über eine Mindestanzahl an erfolgreich eingeworbenen Projekten geschehen. Dabei erscheint es legitim, solche Projekte höher zu gewichten, bei deren Einwerbung die sich bewerbende Person eine federführende Rolle (als „PI“) gespielt hat, und solche, die kompetitiv sind und bei deren Begutachtung bekanntermaßen besonders hohe Maßstäbe angelegt werden (z. B. solche, die von der DFG gefördert werden).

Abschließende Bemerkungen

Mit der Unterzeichnung der DORA-Erklärung und dem Beitritt zu CoARA setzt die DGPs ihre Bemühungen um die Förderung guter wissenschaftlicher Praxis in ihren eigenen Reihen fort. So wie die Psychologie mittlerweile von anderen Fächern als klare Vorreiterin in Bezug auf reproduzierbare und offene Forschung wahrgenommen wird, besteht nun die Chance, auch im Bereich der Leistungsbewertung voranzugehen. Gerade als diejenige Disziplin, die Expertise zum Verhalten von Menschen, zur Qualität von Messinstrumenten und zu organisationalem Kulturwandel für sich in Anspruch nimmt, sollten wir das auch tun. Wir rufen daher alle DGPs-Mitglieder auf, die hier vorgeschlagenen Grundsätze und Kriterien für eine verantwortungsvolle Forschungsbewertung zu diskutieren und im Rahmen des Diskussionsforums Kommentare bei der Psychologischen Rundschau einzureichen.

An Standorten, an denen Berufungsverfahren anstehen, schlagen wir vor, diejenigen Aspekte der Empfehlungen umzusetzen, die konsensfähig und implementierbar sind. Nach unserer Einschätzung ist unser Vorschlag gut genug, um Berufungsverfahren schon jetzt substantiell zu verbessern und valider zu machen. Gleichzeitig möchten wir aber auch noch einmal betonen, dass es sich um „Work-in-Progress“ handelt: Der neue Ansatz muss (möglicherweise in Varianten) an vielen Standorten einem Praxistest unterzogen werden, begleitet von Studien zur Praktikabilität, Reliabilität und Validität der neuen Indikatoren. Die so gewonnenen Erfahrungen werden im Rahmen von CoARA in andere Fachgesellschaften und Institutionen hineingetragen, so wie auch wir von den dortigen Prozessen profitieren können. Diese koordinative Aufgabe wird von der DGPs-Kommission „Open Science“ übernommen. Noch bestehende Unsicherheiten sollten nicht davon abhalten, jetzt die ersten Schritte hin zu einer sinnvolleren Form der Forschungsbewertung zu machen. Das letztendliche Ziel ist, basierend auf den zu sammelnden Erfahrungen und einem regen Austausch miteinander, einen möglichst breiten Konsens innerhalb unserer Fachgesellschaft darüber zu erreichen, wie wir in Zukunft wissenschaftliche Leistung (und damit auch unsere eigene Arbeit) auf eine valide und zugleich praktikable Art und Weise evaluieren wollen.