Fachgruppe Methoden und Evaluation

Kommentar zum Positionspapier „Lindner, M. A. et al. (2021). Ein Plädoyer zur Qualitätssicherung schriftlicher Prüfungen im Psychologiestudium

In ihrem Positionspapier sprechen sich Lindner, Sparfeldt, Köller, Lukas und Leutner für eine stärkere Nutzung von Ansätzen und Methoden aus der Psychologischen Diagnostik bei der Abnahme schriftlicher Prüfungen in psychologischen Studiengängen aus. Hierfür diskutieren sie mit Themen wie Inhaltsvalidität, Itemformaten, Ratekorrektur, Bearbeitungsstrategien, computerbasiertem Testen und Hinweisen zur Itemkonstruktion wichtige Kernaspekte der Psychologischen Diagnostik. Die Autoren plädieren für eine weitere Verbreitung von Testkonstruktionswissen und die verstärkte Nutzung diagnostischer Erkenntnisse durch die Lehrenden, auch wenn dies teilweise mit Mehraufwand verbunden sei. Abschließend schlagen sie den Aufbau eines gemeinsamen Klausuraufgabenpools für die Psychologie und die Bündelung diagnostischen Kompetenzen zur Bereitstellung von Testkonstruktionswissen für Hochschulen unter Federführung der DGPs vor. Freilich sind die Autor_innen nicht die ersten, die die Qualität von Hochschulklausuren zurecht bemängeln. Ähnliche und weiterführende Bedenken wurden in den vergangenen Dekaden beispielsweise von Atkins, Beattie und Dockerell (1993) und Elton (2004) geäußert.

Als Vertreter der Fachgruppe Methoden & Evaluation unterstützen wir das Anliegen, die psychometrische Qualität von Hochschulklausuren anzuheben, ausdrücklich. Dies ist allein schon im Sinne eines „Practice what you preach“ angezeigt. Optimierungsmöglichkeiten und Handlungsbedarf sind in diesem Bereich aus methodischer Sicht offensichtlich. Unserer Einschätzung nach sollten im Zentrum von Überlegungen zur Verbesserung von Hochschulklausuren die Studierenden stehen. Sie haben einen Anspruch darauf, dass

1. 1.
   die Lernziele der jeweiligen Lehrveranstaltung angemessen durch die Klausuraufgaben operationalisiert werden,
2. 2.
   die Bewertung der Klausur so erfolgt, dass deren Ergebnis als Ausmaß des Erreichens kompetenzorientierter Lernziele interpretiert werden kann,
3. 3.
   die Bewertung dahingehend fair erfolgt, dass bei gleichem Kompetenzstand interindividuell (verschiedene Studierende) und intraindividuell (verschiedene Klausurzeitpunkte, z. B. Erst- und Zweittermin) das gleiche Ergebnis resultiert,
4. 4.
   die Präzision des Prüfungsergebnisses unabhängig vom individuellen Kompetenzstand ist und
5. 5.
   Klausuren in prüfungsrechtlich einwandfreier Weise abgenommen werden.

Um diese Ziele vollumfänglich zu erreichen, sind über das Positionspapier hinaus nach unserem Dafürhalten eine noch mutigere Ausschöpfung existierender psychometrischer Konzepte und eine vorausschauende Diskussion neuer Entwicklungen in diesem Bereich sinnvoll. Die im Positionspapier propagierten Konzepte orientieren sich stark an den typischerweise im Psychologiestudium vermittelten Grundprinzipien der Testkonstruktion. Hinweise zum lohnenswerten Aufbau einer Itemdatenbank bei hohen Fallzahlen (Vorlesungen, mehrgleisige Seminare), zu Vor- und Nachteilen üblicher Itemformate und zur möglichen Zeitersparnis durch automatisierte Auswertungen geschlossener Antwortformate dürften zunächst einmal breite Zustimmung erfahren. Diskussionsbedarf besteht aber gerade dahingehend, warum diese Prinzipien bisher nicht in der Breite genutzt werden.

Außerdem erscheint es zur Förderung der Bereitschaft bei Hochschulklausuren künftig psychometrisch angemessener vorzugehen, aus unserer Sicht wünschenswert, Ansätze detailliert zu diskutieren, die prüfungsrechtlich unproblematisch sind. Auch wenn beispielsweise die rechtlichen Einschränkungen bezüglich Maluspunkten im Positionspapier benannt werden, wird damit doch die Assoziation von qualitativ hochwertigen Klausuren mit prüfungsrechtlichen Problemen geweckt. Dies fördert vermutlich die Einschätzung, dass man lieber von Änderungen am Status quo Abstand nehmen sollte, um potentielle rechtliche Schwierigkeiten zu vermeiden. Zielführender wäre aus unserer Perspektive eine transparente Darstellung von prüfungsrechtlich unbedenklichen, direkt nutzbaren Ansätzen.

Auch wollen wir darauf hinweisen, dass einige der im Positionspapier formulierten Erwartungen an die Lehrenden nur bedingt realisierbar sind. So dürften in der Mehrzahl der psychologischen Institute in Deutschland, Österreich und der Schweiz die vorgeschlagenen Korrekturkreisläufe im Rahmen der Klausuraufgabenentwicklung schwerlich umzusetzen sein. Auch mit dem Ziel einer institutsübergreifenden Aufgabendatenbank wäre dies im Konstruktionsprozess, bis eine angemessene Anzahl von Items generiert wurde, ohne zusätzliche Ressourcen kaum zu realisieren. Darüber hinaus obliegt die inhaltliche Ausgestaltung der Prüfungen den Fachvertreterinnen und Fachvertretern und die Prüfungsorganisation den Modulverantwortlichen. Ein Hineinreden von anderen wäre dieser Verantwortlichkeitsstruktur nicht angemessen und birgt, auch in prüfungsrechtlicher Hinsicht, erhebliches Konfliktpotential. Unserer Einschätzung nach existieren andere Wege, um zu qualitativ besseren Klausuren zu kommen und deren Durchführung in die Hände der jeweils Verantwortlichen zu legen.

Aber wie kommt man zu psychometrisch angemesseneren Klausuren in der Breite? Das Problem besteht unseres Erachtens nicht darin, dass das entsprechende Wissen nicht vorhanden ist. Damit würde man die Lehrenden in der Psychologie unterschätzen. Potentielle Gründe sind andere:

1. 1.
   Berufen auf Tradition („haben wir schon immer so gemacht“)
2. 2.
   Berufen auf Autoritäten („macht der Chef ja auch so“)
3. 3.
   Mehrwert besserer Klausuren unklar
4. 4.
   Geringe Ressourcen für lehrbezogene Routineaufgaben
5. 5.
   Realisierung unklar

Die potentiellen Gründe 1. und 2. sind den unwissenschaftlichen Methoden der Erkenntnisgewinnung zuzuordnen. Aufgrund der hohen individuellen Relevanz für die Studierenden, die Klausuren spätestens seit der Einführung des Bachelor- und Master-Systems im Psychologiestudium erlangt haben, sind sie inakzeptabel. Um sie zu überwinden, ist das Schaffen eines Problembewusstseins ein wichtiger Schritt; wie es beispielsweise durch dieses Diskussionsforum geschieht. Um den 3. Grund zu überwinden sollten Lehrenden moderne, leistungsfähige Methoden mit direkt ersichtlichem Mehrwert nahegebracht werden. Der Umstieg auf solche Methoden kann universitätsintern gegebenenfalls temporär durch Incentives (z. B. Verringerung des Lehrdeputats im Umstellungsprozess) gefördert werden. Auch die im Positionspapier vorgeschlagene zentrale Aufgabendatenbank kann zu einem solchem Mehrwert beitragen. Zu 4. sind Lösungsansätze zu präsentieren, die die Arbeit für die Lehrenden nicht nur qualitativ besser, sondern insbesondere auch schneller, leichter und bestenfalls auch unterhaltsamer machen. Unserer Einschätzung nach werden sich neue Klausursysteme nur dann ohne Zwang (den wir für nicht angemessen erachten) in der Breite implementieren lassen, wenn zum Punkt 4 eine überzeugende Lösung vorgelegt wird. Bezüglich 5. ist es wichtig Lehrenden intuitiv bedienbare Klausursysteme an die Hand zu geben. Zentral ist dabei die prüfungsrechtliche Unbedenklichkeit. Jede Option, die man erst einmal prüfungsrechtlich abklopfen lassen muss, erhöht die Wahrscheinlichkeit beim gewohnten Vorgehen zu bleiben.

Das durchaus komplexe Spannungsfeld bei der Implementation von Hochschulklausuren kann man mit Hilfe der Abbildung 1 strukturieren und handhabbar machen. Die Kante a) repräsentiert die Erschließung von psychometrischem Fachwissen durch die Lehrenden. Diese Kante ist der Schwerpunkt des Positionspapiers. Die Kante b) bringt zum Ausdruck, dass nur psychometrische Ansätze für Hochschulklausuren relevant sind, die prüfungsrechtlich (inkl. geltender Prüfungs- und Studienordnungen) zulässig sind. Die Kante c) repräsentiert den Sachverhalt, dass prüfungsrechtliche Regelungen und Ordnungen erhebliche Restriktionen für die Lehrenden definieren, die ihrerseits nur sehr begrenzte Einflussmöglichkeiten auf die rechtlichen Rahmenbedingungen haben.

Dass der Bereich der Hochschulklausuren durch mannigfaltige Restriktionen gekennzeichnet ist, heißt jedoch nicht, dass keine Verbesserungsmöglichkeiten bestehen. Und in der Tat ist der aktuelle Stand schon weiter als es das Positionspapier vermuten lässt. So werden psychometrisch angemessen konstruierte Klausuren bereits seit Jahren im universitären Regelbetrieb eingesetzt (Frey, Spoden & Born, 2020; Spoden, Frey, Fink & Naumann, 2020). Eine umfassende Rahmenkonzeption findet sich bei Spoden und Frey (im Druck). Insbesondere bei elektronischen Klausuren (E-Klausuren) war die Entwicklung jüngst rasant. An zahlreichen Universitäten wurden in den vergangenen Jahren zentrale Einrichtungen für E-Klausuren etabliert. Beispielsweise werden E-Klausuren an der Universität Bremen bereits seit 2007 und an der Universität Kassel seit 2010 genutzt. Viele Universitäten folgten in den Jahren danach. Ferner liegt mit der KAT-HS-App ein kostenfreies R-basiertes Software-Paket mit Benutzeroberfläche zur Konfiguration, Vorgabe, Skalierung und Auswertung computerbasierter adaptiver und nicht-adaptiver Klausuren (https://kat-hs.uni-frankfurt.de/) inklusive prüfungsrechtlicher Beurteilung (Frey, Spoden, Fink & Born, 2020) vor. Weiterhin steht das R-Paket exams von Zeileis, Umlauf und Leisch (2014) zur Verfügung, das mit Schnittstellen zu den Lernmanagement-Systemen Moodle und OLAT gut in universitäre Systeme eingebunden werden kann.

Darüber hinaus fehlt dem Positionspapier ein Bezug zu aktuellen Entwicklungen der künstlichen Intelligenz-Forschung und deren zu erwartenden Einfluss auf die Ausgestaltung schriftlicher Prüfungen. Der Einsatz von Natural Language Generation, wie er bereits in vielen Bereichen des wissenschaftlichen und alltäglichen Lebens geschieht (Überblick in Gatt & Krahmer, 2018), ist in der Konstruktion von Klausuraufgaben mit geschlossenem Antwortformat außerordentlich vielversprechend und unserer Ansicht nach künftig beinahe unvermeidbar. Bereits heute können solche Ansätze genutzt werden, um Parallelformen und Umformulierungen von Fragen und Distraktoren zu erzeugen. Zusätzlich kann das Gegenstück, Natural Language Processing, besonders bei der automatisierten Auswertung offener Fragen (z. B. Cahill & Evanini, 2020) einen substantiellen Beitrag zur Verbesserung von Klausuren leisten. Zumindest eine Vorkorrektur offener Antwortformate ist prüfungsrechtlich ohne Probleme möglich.

Man könnte also sagen, dass die Zukunft der Hochschulklausuren bereits begonnen hat. Es liegen vielversprechende Entwicklungen vor, die in Aussicht stellen, die eingangs formulierten fünf Ziele moderner Hochschulklausuren zu erreichen. Für die wissenschaftliche Psychologie kommt es nun darauf an, sich in die laufenden Prozesse an den Universitäten einzubringen. Damit kann verhindert werden, dass Hochschulklausuren lediglich als neuer Markt von kommerziellen Softwareanbietern erschlossen werden. Dies könnte nämlich dazu führen, dass Lehrenden Einflussmöglichkeiten auf die Ausgestaltung von Klausuren genommen und so sowohl ihre inhaltsspezifischen als auch ihre messtheoretischen Kompetenzen außer Acht gelassen werden. Wenn an den Hochschulen im laufenden Digitalisierungsprozess E-Klausuren in den Fokus der Aufmerksamkeit rücken, wäre dies genau der richtige Zeitpunkt für die Psychologie eine aktive Position einzunehmen. Hierbei ist es wichtig, das in Abbildung 1 dargestellte Spannungsfeld im Blick zu haben und strategisch unter Einbeziehung empirischer Implementationsforschung zu agieren. Wichtig erscheint uns weiterhin, offene Klausur-Software zu nutzen die nicht von kommerziellen Anbietern kontrolliert wird, um dezentrale wissenschaftlich getriebene kooperative Entwicklungsprozesse zu fördern. Nur so können nachhaltige Systeme vorgehalten werden, in die künftige methodische Entwicklungen integriert werden können. Ein Beispiel hierfür ist das in diesem Sinne angelegte KAT-HS-System. Auch die Forderung im Positionspapier nach einer zentral gesteuerten Aufgabendatenbank passt zum Ansatz der Kooperation bei Hochschulklausuren, nutzt aber die aktuellen Möglichkeiten von Vernetzung und kooperativem Erkenntnisgewinn im Rahmen der offenen Wissenschaft noch nicht voll aus. Für die zentrale Frage nach Klausursoftware ist insbesondere die Nutzung vorhandener und offener technologiebasierter Entwicklungs- und Kooperationsrahmen zukunftsweisend, wie sie beispielsweise für eine breite Masse an Lehrmaterial mittels git bereits praktiziert wird. An dieser Stelle kann die DGPs eine Vorreiterrolle einnehmen. Letztendlich ist die Psychologie das universitäre Fach, das über die elaboriertesten Methoden und Ansätze zur zukunftsweisenden Ausgestaltung von Hochschulklausuren verfügt.