Das Konfidenz- / Signifikanzniveau impliziert ein bestimmtes Kostenverhältnis zwischen Fehler 1. Art und Fehler 2. Art

In der psychologischen Einzelfalldiagnostik stehen wir häufig vor der Aufgabe, eine konkrete Entscheidung über eine Person zu treffen. Hierin unterscheidet sich die Einzelfalldiagnostik von psychologischer (Grundlagen–)‌Forschung, in der explizite Entscheidungen nicht zwingend notwendig sind (Irtel, 1995). Bei der Diagnostik einer neurokognitiven Störung könnte ein / eine Neuropsycholog_in zum Beispiel daran interessiert sein, ob die psychologische Eigenschaft Merkfähigkeit einer Patientin / eines Patienten „unterdurchschnittlich“ ist; oder ein / eine Schulpsycholog_in könnte erfassen wollen, ob ein Kind „überdurchschnittlich“ intelligent ist. Hierbei gilt es zu definieren, was überhaupt mit Durchschnitt gemeint ist. Oft findet man die Festlegung, dass Testwerte, die zwischen plus und minus einer Standardabweichung (SD) um den Mittelwert in der Normstichprobe liegen, als durchschnittlich gelten. Im Falle einer Normalverteilung entspricht das ungefähr 68 % aller Personen der Normstichprobe. Eine daraus resultierende Diagnose ist häufig stellvertretend für eine reale Entscheidung, z. B. ob die Patientin / der Patient eine Therapie bekommt. In der Praxis ist es zum Teil immer noch üblich, dass Psycholog_innen im diagnostischen Prozess einen Testwert aus einem psychologischen Test direkt mit einem theoretischen Normwert vergleichen. Der Testwert kann hierfür in verschiedene Normwerte überführt werden, die sich in der Festlegung des Mittelwerts und der SD unterscheiden; unter anderem IQ-Werte oder Standardwerte. Dieses Vorgehen missachtet jedoch, dass kein psychologischer Test zu 100 % reliabel misst (Bühner, 2021; Krohne & Hock, 2015). Das heißt, psychologische Messungen sind immer messfehlerbehaftet. Der Standardmessfehler (SMF) quantifiziert den Fehler bei der Messung einer konkreten Person. Die Berechnung unterscheidet sich je nach angenommenem Testmodell. Um dem Umstand unreliabler Messungen Rechnung zu tragen, muss der SMF in der Ergebnisinterpretation berücksichtigt werden (Bühner, 2021). Die wichtigsten inferenzstatistischen Verfahren sind Konfidenzintervalle (KI), Hypothesentests (HT) oder kritische Differenzen (KD), die alle drei den SMF für ihre Berechnung heranziehen.

In deutschsprachigen Lehrbüchern zur psychologischen Diagnostik ist es üblich, dass die Bedeutsamkeit des SMF betont wird, wenn es darum geht die Genauigkeit der psychologischen Messung darzustellen (z. B. durch die Angabe von KIs in Gutachten; s. Qualitätsstandards für psychologische Gutachten des Diagnostik- und Testkuratoriums der Föderation Deutscher Psychologenvereinigungen BDP und DGPs, 2017). Betrachten wir jedoch die Ebene der Entscheidungsfindung, findet sich in dieser Literatur nur wenig dazu, dass die Wahl des Signifikanzniveaus α bei KI, HT und KD eine bedeutsame entscheidungstheoretische Implikation mit sich bringt: die Gewichtung der Kosten der beiden Fehlentscheidungen, Fehler 1. Art und Fehler 2. Art (falsch-positiv bzw. falsch-negativ). Diagnostische Entscheidungen werden natürlicherweise mithilfe von HT oder KD beantwortet. Allerdings ist eine äquivalente Entscheidung auch mithilfe von KIs möglich, was in der Praxis auch häufig geschieht. In diesem Artikel untersuchen wir in einem Literaturreview aktueller deutscher Lehrbücher, welche Empfehlungen bezüglich Entscheidungsgrundlagen und -regeln in der psychologischen Diagnostik und Testtheorie genannt werden. Im Anschluss geben wir eine Einführung in die statistische Entscheidungstheorie und zeigen auf Basis des Literaturreviews die Implikationen auf, die sich daraus für die Praxis ergeben. Unter anderem zeigen wir, dass die Verwendung von zweiseitigen KIs, HTs oder KDs für Entscheidungen mit einem Signifikanzniveau von α = .05 impliziert, dass Fehler 1. Art 39-mal schwerwiegender sind als Fehler 2. Art. Wir kontrastieren diese aus Konventionen resultierenden Gewichtungen mit einer kurzen Befragung praktisch tätiger Neuropsycholog_innen, um Diskrepanzen zwischen Theorie und Praxis deutlich zu machen. Abschließend diskutieren wir Möglichkeiten, wie die psychologische Diagnostik von einem stärkeren Fokus auf die Entscheidungstheorie profitieren könnte.

Literaturreview

Wir recherchierten in den einschlägigen deutschen Lehrbüchern, welche Entscheidungsgrundlagen für die Einzelfalldiagnostik genannt und ob diese mit speziellen Empfehlungen bezüglich festzulegender Parameter (z. B. Signifikanzniveau α) versehen werden. Weiter untersuchten wir, ob und, wenn ja, wie konkrete Abschnitte (z. B. „unterdurchschnittlich“) auf dem latenten Kontinuum psychologischer Merkmale definiert werden. Bevor wir die Ergebnisse des Reviews präsentieren, wollen wir jedoch einige wichtige Begrifflichkeiten und Konzepte klären: Das beobachtete Testergebnis einer konkreten Person bezeichnen wir als Testwert. Demgegenüber steht der (uns eigentlich interessierende) wahre Wert dieser Person auf dem psychologischen Konstrukt, das der Test vorgibt zu messen.¹ Die Testwerte können entweder in unstandardisierter (z. B. Punkte in einem Fragebogen) oder in standardisierter (z. B. z-Werte, Faktorwerte) Form wiedergegeben werden. Den wahren Wert betrachten wir in unserem Artikel in standardisierter Form. Um eine sprachlich verständliche Rückmeldung an die getestete Person oder mögliche Entscheidungsträger_innen geben zu können, wird das Kontinuum des latenten Konstrukts häufig in Abschnitte aufgeteilt (Diagnostik- und Testkuratorium der Föderation Deutscher Psychologenvereinigungen, 2017). Eine häufige Aufteilung ist zum Beispiel in „unterdurchschnittlich“, „durchschnittlich“ und „überdurchschnittlich“. Auf Basis des Testwerts wird dann entschieden, in welchen dieser Abschnitte der wahre Wert der Person vermutlich fällt. Es ist an dieser Stelle jedoch wichtig zu erwähnen, dass die Einteilung der Abschnitte auf dem latenten Kontinuum arbiträr ist. Ebenso ist die Anzahl der Abschnitte frei wählbar. Es ist zwar geläufig, den Abschnitt plus / minus eine SD um den Mittelwert als „durchschnittlich“ zu bezeichnen. Man könnte jedoch ebenso auch den Interquartilsabstand wählen, demzufolge die mittleren 50 % als Durchschnitt gelten (Bühner, 2021). Der wahre Wert einer Person könnte also je nach Definition in einen anderen Abschnitt fallen, was auch die Rückmeldung an die getestete Person verändert. Damit ist Transparenz hinsichtlich der verwendeten Kategorisierung unbedingt notwendig.

Die Ergebnisse des Reviews sind in dem Elektronischen Supplement ESM 1 dargestellt. Wie bereits erwähnt, stellen die Lehrbücher die Wichtigkeit des SMF bei der Betrachtung der Messgenauigkeit heraus. Unterschiede bestehen darin, welche Entscheidungsgrundlagen genannt werden, wobei grundsätzlich KI, HT und KD jeweils mindestens einmal genannt werden. Es kann jedoch ohnehin gezeigt werden, dass diese im Kontext diagnostischer Entscheidungen mathematisch äquivalent sind. Ein zweiseitiger HT mit Signifikanzniveau α testet in der Einzelfalldiagnostik etwa, ob sich der wahre Wert in kognitiver Leistungsfähigkeit einer Person von einem theoretisch relevanten Normwert aus der Population unterscheidet (z. B. z = 0; entspräche dem Populationsmittel). Die KD für das entsprechende Beispiel gibt an, wie stark der (standardisierte) beobachtete Testwert vom theoretisch relevanten Normwert aus der Population abweichen muss, damit der HT einen signifikanten Unterschied anzeigt. Ebenso entspricht ein zweiseitiges KI mit Konfidenzniveau 1 – α dem oben genannten HT. Der theoretisch relevante Normwert aus der Population befindet sich genau dann außerhalb des KIs, wenn auch der HT einen signifikanten Unterschied anzeigt. Wir werden die Überlegungen in unserem Artikel primär auf KIs beziehen. KIs haben in der Einzelfalldiagnostik die größte praktische Relevanz, da sie in jedem psychologischen Gutachten angegeben werden sollten (Diagnostik- und Testkuratorium der Föderation Deutscher Psychologenvereinigungen, 2017). Aufgrund der Äquivalenz gelten alle Überlegungen aber analog für HTs und KDs.²

Beispiel zur Äquivalenz von KI, HT und KD: Unterscheidet sich der wahre Wert einer Person mit standardisiertem Testwert Z in einem Test mit Reliabilität REL vom Populationsmittelwert 0?

KI_.95 = Z ± 1.96 → Wert 0 nicht in KI_.95 ?

HT_.05 = → HT_.05im kritischen Bereich ?

KD_.05 = 1.96 · → |Z – 0| größer als KD_.05 ?

In der frequentistischen Interpretation besagt ein KI Folgendes: Wenn wir eine Person unendlich oft mit dem gleichen Test testen, unendlich viele Testwerte dieser Person realisieren und für jeden realisierten Testwert ein KI berechnen würden, dann enthielten (1 – α) · 100 % all dieser KIs den wahren Wert der Person.

Bei der Aufteilung des latenten Kontinuums in Abschnitte zeigt sich, dass häufig von „(über- / unter–)‌durchschnittlich“ (Beauducel & Leue, 2014; Bühner, 2021) oder auch „(un)‌auffällig“ (Kubinger, 2019) die Rede ist. Meistens wird je nach Lage eines errechneten KI entschieden, in welchen Abschnitt auf dem Eigenschafts- oder Fähigkeitsspektrum der wahre Wert einer Person fällt. Am Beispiel von Intelligenzdiagnostik (IQ-Normwerte: M = 100, SD = 15) sieht diese KI-Regel wie folgt aus: Wenn der Testwert einer Person mehr als eine SD unterhalb des Mittelwerts liegt (also unter 85) und die obere Grenze des KI den Wert 85 nicht enthält, dann gilt der wahre Wert der Person als unterdurchschnittlich. Wenn der Testwert mehr als eine SD unterhalb des Mittelwerts liegt, das KI aber den Wert 85 enthält, spricht man von einem unterdurchschnittlichen bis durchschnittlichen wahren Wert. Liegt das KI komplett im Bereich zwischen Mittelwert plus / minus einer SD, ist der wahre Wert durchschnittlich. Äquivalent gilt diese Klassifizierung für überdurchschnittliche wahre Werte bei Betrachtungen von Testwerten über dem Mittelwert und der unteren Grenze des KI. Diese KI-Regel wird explizit in Bühner (2021) und Ziegler und Bühner (2012) beschrieben. An vielen anderen Stellen findet sie sich aber auch implizit angewendet, meistens in Form von Beispielen (Kubinger, 2019).

Was jedoch kaum explizit diskutiert wird, ist die Wahl des Signifikanzniveaus α bzw. des Konfidenzniveaus 1 – α. Häufig wird in Beispielen ein Konfidenzniveau von .95, .80 oder .68 gewählt. Bühner (2021) verweist hierbei zusätzlich auf Huber (1973): „Der Diagnostiker darf sich bei der Beurteilung der Fehlerrisiken auf keinen Fall von Konventionen leiten lassen, sondern muss sich ausschließlich an den nachteiligen Folgen orientieren, die einem bestimmten Probanden aus einer Fehldiagnose erwachsen würden.“ (S. 115) So deutet Huber bereits an, dass die Wahl des Signifikanzniveaus nicht heuristisch, sondern analytisch gelöst werden sollte, indem die Folgen von Fehlentscheidungen gegeneinander abgewogen werden. In keinem untersuchten Lehrbuch findet sich jedoch Information dazu, (a) welche Folgen die Wahl des Signifikanzniveaus explizit für die Gewichtung der Fehlentscheidungen hat, (b) wie sich umgekehrt aus der Gewichtung ein geeignetes Signifikanzniveau ermitteln lässt und (c) wie man eine für den Anwendungsfall passende Gewichtung wählt.

Im Folgenden wollen wir eine Einführung in die statistische Entscheidungstheorie geben. Aus dieser lässt sich ableiten, wie die Wahl des Signifikanzniveaus unmittelbar die implizite Gewichtung der Fehlentscheidungen beeinflusst bzw. dass eine für den Einzelfall sinnvoll gewählte Fehlergewichtung logisch ein bestimmtes Signifikanzniveau impliziert. Anschließend vergleichen wir die Gewichtungen, die sich aus den heuristisch gewählten Signifikanzniveaus (z. B. .01, .05, .20, oder auch .32) ergeben, mit Gewichtungen, wie Expert_innen in der neuropsychologischen Praxis sie vergeben würden.

Entscheidungstheorie

Die statistische Entscheidungstheorie ist ein disziplinübergreifendes Framework, das sich auf der Basis von Kosten- und Nutzenabwägungen mit menschlichen Entscheidungsprozessen auseinandersetzt (Laux, Gillenkirch & Schenk-Mathes, 2018). Die eher wirtschaftliche Konnotation von Kosten und Nutzen stammt aus der Ökonomie, in der die Entscheidungstheorie ihre Wurzeln hat. Dies mag auf den ersten Blick ungeeignet erscheinen für die Verwendung in psychologischen und gesundheitlichen Fragestellungen. Kosten und Nutzen sind hierbei aber nicht ausschließlich monetär zu verstehen, es können ebenso auch Zeitaufwand, Gesundheitszustand oder subjektive Einschätzungen von Zufriedenheit herangezogen werden. Tatsächlich ist die Entscheidungstheorie nicht neu in der Psychologie. Bereits Cronbach und Gleser (1957) führten entscheidungstheoretische Überlegungen im Rahmen psychologischer Einzelfalldiagnostik ein. Sie betonten, dass die Entscheidungstheorie eher eine bestimmte Sichtweise auf diagnostische Fragestellungen darstellt als ein formales mathematisches Framework für die Entwicklung und Anwendung psychologischer Tests. Im deutschsprachigen Raum sind vor allem die Lehrbücher zur psychologischen Diagnostik von Irtel (1995) sowie Krohne und Hock (2015) zu nennen, die eine Einführung in die Entscheidungstheorie enthalten. Was bisher jedoch weitgehend fehlt, ist die explizite Verknüpfung von Einzelfalldiagnostik und entscheidungstheoretischen Implikationen.

Wie bereits erwähnt, führt psychologische Diagnostik fast immer zu Entscheidungen, z. B. die Vergabe einer Diagnose, die Zuweisung zu einer bestimmten Therapie, die Empfehlung für ein Förderprogramm oder die Zulassung zu einem Beruf. Aus Sicht der Entscheidungstheorie gehören zu dieser Entscheidungssituation klar definierte Bestandteile (Irtel, 1995). Die Menge aller Zustände, über die entschieden wird, bezeichnet man als Zustandsraum . Im Falle unseres einleitenden Beispiels aus der Neuropsychologie wären diese Zustände „die Merkfähigkeit der Patientin / des Patienten ist nicht unterdurchschnittlich“ (θ₁) und „die Merkfähigkeit der Patientin / des Patienten ist unterdurchschnittlich“ (θ₂). Die Menge aller verfügbaren Handlungsalternativen werden im Entscheidungsraum A abgebildet; in unserem Beispiel also „der Patientin / dem Patienten wird keine verminderte Merkfähigkeit diagnostiziert“ (a₁) und „der Patientin / dem Patienten wird eine verminderte Merkfähigkeit diagnostiziert“ (a₂). Die Kostenfunktion C gibt für jede Kombination (a, θ) aus A und an, welche Kosten c‍(a, θ) aus der jeweiligen Kombination entstehen würden. Eine optimale Entscheidung zu treffen heißt nun, diejenige Handlungsalternative  auszuwählen, die ein vorgegebenes Entscheidungkriterium optimiert. Das in dieser Arbeit betrachtete Bayes Kriterium (nicht zu verwechseln mit dem Satz von Bayes) wählt immer diejenige Handlungsalternative, die basierend auf den vorliegenden Informationen die erwarteten Kosten minimiert oder äquivalent den erwarteten Nutzen maximiert (Longford, 2021;Robert, 2007).

Im diagnostischen Kontext bestehen bei Betrachtung eines Testergebnisses häufig lediglich zwei Möglichkeiten, entweder die Entscheidung für eine Nullhypothese H₀ oder für eine Alternativhypothese H₁. Die Entscheidung für die H₀ entspricht in unserem Beispiel der Alternative a₁, die Entscheidung für die H₁ entspricht a₂. Setzt man diese beiden Varianten mit den möglichen Zuständen in in Bezug, so erhält man eine Kostenmatrix mit den entsprechenden Kosten c‍(a, θ) als Einträge der Matrix (s. Abbildung 1). Wir betrachten hier den einfachsten Fall mit jeweils zwei möglichen Zuständen und Handlungsalternativen. Prinzipiell sind jedoch auch mehrere Zustände, Handlungsalternativen oder beides möglich.

Zur Vereinfachung der weiteren Berechnungen treffen wir zunächst eine übliche Annahme: Korrekte Diagnosen haben keine Kosten und potenzielle Gewinne durch eine korrekte Diagnose (d. h. negative Kosten) werden vernachlässigt. Das heißt, c‍(a₁, θ₁) = c‍(a₂, θ₂) = 0. Wir konzentrieren uns demnach lediglich auf die Kosten im Falle einer Fehlentscheidung. Diese Annahme ist in den meisten Anwendungsfällen sinnvoll. Das entscheidungstheoretische Framework würde auch für Kostenmatrizen ohne diese Vereinfachung eine optimale Entscheidungsregel liefern. Die folgenden Herleitungen wären dann nur etwas aufwendiger. Die exakte Festlegung der Kosten für die beiden Entscheidungsfehler ist in unserem Beispiel kaum möglich. Dies ist allerdings gar nicht notwendig, da durch die obige Vereinfachung lediglich das Kostenverhältnis von Bedeutung ist. Wenn wir also die Kosten des Fehlers 2. Art („fälschlicherweise keine verminderte Merkfähigkeit diagnostiziert“) auf 1 fixieren, können wir die Kosten des Fehlers 1. Art („fälschlicherweise eine verminderte Merkfähigkeit diagnostiziert“) abhängig davon als Wert R festlegen (Longford, 2021). Wenn R > 1 bewerten wir den Fehler 1. Art als schwerwiegender, wenn R < 1 den Fehler 2. Art. Wenn R = 1, nehmen wir für beide Fehler die gleichen Kosten an.

Als nächstes betrachten wir die beiden statistischen Hypothesen vor der Durchführung eines Tests. In unserem Beispiel prüfen wir, ob der wahre Wert der Patientin / des Patienten mehr als eine SD unterhalb des Mittelwerts der Normstichprobe liegt. Generell sind auch alle anderen Formen von Hypothesen für die folgende Anwendung geeignet. Bleibt man jedoch zunächst bei unserer Annahme und lässt den wahren Wert mit höheren Werten eine bessere Merkfähigkeit beschreiben, so gilt

H₀: ξ ≥ –1

H₁: ξ < –1

Abbildung 2 zeigt die Wahrscheinlichkeitsdichte für den wahren Wert einer beispielhaften Person sowie ein bayesianisches Kredibilitätsintervall auf dem Niveau 1 – α. Wir betrachten ein bayesianisches KI aus den folgenden Gründen: a) Eine Herleitung des Zusammenhangs zwischen α und ist im bayesianischen Framework einfacher.³ b) Die Herleitung im bayesianischen Framework ist allgemeiner und gilt automatisch auch für das frequentistische Framework: Frequentistische KIs sind (zumindest in einfachen Modellen) ein Spezialfall von bayesianischen KIs mit flachen a priori Verteilungen. Im Extremfall der a priori Annahme einer Gleichverteilung für den wahren Wert einer Person, sind bayesianische und frequentistische KIs für unser Beispiel identisch. Alle unsere Überlegungen gelten aber ebenso für Fälle mit informativen a priori Verteilungen (eine ausführliche Einführung in bayesianische KIs findet sich z. B. in McElreath, 2020). Die a posteriori Verteilung in Abbildung 2 resultiert aus einem Testmodell mit der Annahme:

Z ∼ N (ξ, 1 – REL)

wobei Z dem z-standardisierten Testwert der Person,  dem wahren Wert der Person und REL der Reliabilität des verwendeten Tests entspricht.⁴ Der SMF ist somit .

Treffen wir die diagnostische Entscheidung nach der KI-Regel, entscheiden wir uns für die H₁, sobald die obere Grenze des KIs kleiner als ein vorgegebener Wert ist (in unserem Fall also mehr als eine SD unterhalb des Mittelwerts der Normstichprobe). Abbildung 2 zeigt den Grenzfall, bei dem die Obergrenze des KI genau den Wert –1 beträgt und dient als „grafischer Beweis“ der im folgenden dargestellten Herleitungen. Entscheidet man sich bei dem vorliegenden KI für die Alternativhypothese, begeht man mit einer Wahrscheinlichkeit von einen Fehler 1. Art. Mit anderen Worten, die (a posteriori) Wahrscheinlichkeit P‍(H₀) beträgt bei diesem Testwert . In der Fälle, in denen wir ein solches KI beobachten, ist der wahre Wert  der Person tatsächlich größer als –1 (d. h. die Person ist eigentlich nicht unterdurchschnittlich). Würde man sich hingegen für die Nullhypothese entscheiden, beginge man mit einer Wahrscheinlichkeit von einen Fehler 2. Art (Begründung analog).

Im entscheidungstheoretischen Framework wählen wir nach dem Bayes Kriterium immer die Entscheidung mit dem geringsten erwarteten Verlust. Dementsprechend sind beide möglichen Entscheidungen gleich gut, wenn deren erwarteter Verlust gleich ist, also wenn gilt (Longford, 2021):⁵

c₂ · P‍(H₁) = c₁ · P‍(H₀)

Wegen c₂ · P‍(H₁) = 1 – P‍(H₀) gilt:

c₂ · (1 – P‍(H₀)) = c₁ · P‍(H₀)

Für α = .05 (und in unserem Beispiel c₂ = 1) gilt daher:

Die Kosten eines Fehlers 1. Art („der Patientin / dem Patienten wird fälschlicherweise eine verminderte Merkfähigkeit diagnostiziert“) werden mit der oben beschriebenen KI-Entscheidungsregel bei einem (in der Praxis üblichen) Konfidenzniveau von 1 – α = .95 also implizit 39–mal höher eingeschätzt als die Kosten eines Fehlers 2. Art („der Patientin / dem Patienten wird fälschlicherweise keine verminderte Merkfähigkeit diagnostiziert“). Während diese Gewichtung für manche einzelfalldiagnostische Entscheidungssituationen sinnvoll sein mag, so scheint sie doch als Heuristik ungeeignet. Intuitiver und praktisch relevanter ist der umgekehrte Weg, also aus einem bewusst gewählten Kostenverhältnis das logisch implizierte Signifikanzniveau zu errechnen:

An dieser Stelle fällt auf, dass die oben beschriebene KI-Regel so nicht vollständig ist und lediglich den Fehler 1. Art als schwerwiegender gewichten kann (R > 1). Das liegt daran, dass stets die obere Grenze des KIs bei Werten kleiner als der Mittelwert bzw. die untere Grenze bei Werten größer als der Mittelwert betrachtet wird. Durch die eben gezeigte Gleichung zur Berechnung von α können wir die KI-Regel aber präzisieren und auch bei stärkerer Gewichtung des Fehlers 2. Art (R < 1) ein geeignetes Konfidenzniveau berechnen. Wir wollen an einem Beispiel aufzeigen, wie Entscheidungen je nach schwerwiegenderem Fehler getroffen werden können: Wir nehmen an, dass das 95 %-KI unserer Patientin / unseres Patienten für ihr / sein standardisiertes Testergebnis im Bereich Merkfähigkeit bei [–1.3, –0.7] liegt. Die plausiblen Werte auf dem Konstrukt liegen also teilweise über dem Kriterium von –1 (1 SD unterhalb des Mittelwerts), ab dem wir den wahren Wert als unterdurchschnittlich bezeichnen würden. Wenn wir nun den Fehler 1. Art als schwerwiegender gewichten (hier R = 39), dann betrachten wir die obere Grenze des KIs. Da diese oberhalb des Kriteriums liegt, würden wir uns für die Nullhypothese entscheiden, dass die Merkfähigkeit der Patientin / des Patienten durchschnittlich ist. Wenn wir aber den Fehler 2. Art als schwerwiegender gewichten (hier  ), dann betrachten wir die untere Grenze des KI. Da diese unterhalb des Kriteriums liegt, würden wir uns für die Alternativhypothese entscheiden, dass die Merkfähigkeit der Patientin / des Patienten unterdurchschnittlich ist. Es hängt also entscheidend vom Kostenverhältnis ab, welche Entscheidung wir bezüglich einer Patientin / eines Patienten treffen. Außerdem werden so die einleitend beschriebenen Zwischenkategorien wie z. B. „unterdurchschnittlich bis durchschnittlich“ vermieden.

Eine interessante Erweiterung des entscheidungstheoretischen Frameworks erlaubt es außerdem, das Kostenverhältnis als Intervall statt als exakten Wert anzugeben (z. B., R ∈ [5, 8]; Schwaferts & Augustin, 2020). Dies würde dem Umstand Rechnung tragen, dass es schwierig ist, die Kosten eines Fehlers exakt festzulegen, weil die verfügbaren Informationen häufig nicht eindeutig sind. Für jedes Kostenverhältnis in diesem Intervall kann dann eine optimale Entscheidung ermittelt werden (genauso wie für ein einzelnes, exaktes Kostenverhältnis). Wenn jedes Kostenverhältnis in dem Intervall dieselbe Entscheidung indiziert, treffen wir diese Entscheidung; andernfalls ist die durch die vorliegende Messung der Merkfähigkeit gewonnene Information angesichts der Unsicherheit in den Kosten nicht ausreichend, um eine eindeutige Entscheidung treffen zu können. In diesem Falle würden wir die Entscheidung zunächst zurückhalten. Würden wir eine zusätzliche Messung der Merkfähigkeit durchführen, könnten wir die Information aus beiden Messungen kombinieren. Dafür kann erneut das hier vorgestellte Framework angewendet werden, mit dem einzigen Unterschied, dass bei der Berechnung der a posteriori Verteilung nach der zweiten Messung, die a posteriori Verteilung nach der ersten Messung als neue a priori Verteilung verwendet wird. Eventuell reicht dann die gesammelte Information aus beiden Messungen aus, um eine eindeutige Entscheidung zu treffen. Ein konkretes Rechenbeispiel mit Kostenintervall und Mehrfachmessung ist in ESM 2 dargestellt.

Auf den ersten Blick erscheint eine 39:1 Gewichtung des Fehlers 1. Art nicht für alle Anwendungsfälle sinnvoll. Im Folgenden präsentieren wir die Ergebnisse einer Befragung von praktizierenden Neuropsycholog_innen, die für ein konkretes Fallbeispiel angeben sollten, welche Gewichtung der Fehler sie bei der Abklärung einer leichten Demenz bzw. neurokognitiven Störung vornehmen würden.

Studie

Die Studie ist Teil der Arbeit von Friemelt und Pargent (2019). Ziel der Arbeit war es, exemplarisch Kostenverhältnisse für eine einzelfalldiagnostische Entscheidungssituation durch Expert_innenurteile mithilfe eines Fragebogens zu ermitteln. Wir fokussieren uns im Folgenden auf die für unsere Diskussion relevanten Kernergebnisse und halten die Beschreibung der Studie entsprechend kurz. Eine ausführliche Darstellung findet sich unter https://osf.io/t4rhb/

Ergebnisse

25 Neuropsycholog_innen stuften für das konkrete Fallbeispiel den Fehler 1. Art (Diagnose bei nicht vorliegender Beeinträchtigung) als schwerwiegender ein, 16 Neuropsycholog_innen den Fehler 2. Art (keine Diagnose bei vorliegender Beeinträchtigung). Von denen, die den Fehler 1. Art als schwerwiegender einstuften, antworteten nur 4 konsistent auf die Fragen der persönlichen Betroffenheit und der Beeinflussung bei zukünftigen Urteilen durch eine Fehlentscheidung; das heißt, nur vier von 25 bewerteten auch bei diesen Fragen implizit den Fehler 1. Art als schlimmer. Von den 16 Neuropsycholog_innen, die den Fehler 2. Art als schwerwiegender einstuften, antworteten 11 konsistent. Der Boxplot in Abbildung 3 vergleicht die (logarithmierten) Kostenverhältnisse, die sich aus den einzelnen Fragen ergaben. Positive logarithmierte Werte entsprechen einer stärkeren Gewichtung des Fehlers 1. Art, negative logarithmierte Werte einer stärkeren Gewichtung des Fehlers 2. Art. Der Wert ln‍(R) = 0, bzw. R = 1 spricht für eine Gleichgewichtung. Die Form der Punkte zeigt an, welcher Fehler explizit als schwerwiegender angegeben wurde.

Besonders auffällig war, dass alle Mediane stark von einem durch α = .05 implizierten Kostenverhältnis von R = 39 (bzw.  ) abwichen.⁶ Es zeigte sich, dass die explizite Frage nach dem Kostenverhältnis und die Frage zur ROC-Kurve die größte Abweichung von einer Gleichgewichtung sowie die größte Variabilität in den Antworten aufwiesen. Jedoch entsprechen auch diese Werte lediglich bzw. (hier also einer viermal stärkeren Gewichtung des Fehlers 2. Art gegenüber dem Fehler 1. Art). Der logarithmierte Median aller anderen Fragen lag nahe 0, mit einer Tendenz in Richtung stärkerer Gewichtung des Fehlers 1. Art. Dass die Frage der ROC-Kurve am stärksten von einer Gleichgewichtung abwich, könnte damit zusammenhängen, dass viele Neuropsycholog_innen die Frage eher heuristisch beantworteten ohne ein inhaltlich angemessenes Verhältnis von Sensitivität und Spezifität zu wählen. Eine verbreitete Heuristik für einen optimalen Cut-Off ist der Punkt auf der ROC-Kurve, der der Ecke mit perfekter Sensitivität und Spezifität am nächsten liegt (Perkins & Schisterman, 2006). Bei der in der Befragung präsentierten ROC-Kurve implizierte dieser Punkt am ehesten oder  . Die Betrachtung, welcher Fehler explizit als schwerwiegender eingestuft wurde, unterstützt diese Vermutung. Es zeigte sich, dass einige Neuropsycholog_innen, die explizit den Fehler 1. Art angaben, auf der ROC-Kurve einen Punkt wählten, der implizit den Fehler 2. Art als schwerwiegender einstuft.

Zusammenfassend zeigen die Ergebnisse, dass keine Einigkeit unter den Neuropsycholog_innen bestand, welcher Fehler in dem vorliegenden Fallbeispiel als schwerwiegender einzustufen ist. Auch machte es einen Unterschied, auf welche Art und Weise versucht wurde, das Kostenverhältnis zu ermitteln. Der Fragetyp beeinflusste sowohl die Höhe als auch die Richtung des Kostenverhältnisses. Insgesamt zeigte sich aber, dass Kostenverhältnisse, die durch in der Praxis übliche Signifikanzniveaus impliziert werden (z. B. R = 39 bei α = .05, R = 19 bei α = .10, R = 9 bei α = .20), eher nicht den Einschätzungen der Praktiker_innen entsprachen.

Diskussion

In der deutschsprachigen Literatur zur psychologischen Diagnostik besteht Einigkeit, den SMF bei der Darstellung der Messgenauigkeit in der Testauswertung zu berücksichtigen, meist in Form von KIs. Es fehlen bisher jedoch eindeutige Verweise darauf, dass die Wahl des Konfidenzniveaus (oder des Signifikanzniveaus bei HT und KD) ein bestimmtes Kostenverhältnis von diagnostischen Fehlentscheidungen impliziert, wenn diagnostische Entscheidungen mithilfe dieser KIs (bzw. HT oder KD) getroffen werden. So nimmt das häufig verwendete 95 %-KI ein Kostenverhältnis von 39:1 (bzw. 1:39) zwischen Fehler 1. Art („der Patientin / dem Patienten wird fälschlicherweise eine verminderte Leistungsfähigkeit diagnostiziert“) und Fehler 2. Art („der Patientin / dem Patienten wird fälschlicherweise keine verminderte Leistungsfähigkeit diagnostiziert“) an. Wir konnten mit einer Befragung für ein konkretes Beispiel aus der Demenzdiagnostik zeigen, dass die Kostenverhältnisse, die sich aus in der Praxis üblichen Konfidenz- oder Signifikanzniveaus ergeben, von den impliziten und expliziten Kostenverhältnissen von praktizierenden Neuropsycholog_innen abweichen. Wir glauben, dass die Qualität einzelfalldiagnostischer Entscheidungen in der Psychologie stark davon profitieren würde, zukünftig das Kostenverhältnis bei Entscheidungen explizit anzugeben. Zwar sind explizite Kostenverhältnisse teilweise subjektiv und können für verschiedene Einzelfälle erheblich voneinander abweichen. Jedoch ist auch die Wahl des Konfidenz- oder Signifikanzniveaus nicht minder subjektiv, was lediglich dadurch weniger auffällt, dass Heuristiken wie 1 – α = .95 oder 1 – α = .80 verwendet werden. Auch wenn explizite Kostenverhältnisse vermeintlich angreifbarer sind als allgemeine Heuristiken, schafft genau das den nötigen Raum für die Verbesserung diagnostischer Entscheidungen durch kontinuierlichen Diskurs (Swets, Dawes & Monahan, 2000). Es erscheint daher sinnvoller, unvermeidbar subjektive Festlegungen explizit in einem entscheidungstheoretischen als implizit in einem abstrakten, inferenzstatistischen Framework zu treffen.

Im Kontext der Replikationskrise wurden ähnliche Überlegungen von Lakens et al. (2018) und Maier und Lakens (2022) geäußert. Auch diese Autoren argumentieren, von Heuristiken abzusehen und das Signifikanzniveau stattdessen durch eine entscheidungstheoretische Betrachtung des Kostenverhältnisses zu begründen. Auch der gegenteilige Vorschlag von Benjamin et al. (2018), das in psychologischer Forschung nahezu immer verwendete Signifikanzniveau von α = .05 auf α = .005 herabzusetzen (und damit einfach die Heuristik neu zu definieren), bezieht implizit entscheidungstheoretische Überlegungen mit ein. Darüber hinaus gibt es in der aktuellen (meta)‌psychologischen Forschung statistische Konzepte mit dem Ziel statistische Inferenz zu verbessern, die ebenfalls auf die Entscheidungstheorie zurückgreifen; z. B. HDI+ROPE (Highest Density Interval + Region Of Practical Equivalence; Kruschke, 2018; Schwaferts & Augustin, 2020), Equivalence Tests (Lakens, 2017) und Second Generation p–Values (Blume, Greevy, Welty, Smith & Dupont, 2019).

Zusammenfassung

Konkrete Entscheidungen sind in der psychologischen Einzelfalldiagnostik ebenso unvermeidbar wie damit einhergehende diagnostische Fehler. Wir plädieren dafür, weniger Fokus auf die Fehlerwahrscheinlichkeiten zu legen und stattdessen die Kosten von Fehlentscheidungen ins Zentrum der diagnostischen Arbeit zu rücken. Dies würde nicht nur einen direkteren Bezug zur realen Entscheidungssituation schaffen, sondern auch die Patient_innen und Klient_innen noch stärker in den Mittelpunkt der Einzelfalldiagnostik stellen. Zwar bedarf es weiterer Forschung, um Kostenverhältnisse sinnvoll festlegen zu können. Dafür ist es jedoch bereits jetzt wichtig, Grundlagen der Entscheidungstheorie in das Diagnostikcurriculum des Psychologiestudiums aufzunehmen. Je früher Psycholog_innen in ihrer Karriere dafür sensibilisiert werden, desto leichter sollte es ihnen fallen, Fragestellungen aus dem Blickwinkel der Entscheidungstheorie zu betrachten.

Elektronische Supplemente (ESM)