TBS-DTK-Rezension

Beschreibung des Tests und seiner diagnostischen Zielsetzung

Die TOP soll die Dunkle Triade der Persönlichkeit in einer berufsbezogenen Konzeptualisierung erfassen. Auf Basis verschiedener eigener Analysen und eines breiten Literaturreviews schlagen die Autoren die subklinischen Domänen Narzisstische Arbeitshaltung (5 Subskalen), Machiavellistische Arbeitseinstellung (3 Subskalen) und Psychopathischer Arbeitsstil (3 Subskalen) vor. Der Fragebogen kann laut Autoren ab dem 16. Lebensjahr für Forschungszwecke, Auswahl- und Entwicklungsentscheidungen und auch Beratungsleistungen wie Coaching eingesetzt werden. Für die Auswertung und Interpretation wird von den Autoren eine nicht weiter spezifizierte psychodiagnostische Ausbildung vorausgesetzt. Eine Profilinterpretation findet auf den Dimensionen Narzisstische Arbeitshaltung, Machiavellistische Arbeitseinstellung und Psychopathischer Arbeitsstil oder auf deren insgesamt 11 Subskalen statt. Der Fragebogen ist als Papier-und-Bleistift- oder Computerversion in Lang- und Kurzform durchführbar.

Bewertung des Informationsgehalts der Verfahrenshinweise

Das Manual beinhaltet eine umfangreiche Darstellung der zugrundeliegenden Entwicklungs- und Evaluationsarbeiten. Die im Manual aufgeführten Angaben erlauben die fundierte Beurteilung der psychometrischen Güte. Somit erfüllt das Manual die Anforderungen. Zudem nehmen die Testautoren ebenfalls eine Selbsteinschätzung anhand der TBS-DTK-Kriterien vor. So findet sich eine Autorenbewertung bezüglich der Kriterien Informationsgehalt, Objektivität, Reliabilität und Validität anhand des vierstufigen Bewertungssystems, welches auch am Ende dieser Rezension zur Anwendung kommt. Konkrete Angaben zu den entsprechenden Seitenzahlen, auf denen relevante Informationen aufgeführt sind, finden sich jedoch nicht.

Theoretische Grundlagen als Ausgangspunkt der Testkonstruktion

In Kapitel 3 des Manuals legen die Autoren sehr ausführlich die theoretischen Grundannahmen dar. In einem breiten Literaturreview beschreiben sie die Entwicklung des Konzepts der Dunklen Triade der Persönlichkeit und der darin enthaltenen Traits Narzissmus, Machiavellismus und Psychopathie. Dabei greifen sie zum einen auf die klassischen Arbeiten von Paulhus zurück, integrieren aber auch Befunde aus der organisationspsychologischen Literatur. Insgesamt gelingt eine sehr überzeugende Darstellung des nomologischen Netzes, auf dessen Basis die Autoren a-priori Hypothesen zur Konstrukt- und Kriteriumsvalidität ableiten. Dies spricht für eine überzeugende und fundierte Itemauswahl und Planung der Validierung. Es sei hinsichtlich der Validitätsbelege darauf hingewiesen, dass nach der Publikation des Testmanuals Befunde veröffentlicht wurden, die eine starke Überlappung zwischen Machiavellismus und Psychopathie nahelegen (Vize, Lynam, Collison, & Miller, 2018).

Objektivität

Im Manual sind detaillierte Angaben zur Durchführung, Auswertung und Interpretation gegeben. Dabei wird dargelegt, welche Qualifikationen Testleiter haben und welche Informationen den Testpersonen gegeben werden sollten. Hinweise für eine Rückmeldung der Ergebnisse sind ebenfalls enthalten. Gelungen ist auch die Darstellung der Berechnung von Konfidenzintervallen und kritischen Differenzen. Lediglich ein deutlicherer Hinweis auf eine fragespezifische Spezifikation der Irrtumswahrscheinlichkeiten wäre wünschenswert. Hervorzuheben ist, dass für die Anwendungszwecke der Personalauswahl und der Beratung (Coaching) ausführliche Fallbeispiele enthalten sind. Insgesamt ist davon auszugehen, dass bei sachgemäßer Verwendung Objektivität gegeben ist.

Normierung (Eichung)

Zur Konstruktion und Evaluation der TOP wurden insgesamt 12 Stichproben erhoben, die stets berufserfahrene Personen bzw. Berufstätige beinhalteten. Insofern ist die Zielpopulation vertreten, auch wenn Angaben bezüglich der Repräsentativität der Alters-‍, Geschlechts- und Bildungsverteilung für die angegebenen Normgruppen in Bezug auf die Zielpopulation fehlen. Die genaue Zusammensetzung der Stichproben ist im Manual aufgeführt. Aus diesen Stichproben setzt sich auch die Gesamtnormstichprobe zusammen (N = 1298). Daneben werden geschlechtsspezifische (N = 637 Frauen und N = 506 Männer) sowie führungskräftespezifische Normen (N = 258) angegeben. Befundorientiert erscheint den Autoren eine Altersunterscheidung nicht als sinnvoll. Es wird die Verwendung der Gesamtnorm – insbesondere für Auswahlentscheidungen – empfohlen. Zudem merken die Autoren selbst das Fehlen einer Norm aus einem echten Auswahlkontext an. Zur Auswertung werden Standardwerte empfohlen.

Zuverlässigkeit (Reliabilität, Messgenauigkeit)

Es finden sich Reliabilitätsschätzungen für die Konsistenz und die Stabilität der Testwertinterpretation. Insofern liegen Reliabilitätsschätzungen für die vorgesehenen Testzwecke im Sinne einer Statusdiagnostik oder Prognose vor. Die interne Konsistenz, mittels Cronbach Alpha und Split-Half geschätzt, wurde an der Gesamtnorm ermittelt und fällt auf Domänenebene gut bis sehr gut (.81 bis .94) aus. Für die Kurzform sind die Werte erwartungsgemäß niedriger (.50 bis .59). Auf Subskalenebene liegen lediglich zwei Skalen unter .7. Für die Retestreliabilität wurden Intervalle von 2 – 4 Wochen bzw. 6 Monaten gewählt. Die hier verwendeten Stichproben fallen eher klein aus (N< 65). Erneut zeigen sich auf Domänenebene überwiegend gute Werte (.69 bis .95). Bei einem 6-monatigen Intervall erreichen die Stabilitäten von 6 Subskalen jedoch nicht den Wert .70. Auch die Kurzform weist hier ähnliche Probleme auf (.49 bis .81). Somit ist die Verwendung der Subskalen bei prognostischen Fragestellungen als weniger geeignet einzustufen im Vergleich zur Verwendung der Domänenwerte der Langform.

Gültigkeit (Validität)

Es werden zahlreiche Faktorenanalysen (EFA/CFA) aufgeführt. Dabei wird transparent von Schwierigkeiten in Bezug auf die inhaltliche Passung einzelner Items und Subskalen während der Konstruktionsphase berichtet. Insgesamt kann diese Transparenz im Vorgehen als sehr positiv betrachtet werden. Es verwundert, dass ein Item (TOP #6) in der Langform dem Konstrukt Machiavellistische Arbeitseinstellung, in der Kurzform dann aber Psychopathischem Arbeitsstil zugerechnet wird. Berücksichtigt man hier die Probleme bei manchen Reliabilitätsschätzungen, muss die faktorielle Validität als teilweise eingeschränkt eingestuft werden. Angaben zur konvergenten und diskriminanten Validität mit anderen Dark-Triad- und Persönlichkeitsverfahren überzeugen weitgehend, obwohl hier zum Teil a-priori Hypothesen fehlen, was wiederum die Interpretierbarkeit der Ergebnisse einschränkt. Bezüglich der Kriteriumsvalidität werden für die Domänenwerte zahlreiche bivariate Korrelationen aufgeführt (z. B. OCB, Vorgesetztenbeurteilungen oder Gehalt). Zudem werden auch inkrementelle Validität beispielsweise gegenüber den Big 5 und angenommene kurvilineare Zusammenhänge berichtet. Es fehlen hingegen Angaben für die Subskalen, was erneut den diagnostischen Wert dieser Skalen deutlich einschränkt.

Weitere Gütekriterien (Störanfälligkeit, Unverfälschbarkeit und Skalierung)

Hervorzuheben an dieser Stelle ist die fundierte Auseinandersetzung der Autoren mit rechtlichen Aspekten der Eignungsdiagnostik mittels der dunklen Triade. Auch die empirischen Analysen zur Akzeptanz (Wahrung der Privatsphäre, Augenscheinvalidität) helfen den Anwendern, potenzielle Effekte des TOP-Einsatzes in der Eignungsdiagnostik abzuwägen. Das Problem der anzunehmenden Verfälschung durch Bewerberinnen und Bewerber, zu dem die Testautoren auch eine eigene Studie im Manual aufführen, um die Effekte abschätzbar zu machen, ist nicht spezifisch für diesen Fragebogen und liegt u. a. in der Likert-artigen Antwortskala der 60 Items begründet.

Abschlussbewertung

Mit der TOP gelingt den Autoren ein wichtiger Beitrag zur Eignungsdiagnostik. Vor allem die Befunde zu den Domänenwerte stimmen in Bezug auf Reliabilität und Validität der Testwertinterpretation, abgesehen von der eingeschränkten faktoriellen Validität, weitgehend mit den gesetzten Einsatzzielen überein. Für die Subskalen liegen zufriedenstellende Schätzungen der internen Konsistenz vor, die Stabilitäten und vor allem die zum Teil fehlenden Angaben zur Validität trüben das positive Bild jedoch. Bezogen auf die Reliabilitätsschätzungen sprechen die Befunde eher für die Nutzung der TOP Domänenwerte als der Subtestwerte, vor allem für statusdiagnostische Fragestellung. Die fehlenden Angaben zur Validität der Subskalenwerte lassen jedoch noch keinen Schluss bezüglich ihres diagnostischen Nutzens zu. Die Autoren selbst verwenden in den aufgeführten Fallbeispielen ebenfalls lediglich die Domänenwerte.

Aus theoretischer Sicht überzeugen vor allem die Darstellung des nomologischen Netzes und die entsprechenden empirischen Belege. Aufgrund des berufsspezifischen Fokus fällt die Breite der Konstrukte etwas schmaler aus als in anderen Breitbandverfahren. Empfohlen wird eine Absicherung der Struktur der Subskalen durch weitere Studien, um die konvergenten und diskriminanten Validitäten der Domänenwerte in deren Verwendung zu stützen. Zu beachten ist hier insbesondere die, vergleichbar mit anderen Dark Triad Messverfahren, teilweise eingeschränkte diskriminante Validität zwischen den Testwerten für Machiavellistische Arbeitseinstellung und Psychopathischen Arbeitsstil. Dies verdeutlicht, dass der Einsatz des TOP einer sehr akkuraten Anforderungsanalyse bedarf.

Formalisierte Bewertung

Tabelle inl1

TOP Dark Triad of Personality at Work	Der Test erfüllt die Anforderungen
	voll	weitgehend	teilweise	nicht
Informationsgehalt der Verfahrenshinweise	x
Objektivität	x
Zuverlässigkeit (Reliabilität, Messgenauigkeit)		x
Gültigkeit (Validität)			x
			Ja	Nein
In den Verfahrenshinweisen ist verzeichnet, wo die nach dem DTK-Testinformationsstandard notwendigen Informationen zu finden sind.				x

View as image HTML

Diese Testrezension wurde im Auftrag des Testkuratoriums der Föderation deutscher Psychologenvereinigungen (DGPs und BDP) gemäß TBS-DTK (Diagnostik- und Testkuratorium, 2018) erstellt.

Diagnostik- und Testkuratorium (2018). TBS-DTK. Testbeurteilungssystem des Diagnostik- und Testkuratoriums der Föderation Deutscher Psychologenvereinigungen. Revidierte Fassung vom 3. Januar 2018. Report Psychologie, 43, 106 – 113

Diagnostik- und Testkuratorium (2018). TBS-DTK. Testbeurteilungssystem des Diagnostik- und Testkuratoriums der Föderation Deutscher Psychologenvereinigungen. Revidierte Fassung vom 3. Januar 2018. Psychologische Rundschau, 69, 109 – 116.