Zeitökonomische und reliable Diagnostik beruflicher Problemlösekompetenzen bei Auszubildenden zum Kfz-Mechatroniker
Abstract
Im vorliegenden Beitrag wird eine bislang ungelöste Herausforderung bei der Erfassung beruflicher Problemlösekompetenzen behandelt: Aufgrund langer Bearbeitungszeiten ökologisch valider beruflicher Problemlöse-Szenarien und begrenzter Testzeiten können zur Diagnostik nur wenige Szenarien vorgegeben werden. Das damit verbundene Reliabilitätsproblem wird am Beispiel von Kfz-Mechatronikern des 3. Ausbildungsjahrs (N = 275) bearbeitet, deren Problemlösekompetenz sich insbesondere bei der Kfz-Fehlerdiagnose zeigt. Vorgestellt wird ein diagnostischer Ansatz, bei dem Kfz-Fehlerdiagnose-Szenarien und Teilkompetenz(TK)-Items eingesetzt werden, die relativ schnell zu bearbeiten sind und leistungskritische Anforderungen der Kfz-Fehlerdiagnose abdecken. Die Ergebnisse zeigen, dass die TK-Items und die Fehlerdiagnose-Szenarien eindimensional modellierbar sind und der ergänzende Einsatz der TK-Items zeitökonomisch einen substantiellen Reliabilitätszuwachs bringt. Abschließend wird diskutiert, ob der Ansatz auf andere Domänen übertragbar ist und pädagogische Interventionen bereichern kann.
The aim of this article is to overcome the challenge often associated with the measurement of professional problem-solving competence: Ecologically valid problem-solving scenarios require a lot of testing time. However, since this time is usually limited, only a few scenarios can be selected for competence measurement, leading to unreliable results. This reliability problem is addressed in the domain of car mechatronics, where problem-solving competence can be measured with troubleshooting scenarios. The article presents an innovative diagnostic approach, which uses such scenarios and some additional items covering certain critical troubleshooting requirements in comparably short testing time. The analyses are based on a sample of car mechatronics (N = 275, 3rd year of training) and suggest that the scenario measurements and the additional items reflect one empirical dimension. Furthermore, the implementation of the additional items brought substantial gains in reliability within acceptable test times. Finally, whether the approach is transferable to other domains and could enhance educational processes will be discussed.
1 Problemstellung und Problembearbeitung1
Ein wichtiges Ziel von Bildungssystemen besteht darin, erfolgreiche Problemlöser auszubilden. Diskussionen um ein internationales Large-Scale-Assessment in der beruflichen Bildung (VET-LSA) vergegenwärtigen, dass die Qualität beruflicher Bildungssysteme besonders daran festzumachen ist, wie erfolgreich Auszubildende konkrete fachliche Probleme lösen (Baethge et al., 2006). Eine im Hinblick auf ein VET-LSA sehr bedeutsame und bislang ungelöste Herausforderung ist, solche beruflichen Problemlösekompetenzen reliabel zu erfassen (Nickolaus & Seeber, 2013). Dies ist hauptsächlich darauf zurückzuführen, dass bei der Diagnostik aus motivationalen und organisatorischen Gründen nur wenige ökologisch valide Problemlöse-Szenarien vorgegeben werden können, da deren Bearbeitung lange dauert.
Im vorliegenden Beitrag wird ein Ansatz vorgestellt, mit dem das angesprochene Reliabilitätsproblem zeitökonomisch überwunden werden soll. Dieser Ansatz wird für die berufliche Ausbildung entwickelt und bezieht sich auf die Erfassung beruflicher Problemlösekompetenzen bei Kfz-Mechatronikern2.
2 Problemlösen in der Domäne Kfz-Mechatronik
In internationalen (Müller & Schelten, 2009, S. 36 f.) und nationalen Studien (Spöttl, Becker & Musekamp, 2011) stellte sich die Fehlerdiagnose als besonders relevanter Ausschnitt der Domäne Kfz-Mechatronik heraus, was v. a. auf die besonders problemhaltigen Anforderungen dieser Tätigkeit zurückzuführen ist (Rauner, Hitz, Spöttl & Becker, 2002, S. 76). Mit der Fokussierung der Kfz-Fehlerdiagnose wird auch der Anschluss an die umfassenden Forschungsarbeiten zur Fehlerdiagnose sichergestellt (international: z. B. Kontogiannis & Moustakis, 2002; Ross & Orr, 2009; national: z. B. Rowold, Hochholdinger & Schaper, 2008; Sonntag & Schaper, 1997). Die Kfz-Fehlerdiagnose lässt sich in Anlehnung an Spöttl et al. (2011) als eine Tätigkeit verstehen, die auf die Ursachenbestimmung für ein fehlerhaftes Kfz-System in Abhängigkeit von auftretenden Fehlersymptomen abzielt (s. auch Schaafstal, Schraagen & van Berlo, 2000, S. 75). Erst wenn die Fehlerursache bekannt ist, kann das defekte Kfz-System wiederhergestellt werden. Da bei der Fehlerbehebung andere und häufig weniger problemhaltige Anforderungen (z. B. manuelle und relativ anspruchslose Anforderungen wie der Tausch einfacher Komponenten; Rauner et al., 2002, S. 17) auftreten als bei der Fehlerdiagnose, wird die Fehlerbehebung hier nicht einbezogen. Im vorliegenden Beitrag geht es ausschließlich um Fehlerdiagnosen in elektrotechnischen Kfz-Systemen, genauer, in der Beleuchtungsanlage und im elektronischen Motormanagement, die als besonders praxisrelevant und anspruchsvoll betrachtet werden können (ebd., S. 85 f.).
Das Problem besteht in einer Kfz-Fehlerdiagnosesituation in der Unkenntnis der Ursache für einen Systemdefekt und die Problemlösung in der eindeutigen Rückführung beobachtbarer Symptome auf die Fehlerursache. Fehlerdiagnosen gelten in der Problemlöseforschung als bedeutsamer Problemlösetyp (Funke, 2006; Leutner, Fleischer, Wirth, Greiff & Funke, 2012). Wie für Problemlösen charakteristisch (z. B. Fischer, Greiff & Funke, 2012), wird auch bei der Kfz-Fehlerdiagnose eine unbefriedigende Situation (fehlerhaftes Kfz-System) in einen befriedigenden Zielzustand (Kenntnis der Fehlerursache) überführt.
Bei Kfz-Fehlerdiagnosen gehen die für die Problemlösung notwendigen Informationen nur teilweise aus der Problembeschreibung hervor. Die wichtigsten lösungsrelevanten Informationen müssen durch gezielte Eingriffe in das defekte elektrotechnische System gewonnen werden, das i. d. R. aus zahlreichen vernetzten Elementen besteht. Insofern wird die Kfz-Fehlerdiagnosein elektrotechnischen Kfz-Systemen als komplexes Problemlösen in der Domäne Kfz-Mechatronik aufgefasst (s. Greiff, Kretzschmar & Leutner, 2014).
3 Fehlerdiagnose in elektrotechnischen Kfz-Systemen
3.1 Anforderungen
Zur strukturierten Anforderungsbeschreibung bei der Kfz-Fehlerdiagnose werden in Anlehnung an die allgemeine Problemlöseforschung vier Fehlerdiagnosephasen unterschieden (OECD, 2013, S. 126): (1) exploring and understanding: In dieser Phase besteht das Ziel darin, aktiv lösungsrelevante Informationen zur Fehlerdiagnosesituation zu sammeln. Hierzu sind die Problembeschreibung sowie technische Kfz-Spezifika zu erfassen und oft weitere technische Informationsquellen (z. B. ein computerbasiertes Expertensystem) zu nutzen. (2) representing and formulating: Daran anknüpfend ist im Zusammenspiel mit spezifischem Vorwissen ein kohärentes mentales Modell zur Fehlerdiagnosesituation zu entwickeln, das die Formulierung von Hypothesen zur Fehlerursache erlaubt. (3) planning and executing: Im Anschluss daran werden eine Gesamtstrategie entwickelt, Teilziele gebildet und die Prüfstrategie umgesetzt. Zur Prüfung werden vorwiegend elektrotechnische Messungen durchgeführt. (4) monitoring and reflecting: Schließlich wird bewertet, ob die Strategie zielführend war und ob die Ursachenhypothese zutrifft oder ob eine neue Hypothese zu formulieren ist.
Bei der folgenden exemplarischen Anforderungsbeschreibung wird auf ein Fehlerdiagnose-Szenario des elektronischen Motormanagements zurückgegriffen. Bei diesem Szenario liegt die Fehlerursache in einer unterbrochenen Signalleitung zwischen dem Ladedruckmagnetventil (LMV) und dem Motorsteuergerät. Exploring and understanding: Um Informationen zur Fehlerdiagnosesituation zu sammeln, sind die Problembeschreibung, in der die Fehlersymptome gegeben sind, sowie technische Spezifika des Fahrzeugs zu erfassen und die Fehlersymptome nachzuvollziehen. In der vorliegenden Situation wird üblicherweise zudem mit dem computerbasierten Expertensystem der Fehlerspeicher ausgelesen. Dabei wird sichtbar, dass im Bereich des LMV ein Problem vorliegt, und es werden im Expertensystem verschiedene Ursachenhypothesen und Prüfstrategien vorgeschlagen. Um die Prüfungen vorzunehmen, müssen überdies Informationen gewonnen werden, wo sich das LMV befindet und an welchen Pins des LMV zu messen ist. Hierfür sind Einbaulage- und Stromlaufpläne zu studieren. Representing and formulating: Auf Basis der gewonnenen Informationen wird im Rückgriff auf Vorwissen ein situationsspezifisches mentales Modell entwickelt, das die vorgeschlagene Fehlerursache und prüfrelevante Informationen (z. B. Prüfstellen und relevante Messgeräte) enthält. Planning and executing: Im Weiteren werden auf Basis dieses mentalen Modells die vom Expertensystem vorgeschlagenen Messschritte unter Nutzung eines Multimeters oder eines Oszilloskops durchgeführt. Monitoring and reflecting: Anschließend werden die Prüfergebnisse bewertet, wobei erkennbar wird, dass die durchgeführten Prüfungen hier nicht für eine eindeutige Ursachenbestimmung ausreichen. Representing and formulating: Vielmehr ist das mentale Modell anhand der ermittelten Ergebnisse und eines Stromlaufplans zu modifizieren und eine neue Ursachenhypothese zu formulieren, d. h. es ist zu überlegen, welche Komponente den Defekt verursachen könnte. Planning and executing: Im Anschluss daran wird eine Strategie zur Hypothesenprüfung entwickelt und die Hypothese geprüft. Im vorliegenden Fall ist die Fehlerursache durch eine Widerstandsmessung an der Signalleitung des LMV eindeutig bestimmbar. Monitoring and reflecting: Der an der relevanten Stelle zu messende Widerstand ist unendlich groß, was eine unterbrochene Signalleitung anzeigt und die beobachtbaren Fehlersymptome erklärt. Das Beispiel verdeutlicht, dass das Szenario, wie auch die anderen in die vorliegende Untersuchung einbezogenen Szenarien (s. Abschnitt 7.2 und vgl. Tab. 1), alle oben beschriebenen Anforderungen umfasst, allerdings werden diese oft iterativ und nicht immer vollständig in der oben idealtypisch dargestellten Reihenfolge durchlaufen.
3.2 Leistungskritische Teilanforderungen
Einige der genannten Anforderungen sind für die weitere Argumentation besonders zentral. Zu beachten ist, dass Anforderungen, wie sie für Fehlerdiagnosen in mechanischen Systemen typisch sind (z. B. Druckmessung, Undichtigkeit ermitteln etc., Schaper, 1994, S. 197), hier nicht betrachtet werden.
Nickolaus, Abele, Gschwendtner, Nitzschke und Greiff (2012, S. 255) arbeiteten auf Basis eines empirisch ermittelten Niveaumodells besonders leistungskritische Teilkompetenzen und damit assoziierte Teilanforderungen der Kfz-Fehlerdiagnose in elektrotechnischen Kfz-Systemen heraus. Diese Teilkompetenzen lassen sich mit Teilkompetenz-Items erfassen (s. Abschnitt 5.2) und beziehen sich auf folgende Anforderungen: (1) Nutzung des computerbasierten Expertensystems zur Informationsbeschaffung, Lesen von Stromlaufplänen und Plänen zur Einbaulage von Systemkomponenten sowie Erfassung relevanter technischer Kfz-Spezifika (z. B. Komponentenart, Verlauf des elektrischen Energieflusses, Vernetzung von Systemkomponenten). Solche Anforderungen gehören zum exploring and understanding und werden im Weiteren als Informationsgewinnung bezeichnet. (2) Entwicklung einer Strategie zur Funktionsprüfung elektrotechnischer Komponenten in Abhängigkeit von den gewonnenen Informationen (Entwicklung einer Prüfstrategie). (3) Korrekter Einsatz elektrotechnischer Messgeräte, Anwendung der gewonnenen Informationen und Einbezug anspruchsvoller Komponenten in die Prüfung (z. B. Motorsteuergerät) (Umsetzung der Prüfstrategie). Die beiden letztgenannten Anforderungen beziehen sich auf planning (Entwicklung einer Prüfstrategie) und executing (Umsetzung der Prüfstrategie).
3.3 Kfz-Fehlerdiagnosekompetenz
Um die Anforderungen der Kfz-Fehlerdiagnose zu bewältigen, werden Fehlerdiagnosekompetenzen benötigt. Unter der Kfz-Fehlerdiagnosekompetenz in elektrotechnischen Kfz-Systemen verstehen wir die psychische Voraussetzung dafür, dass eine Person die Ursache für ein fehlerhaftes elektrotechnisches Kfz-System eindeutig identifizieren kann. In Anlehnung an Weinert (2002, S. 27) stellt Wissen eine zentrale Dimension der Kfz-Fehlerdiagnosekompetenz dar, eine Hypothese, die empirisch gut belegt ist (Abele, 2014, Kap. 3 und 4). Es ist anzunehmen, dass sowohl Fehlerdiagnose-Sachwissen (z. B. Wissen, wie elektrotechnische Komponenten in einem Stromlaufplan dargestellt werden) als auch Fehlerdiagnose-Handlungswissen (z. B. Wissen, wie die Funktion einer elektrotechnischen Komponente zu prüfen ist) relevant sind (Süß, 1996, S. 64 ff.). Die Kfz-Fehlerdiagnosekompetenz wird als differentielles Konstrukt aufgefasst, dessen Vermittlung curricular im 2. und 3. Ausbildungsjahr vorgesehen ist.
4 Computergestützte Erfassung der Kfz-Fehlerdiagnosekompetenz
Zur Erfassung der Kfz-Fehlerdiagnosekompetenz wurde auf Fehlerdiagnose-Szenarien und eine Computersimulation zurückgegriffen, in der die Berufsumwelt von Kfz-Mechatronikern ausschnitthaft und realitätsgetreu abgebildet ist und mit der authentisch interagiert werden kann.
4.1 Kfz-Computersimulation
Die linke obere Ecke von Abbildung 1 zeigt die Einstiegsseite der Kfz-Computersimulation. 
In dieser Ansicht können die Problembeschreibung sowie verschiedene Fahrzeugsysteme per Mausklick aktiviert werden; im vorliegenden Beitrag sind nur die Systeme Motormanagement und Beleuchtung relevant. Zur Fehlerdiagnose können systemübergreifend Sichtprüfungen (z. B. zur Prüfung, ob das Abblendlicht funktioniert) und elektrotechnische Messungen durchgeführt werden. In der Computersimulation sind alle relevanten Ausschnitte der betreffenden Kfz-Systeme sowie Arbeitsmittel eines Kfz-Mechatronikers abgebildet, die für die Bearbeitung der hier einbezogenen Fehlerdiagnose-Szenarien benötigt werden. Damit können die Probanden analog zur Fehlerdiagnose in einer Kfz-Werkstatt vorgehen. Die Interaktion mit der Simulation sei beispielhaft anhand einer elektrotechnischen Messung und des Motormanagements veranschaulicht.
In Abbildung 1 ist rechts oben der Motorraum zu sehen, der zur Fehlerdiagnose im Motormanagement benötigt wird und in dem über die obere Menüleiste verschiedene Arbeitsmittel verfügbar sind (z. B. die Problembeschreibung oder der Sicherungskasten des Fahrzeuginnenraums). Um Messungen durchzuführen, ist das entsprechende Symbol des benötigten Messinstruments (Multimeter, Oszilloskop oder Strommesszange) auszuwählen. In der Abbildung unten links wurde das Oszilloskop ausgewählt und das Signal des Ladedruckmagnetventils gemessen. Dafür mussten – wie bei der «realen» Kfz-Fehlerdiagnose – die entsprechende Steckverbindung geöffnet, das Adapterkabel angeschlossen und, zum Starten des Fahrzeugs, die Instrumentenanzeige aktiviert werden. Allein im Motormanagement sind außer den 10 Elementen der Menüleiste 13 Kfz-Komponenten und mehrere Hundert Messstellen verfügbar sowie mehrere Tausend distinkte Messungen möglich. Zusätzlich zu den Kfz-Systemen wurden lösungsrelevante und nicht lösungsrelevante Pfade eines computerbasierten Expertensystems repräsentiert, das ein Standardwerkzeug der Fehlerdiagnose in Kfz-Werkstätten darstellt. Die untere rechte Ecke der Abbildung zeigt einen Stromlaufplan, der über das Expertensystem aufgerufen wurde. Ausführlichere Informationen zur Computersimulation geben Gschwendtner, Abele und Nickolaus (2009).
4.2 Befunde zur Reliabilität
Die Reliabilität, d. h. interne Konsistenz der computergestützten Messung der Kfz-Fehlerdiagnosekompetenz wurde in zwei Studien untersucht: Abele et al. (2012) ermittelten eine EAP/PV-Reliabilität von .55, Nickolaus, Geißel, Abele und Nitzschke (2011) erzielten eine nur geringfügig höhere EAP/PV-Reliabilität von .62. Ein wichtiger Grund für die unbefriedigende interne Konsistenz liegt darin, dass die Bearbeitung eines ökologisch validen Fehlerdiagnose-Szenarios sehr zeitintensiv ist. Gschwendtner et al. (2009) legten aufgrund von Experteneinschätzungen eine Bearbeitungszeit von 30 min je Szenario fest (s. dazu auch Hochholdinger, Schaper & Sonntag, 2008, S. 153). Damit konnten trotz Testzeiten von vier Unterrichtsstunden und einer Instruktionszeit von ca. 40 min nur vier Szenarien eingesetzt werden. Das beschriebene Problem scheint keine Besonderheit der Domäne Kfz-Mechatronik zu sein: Auch in anderen Domänen gelang bislang entweder ebenfalls keine hinreichend reliable Messung der Fehlerdiagnosekompetenz (Kester, Kirschner & Merrienboer, 2006), oder es wurden nur wenige Szenarien eingesetzt und das damit einhergehende Reliabilitätsproblem nicht thematisiert (z. B. Hochholdinger & Schaper, 2013; Schaper, Hochholdinger & Sonntag, 2004; Schaafstal et al., 2000).
4.3 Befunde zur Validität
Zur faktoriellen Validität (Hartig, Frey & Jude, 2008, S. 154) von Fehlerdiagnose-Szenarien des Motormanagements und der Beleuchtungsanlage liegen ebenfalls Befunde vor. Die Befunde legen nahe, dass sich die Szenarien systemübergreifend durch ein einfaktorielles Modell (λ = .52–.78, Passung des Einfaktormodells: χ 2/df = 1.2, RMSEA = .05, CFI = .96, Abele, 2014, S. 189) darstellen lassen. Theoretisch lässt sich dies auf die gemeinsamen physikalischen Funktions- und Wirkungsprinzipien zurückführen, die elektrotechnischen Kfz-Systemen zugrunde liegen und ähnliche Anforderungen bei der Fehlerdiagnose implizieren (s. Abschnitt 3.1). Im Anschluss an diese Erkenntnislage wird die Kfz-Fehlerdiagnosekompetenz in elektrotechnischen Kfz-Systemen als relativ homogenes Konstrukt aufgefasst.
Angesichts der geringen Reliabilität der computergestützten Kompetenzmessung wurde die Konstruktvalidität, wie von Hartig et al. (2008) empfohlen, messfehlerbereinigt untersucht. Gschwendtner et al. (2009) zeigten anhand eines Within-subjects-Design und zweier Stichproben (n1 = 134 und n2 = 123), dass mit der Computersimulation und in realen Arbeitskontexten, d. h. in der Werkstatt an Fahrzeugen erfasste Fehlerdiagnosekompetenzmaße latent sehr hoch korrelieren (r1 = .94 und r2 = .94). Wie Nickolaus, Abele und Gschwendtner (2012) verdeutlichen, lassen sich diese mit vier «realen» und vier «simulierten» Fehlerdiagnose-Szenarien erhobenen Maße als Indikatoren eines latenten Faktors interpretieren (Passung des Einfaktormodells: χ 2 = 13.46; df = 14; χ 2/df = .96, RMSEA = .00, CFI = 1.00). Bei Abele (2014, S. 189 f.) korrelierten mit der Simulation und in realen Arbeitskontexten erhobene Kompetenzmaße latent ebenfalls sehr hoch (r = .90, manifest: r = .62) und erwiesen sich ebenfalls als konvergent valide und das, obwohl im Unterschied zur ersten Studie größtenteils andere Szenarien eingesetzt wurden. Diese messfehlerbereinigten Ergebnisse legen nahe, dass mit der Computersimulation die in realen Arbeitskontexten benötigte Fehlerdiagnosekompetenz in elektrotechnischen Kfz-Systemen weitgehend valide erfasst werden kann.
5 Ansatz zur zeitökonomischen Überwindung des Reliabilitätsproblems
In den zitierten Validierungsstudien konnte das oben erwähnte Reliabilitätsproblem durch latente Modellierungen umgangen werden. Bei einer Individualdiagnostik und in Large-Scale-Assessments, in denen auf Basis von vier Szenarien geschätzte Kompetenzwerte zu ungenau sind (Walter & Rost, 2011, S. 134 ff.), kann ein solcher Ansatz nicht weiterhelfen.
5.1 Diskussion möglicher Lösungsansätze
In solchen Fällen wäre eine Reliabilitätserhöhung durch adaptives Testen prinzipiell möglich. Allerdings sind die beim adaptiven Testen geforderten Stichprobengrößen (Walter, 2011, S. 396) und Itemumfänge (Lang, 2011, S. 417) bei der computergestützten Erfassung der Kfz-Fehlerdiagnosekompetenz – zumindest gegenwärtig – nicht realisierbar.
Im Anlehnung an den MicroDYN-Ansatz aus der domänenübergreifenden komplexen Problemlöseforschung (Greiff, 2012, S. 77 ff.) wäre denkbar, weniger komplexe Fehlerdiagnose-Szenarien als bisher zu entwickeln, was kürzere Bearbeitungszeiten impliziert. Mit diesem Ansatz kann das Reliabilitätsproblem zwar abgemildert, aber nicht gelöst werden: Die Bearbeitungszeiten lassen sich nur begrenzt reduzieren (s. dazu Abschnitt 7.2), sofern die Szenarien ökologisch valide sein sollen, was in der beruflichen Bildung eine zentrale Forderung darstellt. Ökologische Validität bedeutet hier, dass sich die Szenarien auf authentische elektrotechnische Kfz-Systeme beziehen müssen, deren Komplexität hoch und unveränderlich, d. h. durch die Systeme vorgegeben ist. Da es also kaum gelingen dürfte, geeignete Szenarien mit kurzen Bearbeitungszeiten zu entwickeln, scheidet eine simpleTestverlängerung, d. h. eine Erhöhung der Szenarienanzahl aus.
5.2 Computergestützte Erfassung leistungskritischer Teilkompetenzen der Kfz-Fehlerdiagnose
Vor diesem Hintergrund wählten wir hier den Weg, zusätzlich zu den Fehlerdiagnose-Szenarien Teilkompetenz(TK)-Items vorzugeben, die sich in relativ kurzen Zeiten bearbeiten lassen und sich auf leistungskritische Teilanforderungen der Kfz-Fehlerdiagnose beziehen. Wir gehen davon aus, dass wir mit solchen leistungskritischen TK-Items die interindividuellen Kompetenzunterschiede der Kfz-Fehlerdiagnose genauso gut erfassen können wie mit den Fehlerdiagnose-Szenarien. Falls diese Annahme trägt, ist aus einer empirischen Sicht die eindimensionale Modellierung der TK-Items und Szenarien gerechtfertigt. Bei Berücksichtigung der TK-Items und der Szenarien sollte die Reliabilität der Diagnostik, so die Annahme, deutlich höher sein als bei exklusiver Berücksichtigung der Szenarien. Es sei betont, dass unser Ziel nicht darin besteht, mit den TK-Items alle Anforderungen der Kfz-Fehlerdiagnose abzudecken, sondern darin, Kompetenzunterschiede reliabel zu erfassen.
In einer früheren Studie wurden die TK-Items mit einem schriftlichen Test dargeboten. Dabei zeigte sich, dass die Scores der TK-Items und der Fehlerdiagnose-Szenarien zwar beachtlich korrelieren (r = .63, latent), letztlich aber wohl empirisch trennbare Kompetenzdimensionen abbilden (Abele, 2014, S. 194). Theoretisch führten wir dies u. a. darauf zurück, dass mit der Computersimulation im Unterschied zum schriftlichen Test auch implizites Wissen erfasst wird (s. dazu auch die Befunde von Renkl, Gruber, Mandl & Hinkofer, 1994). Wir nehmen an, dass eine eindimensionale Modellierung empirisch gerechtfertigt ist, wenn auch die TK-Items computergestützt, d. h. in Interaktion mit der Kfz-Computersimulation zu bearbeiten sind.
Insgesamt wurden 7 TK-Items entwickelt. Um eine möglichst große strukturelle Anforderungsschnittmenge zwischen den TK-Items und den Szenarien zu gewährleisten, decken fünf TK-Items gleichzeitig die Anforderungen Informationsgewinnung (IG), die Entwicklung einer Prüfstrategie (EP) und die Umsetzung dieser Prüfstrategie (UP) ab, zwei Items beschränken sich auf IG (s. Tab. 1). Die IG-Items wurden entwickelt, um die Differenzierungsqualität im unteren Kompetenzbereich zu erhöhen. Im angesprochenen Niveaumodell erreichten 17 % der Probanden nicht einmal das erste Niveau (Nickolaus, Abele, Gschwendtner, Nitzschke & Greiff, 2012, S. 252). Um eine strenge Dimensionalitätsprüfung zu gewährleisten, beziehen sich die TK-Items auf andere Systemkomponenten als die einbezogenen Fehlerdiagnose-Szenarien (vgl. Tab. 1). Damit lassen sich Lerneffekte und Autokorrelationen, d. h. Korrelationen zwischen den Szenarien und TK-Items infolge identischer Anforderungen ausschließen.
Abschließend sei das Item TK5 erläutert, dessen Aufgabenstellung folgendermaßen lautet: Bitte prüfen Sie die Signalleitung des Nockenwellen-Positionssensors (NWP), die vom Stecker des Sensors zum Motorsteuergerät führt. Um TK5 zu bearbeiten, sind unter Nutzung des computerbasierten Expertensystems Einbaulage- und Stromlaufpläne zu studieren, relevante Prüfstellen zu identifizieren und im Rückgriff auf spezifisches Vorwissen die Sensorfunktion und seine Interaktion mit dem Motorsteuergerät zu erfassen (IG). Daran anknüpfend ist für die Funktionsprüfung der Signalleitung eine geeignete Prüfstrategie zu entwickeln (EP). Abschließend ist diese Strategie umzusetzen, wobei das Motorsteuergerät einzubeziehen und das geeignete Messgerät auszuwählen sowie korrekt an den richtigen Stellen anzulegen ist, wofür angesichts vieler und nahe beieinander liegender Steckverbindungen und Messstellen mehrere erfolgskritische Entscheidungen zu treffen sind (UP).
6 Fragestellung und Hypothesen
Die entscheidende Frage ist nun, ob mit dem entwickelten Ansatz tatsächlich eine Reliabilitätsverbesserung bei der Erfassung der Kfz-Fehlerdiagnosekompetenz erreicht wird. Wie bereits erwähnt, nahmen wir an, dass (1) die TK-Items und die Fehlerdiagnose-Szenarien eindimensional skalierbar sind (Hypothese zur Eindimensionalität) und dass (2) die eindimensionale Modellierung der TK-Items und der Szenarien zeitökonomisch zu einer deutlich höheren Reliabilität führt als die alleinige Berücksichtigung der Szenarien (Hypothese zum Reliabilitätszuwachs).
7 Methode
7.1 Stichprobe3
Zur Hypothesenprüfung wurde eine Stichprobe von 275 Kfz-Mechatronikern herangezogen, die Ihre Ausbildung 2010 in baden-württembergischen Handwerksbetrieben aufnahmen und sich zum Erhebungszeitpunkt im 3. Ausbildungsjahr befanden. Für die Rekrutierung wurden landesweit Berufsschulen kontaktiert. Letztlich nahmen 13 Berufsschulen und 16 Berufsschulklassen aus ganz Baden-Württemberg an der Studie teil; die Teilnahmequote in den Klassen lag insgesamt bei 82.7 %.
Das Durchschnittsalter der Stichprobe betrug 19.73 Jahre (SD = 1.81). Ein Großteil der Auszubildenden war männlich (97.4 %, Population: 97.6 %, Bundesinstitut für Berufsbildung, 2010) und hatte die deutsche Staatsbürgerschaft (85.4 %, Population: 88.2 %; türkische: 8.6 %; italienische: 3.3 %; andere: 2.6 %). Ungefähr die Hälfte wies einen Hauptschulabschluss auf (49.7 %, Population: 49.4 %), 46.3 % hatten einen Realschulabschluss (Population: 43.9 %) und nur wenige eine Hochschulzugangsberechtigung (4.0 %, Population: 4.5 %).
7.2 Diagnostische Maße
Zur Kompetenzmessung wurden sechs Fehlerdiagnose-Szenarien eingesetzt, die in Interaktion mit der beschriebenen Kfz-Computersimulation zu bearbeiten waren. Wie aus Tabelle 1 hervorgeht, beziehen sich vier dieser Szenarien auf das Motormanagement und zwei auf die Beleuchtungsanlage. Die Anforderungen dieser Szenarien wurden im Abschnitt 3.1 beispielhaft herausgearbeitet, wobei auf FDS3 zurückgegriffen wurde. Im Vergleich zu früheren Studien, in denen die Bearbeitungszeit je Szenario 30 min betrug, wurde die Bearbeitungszeit hier auf Basis von Experteneinschätzungen und Pilotierungen etwas reduziert (FDS2, FDS3 und FDS6: 25 min; FDS4: 20 min; FDS1 und FDS5: 15 min). Es wurde allerdings deutlich, dass dieser Zeiteinsparung bei Wahrung der ökologischen Validität klare Grenzen gesetzt sind. Während der Erhebung waren die Auszubildenden aufgefordert, ihre Fehlerdiagnoseschritte präzise handschriftlich zu notieren und die Fehlerursache konkret zu benennen. Das zwei- bzw. dreistufige manuelle Scoring (s. Tab. 1) erfolgte auf Basis eines Leitfadens, der von drei Experten der Kfz-Fehlerdiagnose (zwei Ausbildungs-/Werkstattmeister, ein wissenschaftlicher Mitarbeiter) ausgearbeitet wurde. Den höchsten Score erhielten Probanden, die die korrekte Fehlerursache eindeutig nannten, Zwischenscores wurden vergeben, wenn bestimmte diagnoserelevante und leicht identifizierbare Teilschritte (z. B. Dokumentation einer wichtigen Messung und Angabe des korrekten Messwerts) eindeutig dokumentiert wurden.
Zur Erfassung der Teilkompetenzen wurden die in Abschnitt 5.2 erwähnten sieben Items eingesetzt (s. Tab. 1), die sich auf die Informationsgewinnung, die Entwicklung einer Prüfstrategie und die Umsetzung dieser Strategie beziehen, ebenfalls in Interaktion mit der Computersimulation und zusammen in 30 min zu bearbeiten waren. Bei sechs dieser Items wurde ein zwei-, bei einem (TK7) ein dreistufiges Scoring vorgenommen. Auch hier erfolgten die Dokumentation handschriftlich und das Scoring leitfadengestützt und auch hier wurde abhängig von eindeutig bestimmbaren Diagnoseschritten kodiert. Für TK5, d. h. die Funktionsprüfung der Signalleitung des NWP (s. Abschnitt 5.2) bedeutet dies z. B., dass der höchste Score nur vergeben wurde, wenn der korrekte Messwert (ein Wert, der nur an der betreffenden Systemstelle zu messen ist) genannt wurde. Zufällig richtige Antworten können wir aufgrund der sehr hohen Komplexität der Simulation (weitgehend) ausschließen (Goldhammer, Kröhne, Keßel, Senkbeil & Ihme, 2014).
7.3 Erhebungsdesign und Erhebungsdurchführung
Wie in Vorgängerstudien (z. B. Abele et al., 2012), schien eine gesamte Testzeit von vierSchulstunden angemessen. Dies erwies sich für die Berufsschulen, in deren Computerräumen die Testung stattfand, als (noch) akzeptabel. Um alle sechs Szenarien einsetzen zu können und Positionseffekte zu kontrollieren, wurde ein youden square design (Frey, Hartig & Rupp, 2009) verwendet: Jeder Proband bearbeitete fünf der sechs Szenarien, die vollständig permutiert wurden. Es kamen sechs verschiedene Testhefte zum Einsatz. Im Anschluss an die Erfassung der Kfz-Fehlerdiagnosekompetenz wurden die TK-Items dargeboten. Um Positionseffekte zu kontrollieren, erhoben wir hier mit einem latin square design (ebd.): Jeder Proband bearbeitete alle TK-Items, wobei die einzelnen Cluster vollständig permutiert wurden. Die gesamte Bearbeitungszeit für die fünf Szenarien und die sieben TK-Items betrug ca. 135 min.
Aus Standardisierungsgründen erfolgte die Einführung in die Computersimulation mit einem 10-minütigen Video, das jeder Proband mit Kopfhörer an seinem Monitor anschaute. Anschließend mussten die Probanden ein Übungsblatt bearbeiten, das sich auf zentrale Funktionen der Simulation bezog (z. B. auf die Aktivierung von Systemkomponenten) und von einem der beiden Testleiter ausgewertet wurde. In seltenen Fällen falsch bearbeiteter Aufgaben wurden die betreffenden Simulationsfunktionen nochmals im Klassenverbund anhand der an die Wand projizierten Simulation erläutert. Insofern kann unterstellt werden, dass letztlich keine entscheidenden nutzungsbedingten Leistungsdifferenzen mehr vorlagen. Die Einführung dauerte ca. 40 min, woraus eine Gesamterhebungszeit von ca. 175 min resultierte.
7.4 Hypothesenprüfung
Um die Hypothese zur Eindimensionalität (H1) zu prüfen, wurden konfirmatorische Faktorenanalysen für kategoriale Indikatoren durchgeführt, bei denen Modellparameter auf Basis der empirischen polychorischen bzw., bei zwei dichotomen Indikatoren, tetrachorischen Korrelationen geschätzt werden (Wang & Wang, 2012, S. 68). Bei der Spezifikation der Modelle wurde die Faktorvarianz jeweils auf 1 fixiert. Zur Schätzung der Modellparameter wurde das WLSMV-Verfahren verwendet (Eid, Gollwitzer & Schmitt, 2010, S. 874) und auf die Software Mplus (Muthén & Muthén, 2008) zurückgegriffen.
Vor der Hypothesenprüfung wurden für die Szenarien und die TK-Items separat der Probandenanteil je Scorestufe (P) sowie die Trennschärfen (r it ) bestimmt. Dann wurde für die Szenarien und TK-Items jeweils eine konfirmatorische Faktorenanalyse durchgeführt und separat für beide Modelle (M1 und M2) die faktorielle Validität der Indikatoren beurteilt. Anschließend fand eine vergleichende Modellanalyse statt: Zuerst galt es, ein zweifaktorielles Modell (M3) zu analysieren, in dem die Szenarien Indikatoren eines Faktors und die TK-Items Indikatoren des anderen Faktors waren und die Faktorkorrelation frei geschätzt wurde. Anschließend wurde unter Einbezug der Szenarien und der TK-Items ein Einfaktormodell analysiert (M4). Dieses Modell ist ein Spezialfall eines Zweifaktormodells mit einer auf r = 1.0 fixierten Faktorkorrelation. Von daher stellen M3 und M4 verschachtelte Modelle dar, weshalb der Passungsunterschied beider Modelle inferenzstatistisch geprüft werden kann (Eid et al., 2010, S. 882). Falls H1 zutrifft, sollte zwischen beiden Modellen kein bedeutsamer Passungsunterschied feststellbar sein und M4 eine ähnlich gute Modellpassung aufweisen wie M3. Die Beurteilung der Modellpassung erfolgte auf Basis der folgenden bei Moosbrugger und Schermelleh-Engel (2008, S. 319) dargestellten Fit-Werte: χ 2/df ≤ 3, RMSEA ≤ .08, CFI ≥ .95. Zudem wurde der WRMR herangezogen, der kleiner 1 sein sollte (Wang & Wang, 2012, S. 70). Ob zwischen M3 und M4 bedeutsame Unterschiede bestehen, wurde mit einem χ 2-Differenztest inferenzstatistisch abgesichert, wobei ein Signifikanzniveau von α = .01 herangezogen wurde. Hierbei kamen Satorra-Bentler-korrigierte χ 2-Werte (Eid et al., 2010, S. 883) und die in Mplus verfügbare Option «DIFF-Test» zum Einsatz. Falls zwischen M3 und M4 kein bedeutsamer Passungsunterschied feststellbar ist, ist ein wichtiger diagnostischer Fortschritt erzielt. Da es angesichts der hierarchischen Datenstruktur bei der Parameterschätzung zu einer Unterschätzung der Standardfehler kommen kann (Nagy, 2005, S. 114), werden bei allen Schätzungen mit der Option «TYPE = COMPLEX» und der Klassenzugehörigkeit als Clustermerkmal die Standardfehler korrigiert.
Um H2 zu prüfen, wurde zuerst jeweils die Reliabilität für M1 (Szenarien) und M2 (TK-Items) bestimmt. Dann wurde die Reliabilität für M4 (Szenarien und TK-Items) berechnet, die im Sinne von H2 deutlich höher ausfallen sollte als die von M1. Die bisherigen Befunde legen nahe, dass es sich bei der Kfz-Fehlerdiagnosekompetenz um ein relativ homogenes Konstrukt handelt (s. Abschnitt 4.3), weshalb wir zur Reliabilitätsbestimmung Konsistenzanalysen durchführten. Da wir nur über eine begrenzte Indikatoranzahl verfügen, ein unterrichtsrelevantes, d. h. zeitveränderliches Konstrukt untersuchen und aus organisatorischen Gründen keine zweite Testung durchführen konnten, schlossen wir andere Methoden der Reliabilitätsbestimmung (Schermelleh-Engel & Werner, 2008) aus. Obwohl zusätzliche Items nicht zwangsläufig zu besseren Reliabilitäten führen (Yousfi, 2005), entschieden wir uns für den vorgestellten Ansatz: Er versprach eine praktikable Lösung des Reliabilitätsproblems und ermöglichte eine empirische Prüfung der Reliabilitätsannahme. Die Reliabilitäten (SEM-Reliabilität) berechneten wir mit der für nicht-lineare Strukturgleichungsmodelle entwickelten Formel von Green und Yang (2009, Formel 21) und, da gegenwärtig kein einschlägiges R-Paket verfügbar ist, eigenständig mit der Statistik-Software R (R Core Team, 2014).4
8 Ergebnisse
8.1 Deskriptive Befunde
Wie Tabelle 1 zu entnehmen ist, wiesen die Szenarien (FDS) gute Trennschärfen auf. Zudem waren weder Decken- noch Bodeneffekte zu beobachten: Das leichteste Szenario (FDS5) wurde von 78.5 % der Probanden gelöst, das schwierigste von 8.4 % (FDS3). Im unteren Tabellenbereich sind die unabhängig von den Szenarien berechneten Kennwerte der TK-Items zu sehen. Auch hier waren durchweg gute Trennschärfen und keine Decken- und Bodeneffekte zu beobachten. Damit erwiesen sich sowohl die Szenarien als auch die TK-Items als hinreichend trennscharf.
8.2 Prüfung der Hypothese zur Eindimensionalität
Im oberen Teil von Abbildung 2 finden sich die Ergebnisse für M1 und M2, deren Ladungen mindestens befriedigende (λ ≥ .32) und durchweg signifikante (p < .001) Werte erreichten. Mit Blick auf M1 fällt auf, dass die Ladungen von FDS5 und FDS6 etwas geringer ausfielen als die der anderen Szenarien. Ähnliches galt für die Indikatoren TK1 und TK7 bei M2. Die Anpassungsgüte von M2 war durchweg zufriedenstellend und bei M1 abgesehen vom CFI ebenfalls akzeptabel (s. Tab. 2). Da in der Literatur mitunter auch ein geringerer CFI-Grenzwert angesetzt wird (.90, Nagy, 2005, S. 114), wurde auch bei M1 insgesamt von einer annehmbaren Passung ausgegangen.
Mit Blick auf das Zweifaktormodell M3 (s. Abbildung 2 Mitte und Tab. 2) waren durchweg mindestens akzeptable Ladungshöhen und gute Fit-Werte festzustellen. Die frei geschätzte Faktorkorrelation fiel sehr hoch aus.
Auch das eindimensionale M4 näherte die empirische Datenlage gut an. Sichtbar wurde hier aber auch, dass die Ladungen merklich variierten, wobei diese Variation unabhängig davon zu sein schien, ob Szenarien oder TK-Items betrachtet wurden. Wie ein Modellvergleich zeigte (s. Tab. 2), warendie χ 2-Differenzen nicht signifikant (p = .04), wobei die Signifikanzgrenze nur knapp überschritten wurde. Auch weitere Befunde sprachen für das sparsamere Modell M4: Die Fit-Werte beider Modelle unterschieden sich nur unwesentlich. Die Prüfung von H1 beschließend sei erwähnt, dass die Ladungen korrespondierender Indikatoren – abgesehen von FDS3 und FDS5 – modellübergreifend relativ stabil waren.
8.3 Prüfung der Hypothese zum Reliabilitätszuwachs
Im Hinblick auf die Reliabilität zeigte sich Folgendes: Bei M1 und M2 lagen die SEM-Reliabilitäten bei .62 bzw. .65. Erwartungskonform stieg die Reliabilität bei M4, d. h. bei einer simultanen Berücksichtigung der Szenarien und der TK-Items deutlich an, und zwar auf einen Wert von .75.
9 Diskussion
Das Ziel des vorliegenden Beitrags besteht darin, eine bislang ungelöste Herausforderung bei der Erfassung beruflicher Problemlösekompetenzen zu überwinden: Aufgrund langer Bearbeitungszeiten ökologisch valider beruflicher Problemlöse-Szenarien und begrenzter Testzeiten können bei der Diagnostik nur wenige Szenarien eingesetzt werden. Es wurde ein innovativer Ansatz vorgestellt, mit dem komplexe Problemlösekompetenzen in der Domäne Kfz-Mechatronik, d. h. Fehlerdiagnosekompetenzen in elektrotechnischen Kfz-Systemen mit Fehlerdiagnose-Szenarien und mit relativ schnell zu bearbeitenden leistungskritischen TK-Items diagnostiziert werden können. Angenommen wurde, dass die TK-Items und die Szenarien eindimensional modellierbar sind und zusammen zu einer reliableren Kompetenzdiagnostik führen als die Szenarien allein. Beide Hypothesen wurden von den Ergebnissen bestätigt: Die TK-Items und die Szenarien erwiesen sich als eindimensional modellierbar und mit den Szenarien und TK-Items wurde zeitökonomisch eine deutlich höhere Reliabilität erreicht als mit den Szenarien allein.
Kritisch könnte eingewandt werden, dass die merklich unterhalb von r = 1 liegende Faktorkorrelation in M3 und der nahe an der Signifikanzgrenze liegende Modellvergleichstest von M3 und M4 die Eindimensionalitätsannahme in Frage stellen. Diesem Einwand ist in Folgestudien nachzugehen. Angesichts der akzeptablen und nur unwesentlich von M3 verschiedenen Passungsgüte von M4 spricht aktuell wohl mehr dafür, die Annahme zur Eindimensionalität beizubehalten.
Der entwickelte Ansatz weist einen Weg, wie die noch nicht ganz zufriedenstellende Reliabilität ohne Testzeiterhöhung verbessert werden kann: Die Szenarienzahl könnte weiter reduziert und die Zahl der TK-Items erhöht werden. Angesichts der Ergebnisse wäre es sogar legitimierbar, komplett auf Szenarien zu verzichten und dadurch die Testzeit bei gleichzeitiger Erhöhung der Reliabilität zu minimieren, wobei insbesondere zwei Punkte zu beachten sind: Erstens kann diese Art der Reliabilitätserhöhung Auswirkungen auf die Konstruktvalidität des Tests haben (Rost, 1996, S. 397). Zweitens nimmt die Testreliabilität nur zu, wenn die zusätzlichen TK-Items bestimmte Bedingungen erfüllen (z. B. unkorrelierte Fehlervarianzen, Yousfi, 2005). Die vergleichsweise geringen Ladungen von FDS5 und FDS6 in M1 könnten Anlass geben, für das Motormanagement und die Beleuchtungsanlage künftig separate Messmodelle zu formulieren. Möglicherweise fallen die Indikatorladungen bei einer system- oder anforderungsbezogenen Homogenisierung höher und auch konsistenter aus, was sich günstig auf die interne Konsistenz auswirken könnte (Green & Yang, 2009). Um dies zu prüfen, sind in Folgestudien systematisch Items nach entsprechenden inhaltlichen Kriterien zu konstruieren.
Angesichts des relativ heterogenen Ladungsmusters von M4 kann gefragt werden, ob ein Retest-Maß zur Reliabilitätsbestimmung nicht geeigneter gewesen wäre als eine Konsistenzanalyse (Lienert & Raatz, 1994, S. 202 f.). Da sich Kfz-Fehlerdiagnosekompetenzen unterrichts- und kommunikationsbedingt zwischen Testungen deutlich entwickeln dürften, brächten Retest-Maße aber vermutlich keine entscheidenden Vorteile (Schermelleh-Engel & Werner, 2008, S. 116).
Vor dem Hintergrund gängiger Problemlösedefinitionen (s. Greiff et al., 2014) kann der Ansatz insofern kritisiert werden, als die TK-Items nicht alle Anforderungen der Kfz-Fehlerdiagnose abdecken, weshalb letztlich nicht Problemlöse-, sondern nur Teilkompetenzen erfasst werden. Diese theoretische Unterscheidung ist richtig und in pädagogischen Kontexten wichtig. Dort geht es letztlich um die Förderung von Problemlöse- und nicht von Teilkompetenzen. Deswegen ist uns wichtig zu betonen, dass wir mit unserem Ansatz ein diagnostisches Ziel verfolgen: Wir wollen interindividuelle Problemlöseunterschiede reliabel erfassen. Wir behaupten nicht, dass die TK-Items das übergeordnete Konstrukt inhaltlich vollständig abbilden. Es ist uns bewusst, dass unser Ansatz wohl v. a. deswegen trägt, weil fachliche Problemlösekompetenzen prozessbezogen aufgebaut werden. Zumindest scheint dies eine gute Erklärung dafür zu sein, dass von Teilkompetenzen auf Gesamtkompetenzen geschlossen werden kann. Trotz dieses kritischen Bewusstseins rechnen wir seitens (beruflicher) Bildungspraktiker mit gewissen Widerständen, die durch die Verwendung von TK-Items und Problemlöse-Szenarien vielleicht überwunden werden können. Damit weist der Ansatz eine für ein internationales Large-Scale-Assessment in der beruflichen Bildung wichtige Eigenschaft auf: Er wird unterschiedlichen praktischen Anforderungen gerecht und ermöglicht eine auch psychometrisch akzeptable Diagnostik beruflicher Problemlösekompetenzen.
Der vorgelegte Ansatz ist u. E. nicht auf den berufsbildenden Bereich beschränkt, sondern kann prinzipiell überall angewandt werden, wo domänenspezifische Problemlösekompetenzen erfasst werden sollen. Ob der Transfer tatsächlich gelingt, ist in weiteren Studien empirisch zu prüfen.
Obwohl der Ansatz primär für diagnostische Zwecke entwickelt wurde, kann er auch pädagogische Prozesse bereichern: TK-Items bieten die Möglichkeit, individuelle Problemlösebarrieren gezielt zu diagnostizieren und in Interventionen zu bearbeiten. Es wäre interessant, den Effekt einer Teilkompetenzdiagnostik und einer darauf abgestimmten Intervention auf die Entwicklung domänenspezifischer Problemlösekompetenzen zu untersuchen. In Domänen, die sich auf komplexe Systeme beziehen und viele unterschiedliche Anforderungen stellen, dürften Interventionen zu einem Kompetenzzuwachs, aber kaum zu einem Rückgang interindividueller Kompetenzunterschiede führen (Abele, 2014, S. 158). Insofern kann der vorgelegte, auf internen Konsistenzanalysen beruhende Ansatz zur Lösung des Reliabilitätsproblems auch für die Interventionsforschung nützlich sein.
1 Die Autoren danken den anonymen Gutachtern dieser Zeitschrift für die hilfreichen Kommentare zu einer früheren Beitragsfassung.
2 Um den Lesefluss nicht zu stören, verwenden wir im Text die maskulinen Wortformen stellvertretend für beide Geschlechter.
3 Die folgenden Analysen wurden durch die Forschungsinitiative ASCOT (www.ascot-vet.net) des BMBF ermöglicht.
4 Stefan Behrendt gilt unser herzlicher Dank für die Unterstützung bei der Reliabilitätsberechnung.
Literatur
(2012). Dynamische Problemlösekompetenz – ein bedeutsamer Prädiktor von Problemlöseleistungen in technischen Anforderungskontexten? Zeitschrift für Erziehungswissenschaft , 15, 363–391.
(2014). Modellierung und Entwicklung berufsfachlicher Kompetenz . Stuttgart: Franz Steiner.
(2006). Berufsbildungs-PISA. Machbarkeitsstudie . Stuttgart: Franz Steiner.
. (2010). Berufsbildungsstatistik der statistischen Ämter des Bundes und der Länder (Erhebung zum 31.12) , Bundesinstitut für Berufsbildung. Zugriff am 27.05.2014 von www.bibb.de/de/781.htm.
(2010). Statistik und Forschungsmethoden. Lehrbuch . Weinheim: Beltz.
(2012). The process of solving complex problems. Journal of Problem Solving , 4, 19–24.
(2009). An NCME instructional module on booklet designs in large-scale assessments of student achievement: theory and practice. Educational Measurement: Issues and Practice , 28, 39–53.
(2006). Komplexes Problemlösen. In J. Funke (Hrsg.), Denken und Problemlösen (Enzyklopädie der Psychologie, Themenbereich C: Theorie und Forschung, Serie II: Kognition, Bd. 8, S. 375 – 445 ). Göttingen : Hogrefe .
(2014). Diagnostik von ICT-Literacy. Multiple-Choice- vs. simulationsbasierte Aufgaben. Diagnostica , 60, 10–21.
(2009). Reliability of summed item scores using structural equation modeling: An alternative to coefficient alpha. Psychometrika , 74, 155–167.
(2012). Individualdiagnostik komplexer Problemlösefähigkeit . Münster: Waxmann.
(2014). Problemlösen in der Pädagogischen Psychologie. Zeitschrift für Pädagogische Psychologie , 28, 161–166.
(2009). Computersimulierte Arbeitsproben: Eine Validierungsstudie am Beispiel der Fehlerdiagnoseleistungen von Kfz-Mechatronikern. Zeitschrift für Berufs- und Wirtschaftspädagogik , 105, 557–578.
(2008). Validität. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 136–192). Berlin: Springer.
(2008). Ergebnisse der Evaluation betrieblicher E-Learning-Module. In J. Rowold, S. Hochholdinger & N. Schaper (Hrsg.), Evaluation und Transfersicherung betrieblicher Trainings. Modelle, Methoden und Befunde (Wirtschaftspsychologie, S. 146–164). Göttingen: Hogrefe.
(2013). Training troubleshooting skills with an anchored instruction module in an authentic computer based simulation environment. Journal of Technical Education , 1, 7–22.
(2006). Just-in-time information presentation: improving learning a troubleshooting skill. Contemporary Educational Psychology , 31, 167–185.
(2002). An experimental evaluation of comprehensibility aspects of knowledge structures derived through induction techniques: a case study of industrial fault diagnosis. Behaviour & Information Technology , 21, 117–135.
(2011). Computer-adaptives Testen. In L. F. Hornke, M. Amelang & M. Kersting (Hrsg.), Leistungs-, Intelligenz- und Verhaltensdiagnostik (Enzyklopädie der Psychologie, Serie Psychologische Diagnostik, Bd. 3, S. 403–446). Göttingen: Hogrefe.
(2012). Analytische und dynamische Problemlösekompetenz im Lichte internationaler Schulleistungsvergleichsstudien. Untersuchungen zur Dimensionalität. Psychologische Rundschau , 63, 34–42.
(1994). Testaufbau und Testanalyse (5., völlig neu bearbeitete und erweiterte Aufl.). Weinheim: Beltz.
(2008). Exploratorische (EFA) und konfirmatorische Faktorenanalyse (CFA). In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 305–324). Berlin: Springer.
(2008). Mplus [Computer software]. Los Angeles, CA: Muthén & Muthén.
(2009). Comparative international analysis of occupational tasks and qualification requirements for the labour market and assessment tasks at the end of VET in participating countries. In Bundesministerium für Bildung und Forschung (Hrsg.), Feasibility study VET-LSA. A comparative analysis of occupational profiles and VET programmes in 8 European countries – International report (Vocational Training Research, Bd. 8, S. 33–47). Bonn: Herausgeber.
(2005). Berufliche Interessen, kognitive und fachgebundende Kompetenzen: Ihre Bedeutung für die Studienfachwahl und die Bewährung im Studium . Unveröffentlichte Dissertation, Freie Universität Berlin.
(2012). Valide Kompetenzabschätzungen als eine notwendige Basis zur Effektbeurteilung beruflicher Bildungsmaßnahmen – Wege und Irrwege. In G. Niedermaier (Hrsg.), Kompetenzen entwickeln, messen und bewerten (Bd. 6, S. 537–554). Linz: Trauner.
(2012). Fachspezifische Problemlösefähigkeit in gewerblich technischen Ausbildungsberufen – Modellierung, erreichte Niveaus und relevante Einflussfaktoren. Zeitschrift für Berufs- und Wirtschaftspädagogik , 108, 243–272.
(2011). Fachkompetenzmodellierung und Fachkompetenzentwicklung bei Elektronikern für Energie- und Gebäudetechnik im Verlauf der Ausbildung. Ausgewählte Ergebnisse einer Längsschnittstudie. In R. Nickolaus & G. Pätzold (Hrsg.), Lehr-Lernforschung in der gewerblich-technischen Berufsbildung. Zeitschrift für Berufs- und Wirtschaftspädagogik [Beiheft] , 25, 77–94.
(2013). Berufliche Kompetenzen: Modellierungen und diagnostische Verfahren. In A. Frey, U. Lissmann & B. Schwarz (Hrsg.), Handbuch Berufspädagogische Diagnostik (S. 166–195). Weinheim: Beltz.
(2013). PISA 2012 assessment and analytical framework mathematics, reading, science, problem solving and financial literacy . Paris: OECD.
(2014). R: A language and environment for statistical computing . R Foundation for Statistical Computing, Vienna, Austria. Zugriff am 15.6.2014 von www.R-project.org/.
(2002). Aufgabenanalysen für die Neuordnung der Berufe im Kfz-Sektor .Zugriff am 15.05.2014 von www.itb.uni-bremen.de/uploads/media/Kfz-Neuordnung-Bericht4.pdf.
(1994). Hilft Wissen bei der Identifikation und Kontrolle eines komplexen ökonomischen Systems? Unterrichtswissenschaft , 22, 195–202.
(2009). Teaching structured troubleshooting: Integrating a standard methodology into an information technology program. Educational Technology Research and Development , 57, 251–265.
(1996). Lehrbuch Testtheorie – Testkonstruktion . Bern: Huber.
(Hrsg.). (2008). Evaluation und Transfersicherung betrieblicher Trainings. Modelle, Methoden und Befunde (Wirtschaftspsychologie). Göttingen: Hogrefe.
(2000). Cognitive task analysis and innovation of training: the case of structured troubleshooting. Human Factors , 42, 75–86.
(1994). Lernbedarfsanalysen und Trainingsgestaltung bei komplexen Diagnoseaufgaben . Frankfurt am Main: Peter Lang.
(2004). Förderung des Transfers von Diagnosestrategien durch computergestütztes Training mit kognitiver Modellierung. Zeitschrift für Personalpsychologie , 3, 51–62.
(2008). Methoden der Reliabilitätsbestimmung. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 114–133). Berlin: Springer.
(Hrsg.). (1997). Störungsmanagement und Diagnosekompetenz . Zürich: vdf Hochschulverlag.
(2011). Anforderungen an Kfz-Mechatroniker und Implikationen für die Kompetenzerfassung. In R. Nickolaus & G. Pätzold (Hrsg.), Lehr-Lernforschung in der gewerblich-technischen Berufsbildung. Zeitschrift für Berufs und Wirtschaftspädagogik [Beiheft] . 25, 37–53.
(1996). Intelligenz, Wissen und Problemlösen. Kognitive Voraussetzungen für erfolgreiches Handeln bei computersimulierten Problemen . Göttingen: Hogrefe.
(2002). Vergleichende Leistungsmessung in Schulen – eine umstrittene Selbstverständlichkeit. In F. E. Weinert (Hrsg.), Leistungsmessung in Schulen (2. Aufl., S. 17–31). Weinheim: Beltz.
(2011). Psychometrische Grundlagen von Large-Scale-Assessments. In L. F. Hornke, M. Amelang & M. Kersting (Hrsg.), Methoden der psychologischen Diagnostik (Enzyklopädie der Psychologie, Serie Psychologische Diagnostik, Bd. 2, S. 87–149). Göttingen: Hogrefe.
(2011). Grundlagen des adaptiven Testens. In L. F. Hornke, M. Amelang & M. Kersting (Hrsg.), Leistungs-, Intelligenz- und Verhaltensdiagnostik (Enzyklopädie der Psychologie, Serie Psychologische Diagnostik, Bd. 3, S. 389–402). Göttingen: Hogrefe.
(2012). Structural equation modeling. Applications using Mplus . Chichester: Wiley.
(2005). Mythen und Paradoxien der klassischen Testtheorie (I). Diagnostica , 51, 1–11.
