Vergleich kriteriumsbezogener Validitäten verschiedener Intelligenztests zur Vorhersage von Ausbildungserfolg in Deutschland
Ergebnisse einer Metaanalyse
Abstract
Zusammenfassung. In dieser Metaanalyse wurden die Validitäten verschiedener Intelligenztests (z. B. IST-70, WIT, LPS, PSB, CFT-3, SPM) zur Vorhersage von Ausbildungserfolg in Deutschland ermittelt. Darüber hinaus wurde untersucht, ob sich die Validität kognitiver Fähigkeit je nach Operationalisierung des Ausbildungserfolgs (Noten vs. Leistungsbeurteilungen) unterscheidet. Die Analysen basierten auf 90 unabhängigen Stichproben, die 49 publizierten bzw. unpublizierten Beiträgen entnommen wurden. Obgleich zwischen einigen Testverfahren Validitätsunterschiede bestanden, erwiesen sich alle untersuchten Testbatterien als valide Prädiktoren von Ausbildungserfolg (ρ = .48-.54). Unterschiedlich hohe Validitäten je nach Ausbildungserfolgskriterium konnten größtenteils auf unterschiedliche Reliabilitäten dieser Kriterien zurückgeführt werden. Die Befunde werden hinsichtlich ihrer Implikationen für die eignungsdiagnostische Praxis diskutiert.
Abstract. In the present meta-analysis validities of different intelligence tests (e. g., IST-70, WIT, LPS, PSB, CFT-3, SPM) for the prediction of training success in Germany were examined. Furthermore, it was analyzed whether the validity of general mental ability differs depending on the type of training criterion used (grades vs. supervisor ratings). The study was based on 90 independent samples from 49 published and unpublished studies. Results indicated that all test batteries were valid predictors of training success, although differences between some of the tests existed (ρ = .48-.54). Different validities, depending on the type of training success criteria, could be explained mainly by reliability differences between these criteria. Findings are discussed with respect to their implications for personnel selection practices.
Literaturverzeichnis
1989). Kirkpatrick’s levels of training criteria: Thirty years later. Personnel Psychology , 42 , 331– 342
(1968). Bericht über Bewährungskontrollen der Eignungsuntersuchungen im Land Niedersachsen. DGP Informationen , 07/1968 , 1– 36
(1971). Die Voraussage des Berufserfolges von Regierungsinspektoren und Revierförstern - zwei Bewährungskontrollen. Diagnostica , 17 , 145– 180
(1974). Kurzbericht über eine Bewährungskontrolle der Eignungsprognosen für Bewerber der allgemeinen Verwaltung in Nordrhein-Westfalen. DGP Informationen , 12/1974 , 12– 21
(1977). Zusammenhänge zwischen Ergebnissen von Eignungstests und beruflicher Bewährung: Dargestellt am Beispiel der Auswahl von Bewerbern für den gehobenen und höheren Polizeivollzugsdienst. Schriftenreihe der Polizei-Führungsakademie , 1 , 6– 27
(1982). Bewährungskontrolle IV - Die Vorhersage des Ausbildungserfolges von Assistentenanwärtern verschiedener niedersächsischer Kommunen. DGP Informationen , 12/1982 , 58– 66
(1984). Zur prognostischen Validität von Intelligenz- und Leistungstests im Rahmen der Eignungsdiagnostik. Psychologie und Praxis - Zeitschrift für Arbeits- und Organisationspsychologie , 28 , 144– 148
(2002). Psychologische Diagnostik und Intervention . (3 Aufl.). Berlin
(1973). I-S-T 70: Intelligenz-Struktur-Test . (4. Aufl.). Göttingen: Hogrefe
(1999). I-S-T 2000 - Intelligenz-Struktur-Test 2000 . Göttingen: Hogrefe
(2001). I-S-T 2000 R - Intelligenz-Struktur-Test 2000 R . Göttingen: Hogrefe
(1967). Über den Voraussagewert des Intelligenzstrukturtests (I-S-T) für die Leistung in einer Berufsaufbauschule. Der Schulpsychologe , , 50– 61
(1997). Zur Prognose des Berufserfolgs durch den Eignungstest “Bankkaufmann”. Sparkasse, , 7 , 338– 343
(2003). Grundlegende Entwicklungen und Strukturprobleme im allgemein bildenden Schulwesen. In K. S. Cortina, J. Baumert, A. Leschinsky, K. U. Mayer & L. Trommer (Hrsg.), Das Bildungswesen in der Bundesrepublik Deutschland (S. 52-147). Hamburg: Rowohlt
(2004). Evaluierung des Auswahlverfahrens für Auszubildende in einer ostdeutschen Sparkasse. Zeitschrift für Personalpsychologie , 3 , 128– 134
(2005). The predictive validity of cognitive ability tests: A UK meta-analysis. Journal of Occupational and Organizational Psychology , 78 , 387– 409
(2002). Brickenkamp Handbuch psychologischer und pädagogischer Tests 1 . (3. Aufl.). Göttingen: Hogrefe
(1983). Spezielle Eignungsdiagnostik. In K.-J. Groffmann & L. Michel (Hrsg.), Intelligenz- und Leistungsdiagnostik (S. 414-481). Göttingen: Hogrefe
(1970). Leistungsprognose und Erfolgskontrolle . Bern: Huber
(1992). Bewährungskontrolle: Vorhersage des Ausbildungserfolges im Angestelltenlehrgang 1. DGP Informationen , 03/1992 , 75– 84
(1998). Der Intelligenz-Struktur-Test: Analysen zur theoretischen Grundlage und technischen Güte. Diagnostica , 44 , 84– 99
(1949). When testing pays off. Personnel Psychology , 2 , 171– 185
(2000). History of theories and measurements of intelligence. In R. J. Sternberg (Ed.), Handbook of intelligence (pp. 16-33). New York: Cambridge University Press
(1976). Intelligence: Nature, determinants and consequences . New York: Academic Press
(2002). Interpersonal influences and educational aspirations in 12 countries: The importance of institutional context. Sociology of Education , 75 , 99– 122
(1986). Mannheimer Intelligenztest MIT . (3. Aufl.). Weinheim: Beltz
(1993). Human cognitive abilities: A survey of factor-analytic studies . Cambridge: Cambridge University Press
(1963). Theory of fluid and crystallized intelligence: A critical experiment. Journal of Educational Psychology , 54 , 1– 22
(1983). Intelligenzdiagnostik. In K. J. Groffmann & L. Michel (Hrsg.), Enzyklopädie der Psychologie - Intelligenz- und Leistungsdiagnostik (S. 104-201). Göttingen: Hogrefe
(1965). Psychological tests and personnel decisions . (2nd ed.). Urbana, IL: University of Illinois Press
(1980). Validierung der Auswahl von auszubildenden Flugzeugmechanikern . Frankfurt am Main: Deutsche Lufthansa AG
(1973). Untersuchung über die Vorhersage des Ausbildungserfolges von Meisteranwärtern in der Automobilproduktion: Eine Bewährungskontrolle. DGP Informationen , 09/1973 , 1– 14
(1997). Prüfsystem für Schul- und Bildungsberatung (PSB). Zeitschrift für Differentielle und Diagnostische Psychologie , 18 , 36– 38
(1986). Die Validität verschiedener eignungsdiagnostischer Verfahren bei Lehrstellenbewerbern. Psychologie und Praxis - Zeitschrift für Arbeits- und Organisationspsychologie , 30 , 92– 97
(1997). Why g matters: The complexity of everyday life. Intelligence , 24 , 79– 132
(1990). Der Wilde-Intelligenz-Test (WIT).. Diagnostica , 36 , 310– 320
(1982). Bewährungskontrolle 2 - Vorhersage des Ausbildungserfolges von Beamtenanwärtern des gehobenen Dienstes beim RP Darmstadt. DGP Informationen , 12/1982 , 32– 50
(1984). Personalauswahl für den mittleren Justizvollzugsdienst in Hessen. DGP Informationen , 12/1984 , 1– 17
(1972). Gruppenintelligenztests: Untersuchungen am WIT, IST, LPS und AIT . Bern: Herbert Lang
(1996). Individual differences in cognitive functions. In R. C. Calfee & D. C. Berliner (Eds.), Handbook of educational psychology (pp. 186-242). New York: Prentice Hall
(2001). Prognostische Validität eines Auswahlverfahrens in einem Transportunternehmen . Unveröffentlichte Diplomarbeit, Technische Universität Berlin
(2003). Kognitive Leistungsfähigkeit in der Berufseignungsdiagnostik - Forschungsüberblick und Entwicklung eines neuen Instrumentes zur Erfassung schlussfolgernden und kreativen Denkens . Berlin: dissertation.de
(1981). Raven-Matrizen-Test Standard Progressive Matrices (SPM). Deutsche Bearbeitung von Heinrich Kratzmeier unter Mitarbeit von Ralf Horn. Psychologie in Erziehung und Unterricht , 28 , 316– 318
(1991a). Grundintelligenztest Skala 3 (CFT3) von R. H. Weiß. In K. A. Heller (Hrsg.), Begabungsdiagnostik in der Schul- und Erziehungsberatung (S. 143-149). Bern: Huber
(1991b). Das Leistungsprüfsystem (LPS) von W. Horn. In K. A. Heller (Hrsg.), Begabungsdiagnostik in der Schul- und Erziehungsberatung (S. 152-163). Bern: Huber
(1994). Bewerberauswahl und Ausbildungserfolg im öffentlichen Dienst . Unveröffentlichte Diplomarbeit, Universität Bielefeld
(1969). Prüfsystem für Schul- und Bildungsberatung. P-S-B . Göttingen: Hogrefe
(1983). Leistungsprüfsystem - L-P-S . (2. Aufl.). Göttingen: Hogrefe
(2001). BOMAT: Bochumer Matrizentest . Göttingen: Hogrefe
(2006). Validity of general mental ability for the prediction of job performance and training success in Germany: A meta-analysis . Manuscript submitted for publication
(1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin , 96 , 72– 98
(2004). Methods of meta-analysis. Correcting error and bias in research findings . (2nd ed.). Thousand Oaks, CA: Sage Publications
(1960). Zum prognostischen Wert psychologischer Eignungsuntersuchungen. Psychologische Rundschau , 11 , 160– 178
(1997). Wilde-Intelligenz-Test (WIT). Zeitschrift für Differentielle und Diagnostische Psychologie , 18 , 62– 65
(1994). Der Wilde-Intelligenz-Test (WIT): Ein Strukturdiagnostikum . (2. Aufl.). Göttingen: Hogrefe
(2004). The forgotten ones? The validity of consideration and initiating structure in leadership research. Journal of Applied Psychology , 89 , 36– 51
(1995). Berufsausbildungserfolg in ausgewählten Ausbildungsberufen des Handwerks. Theoretische Klärung und empirische Analyse . Weinheim: Deutscher Studien Verlag
(1989). Korrelative Bedeutung von Testergebnissen, schulischer Vorbildung, Berufsschulnoten und Fähigkeitseinschätzungen für Berufsabschlussnoten. Zeitschrift für Pädagogik , 35 , 711– 730
(1991). Bedingungsfaktoren bei der Vergabe von Zeugnisnoten an Auszubildende handwerklicher Ausbildungsberufe. Zeitschrift für Berufs- und Wirtschaftspädagogik , 87 , 481– 494
(2002). Handbuch personaldiagnostischer Instrumente . Göttingen: Hogrefe
(2000). Rezension des Intelligenz-Struktur-Test 2000 von R. Amthauer, B. Brocke, D. Liepmann und A. Beauducel. Zeitschrift für Arbeits- und Organisationspsychologie , 44 , 96– 101
(2001). Zur Konstrukt- und Kriteriumsvalidität von Problemlöseszenarien anhand der Vorhersage von Vorgesetztenurteilen über die berufliche Bewährung. Diagnostica , 47 , 67– 76
(Der Wilde Intelligenztest 2 (WIT-2) . Göttingen: Hogrefe
in Druck1969). Beitrag zu einem psychologischen Berufsprofil für Fernmeldehandwerker. Psychologie und Praxis , 13 , 163– 174
(1976). Evaluation of training. In R. L. Craig (Ed.), Training and development handbook: A guide to human resource development (pp. 1-27). New York: McGraw-Hill
(1983). Untersuchung zur Vorhersage des Ausbildungserfolges von Anwärtern des gehobenen Dienstes einer Bundesbehörde. DGP Informationen , 12/1983 , 41– 72
(1978). Eignungsuntersuchungs-Ergebnisse bei mehreren Ausbildungsberufen in einer Bewährungskontrolle durch verschiedene Methoden. Psychologie und Praxis , 22 , 168– 177
(1979). RAVEN-Matrizen-Test - Standard Progressive Matrices (Manual) . Weinheim: Beltz
(2004). Academic performance, career potential, creativity, and job performance: Can one construct predict them all?. Journal of Personality and Social Psychology , 86 , 148– 161
(1996). Validity generalization for cognitive, psychomotor, and perceptual tests for craft jobs in the utility industry. Human Performance , 9 , 1– 22
(2001). Practical meta-analysis . Thousand Oaks, CA: Sage
(1996). Intelligenz und Kompetenzentwicklung bei KFZ-Mechanikern. In E. Witruk & G. Friedrich (Hrsg.), Pädagogische Psychologie im Streit um ein neues Selbstverständnis: Bericht über die 5. Tagung der Fachgruppe Pädagogische Psychologie in der Deutschen Gesellschaft für Psychologie e.V. in Leipzig 1995. Landau: Empirische Pädagogik
(1971). Der Revisions-Test als allgemeiner Leistungstest. Diagnostica , 17 , 14– 26
(1984). Reliabilitäts- und Validitätsuntersuchungen mit dem Prüfsystem für Schul- und Bildungsberatung (PSB). Psychologie und Praxis - Zeitschrift für Arbeits- und Organisationspsychologie , 28 , 32– 38
(1943). On the reliability of a weighted composite. Psychometrika , 8 , 161– 168
(1998). The institutional embeddedness of the stratification process. In Y. Shavit & W. Müller (Eds.), From school to work (pp. 1-48). Oxford: Clarendon Press
(1996). Intelligence: Knowns and unknowns. American Psychologist , 51 , 77– 101
(1938). Psychotechnische Eignungsprüfung und Anlernung im Flugmotorenbau. Industrielle Psychotechnik , 15 , 111– 162
(1980). Validity generalization results for tests used to predict job proficiency and training success in clerical occupations. Journal of Applied Psychology , 65 , 373– 406
(2004). Unveröffentlichter Arbeitsbericht . Bonn: Streitkräfteamt der Bundeswehr
(2003). VG2M: A computer program for conducting validity generalization analysis . [Computer software]. Chicago, IL: Illinois Institute of Technology
(1991). A new meta-analytic approach. Journal of Applied Psychology , 76 , 432– 446
(2003). Raven Progressive Matrices. In R. S. McCallum (Ed.), Handbook of nonverbal assessment (pp. 223-237). New York: Kluwer Academic/Plenum
(1990). Interrater reliability of job performance ratings: Growth to asymptote level with increasing opportunity to observe. Journal of Applied Psychology , 75 , 322– 327
(1999). An international look at selection practices: Nation and culture as explanations for variability in practice. Personnel Psychology , 52 , 359– 391
(2002). Cognitive and GMA testing in the European Community: Issues and evidence. Human Performance , 15 , 75– 96
(2003). Validity generalization of GMA tests across countries in the European Community. European Journal of Work and Organizational Psychology , 12 , 1– 17
(2003a). International validity generalization of GMA and cognitive abilities: A European community meta-analysis. Personnel Psychology , 56 , 573– 605
(2003b). A meta-analytic study of general mental ability validity for different occupations in the European community. Journal of Applied Psychology , 88 , 1068– 1081
(2001). Handbuch wirtschaftspsychologischer Testverfahren . Lengerich: Pabst Science Publishers
(1986). Eignung und Arbeitszufriedenheit: Beiträge zur Eignungsdiagnostik . Frankfurt: Peter Lang
(2002). The role of general cognitive ability and job performance: Why there cannot be a debate. Human Performance , 15 , 187– 211
(1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin , 124 , 262– 274
(1982). Progress in validity generalization: Comments on Callender and Osburn and further developments. Journal of Applied Psychology , 67 , 835– 845
(1985). Forty questions about validity generalization and meta-analysis. Personnel Psychology , 38 , 697– 798
(1987). Zur Vorhersagbarkeit des Ausbildungserfolgs im gehobenen Verwaltungsdienst durch einen auf der Grundlage des Berliner Intelligenzstrukturmodells entwickelten Test. DGP Informationen , 12/1987 , 29– 45
(1993a). Intelligenz und Ausbildungserfolg: Eine Untersuchung zur prognostischen Validität des I-S-T 70. Zeitschrift für Arbeits- und Organisationspsychologie , 37 , 52– 63
(1993b). Die Vorhersage des Ausbildungserfolgs bei verschiedenen Berufsgruppen durch Leistungstests. Zeitschrift für Arbeits- und Organisationspsychologie , 37 , 191– 196
(2004). Prädiktion von Ausbildungserfolg: Allgemeine Intelligenz (g) oder spezifische kognitive Fähigkeiten?. Zeitschrift für Personalpsychologie , 3 , 147– 158
(1995). ). Der I-S-T 70: Eine Analyse und Neubewertung. Diagnostica , 41 , 108– 130
(1984). Metaanalyses of validity studies published between 1964 and 1982 and the investigation of study characteristics. Personnel Psychology , 37 , 407– 422
(1995). Eine Bewährungskontrolle des DGP-Auswahlverfahrens für den mittleren feuerwehrtechnischen Dienst. DGP Informationen , 12/1995 , 21– 30
(1995). Stand und Perspektiven diagnostischer Verfahren in der Praxis - Ergebnisse einer repräsentativen Befragung westdeutscher Psychologen. Diagnostica , 41 , 3– 20
(1994). Communication rather than inspiration and perspiration? On performance requirements in highly qualified occupations. In K. A. Heller & E. A. Hany (Eds.), Competence and responsibility (Vol. 2, pp. 112-116). Ashland, OH: Hogrefe & Huber
(2004). Diagnose beruflicher Eignung und Leistung. In H. Schuler (Hrsg.), Lehrbuch Organisationspsychologie (3. Aufl., S. 289-343). Bern: Hans Huber
(1984). Erfolg von Mädchen in gewerblich-technischen Ausbildungsberufen: Ein Modellversuch. Psychologie und Praxis - Zeitschrift für Arbeits- und Organisationspsychologie , 28 , 67– 78
(1990). Predictive validity of school grades: A meta-analysis. Applied Psychology: An International Review , 39 , 89– 103
(1995). Validität eines Einstellungsinterviews zur Prognose des Ausbildungserfolgs. Zeitschrift für Pädagogische Psychologie , 9 , 45– 54
(2004). Meta-analysis: A comparison of approaches . Cambridge: Hogrefe & Huber
(2003). Berufliche Handlungskompetenz . Hohenheim: ibw
(1982). Zur Vorhersage des Berufserfolgs von Bewerbern für den mittleren Verwaltungsdienst in einer Kommunalverwaltung. DGP Informationen , 12/1982 , 6– 31
(1984). Vergleich der Ergebnisse aus Eignungsuntersuchungen und Zwischenprüfungen im gehobenen allgemeinen Verwaltungsdienst - eine Bewährungskontrolle. DGP Informationen , 12/1984 , 56– 74
(1996a). Unveröffentlichter Arbeitsbericht . Bonn: Streitkräfteamt der Bundeswehr
(1996b). Unveröffentlichter Arbeitsbericht . Bonn: Streitkräfteamt der Bundeswehr
(2001). Unveröffentlichter Arbeitsbericht . Bonn: Streitkräfteamt der Bundeswehr
(1991). HAWIE-R - Hamburg-Wechsler-Intelligenztest für Erwachsene, Revision 1991 . Bern: Huber
(1980). Untersuchung über die Vorhersage des Ausbildungserfolges von Krankenschwestern und-pflegern: Eine Bewährungskontrolle. DGP Informationen , 07/1980, , 21– 43
(1938). Primary mental abilities . Chicago, IL: University of Chicago Press
(1998). A meta-analytic review of predictors of job performance for salespeople. Journal of Applied Psychology , 83 , 586– 597
(1996). Comparative analysis of the reliability of job performance ratings. Journal of Applied Psychology , 81 , 557– 574
(1971). Grundintelligenztest Skala 3 - CFT 3: Handanweisung für die Durchführung, Auswertung und Interpretation . Braunschweig: Westermann
(1997). Standard Progressive Matrices (SPM). Zeitschrift für Differentielle und Diagnostische Psychologie , 18 , 117– 120
(1990). Untersuchungen zur Vorhersage des Ausbildungserfolges von Aufstiegsbewerbern für den gehobenen Polizeivollzugsdienst. DGP Informationen , 12/1990 , 51– 66
(1968). Eignungsbegutachtung von Körperbehinderten für einen Verwaltungsberuf - eine Bewährungskontrolle. Diagnostica , 14 , 70– 87
(