Die verflixten Distraktoren
Über den Nutzen einer theoretischen Distraktorenanalyse bei Matrizentests (für besser Begabte und Hochbegabte)
Abstract
Zusammenfassung. Zwei Intelligenztests, der „Bochumer Matrizentest-advanced” (BOMAT; Hossiep, Turck & Hasella, 1999) und der „Wiener Matrizentest” (WMT; Formann & Piswanger, 1979), wollen nicht nur im „Normalbereich” der Intelligenz, sondern – in Anschluss an die „Advanced Progressive Matrices” (APM) von Raven (1976) – auch innerhalb der Gruppe der intellektuell Hochbegabten bzw. Hochintelligenten zuverlässig und valide differenzieren. Beide Tests bestehen aus 40 (BOMAT, Form A) bzw. 24 (WMT) figuralen Mehrfachwahl-Matrizenaufgaben mit jeweils sechs bzw. acht Auswahlantworten. Es wird gezeigt, dass die Distraktoren dieser beiden Tests nicht sonderlich effektiv sind: Bei 35% (BOMAT, Form A) bzw. 75% (WMT) der Aufgaben kann mit einer recht einfachen Strategie (Abzählen von Matrixkomponenten, Teil- und Schnittmengenbildung) die jeweilige Lösung ohne Inspektion des Item-Stamms, also ohne das Finden der der Bezugs-Matrix zugrundeliegende(n) generellen Regel(n), gefunden werden. Es wird argumentiert, dass die mangelnde Effizienz der Distraktoren die Konstruktvalidität dieses Tests für die Gruppe der Hochbegabten vermutlich beeinträchtigt.
Abstract. The ”Bochumer Matrizentest-advanced” (BOMAT; Hossiep, Turck & Hasella, 1999) and the ”Wiener Matrizentest” (WMT; Formann & Piswanger, 1979) are aimed to differentiate within the group of highly gifted/highly intelligent subjects. These two tests consist of 40 (BOMAT, form A) respectively 24 (WMT) figural matrix items (multiple choice), following the seminal work of Raven’s Advanced Progressive Matrices (APM; Raven, 1976). Each multiple choice item comprises six (BOMAT), respectively eight (WMT) choices. It is shown that the item-distracters of many items of these two tests are not very effective: Without looking at the reference-matrices (item-stems), i.e., without figuring out the construction rule(s) of the matrices, the application of a very simple notational strategy (just counting the matrix components and analysing sets/subsets/intersections) leads in 35% (BOMAT, form A), respectively 75% (WMT) of the multiple choice items to the solution. It is emphasized that the insufficient distracters reduce the construct validity of the test to assess the intelligence of highly gifted/highly intelligent subjects.
Literatur
1996). The g factor. General intelligence and its im-plications. Chichester: Wiley & Sons.
(1990). What one intelligence test measures: A theoretical account of the processing in the Raven progressive matrices test. Psychological Review, 97, 404–431.
(1993). Human cognitive abilities. A survey of factor-analytic studies. Cambridge, MA: Cambridge University Press.
(2003).The higher-stratum structure of cognitive abilities: Current evidence supports g and about ten broad factors. In , The scientific study of general intelligence: Tribute to Arthur R. Jensen (pp. 5–21). Amsterdam: Pergamon.
(1963). Theory of fluid and crystallized intelligence: A critical experiment. Journal of Educational Psychology, 54, 1–22.
(1973). Handbook for the individual or group Culture Fair Intelligence Test (a measure of „g”): Scale 2, Form A and B. Champaign, Ill: Institute for Personality and Ability Testing.
(1962). Figure reasoning test. London: Lookwood.
(2004). FRT/FRT-J. Figure reasoning test. Neubearbeitung des „klassischen” Tests durch Neunormierung und die Erstellung der Parallelform. Harcourt Test Services: Frankfurt.
(2006). Spearman’s g: Past, present, and future. In , Human ability. Genetic and environmental influences (pp. 19–45). London: The Galton Institute.
(1979). WMT Wiener Matrizen-Test. Ein Rasch-skalierter sprachfreier Intelligenztest. Manual. Weinheim: Beltz Test.
(1979). Wiener Matrizen-Test WMT. Aufgabenheft. Weinheim: Beltz.
(2003). g, jobs and life. In , The scientific study of general intelligence: Tribute to Arthur R. Jensen (pp. 293–342). Amsterdam: Pergamon.
(2004). Intelligence: Is it the epidemiologists’ elusive „fundamental cause” of social class inequalities in health? Journal of Personality and Social Psychology, 86, 174–199.
(2002). Hochbegabte erkennen und fördern. In , Ohne Bildung keine Zukunft (S. 159–178). Frankfurt: Frankfurter Allgemeine Buch.
(1968). AH4 Group Test of General Intelligence. Slough, England: NFER Publishing Company.
(1970). AH4 Group Test of General Intelligence. Manual (rev. ed.). Windsor, England: NFER Publishing Company.
(1999). BOMAT-advanced – Bochumer Matrizentest. Handanweisung. Göttingen: Hogrefe.
(2006). Vergleich kriteriumsbezogener Validitäten verschiedener Intelligenztests zur Vorhersage von Ausbildungserfolg in Deutschland. Ergebnisse einer Metaanalyse. Zeitschrift für Personalpsychologie, 5, 145–162.
(1985), A conceptualisation of intellectual giftedness. In , The gifted and talented: Developmental perspectives (pp. 331– 360), Washington, DC: American Psychological Association.
(2006). BIS-HB. Berliner Intelligenzstrukturtest für Jugendliche: Begabungs- und Hochbegabungsdiagnostik. Göttingen: Hogrefe.
(1997). BIS-Test. Berliner Intelligenzstruktur-Test, Form 4. Göttingen: Hogrefe.
(1998). The g factor. The science of mental ability. Westport, CT: Praeger.
(1996). Begünstigt induktives Denken das Lösen komplexer Probleme? Experimentelle Studien zu Leutners Sahel-Problem. Zeitschrift für Experimentelle Psychologie, 43, 85–113.
(2004). Academic performance, career Potential, Creativity, and job performance: Can one construct predict them all? Journal of Personality and Social Psychology, 86, 148–161.
(2006). Element salience as a predictor of item difficulty for Raven’s Progressive Matrices. Intelligence,
(doi: 10.1016/j.intell.2006.10.001 (im Druck) .2007). Die Matrixkomponenten-Verschiebung – Ein einfaches und effektives Verfahren zur Distraktorenoptimierung. Marburg: Philipps-Universität (unveröffentlichtes Manuskript).
(2003a). NNAT Naglieri Nonverbal Ability Test. Individual Administration. Stimulus book. San Antonio, TX: The Psychological Corporation.
(2003b). NNAT Naglieri Nonverbal Ability Test. Individual Administration. Manual. San Antonio, TX: The Psychological Corporation.
(1987). Der Zahlen-Verbindungs-Test (2. Aufl.). Göttingen: Hogrefe.
(2001). Regelgeleitete Entwicklung eines figuralen Matrizentests zur Erfassung intellektueller Hochbegabung. Dissertation. Universität Münster.
(2003). Diagnostik intellektueller Hochbegabung. Testentwicklung zur Erfassung der fluiden Intelligenz. Göttingen: Hogrefe.
(2001). Testing intellectual giftedness on the Web: Development of a new Figural Matrices Test – online versus paper-and-pencil-version. www.psych.uni-goettingen.de/congress/gor-2001/contrib/preckel-franzis/preckel-franzis (aufgerufen am 20.09.2007).
(2003). Online- versus paper-pencil-version of a high potential intelligence test. Swiss Journal of Psychology, 62, 131–138.
(1976). Advanced Progressive Matrices, Set II. Oxford: Oxford University Press.
(2000). Context, visual salience, and inductive reasoning. Thinking and Reasoning, 6, 349–374.
(1987). The contribution of intelligence tests to the understanding of special children. In , Intelligence and exceptionality: New directions for theory, assessment, and instructional practices (pp. 21–56). Norwood, NJ: Ablex.
(2004). Leseverständnis ohne Lesen? Plenarvortrag, 2. Fachtagung für empirische Unterrichts- und Schulforschung in Göttingen. Universität Göttingen: ZEUS (12.6. 2004).
(2006a). Notwendige Klarstellungen zur Diskussion um Hochbegabung und Hochbegabte. In , Beyond Standards. Hochbegabtenförderung weltweit – frühe Förderung und Schule. Bad Boll: Akademie Multimedia 4 (CD).
(2006b). Lesen ohne Leseverständnis? Kritische Anmerkungen zu PISA. Vortrag, Symposium Leseverständnis, Universität Salzburg. Salzburg, Fachbereich Erziehungswissenschaft und Kulturwissenschaften (9.11.2006).
(2007). Leseverständnis ohne Lesen? Zur Konstruktvalidität von multiple-choice-Leseverständnistestaufgaben. Zeitschrift für Pädagogische Psychologie, 21, 305–314.
(2006). Hochbegabung. In , Leistung und Leistungsdiagnostik (S. 187–222). Heidelberg: Springer.
(1998a). Messbare Personenmerkmale: Stabilität, Variabilität und Validität zur Vorhersage zukünftiger Berufsleistungen und berufsbezogenen Lernens. In , Potenzialfeststellung und Personalentwicklung (S. 15–43). Göttingen: Verlag für Angewandte Psychologie.
(1998b). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262–274.
(2004). General mental ability in the world of work: Occupational attainment and job performance. Journal of Personality and Social Psychology, 86, 162–173.
(1982). Converging on correct answers: A peculiarity of multiple choice items. Journal of Educational Measurement, 19, 211–220.
(1927). The abilities of man. New York: Macmillan.
(1950). Human ability: A continuation of „The abilities of man”. London: Macmillan.
(2004). Definitions and conceptions of giftedness. Thousand Oaks: Corwin Press.
.(2001). The predictive value of IQ. Merrill-Palmer Quarterly, 47, 1–41.
(2007). Intelligence and socioeconomic success: A meta-analytic review of longitudinal research. Intelligence, 35, 401–426.
(1985). Hamburg-Wechsler-Intelligenztest für Kinder – Revision 1983 (HAWIK-R) (3. Aufl.). Bern: Huber.
(1999). HAWIK III Hamburg-Wechsler-Intelligenztest für Kinder. Manual (3. Aufl.). Bern: Huber.
(1938). Primary mental abilities. Chicago: University of Chicago Press.
(1941). Factorial studies of intelligence. Chicago: University of Chicago Press.
(1991). Inductive reasoning across cultures: An empirical investigation. Tilburg: Catholic University of Brabant.
(1994). Error analysis of Raven test performance. Personality and Individual Differences, 16, 433–445.
(1998). CFT 20. Grundintelligenztest Skala 2 (CFT20) mit Wortschatztest (WS) und Zahlenfolgentest (ZF) (4. Aufl.). Göttingen: Hogrefe.
(1981). Convergence principles: Information in the answer sets of some multiple-choice intelligence tests. Applied Psychological Measurement, 5, 21–27.
(