Leseverständnis ohne Lesen?
Zur Konstruktvalidität von multiple-choice-Leseverständnistestaufgaben
Abstract
Zusammenfassung. Wiederholt wurden Zweifel an der Konstruktvalidität von multiple-choice-Leseverständnistestaufgaben geäußert. Diese bestehen üblicherweise aus den drei Teilen “Text”, “Fragen” und “Antworten”. In drei aufeinander aufbauenden Feldexperimenten (N1 = 371, N2 = 349, N3 = 402) bearbeiteten Schüler der 7. bis 9. Klassenstufe verschiedene Leseverständnistestversionen, in denen sukzessive zentrale Komponenten eliminiert wurden: “Original”, “ohne Text”, “ohne Fragen”, “ohne Text und ohne Fragen”. Mit abnehmendem Informationsgehalt wurden die Aufgaben erwartungsgemäß schwieriger. Jedoch lösten die Schüler in den Versionen “Original”, “ohne Text” und “ohne Fragen” deutlich und in der Version “ohne Text und ohne Fragen” teilweise mehr Aufgaben “richtig”, als bei reinem Raten zu erwarten wäre. Dies kann in den Versionen, in denen kein Text vorgegeben wurde, nicht auf “Lesen” zurückgeführt werden. Verbale Intelligenz erwies sich als bedeutsamer Prädiktor der Leseverständnistestleistung. Die Relevanz der Befunde für eine konstruktvalide Leseverständnisdiagnostik wird diskutiert.
Abstract. The construct-validity of multiple-choice test items of reading comprehension was repeatedly criticized. These multiple-choice test items comprise usually three components: A short text, questions tied to the text, multiple-choice answers. In a series of three experiments, students (grade 7 to 9; N1 = 371, N2 = 349, N3 = 402) worked on different versions of a reading comprehension test, in which different relevant components were successively removed: “Original version”, “version without text”, “version without questions”, “version without text and without questions”. As expected, the test items became more difficult when relevant information was eliminated. Regarding the “original version”, the “version without text”, and the “version without questions” (and to some extent even the “version without text and without questions”), performance was better than at the chance level (i.e., when answers were chosen randomly). Consequentially, the achievement in the conditions without text cannot be attributed to “reading comprehension”. Verbal intelligence seems to be a relevant predictor of the achievement in the reading comprehension tests. The relevance of these results regarding the construct-valid diagnostics of reading comprehension is discussed.
References
(1978-1979). Hierarchies in the skill of Davis' Reading Comprehension Test, Form D: An empirical investigation using a latent trait model. Reading Research Quarterly, 19, 182– 200
(1971). Verständiges Lesen LV 5-6 . Weinheim: Beltz
(1972). Verständiges Lesen LV 7-9 (2. Aufl.). Weinheim: Beltz
(2001). Lesekompetenz: Testkonzeption und Ergebnisse. In J. Baumert, E. Klieme, M. Neubrand, M. Prenzel, U. Schiefele, W. Schneider, P. Stanat, K.-J. Tillmann & M. Weiß (Hrsg.), PISA 2000. Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich (S. 39-137). Wiesbaden: VS Verlag für Sozialwissenschaften
(1989). Frankfurter Analogietest (FAT 6-9) . Weinheim: Beltz
(2007). Was messen internationale Schulleistungsstudien? - Resultate kumulativer Wissenserwerbsprozesse. Eine Antwort auf Heiner Rindermann. Psychologische Rundschau, 58, 118– 128
(1968). Information removed from multiple-choice item responses by selected grammatical categories. Psychological Reports, 23, 613– 614
Hrsg. (2003). Erste Ergebnisse aus IGLU. Schülerleistungen am Ende der vierten Jahrgangsstufe im internationalen Vergleich . Münster: Waxman
(1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum
(1976). Mannheimer Intelligenztest für Kinder und Jugendliche (MIT-KJ) . Weinheim: Beltz
(1944). Fundamental factors of comprehension in reading. Psychometrika, 9, 185– 197
(1939). Chicago Reading Test D1 . Milwaukee: Hale & Co
(1931). A method for measuring retention in reading. Journal of Educational Research, 24, 202– 208
(1985). Reading knowledge and reading comprehension of fourth-grade children. Perceptual and Motor Skills, 60, 229– 230
Hrsg. (1980). Rahmenrichtlinien Sekundarstufe I, Deutsch . Frankfurt: Diesterweg
(1963). Leistungs-Prüf-System (LPS) . Göttingen: Hogrefe
(1983). Reading comprehension assessment: A cognitive basis . Newark, Del: International Reading Association
(1995). The SAT reading task in Question: Reply to Freedle and Kostin. Psychological Science, 6, 126– 127
(2001). The contribution of passage and no-passage factors to item performance on the SAT reading task. Educational Assessment, 7, 165– 176
(1990). Answering reading comprehension items without passages on the SAT. Psychological Science, 1, 122– 127
(2001). Answering quasi-randomized reading items without the passages on the SAT-I. Journal of Educational Psychology, 93, 772– 775
(1998). Würzburger Leise Leseprobe (WLLP) . Göttingen: Hogrefe
(2006). HAMLET 3-4, Hamburger Lesetest für 3. bis 4.Klassen (2. Aufl.). Weinheim: Beltz
(2006). ELFE 1-6. Ein Leseverständnistest für Erst- bis Sechstklässler . Göttingen: Hogrefe
(1971). Analytischer Intelligenztest (AIT) . Bern: Huber
(1996). Changes in reading comprehension across cultures and over time . Münster: Waxmann
(2007). PISA misst Kompetenzen. Eine Replik auf Rindermann (2006): Was messen internationale Schulleistungsstudien?. Psychologische Rundschau, 58, 128– 136
(1964). Ability of students to identify correct responses before reading. Journal of Educational Research, 58, 181– 183
(1972). Objective evaluation of the quality of multiple-choice test items designed to measure comprehension of reading passages. Reading Research Quarterly, 8, 62– 71
(2006). Was messen internationale Schulleistungsstudien? Schulleistungen, Schülerfähigkeiten, kognitive Fähigkeiten, Wissen oder allgemeine Intelligenz?. Psychologische Rundschau, 57, 69– 86
(2007). Intelligenz, kognitive Fähigkeiten, Humankapital und Rationalität auf verschiedenen Ebenen. [Antwort auf die Kritiken von Prenzel et al. und Baumert et al. auf den Beitrag “Was messen internationale Schulleistungsstudien? Schulleistungen, Schülerfähigkeiten, kognitive Fähigkeiten, Wissen oder allgemeine Intelligenz?” in der Psychologischen Rundschau, 2006, 57, Psychologische Rundschau, 58, 137-145
(1985). Dimensionen des Leseverständnisses . Braunschweig: Pedersen
(1987). Leseverständnis oder Leseverständnisse?. Zeitschrift für Pädagogische Psychologie, 1, 175– 196
(2006). Leseverständnis. In D.H. Rost (Hrsg.), Handwörterbuch Pädagogische Psychologie (3. Aufl., S. 450-460). Weinheim: Psychologie Verlags Union
(1968). Effect of word associations on reading speed, recall, and guessing behaviour on tests. Journal of Educational Psychology, 59, 12– 15
(1969). Differential measurement of reading abilities at the elementary school level. Reading Research Quarterly, 5, 84– 89
(1917a). Reading as reasoning: A study of mistakes in paragraph reading. Journal of Educational Psychology, 8, 323– 332
(1917b). The psychology of thinking and the case of reading. Psychological Review, 24, 220– 234
(1973-1974). “Reading as reasoning”. Reading Research Quarterly, 9, 135– 147
(1973-1974). Determining the passage dependency of comprehension questions in 5 major tests. Reading Research Quarterly, 9, 206– 223
(2006). Print- und Hypertextlesekompetenz im Vergleich. Eine Untersuchung von Leistungsdaten aus der Internationalen Grundschul-Lese-Untersuchung (IGLU) und der Ergänzungsstudie Lesen am Computer (LaC) . Münster: Waxmann
(1969). A cross-validation study of the relationship of reading test items to their relevant paragraphs. Perceptual and Motor Skills, 29, 11– 14
(1987). Assessing the dimensionality of NEAP reading data. Journal of Educational Measurement, 24, 293– 308
