Diagnostische Kompetenz von Englischlehrkräften
Diagnostische Kompetenz von Englischlehrkräften bei der Bewertung von Schülerleistungen mit Hilfe des Gemeinsamen Europäischen Referenzrahmens für Sprachen
Abstract
Der vorliegende Beitrag thematisiert die diagnostische Kompetenz von Englischlehrkräften am Ende der Sekundarstufe I. Die 56 untersuchten Lehrkräfte wurden gebeten, für jeden der von ihnen unterrichteten 1 363 Schülerinnen und Schüler ein Niveau der Fremdsprachverwendung anzugeben, wie sie der Gemeinsame Europäische Referenzrahmen für Sprachen (GER) beschreibt. Den Lehrkrafturteilen wurden per Leistungstest ermittelte GER-Niveaus für das Leseverstehen in der ersten Fremdsprache Englisch gegenübergestellt, ihre Übereinstimmung anhand der Niveau-, Differenzierungs- und Rangkomponente quantifiziert. Jenseits einer Deskription diagnostischer Kompetenz adressiert der vorliegende Beitrag die Überlagerung der GER-Urteile durch die klasseninterne Norm der Notengebung, die über einen Abgleich von Lehrkrafturteilen und Zeugnisnoten im Fach Englisch empirisch geprüft wird. Zudem wird eine mehrebenenanalytische Modellierung diagnostischer Kompetenz vorgestellt. Sie prüft, inwieweit die Höhe der klassischen Rangkomponente sowie einer mehrebenenanalytischen Entsprechung der Niveaukomponente durch die Vertrautheit von Lehrkräften mit dem GER und seiner früheren Nutzung bei der Beurteilung der unterrichteten Schülerinnen und Schüler beeinflusst werden.
The present study addresses diagnostic competence of English language teachers at the end of lower secondary education. The 56 teachers assigned each of their respective students (N = 1 363) to a proficiency level of foreign language use according to the Common European Framework of Reference for Languages (CEFR). The teachers’ judgements were compared to CEFR proficiency level assignments estimated using data from a reading comprehension assessment of English as a foreign language. The consistency of proficiency level allocations was evaluated using level, differentiation, and ranking components. Beyond providing a description of diagnostic competence, the present study focuses on the influence of classroom halo effects on teachers’ CEFR proficiency level judgements by comparing teacher judgments and students’ English marks. A multilevel model of diagnostic competence is presented to assess to what extent the rank and level components are influenced by teachers’ familiarity with and use of the CEFR guidelines when judging student proficiency.
Literatur
(1995). Test specifications. In , Language test construction and evaluation (S. 9 – 39). Cambridge: Cambridge University Press.
(2004). Die PISA-Studie zur Lesekompetenz: Überblick und weiterführende Analysen. In , Struktur, Entwicklung und Förderung der Lesekompetenz Jugendlicher: Vertiefende Analysen der PISA 2000 Daten (S. 139 – 168). Opladen: Leske & Buderich.
(2001). Primary school teacher judgements of reading achievement. Educational Psychology, 21, 177 – 187.
(2006). Stichwort: Professionalität von Lehrkräften. Zeitschrift für Erziehungswissenschaft, 9, 469 – 520.
(2003). Schulumwelten–institutionelle Bedingungen des Lehrens und Lernens. In , PISA 2000. Ein differenzierter Blick auf die Länder der Bundesrepublik Deutschland (S. 261 – 331). Opladen: Leske + Budrich.
(2007). Standard-Setting. Thousand Oaks: Sage.
(2009). Hierarchische Linearere Modelle. In Enzyklopädie der Psychologie, Themenbereich B: Methodologie und Methoden, Serie IV: Evaluation, Bd. 1 Evaluationsforschung: Grundlagen und statistische Methoden der Evaluationsforschung (S. 335 – 362). Göttingen: Hogrefe.
(1998). Teachers’ judgements of students’ academic functioning: A comparison of actual and predicted performances. School Psychology Quarterly, 13, 8 – 24.
(2007). Centering predictor variables in cross-sectional multilevel models: A new look on an old issue. Psychological Methods, 12, 121 – 138.
(2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: lernen, lehren, beurteilen. Berlin: Langenscheidt.
(2010). Calibrating Standards-based Assessment Tasks for English as a First Foreign Language–Standard-setting Procedures in Germany. Münster: Waxmann,
(2008a). Die Videostudie des Englischunterrichts. In , Unterricht und Kompetenzerwerb in Deutsch und Englisch: Ergebnisse der DESI-Studie (S. 345 – 363). Weinheim: Beltz.
(2008b). Alltagspraxis des Englischunterrichts. In , Unterricht und Kompetenzerwerb in Deutsch und Englisch: Ergebnisse der DESI-Studie (S. 371 – 381). Weinheim: Beltz.
(1998). Centering decisions in hierarchical linear models: Implications for research in organizations. Journal of Management, 24, 623 – 641.
(1989). Teacher-based judgements of academic achievement: A review of literature. Review of Educational Psychology, 59, 297 – 313.
(2002). Diagnostische Kompetenz: Unterrichts- und lernrelevante Schülermerkmale und deren Einschätzung durch Lehrkräfte in der Unterrichtsstudie SALVE. In , Bildungsqualität von Schule: Schulische und außerschulische Bedingungen mathematischer, naturwissenschaftlicher und überfachlicher Kompetenzen. Zeitschrift für Pädagogik, 45. Beiheft (S. 65 – 82). Weinheim: Beltz
(2002). Multilevel Analysis: Techniques and Applications. Mahwah, NJ: Lawrence Erlbaum Associates.
(1995). Die Fragwürdigkeit der Zensurengebung. Texte und Untersuchungsberichte (9. unveränderte Aufl.).Weinheim: Beltz.
(1989). Certification of student competence. In , Educational Measurement (3rd ed.; pp. 485 – 514). New York: MacMillan.
(2006). The Bookmark Standard-Setting method: A literature review. Educational Measurement: Issues and Practice, 25, 4 – 12.
(2007). Lehrplansynopse für das Fach Englisch als 1. Fremdsprache für die Klassen 5 und 6 am Gymnasium. Klett-Verlag: Stuttgart [Zugriff am 10. 03. 2011; https://almanachdegotha.de/sixcms/list.php?page=titelfamilie&titelfamilie=Green+Line&modul=regionale_informationen#Niedersachsen]
(2003). Zur Entwicklung nationaler Bildungsstandards–Eine Expertise. Berlin: BMBF.
(2004). Bildungsstandards für die erste Fremdsprache (Englisch / Französisch) für den Mittleren Schulabschluss: Beschluss vom 04. 12. 2003. München: Luchterhand.
(2009). Bildungsstandards. In , Handbuch Bildungsforschung (2. Auflage) (S. 529 – 548). Wiesbaden: VS Verlag für Sozialwissenschaften.
(1982). Principles and practice of second language acquisition. Oxford: Pergamon.
(2009). Fachspezifität und Stabilität diagnostischer Kompetenz von Grundschullehrkräften in den Fächern Deutsch und Mathematik. Zeitschrift für Pädagogische Psychologie, 23, 211 – 222.
(2001). The Bookmark Procedure: Psychological perspectives. In , Setting Perfomance Standards: Concepts, Methods, and Perspectives (pp. 249 – 281). Mahwah, NJ: Lawrence Erlbaum Associates.
(2009). Diagnostische Fähigkeiten von Lehrkräften bei der Einschätzung von Schülerleistungen und Aufgabenschwierigkeiten bei Lernmedien mit instruktionalen Bildern. Zeitschrift für Pädagogische Psychologie, 23, 223 – 235.
(2010). Fremdsprachenlernen. In , Handwörterbuch Pädagogische Psychologie (4. Aufl.; S. 219 – 225). Weinheim: Beltz.
(2009). Validity issues in standard-setting studies. Studies in Educational Evaluation, 35, 95 – 101.
(2005). Identifying teacher expertise: An examination of researchers’ decision making. Educational Psychologist, 40, 13 – 25.
(2004). HLM 6 for Windows [Computer software]. Lincolnwood, IL: Scientific Software International, Inc.
(2008). Förderung adaptiver Lehrerkompetenz: Eine Interventionsstudie. Unterrichtswissenschaft. Zeitschrift für Lernforschung, 36, 17 – 36.
(2008). Developing standards-based assessment tasks for English as a first foreign language–Context, processes, and outcomes in Germany. Münster: Waxmann.
(1999). Schulleistung in Deutschland. Hohengehren: Schneider.
(1989). Testing meaning construction: Can we do it fairly? Language Testing, 6, 77 – 94.
(1971). Schätzung von Aufgabenschwierigkeiten durch Lehrer. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 3, 106 – 120.
(2010). Diagnostische Kompetenz von Eltern und Lehrern. In , Handwörterbuch Pädagogische Psychologie (4. Aufl.; S. 102 – 108). Weinheim: Beltz.
(1987). Diagnostische Kompetenz von Lehrern: Komponenten und Wirkungen. Empirische Pädagogik, 1, 27 – 52.
(Hrsg.). (2006). Rahmenlehrplan für die Grundschule und die Sekundarstufe I–Englisch 1./2. Fremdsprache. Berlin: SBJS.
(2004). Standards für die Lehrerbildung: Bildungswissenschaften. Beschluss der Kultusministerkonferenz vom 16. 12. 2004. Bonn.
(2005). Akkuratheit der Einschätzung von Schülermerkmalen durch Lehrer und das Konstrukt der diagnostischen Kompetenz. Zeitschrift für Pädagogische Psychologie, 19, 85 – 95.
(in print). Accuracy of Teachers’ Judgments of Students’ Academic Achievement: A Meta-Analysis. Journal of Educational Psychology.
(2008). Der Simulierte Klassenraum: Eine experimentelle Untersuchung zur diagnostischen Kompetenz. Zeitschrift für Pädagogische Psychologie, 22, 261 – 276.
(2002). A technique for setting standards and maintaining them over time. In , Measurement and multivariate analysis (Proceedings of the International Conference on Measurement and Multivariate Analysis, Banff, Canada, May 12 – 14, 2000) (pp. 325 – 332). Tokyo: Springer.
(2007). ACER ConQuest. Version 2.0. Generalised Item Response Software. Camberwell: ACER Press.
