Multivariate Reliabilitäts- und Generalisierbarkeitstheorie in der Lehrevaluationsforschung
Abstract
Zusammenfassung: Die Evaluation der akademischen Lehre ist gekennzeichnet durch die Anwendung von Fragebogeninventaren unter unterschiedlichen Bedingungen (Zeitpunkte, Lehrende, Veranstaltungstypen, ...). Die Gütekriterien dieser Verfahren werden jedoch meist als allgemein gültig angegeben. Mit der Generalisierbarkeitstheorie (GT) und im Weiteren der multivariaten Reliabilitäts- und Validitätstheorie (MRVT) von Wittmann (1985) wird diese implizite Annahme der Bedingungskonstanz der Reliabilität selbst empirisch prüfbar. Im Rahmen eines Projektes zur Evaluation des Studiengangs “Forstwissenschaft” 1996 in Freiburg beurteilten 59 Studierende des 2.Semesters und 38 Studierende des 8.Semesters wiederholt zeitlich gestaffelte Blocklehrveranstaltungen mit dem “Heidelberger Inventar zur Lehrevaluation” (HILVE). Es zeigte sich zwar eine hohe multivariate totale Reliabilität und Generalisierbarkeit des HILVE-Inventars, dennoch waren nicht unerhebliche Dispositionseffekte und eine hohe Variabilität des studentischen Urteils innerhalb und zwischen Lehrveranstaltungen nachweisbar. Der HILVE erweist sich jedoch als änderungssensitiv für die Anwendung in der Lehrevaluation.
Summary: The evaluation of academic teaching takes place under varying conditions (timepoints, teachers, types of courses,...) using evaluation inventories. The validation criteria of measures are supposed to be generally valide. The generalizability theory (GT) and further the multivariate reliability and validation theory (MRVT) of Wittmann (1985) makes this implicit assumptions of constancy of conditions to a empirical testable hypothesis. A project for a evaluation of the new curriculum “Forest Science” 1996 in Freiburg serves as a database: 59 students of the 2.semester, 38 students of the 8.semester rated repeatedly time-sequential block courses on the “Heidelberg Inventory of teaching evaluation”(HILVE). High multivariate total reliability and generalizability of the HILVE-inventory can be shown. But there is a high variability of student judgments within and between courses. However, the HILVE is proven as change sensitive for the objective of teaching evaluation.
References
(2001). Generalizability theory. . New York: Springer.
(1981). Extension of generalizability theory and its application in educational measurement.. Journal of Educational Measurement, 18, 183– 204
(1972). The dependability of behavioral measurements. Theory of generalizability of scores and profiles. . New York: Wiley.
(1994). Evaluation der Lehre durch Umfrageforschung? Methodische Fallstricke bei der Messung von Lehrqualitäten durch Befragungen von Vorlesungsteilnehmer.. In P. Mohler (Hrsg.), Universität und Lehre - Ihre Evaluation als Herausforderung an die Empirische Sozialforschung (S.91-114). Münster: Waxmann.
(2001). Studierendenbefragungen als Evaluation der Lehre? Anforderungen an Methodik und Design.. In U. Engel (Hrsg.), Hochschulranking. Qualitätsbewertung von Studium und Lehre (S.121-176). Frankfurt: Campus.
(1992). The optimization of multivariate generalizability studies with budget constraints.. Educational and Psychological Measurement, 53, 301– 308
(1984). Students' evaluations of university teaching: Dimensionality, reliability, validity, potential bias and utility.. Journal of Educational Psychology, 76, 707– 754
(1997). Making students' evaluation of teaching effectiveness effective. The critical issues of validity, bias and utility.. American Psychologist, 52, 1187– 1197
(2001). Studienreform als Programm. Programmevaluation zur Akzeptanz des reformierten Studiengangs Forstwissenschaft bei Lehrenden und Studierenden. . Landau: Empirische Pädagogik.
(1984). Multivariate generalizability theory in educational measurement: An empirical study.. Applied Psychological Measurement, 8, 219– 230
(1993). Prinzip, Nutzen und Grenzen der Generalisierungstheorie.. Empirische Pädagogik, 7, 63– 85
(1996). Untersuchungen zur Brauchbarkeit studentischer Lehrevaluationen: Analysen der Validität und zu Auswirkungen ihres Einsatzes anhand des Heidelberger Inventars zur Lehrveranstaltungsevaluation (HILVE). . Landau: Empirische Pädagogik.
(1998). Generalisierbarkeit studentischer Veranstaltungsbeurteilungen. Sind Lehrevaluationen generalisierbar auf andere Veranstaltungen eines Dozenten oder auf inhaltsgleiche Parallelveranstaltungen verschiedener Dozenten?. Psychologie in Erziehung und Unterricht, 44, 216– 234
(1994). Das Heidelberger Inventar zur Lehrveranstaltungsevaluation (HILVE). . Heidelberg: Ansanger.
(1986). Aggregation und Vorhersagbarkeit. Vom Nutzen des Aggregationsansatzes für die Persönlichkeitsforschung. . Rheinfelden: Schäuble.
(1989). Generalizability Theory.. American Psychologist, 44, 922– 932
(2000). Zum Einfluss von Biasvariablen auf die Bewertung universitärer Lehre durch Studierende.. Zeitschrift für Pädagogische Psychologie, 14, 38– 47
(2000). Fragebogen zur Evaluation von universitären Lehrveranstaltungen durch Studierende und Lehrende.. Diagnostica, 46, 169– 181
(1989). Psychophysiological assessment: Conceptual, psychometric, and statistical issues.. In G. Turpin (Ed.), Handbook of clinical psychophysiology (pp.71-104). Chichester: Wiley.
(1997). Using generalizability theory to assess the reliability of student ratings of academic advising.. Journal of Experimental Education, 65, 367– 379
(1981). Multivariate generalizability of general educational development ratings.. Journal of Educational Measurement, 18, 13– 22
(1985). Evaluationsforschung. . Heidelberg: Springer-Verlag.
(1988). Multivariate reliability theory: Principles of symmetry and successful validation strategies.. In J.R. Nesselroade & R.B. Cattell (Eds.), Handbook of multivariate experimental psychology (2nd ed., pp.505-560). New York: Plenum.
(1990). Brunswik-Symmetrie und die Konzeption der Fünf-Datenboxen - Ein Rahmenkonzept für umfassende Evaluationsforschung.. Zeitschrift für Pädagogische Psychologie, 4, 241– 252
