Zum Einfluß von Biasvariablen auf die Bewertung universitärer Lehre durch Studierende
The Effects of Biasing Variables on Students' Ratings of Courses
Abstract
Zusammenfassung: Die vorliegende Arbeit beschäftigt sich mit der Frage, inwieweit Studierende in ihren Lehrveranstaltungsbeurteilungen durch Variablen beeinflußt werden, die in keinem Zusammenhang mit dem Lehrgeschehen stehen, wie z. B. biographische Merkmale von Studierenden und Lehrenden oder Umgebungsbedingungen, wie z. B. Lichtverhältnisse. Konkret wollten wir untersuchen, in welchem Ausmaß eine Varianzaufklärung der Veranstaltungsbewertung durch solche potentiellen Biasvariablen möglich ist und ob sich konstante Effekte über alle Fakultäten hinweg bzw. bei Gruppierung der Daten nach Veranstaltungstyp (Vorlesung versus Seminar/Übung) und Besuchsgrund (Pflicht versus Wahl) finden lassen. In einem stratifizierten Versuchsplan wurden in den Sommersemestern 1994 und 1995 an der Universität Wien Daten von 756 Studierenden aus 66 Lehrveranstaltungen erhoben. In den einzelnen Substichproben konnten unterschiedliche Varianzanteile durch die potentiellen Biasvariablen aufgeklärt werden. Speziell auf frei gewählte Seminare und Übungen hatten diese Variablen nur geringe Effekte. In Übereinstimmung mit den Ergebnissen früherer Untersuchungen zeigte sich, daß Interesse die einzige Variable ist, die über alle Substichproben hinweg systematisch mit den Urteilen der Studierenden kovariiert, wobei die Klärung der Frage, ob es sich hier um einen Bias handelt, zumindest eine weitere Erhebung (vor Beginn der Lehrveranstaltung) erfordert. In jedem Fall sollte das Interesse bei Lehrveranstaltungsevaluierungen kontrolliert werden.
Summary: The present study deals with a question that is often controversely discussed: Do student ratings reflect a confound of (biasing) background variables, such as characteristics of teachers or students, with teaching performance? In the study we investigated whether the students' ratings of a course can be predicted by biasing variables. In addition, we investigated whether there are differences in the amount of variance explained depending on discipline and the type of course (lecture or seminar) and reason for participation (required courses versus elective). In the Summer semesters of 1994 and 1995, data were collected from 756 students from 66 courses at the University of Vienna. Courses were selected based on a stratified research design. Results suggested that the amount of variance that can be explained by biasing variables varying across data. In particular, the amount of variability explained for elective seminars is very small. In agreement with previous research results indicated that only students' interest is substantially correlated with their ratings. However, to decide whether ratings are biased by interest an additional data collection (before course participation) is needed. In any case, students' interest should be statistically eliminated when evaluating courses.
Literatur
(1992). Using global student rating items for summative evaluation. Journal of Educational Psychology, 84, 563– 572
(1997). Navigating student ratings of instruction. American Psychologist, 52, 1198– 1208
(1994). Hörerbefragung an der Universität Mannheim: Konzeption, Erhebung, Auswertung. Empirische Pädagogik, 8, 109– 131
(1997). Möglichkeiten und Grenzen studentischer Lehrevaluation an der Universität Wien. Unveröffentlichte Diplomarbeit, Universität Wien.
(1997). Grading leniency is a removable contaminant of student ratings. American Psychologist, 52, 1209– 1217
(1996). Studentische Evaluation der Lehre - Sackgassen und Perspektiven. Zeitschrift für Empirische Pädagogik, 10, 181– 186
(1993). Lehrveranstaltungsanalyse soziologischer Lehrveranstaltungen an der Universität Linz. Österreichische Zeitschrift für Soziologie, 18, 56– 64
(1988). Studienmotivation und Veranstaltungsbeurteilung. Psychologie in Erziehung und Unterricht, 35, 119– 126
(1992). Interesse, Lernen und Leistung - Neue Forschungsansätze in der Pädagogischen Psychologie. Zeitschrift für Pädagogik, 38, 747– 770
(1993). Studentische Vorlesungskritik. Empirische Daten und Konsequenzen für die Lehre. Soziologie, 15, 39– 56
(1994). Wie erkennt man gute Lehre? Was studentische Vorlesungsbefragungen (nicht) sagen. Empirische Pädagogik, 8, 153– 168
(1995). Evaluation der Lehre durch Umfrageforschung? Methodische Fallstricke bei der Messung von Lehrqualität durch Befragung von Vorlesungsteilnehmern. In P. Ph. Mohler (Hrsg.), Hochschullehre. Ihre Evaluation als Herausforderung an die Empirische Sozialforschung (2., überarbeitete Aufl., S. 105-128). Münster: Waxmann.
(1984). Students' evaluations of university teaching: Dimensionality, reliability, validity, potential bias and utility. Journal of Educational Psychology, 76, 707– 754
(1993). The use of students' evaluations and an individually structured intervention to enhance university teaching effectiveness. American Educational Research Journal, 30, 217– 251
(1997). Making students' evaluations of teaching effectiveness effective. The critical issues of validity, bias, and utility. American Psychologist, 52, 1187– 1197
(1996a). Untersuchungen zur Brauchbarkeit studentischer Lehrevaluationen: Analysen der Validität und zu Auswirkungen ihres Einsatzes anhand des Heidelberger Inventars zur Lehrveranstaltungs-Evaluation (HILVE). Landau: Empirische Pädagogik.
(1996b). Zur Qualität studentischer Lehrveranstaltungsevaluationen: Eine Antwort auf Kritik an der Lehrevaluation. Zeitschrift für Pädagogische Psychologie, 10, 129– 145
(1997). Die studentische Beurteilung von Lehrveranstaltungen: Forschungsstand und Implikationen für den Einsatz von Lehrevaluationen. In R. S. Jäger, R. H. Lehmann & G. Trost (Hrsg.), Tests und Trends (Jahrbuch der Pädagogischen Diagnostik, Band 11, S. 12-53). Weinheim: Psychologie Verlags Union.
(1994). Entwicklung und Erprobung eines Fragebogens zur studentischen Veranstaltungsevaluation. Empirische Pädagogik, 8, 131– 152
(1997, September). Zu Sinn und Unsinn einer vergleichenden Evaluierung universitärer Lehre. Vortrag auf der 3. Tagung der Fachgruppe Methoden der DGfGs, Berlin.
(im Druck) Allgemeingültige Qualitätskriterien von Lehre - eine Fiktion? Ergebnisse einer repräsentativen Studie an der Universität Wien. Zeitschrift für Hochschuldidaktik,
(1978). Schätzverfahren - Ein Bericht über anglo-amerikanische Untersuchungen. In L. Huber, I. Bürmann, R. Francke & W. Schmidt (Hrsg.), Auswertung, Rückmeldung und Kritik im Hochschulunterricht (S. 66-85). Hamburg: Arbeitsgemeinschaft für Hochschuldidaktik.
