Ergebnisdarstellung in der Lehrveranstaltungsevaluation
Effekte verschiedener Berichte auf die Qualität von Lehrveranstaltungen
Abstract
Nach Marsh (2007) ist eine Funktion der Lehrveranstaltungsevaluation das diagnostische Feedback und dient der Verbesserung der Lehre. Doch der Weg vom Ergebnisbericht bis zur Veränderung der nächsten Lehrveranstaltung ist „weit und beschwerlich”, wie Helmke und Hosenfeld (2005) in ihrem Rezeptionsmodell darlegen. Zusätzlich zur bereits etablierten langen Ergebnisdarstellung wird eine neue kompakte Ergebnisdarstellung für den Kontext der Lehrveranstaltungsevaluation entwickelt. Die Studie untersucht in einem randomisierten Experiment mit N = 283 Dozenten die Wirkung der beiden Ergebnisdarstellungen auf die Lehrveranstaltungsqualität. Letztere erfasst der Fragebogen PELVE (Born, Loßnitzer & Schmidt, 2006) auf sieben latenten Dimensionen. Es wird ein Multi-Level-Strukturgleichungsmodell für kategoriale Variablen in Mplus spezifiziert. Die Ergebnisse zeigen, dass Dozenten mit dem kompakten Bericht höhere Werte auf der Bewertungsdimension Begleitmaterialien erreichen. Trotz höherer Komplexität finden sich keine Hinweise auf negative Effekte des kompakten Ergebnisberichts auf die Qualität der folgenden Lehrveranstaltung.
According to Marsh (2007) students evaluations of teaching (SET) are collected to provide diagnostic feedback to teachers for improving teaching. However, the way from evaluation to innovation is far and troublesome, as Helmke and Hosenfeld (2005) describe in their perception model. In addition to the already existing long report we developed a new compact report for SET data. We examine in a randomized experiment with N = 283 lecturers, the effect of the two reports on the course quality. Course quality is measured by the questionnaire PELVE (Born, Loßnitzer, & Schmidt, 2006) on seven latent dimensions. A multi level structural equation model for categorical variables is specified in Mplus. The results show that lecturers with the compact report achieve higher scores on the dimension course material. Despite higher information density, we find no evidence for negative effects of the compact report on the course quality.
Literatur
2006). Lehrveranstaltungsevaluation an der Friedrich-Schiller-Universität Jena–Eine Analyse der Dimensionalität der eingesetzten Fragebögen. In B. Krause & P. MetzlerHrsg., Empirische Evaluationsmethoden (Bd. 10, S. 99 – 116). Berlin: ZeE.
(1988). Statistical Power Analysis for the Behavioral Sciences. Hillsdale, NJ: Erlbaum.
(1996). Evaluierung der universitären Lehre durch Studenten und Absolventen. Zeitschrift für Sozialisationsforschung und Erziehungssozialisation, 16, 149 – 164.
(2010). Statistik und Forschungsmethoden. Weinheim: Beltz.
(1976). The superior college teacher from the students’ view. Research in Higher Education, 5, 243 – 288.
(2013). Faire Vergleiche in der Schulleistungsforschung–Methodologische Grundlagen und Anwendung auf Vergleichsarbeiten. Dissertation, Friedrich-Schiller-Universität Jena.
(2010). Theorie und Analyse kausaler Effekte. In H. Holling & B. SchmitzHrsg., Handbuch Statistik, Methoden und Evaluation (S. 487 – 495). Göttingen: Hogrefe.
(2011). Zwischenauswertung im Semester: Lehrveranstaltungen gemeinsam verändern. Zeitschrift für Hochschulentwicklung, 6 (3+4), 310 – 318.
(2012). Evaluationsstandards und Instrumente der Qualitätsentwicklung im Bereich Studium und Lehre (Evaluationsordnung). Verkündungsblatt der Friedrich-Schiller-Universität Jena (8/2015), 252 – 255.
(2012). Infovis and Statistical Graphics: Different Goals, Different Looks. Journal of Computational and Graphical Statistics, 22, 2 – 28.
(2003). Das Trierer Inventar zur Lehrveranstaltungsevaluation (TRIL): Entwicklung und erste testtheoretische Erprobungen. In G. Krampen & H. ZayerHrsg., Psychologiedidaktik und Evaluation IV (S. 114 – 128). Bonn: Deutscher Psychologen Verlag.
(2005). Standardbezogene Unterrichtsevaluation. In G. BräggerB. BucherN. LandwehrHrsg., Schlüsselfragen zur externen Schulevaluation (S. 127 – 151). Bern: Hep-Verlag.
(1982). SEEQ: A reliable, valid, and useful instrument for collecting students’ evaluations of university teaching. British Journal of Educational Psychology, 52, 77 – 92.
(2007). Students’ evaluations of university teaching: Dimensionality, reliablity, validity, potential biases and usefulness. In R. P. Perry & J. C. SmartEds., The scholarship of teaching and learning in Higher Education: An evidence-based perspective (pp. 319 – 383). Dordrecht: Springer.
(2010). Rückmeldungen nach Vergleichsarbeiten im Kontext des schulischen Qualitätsmanagements: Drei explorative Studien zu Gestaltung und Rezeption im Anschluss an KOALA-S. Berlin: Mensch & Buch.
(1984). A general Structural Equation Model with dichotomous, ordered categorical and continuous latent variable indicators. Psychometrika, 49, 115 – 132.
(1997). Robust inference using weighted least squares and quadratic estimating equations in latent variable modeling with categorical and continuous outcomes [Bericht]. Zugriff am 16. 01. 2014 unter www.gseis.ucla.edu/faculty/muthen/articles/Article_075.pdf
(1998 – 2012). Mplus User’s Guide. (7th ed). Los Angeles, CA: Muthén & Muthén.
(2006). Methodische Anforderungen an schulische Leistungsmessung–auf dem Weg zu fairen Vergleichen. In H. Kuper & J. SchneewindHrsg., Rückmeldung und Rezeption von Forschungsergebnissen (S. 59 – 74). Münster: Waxmann.
(2001). Die studentische Beurteilung von Lehrveranstaltungen–Forschungsstand und Implikationen. In C. SpielHrsg., Evaluation universitärer Lehre –zwischen Qualitätsmanagement und Selbstzweck (S. 61 – 88). Münster: Waxmann.
(2009). Lehrevaluation: Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen (2. Aufl.). Landau: Empirische Pädagogik e. V.
(2008). For objective causal inference, design trumps analysis. The Annals of Applied Statistics, 2, 808 – 840.
(2003). Evaluating the fit of Structural Equation Models: Tests of significance and descriptive Goodness-of-Fit Measures. Methods of Psychological Research Online, 8 (2), 23 – 74.
(2007). Personalentwicklung für junge wissenschaftliche Mitarbeiter/-innen: Kompetenzprofil und Lehrveranstaltungsevaluation als Instrumente hochschulischer Personalentwicklung. Dissertation, Friedrich-Schiller-Universität Jena.
(2010). Lehrveranstaltungsevaluation: State of Art, ein Definitionsvorschlag und Entwicklungslinien. Zeitschrift für Evaluation, 9 , 49 – 72.
(2013). Gute Lehre kann man messen! Mehrebenen-Faktorenanalyse in der Lehrevaluation [Abstract]. In H. WeberHrsg., 12. Arbeitstagung der Fachgruppe Differentielle Psychologie, Persönlichkeitspsychologie und Psychologische Diagnostik (S. 115). Universität Greifswald.
(2000). Fragebogen zur Evaluation universitärer Lehrveranstaltungen durch Studierende und Lehrende. Diagnostica, 46, 169 – 181.
(2014). Causal inference on total, direct, and indirect effects. In A. C. MichalosEds., Encyclopedia of Quality of Life and Well-Being Research (pp. 606 – 630). Dordrecht: Springer.
(2015). A theory of states and traits–revised. Annual Review of Clinical Psychology, 11, 71 – 98. doi: 10.1146/annurev-clinpsy-032813-153719
(2004). Situationsbericht 2004: zum Stand der Lehrveranstaltungsevaluation. Friedrich-Schiller-Universität Jena.
(2011). The visual display of quantitative information. Cheshire, CT: Graphics Press.
(2013). Fallstricke der Lehrevaluation. Möglichkeiten und Grenzen der Messbarkeit von Lehrqualität. Frankfurt am Main: Campus.
(