Skip to main content
Published Online:https://doi.org/10.1026/0012-1924/a000128

Nach Marsh (2007) ist eine Funktion der Lehrveranstaltungsevaluation das diagnostische Feedback und dient der Verbesserung der Lehre. Doch der Weg vom Ergebnisbericht bis zur Veränderung der nächsten Lehrveranstaltung ist „weit und beschwerlich”, wie Helmke und Hosenfeld (2005) in ihrem Rezeptionsmodell darlegen. Zusätzlich zur bereits etablierten langen Ergebnisdarstellung wird eine neue kompakte Ergebnisdarstellung für den Kontext der Lehrveranstaltungsevaluation entwickelt. Die Studie untersucht in einem randomisierten Experiment mit N = 283 Dozenten die Wirkung der beiden Ergebnisdarstellungen auf die Lehrveranstaltungsqualität. Letztere erfasst der Fragebogen PELVE (Born, Loßnitzer & Schmidt, 2006) auf sieben latenten Dimensionen. Es wird ein Multi-Level-Strukturgleichungsmodell für kategoriale Variablen in Mplus spezifiziert. Die Ergebnisse zeigen, dass Dozenten mit dem kompakten Bericht höhere Werte auf der Bewertungsdimension Begleitmaterialien erreichen. Trotz höherer Komplexität finden sich keine Hinweise auf negative Effekte des kompakten Ergebnisberichts auf die Qualität der folgenden Lehrveranstaltung.


Result Reports for Students’ Evaluations of Teaching: Effects of Different Reports on Course Quality

According to Marsh (2007) students’ evaluations of teaching (SET) are collected to provide diagnostic feedback to teachers for improving teaching. However, the way from evaluation to innovation is far and troublesome, as Helmke and Hosenfeld (2005) describe in their perception model. In addition to the already existing long report we developed a new compact report for SET data. We examine in a randomized experiment with N = 283 lecturers, the effect of the two reports on the course quality. Course quality is measured by the questionnaire PELVE (Born, Loßnitzer, & Schmidt, 2006) on seven latent dimensions. A multi level structural equation model for categorical variables is specified in Mplus. The results show that lecturers with the compact report achieve higher scores on the dimension course material. Despite higher information density, we find no evidence for negative effects of the compact report on the course quality.

Literatur

  • Born, S., Loßnitzer, T. & Schmidt, B. (2006). Lehrveranstaltungsevaluation an der Friedrich-Schiller-Universität Jena–Eine Analyse der Dimensionalität der eingesetzten Fragebögen. In B. Krause & P. MetzlerHrsg., Empirische Evaluationsmethoden (Bd. 10, S. 99 – 116). Berlin: ZeE. First citation in articleGoogle Scholar

  • Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. Hillsdale, NJ: Erlbaum. First citation in articleGoogle Scholar

  • Daniel, H.-D. (1996). Evaluierung der universitären Lehre durch Studenten und Absolventen. Zeitschrift für Sozialisationsforschung und Erziehungssozialisation, 16, 149 – 164. First citation in articleGoogle Scholar

  • Eid, M., Gollwitzer, M. & Schmitt, M. (2010). Statistik und Forschungsmethoden. Weinheim: Beltz. First citation in articleGoogle Scholar

  • Feldman, K. A. (1976). The superior college teacher from the students’ view. Research in Higher Education, 5, 243 – 288. First citation in articleCrossrefGoogle Scholar

  • Fiege, C. (2013). Faire Vergleiche in der Schulleistungsforschung–Methodologische Grundlagen und Anwendung auf Vergleichsarbeiten. Dissertation, Friedrich-Schiller-Universität Jena. First citation in articleGoogle Scholar

  • Fiege, C., Kröhne, U. & Steyer, R. (2010). Theorie und Analyse kausaler Effekte. In H. Holling & B. SchmitzHrsg., Handbuch Statistik, Methoden und Evaluation (S. 487 – 495). Göttingen: Hogrefe. First citation in articleGoogle Scholar

  • Frank, A., Fröhlich, M. & Lahm, S. (2011). Zwischenauswertung im Semester: Lehrveranstaltungen gemeinsam verändern. Zeitschrift für Hochschulentwicklung, 6 (3+4), 310 – 318. First citation in articleGoogle Scholar

  • Friedrich-Schiller-Universität Jena. (2012). Evaluationsstandards und Instrumente der Qualitätsentwicklung im Bereich Studium und Lehre (Evaluationsordnung). Verkündungsblatt der Friedrich-Schiller-Universität Jena (8/2015), 252 – 255. First citation in articleGoogle Scholar

  • Gelman, A. & Unwin, A. (2012). Infovis and Statistical Graphics: Different Goals, Different Looks. Journal of Computational and Graphical Statistics, 22, 2 – 28. First citation in articleCrossrefGoogle Scholar

  • Gollwitzer, M. & Schlotz, W. (2003). Das Trierer Inventar zur Lehrveranstaltungsevaluation (TRIL): Entwicklung und erste testtheoretische Erprobungen. In G. Krampen & H. ZayerHrsg., Psychologiedidaktik und Evaluation IV (S. 114 – 128). Bonn: Deutscher Psychologen Verlag. First citation in articleGoogle Scholar

  • Helmke, A. & Hosenfeld, I. (2005). Standardbezogene Unterrichtsevaluation. In G. BräggerB. BucherN. LandwehrHrsg., Schlüsselfragen zur externen Schulevaluation (S. 127 – 151). Bern: Hep-Verlag. First citation in articleGoogle Scholar

  • Marsh, H. W. (1982). SEEQ: A reliable, valid, and useful instrument for collecting students’ evaluations of university teaching. British Journal of Educational Psychology, 52, 77 – 92. First citation in articleCrossrefGoogle Scholar

  • Marsh, H. W. (2007). Students’ evaluations of university teaching: Dimensionality, reliablity, validity, potential biases and usefulness. In R. P. Perry & J. C. SmartEds., The scholarship of teaching and learning in Higher Education: An evidence-based perspective (pp. 319 – 383). Dordrecht: Springer. First citation in articleCrossrefGoogle Scholar

  • Müller, A. (2010). Rückmeldungen nach Vergleichsarbeiten im Kontext des schulischen Qualitätsmanagements: Drei explorative Studien zu Gestaltung und Rezeption im Anschluss an KOALA-S. Berlin: Mensch & Buch. First citation in articleGoogle Scholar

  • Muthén, B. O. (1984). A general Structural Equation Model with dichotomous, ordered categorical and continuous latent variable indicators. Psychometrika, 49, 115 – 132. First citation in articleCrossrefGoogle Scholar

  • Muthén, B. O., du Toit, S. H. C. & Spisic, D. (1997). Robust inference using weighted least squares and quadratic estimating equations in latent variable modeling with categorical and continuous outcomes [Bericht]. Zugriff am 16. 01. 2014 unter www.gseis.ucla.edu/faculty/muthen/articles/Article_075.pdf First citation in articleGoogle Scholar

  • Muthén, L. K. & Muthén, B. O. (1998 – 2012). Mplus User’s Guide. (7th ed). Los Angeles, CA: Muthén & Muthén. First citation in articleGoogle Scholar

  • Nachtigall, C. & Kröhne, U. (2006). Methodische Anforderungen an schulische Leistungsmessung–auf dem Weg zu fairen Vergleichen. In H. Kuper & J. SchneewindHrsg., Rückmeldung und Rezeption von Forschungsergebnissen (S. 59 – 74). Münster: Waxmann. First citation in articleGoogle Scholar

  • Rindermann, H. (2001). Die studentische Beurteilung von Lehrveranstaltungen–Forschungsstand und Implikationen. In C. SpielHrsg., Evaluation universitärer Lehre –zwischen Qualitätsmanagement und Selbstzweck (S. 61 – 88). Münster: Waxmann. First citation in articleGoogle Scholar

  • Rindermann, H. (2009). Lehrevaluation: Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen (2. Aufl.). Landau: Empirische Pädagogik e. V. First citation in articleGoogle Scholar

  • Rubin, D. B. (2008). For objective causal inference, design trumps analysis. The Annals of Applied Statistics, 2, 808 – 840. First citation in articleCrossrefGoogle Scholar

  • Schermelleh-Engel, K., Moosbrugger, H. & Müller, H. (2003). Evaluating the fit of Structural Equation Models: Tests of significance and descriptive Goodness-of-Fit Measures. Methods of Psychological Research Online, 8 (2), 23 – 74. First citation in articleGoogle Scholar

  • Schmidt, B. (2007). Personalentwicklung für junge wissenschaftliche Mitarbeiter/-innen: Kompetenzprofil und Lehrveranstaltungsevaluation als Instrumente hochschulischer Personalentwicklung. Dissertation, Friedrich-Schiller-Universität Jena. First citation in articleGoogle Scholar

  • Schmidt, B. & Loßnitzer, T. (2010). Lehrveranstaltungsevaluation: State of Art, ein Definitionsvorschlag und Entwicklungslinien. Zeitschrift für Evaluation, 9 , 49 – 72. First citation in articleGoogle Scholar

  • Sengewald, E. & Vetterlein, A. (2013). Gute Lehre kann man messen! Mehrebenen-Faktorenanalyse in der Lehrevaluation [Abstract]. In H. WeberHrsg., 12. Arbeitstagung der Fachgruppe Differentielle Psychologie, Persönlichkeitspsychologie und Psychologische Diagnostik (S. 115). Universität Greifswald. First citation in articleGoogle Scholar

  • Staufenbiel, T. (2000). Fragebogen zur Evaluation universitärer Lehrveranstaltungen durch Studierende und Lehrende. Diagnostica, 46, 169 – 181. First citation in articleLinkGoogle Scholar

  • Steyer, R., Mayer, A. & Fiege, C. (2014). Causal inference on total, direct, and indirect effects. In A. C. MichalosEds., Encyclopedia of Quality of Life and Well-Being Research (pp. 606 – 630). Dordrecht: Springer. First citation in articleCrossrefGoogle Scholar

  • Steyer, R., Mayer, A., Geiser, C. & Cole, D. (2015). A theory of states and traits–revised. Annual Review of Clinical Psychology, 11, 71 – 98. doi: 10.1146/annurev-clinpsy-032813-153719 First citation in articleGoogle Scholar

  • Steyer, R., Schmidt, B. & Loßnitzer, T. (2004). Situationsbericht 2004: zum Stand der Lehrveranstaltungsevaluation. Friedrich-Schiller-Universität Jena. First citation in articleGoogle Scholar

  • Tufte, E. R. (2011). The visual display of quantitative information. Cheshire, CT: Graphics Press. First citation in articleGoogle Scholar

  • Wolbring, T. (2013). Fallstricke der Lehrevaluation. Möglichkeiten und Grenzen der Messbarkeit von Lehrqualität. Frankfurt am Main: Campus. First citation in articleGoogle Scholar