Abstract
Zusammenfassung. In diesem Beitrag soll für den Bereich von Lehre und Studium ein auf studentischen Befragungen basiertes Verfahren zur Beurteilung der Studienbedingungen im Fach Psychologie entwickelt und empirisch erprobt werden mit dem Ziel, eine Rangordnung der Hochschulen (Hochschul-Ranking) zu erstellen. Datengrundlage bildet eine deutschlandweite Befragung im Jahr 2000 an N = 1 490 Studierenden, die im Wintersemester 1999/2000 ihr Studium begonnen haben. In einem ersten Schritt wird mittels Mixed-Rasch-Modellen eine eindimensionale Skala zu den Studienbedingungen erstellt, die innerhalb von 2 Klassen unterschiedlichen Antwortverhaltens (Tendenz zur Mitte, Tendenz zu Extremwerten) raschkonform ist. In einem zweiten Schritt kann mittels Mehrebenenanalyse ein signifikanter Einfluss von Bias-Variablen (z.B. Lebensalter, Einwohnerzahl der Hochschulstadt) auf die Skala und das Ranking der Hochschulen nachgewiesen werden. Für einen fairen Hochschulvergleich sollten daher adjustierte Rankings auf der Basis empirischer Bayes-Schätzungen verwendet werden, die grafisch mit Goldstein-adjustierten Konfidenzintervallen dargestellt werden sollten, und in denen die Hochschulen zusätzlich zu Ranggruppen zusammengefasst sind.
Abstract. A procedure for university teaching and learning based on a student questionnaire to assess the study conditions in psychology was developed and tested in order to rank the universities. A survey of N = 1,490 psychology students in Germany in the year 2000 who had enrolled themselves in university in the fall of 1999/2000 served as data. Firstly, a one-dimensional scale was constructed to assess the study conditions using a Mixed-Rasch model, which was valid according to the Rasch model within two different classes of reponse patterns (tendency to the mean, tendency to extremity). In a second step, the significant impact of bias variables (e.g., age, city population size) on the scale and on the ranking of the universities was proved by a multilevel analysis. Therefore, adjusted rankings (empirical Bayes estimation) should be used for a fair university comparison, which are represented with Goldstein-adjusted confidence intervals. The universities should be combined to ranking groups.
Literatur
Bayer, C. R. (1999). Hochschul-Ranking. Übersicht und Methodenkritik . Bayerisches Staatsinstitut für Hochschulforschung und Hochschulplanung: Beiträge zur Hochschulforschung, Sonderheft 1999Bayer, C. R. (2004). Hochschul-Ranking: Vorschlag eines ganzheitlichen Ranking-Verfahrens . Berlin: Duncker & HumboltBerghoff, S. Federkeil, G. Giebisch, P. Hachmeister, C.-D. Müller-Böling, D. (2004). Das Hochschulranking - Vorgehensweise und Indikatoren. Arbeitspapier Nr. 54 . Gütersloh: CHEBorkenau, P. Ostendorf, F. (1993). NEO-Fünf-Faktoren Inventar nach Costa und McCrae. Handanweisung. Göttingen: HogrefeChristensen, K. B. Bjorner, J. B. Kreiner, S. Petersen, J. H. (2002). Testing unidimensionality in polytomous Rasch models. Psychometrika, 67, 4 563– 574Daniel, H.-D. (1989). Wissenschaftsberichterstattung in den Massenmedien: Die zweifelhafte Popularität von Universitäts-Ranglisten. In J. Mittelstraß (Hrsg.), Junge Wissenschaft und Kultur: Wohin geht die Sprache? Wirklichkeit - Kommunikation - Kompetenz (S. 173-179). Essen: MA Akademie-VerlagDaniel, H.-D. Hornbostel, S. (1993). Evaluation der Lehre: Sonderauswertung der SPIEGEL-Studie 1993 für Physik. Physikalische Blätter, 49, 10– 903 906Davier von, M. (2001). WINMIRA 2001. A program system for analyses with the Rasch model, with the latent class analyses and with the mixed Rasch model . Kiel: Institute for Science Education2005). Studienführer . Hamburg: Bucerius
(Engel, U. (1998). Einführung in die Mehrebenenanalyse . Wiesbaden: Westdeutscher VerlagEngel, U. (Hrsg.) (2001). Hochschul-Ranking . Frankfurt a.M.: CampusEngel, U. Krekler, G. (2001). Studienqualität - Über studentische Bewertungen und Rankings von Studienfächern einer Universität. In U. Engel (Hrsg.), Hochschul-Ranking - Zur Qualitätsbewertung von Studium und Lehre (S. 121-176). Frankfurt a.M.: CampusFederkeil, G. (2002). Some aspects of ranking methodology - the CHE-ranking of German universities. Higher Education in Europe, 27, 4 389– 397Fisch, R. (1973). Subjektive Zufriedenheit und Studienmotivation bei Studienanfängern im Fach Psychologie. In G. Reinert (Hrsg.), Bericht über den 27. Kongreß der Deutschen Gesellschaft für Psychologie in Kiel (1970) (S. 380-388). Göttingen: HogrefeFisch, R. Orlik, P. Saterdag, H. (1970). Warum studiert man Psychologie?. Psychologische Rundschau, 21, 239– 256Fischer, G. H. (1974). Einführung in die Theorie psychologischer Tests . Bern: HuberFürstenberg, F. (2000). Zur Problematik von Hochschul-Rankings. In W. Clemens & J. Struebing (Hrsg.), Empirische Sozialforschung und gesellschaftliche Praxis. Bedingungen und Formen angewandter Forschung in den Sozialwissenschaften (S. 103-112). Opladen: Leske & BudrichGoldstein, H. (1991). Multilevel statistical models (2nd ed.). London: ArnoldGoldstein, H. Healy, J. R. (1995). The graphical representation of a collection of means. Journal of the Royal Statistical Society, Series A, 158, 1 175– 177Goldstein, H. Spiegelhalter, D. J. (1996). League tables and their limitations: statistical issues in comparisons of institutional performance. Journal of the Royal Statistical Society, Series A, 159, 3 385– 409Hofmann, H. Stiksrud, A. (1994). Zufriedenheit mit einem Psychologie-Lehrbetrieb. Aspekte der Evaluation von Evaluatoren. Empirische Pädagogik, 8, 2 169– 198Hornbostel, S. (2001). Der Studienführer des CHE - ein multidimensionales Ranking. In U. Engel (Hrsg.), Hochschul-Ranking - Zur Qualitätsbewertung von Studium und Lehre (S. 83-120). Frankfurt/M.: CampusHornbostel, S. Daniel, H.-D. (1994). Das “Spiegel“-Ranking: Mediensensation oder ein Beitrag zur hochschulvergleichenden Lehrevaluation?. In P. Ph. Mohler (Hrsg.), Universität und Lehre: Ihre Evaluation als Herausforderung an die Empirische Sozialforschung (S. 29-44). Münster: WaxmannKaiser, F. G. Keller, C. (2001). Disclosing situational constraints to ecological behavior: a confirmatory application of the mixed Rasch model. European Journal of Psychological Assessment, 17, 3 212– 221Kromrey, H. (1994). Wie erkennt man “gute Lehre“? Was studentische Vorlesungsbefragungen (nicht) aussagen. Empirische Pädagogik, 8, 2 153– 168Kromrey, H. (2001). Studierendenbefragungen als Evaluation der Lehre? Anforderungen an Methodik und Design. In U. Engel (Hrsg.), Hochschul-Ranking. Zur Qualitätsbewertung von Studium und Lehre (S. 11-48). Frankfurt a.M.: CampusLaird, N. M. Louis, T. A. (1989). Empirical Bayes ranking methods. Journal of Educational Statistics, 14, 1 29– 46Lewin, K. Heublein, U. Schreiber, J. Sommer, D. (1999). Studienanfänger im Wintersemester 1998/1999 [HIS Hochschulplanung Nr. 138]. Hannover: Hochschul-Informations-System GmbH [HIS]Littell, R. C. Milliken, G. A. Stroup, W. W. Wolfinger, R. D. (1996). SAS system for mixed models . Cary, NC: SAS Institute, Inc.Marsh, H. W. Roche, L. A. (1997). Making students’ evaluations of teaching effectiveness effective. The critical issues of validity, bias, and utility. American Psychologist, 52, 1187– 1197Moosbrugger, H. Hartig, J. (2001). Zur Bedeutung von individuellen und institutionellen Studienbedingungen für die vergleichende Evaluation der Lehre. In U. Engel (Hrsg.), Hochschul-Ranking - Zur Qualitätsbewertung von Studium und Lehre (S. 49-60). Frankfurt a.M.: CampusMutz, R. (2001). Studienreform als Programm - Programmevaluation zur Akzeptanz des reformierten Studiengangs “Forstwissenschaft“ in Freiburg . Landau: Empirische PädagogikMutz, R. (2003). Multivariate Reliabilitäts- und Generalisierbarkeitstheorie in der Lehrevaluationsforschung. Zeitschrift für Pädagogische Psychologie, 17, 3/4 245– 254Mutz, R. Borchers, J. Becker, G. (2002). Forstliches Engagement und forstliches Engagementpotenzial von Privatwaldbesitzern in NRW - Analyse auf der Basis des Mixed-Rasch-Modells. Forstwissenschaftliches Centralblatt, 121, 35– 48Neidhardt, F. (1990). Lob und Tadel sind befangen. Über den Umgang mit dem SPIEGEL-Ranking. In SPIEGEL (Hrsg.), SPIEGEL-Spezial Nr. 1. Studieren heute. Welche Uni ist die beste? (S. 118-125). Hamburg: SPIEGEL-VerlagNeidhardt, F. (1991). Kritik und Folgerungen - Am Beispiel des “SPIEGEL“-Ranking universitärer Lehrbedingungen. Soziologie, 25, 86– 94Raudenbush, S. W. Bryk, A. S. (2002). Hierarchical linear models. Applications and data analysis methods (2nd ed.). London: SageRindermann, H. (1996). Untersuchung zur Brauchbarkeit studentischer Lehrevaluationen: Analysen der Validität und zu Auswirkungen ihres Einsatzes anhand des Heidelberger Inventars zur Lehrevaluation (HILVE) . Landau: Empirische PädagogikRindermann, H. (1997). Die studentische Beurteilung von Lehrveranstaltungen: Forschungsstand und Implikationen für den Einsatz von Lehrevaluationen. In R. S. Jäger, R. H. Lehmann & G. Trost (Hrsg.), Tests und Trends (Jahrbuch der Pädagogischen Diagnostik, 11) (S. 12-53). Weinheim: BeltzRindermann, H. (2001). Lehrevaluation. Einführung und Überblick zur Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen. Mit einem Beitrag zur Evaluation computerbasierten Unterrichts . Landau: Empirische PädagogikRost, J. (2002). When personality questionnaires fail to be unidimensional. Psychologische Beiträge, 44, 108– 125Rost, J. (2004). Lehrbuch Testtheorie - Testkonstruktion . Bern: HuberRubin, D. B. (1974). Estimating causal effects of treatments in randomized and non-randomized studies. Journal of Educational Psychology, 66, 688– 701Rubin, D. B. Stuart, E. A. Zanutto, E. (2004). A potential outcomes view of value-added assessment in education. Journal of Educational and Behavioral Statistics, 29, 1 103– 116Snijders, T. A. Bosker, R. J. (1999). Multilevel analysis. An introduction to basic and advanced multilevel modeling . London: SageSkrondal, A. Rabe-Hesketh, S. (2004). Generalized latent variable modeling . London: Chapman & HallSpiel, C. (2001). Der differentielle Einfluss von Bias-Variablen auf studentische Lehrveranstaltungsbewertungen. In U. Engel (Hrsg.), Hochschul-Ranking. Zur Qualitätsbewertung von Studium und Lehre (S. 61-82). Frankfurt a.M.: CampusSteyer, R. (2005). Analyzing individual and average causal effects via structural equation modeling. Methodology, 1, 1 39– 54Steyer, R. Gabler, S. von Davier, A. A. Nachtigall, C. (2000b). Causal regression models II: Unconfoundedness and causal unbiasedness. Methods of Psychological Research-Online, 5, 55– 86 ( www.mpr-online.de, 19.4.2006)Steyer, R. Gabler, S. von Davier, A. A. Nachtigall, C. Buhl, T. (2000a). Causal regression models I: individual and average causal effects. Methods of Psychological Research-Online, 5, 39– 71 ( www.mpr-online.de, 19.4.2006)2000). Fachserie VII C - 5.11
(Tarnai, C. Grimm, H. John, D. Watermann, R. (1993). Das Universitätsranking im SPIEGEL der latenten Klassenanalyse. ZA-Information, 33, 75– 93Tekwe, C. D. Carter, R. L. Ma, C. X. Algina, J. Lucas, M. E. Roth, J. Ariet, M. Fisher, T. Resnick, M. B. (2004). An empirical comparison of statistical models for value-added assessment of school performance. Journal of Educational and Behavioral Statistics, 29, 1 11– 36Vermunt, J. K. Magidson, J. (2005). Technical Guide for Latent GOLD 4.0: Basic and Advanced . Belmont Massachusetts: Statistical Innovations Inc.Willige, J. (2001). Hochschulranking. HISBUS-Kurzbericht Nr. 3 . Hannover: HISWirtz, M. Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität . Göttingen: Hogrefe1985). Empfehlungen zum Wettbewerb im deutschen Hochschulsystem . Köln
(1996). Empfehlungen zur Stärkung der Lehre in den Hochschulen durch Evaluation . Berlin
(Witte, E. H. (1977). Zur Studienmotivation von Erstsemestern im Fach Psychologie. In E. H. Witte (Hrsg.), Psychologie als empirische Wissenschaft. Eine Einführung (S. 223-231). Stuttgart: EnkeWitte, E. H. Brasch, D. (1991). Wege und Umwege zum Studium der Psychologie II. Psychologische Rundschau, 42, 206– 210