Skip to main content
Search
Search
    Quick Search anywhere
    Quick search in Citations
Advanced Search
Skip main navigationClose Drawer MenuOpen Drawer Menu
Previous article
Next article
Originalia

Entwicklung eines Hochschul-Rankingverfahrens mittels Mixed-Rasch-Modell und Mehrebenenanalyse am Beispiel der Psychologie

Published Online:January 01, 2007https://doi.org/10.1026/0012-1924.53.1.3

Abstract

Zusammenfassung. In diesem Beitrag soll für den Bereich von Lehre und Studium ein auf studentischen Befragungen basiertes Verfahren zur Beurteilung der Studienbedingungen im Fach Psychologie entwickelt und empirisch erprobt werden mit dem Ziel, eine Rangordnung der Hochschulen (Hochschul-Ranking) zu erstellen. Datengrundlage bildet eine deutschlandweite Befragung im Jahr 2000 an N = 1 490 Studierenden, die im Wintersemester 1999/2000 ihr Studium begonnen haben. In einem ersten Schritt wird mittels Mixed-Rasch-Modellen eine eindimensionale Skala zu den Studienbedingungen erstellt, die innerhalb von 2 Klassen unterschiedlichen Antwortverhaltens (Tendenz zur Mitte, Tendenz zu Extremwerten) raschkonform ist. In einem zweiten Schritt kann mittels Mehrebenenanalyse ein signifikanter Einfluss von Bias-Variablen (z.B. Lebensalter, Einwohnerzahl der Hochschulstadt) auf die Skala und das Ranking der Hochschulen nachgewiesen werden. Für einen fairen Hochschulvergleich sollten daher adjustierte Rankings auf der Basis empirischer Bayes-Schätzungen verwendet werden, die grafisch mit Goldstein-adjustierten Konfidenzintervallen dargestellt werden sollten, und in denen die Hochschulen zusätzlich zu Ranggruppen zusammengefasst sind.


Development of a ranking procedure by mixed Rasch model and multilevel analysis - psychology as an example

Abstract. A procedure for university teaching and learning based on a student questionnaire to assess the study conditions in psychology was developed and tested in order to rank the universities. A survey of N = 1,490 psychology students in Germany in the year 2000 who had enrolled themselves in university in the fall of 1999/2000 served as data. Firstly, a one-dimensional scale was constructed to assess the study conditions using a Mixed-Rasch model, which was valid according to the Rasch model within two different classes of reponse patterns (tendency to the mean, tendency to extremity). In a second step, the significant impact of bias variables (e.g., age, city population size) on the scale and on the ranking of the universities was proved by a multilevel analysis. Therefore, adjusted rankings (empirical Bayes estimation) should be used for a fair university comparison, which are represented with Goldstein-adjusted confidence intervals. The universities should be combined to ranking groups.

Literatur

  • Bayer, C. R. (1999). Hochschul-Ranking. Übersicht und Methodenkritik . Bayerisches Staatsinstitut für Hochschulforschung und Hochschulplanung: Beiträge zur Hochschulforschung, Sonderheft 1999 Google Scholar

  • Bayer, C. R. (2004). Hochschul-Ranking: Vorschlag eines ganzheitlichen Ranking-Verfahrens . Berlin: Duncker & Humbolt Google Scholar

  • Berghoff, S. Federkeil, G. Giebisch, P. Hachmeister, C.-D. Müller-Böling, D. (2004). Das Hochschulranking - Vorgehensweise und Indikatoren. Arbeitspapier Nr. 54 . Gütersloh: CHE Google Scholar

  • Borkenau, P. Ostendorf, F. (1993). NEO-Fünf-Faktoren Inventar nach Costa und McCrae. Handanweisung. Göttingen: Hogrefe Google Scholar

  • Christensen, K. B. Bjorner, J. B. Kreiner, S. Petersen, J. H. (2002). Testing unidimensionality in polytomous Rasch models. Psychometrika, 67, 4 563– 574 Crossref, Google Scholar

  • Daniel, H.-D. (1989). Wissenschaftsberichterstattung in den Massenmedien: Die zweifelhafte Popularität von Universitäts-Ranglisten. In J. Mittelstraß (Hrsg.), Junge Wissenschaft und Kultur: Wohin geht die Sprache? Wirklichkeit - Kommunikation - Kompetenz (S. 173-179). Essen: MA Akademie-Verlag Google Scholar

  • Daniel, H.-D. Hornbostel, S. (1993). Evaluation der Lehre: Sonderauswertung der SPIEGEL-Studie 1993 für Physik. Physikalische Blätter, 49, 10– 903 906 Google Scholar

  • Davier von, M. (2001). WINMIRA 2001. A program system for analyses with the Rasch model, with the latent class analyses and with the mixed Rasch model . Kiel: Institute for Science Education Google Scholar

  • DIE ZEIT (2005). Studienführer . Hamburg: Bucerius Google Scholar

  • Engel, U. (1998). Einführung in die Mehrebenenanalyse . Wiesbaden: Westdeutscher Verlag Google Scholar

  • Engel, U. (Hrsg.) (2001). Hochschul-Ranking . Frankfurt a.M.: Campus Google Scholar

  • Engel, U. Krekler, G. (2001). Studienqualität - Über studentische Bewertungen und Rankings von Studienfächern einer Universität. In U. Engel (Hrsg.), Hochschul-Ranking - Zur Qualitätsbewertung von Studium und Lehre (S. 121-176). Frankfurt a.M.: Campus Google Scholar

  • Federkeil, G. (2002). Some aspects of ranking methodology - the CHE-ranking of German universities. Higher Education in Europe, 27, 4 389– 397 Crossref, Google Scholar

  • Fisch, R. (1973). Subjektive Zufriedenheit und Studienmotivation bei Studienanfängern im Fach Psychologie. In G. Reinert (Hrsg.), Bericht über den 27. Kongreß der Deutschen Gesellschaft für Psychologie in Kiel (1970) (S. 380-388). Göttingen: Hogrefe Google Scholar

  • Fisch, R. Orlik, P. Saterdag, H. (1970). Warum studiert man Psychologie?. Psychologische Rundschau, 21, 239– 256 Google Scholar

  • Fischer, G. H. (1974). Einführung in die Theorie psychologischer Tests . Bern: Huber Google Scholar

  • Fürstenberg, F. (2000). Zur Problematik von Hochschul-Rankings. In W. Clemens & J. Struebing (Hrsg.), Empirische Sozialforschung und gesellschaftliche Praxis. Bedingungen und Formen angewandter Forschung in den Sozialwissenschaften (S. 103-112). Opladen: Leske & Budrich Google Scholar

  • Goldstein, H. (1991). Multilevel statistical models (2nd ed.). London: Arnold Google Scholar

  • Goldstein, H. Healy, J. R. (1995). The graphical representation of a collection of means. Journal of the Royal Statistical Society, Series A, 158, 1 175– 177 Crossref, Google Scholar

  • Goldstein, H. Spiegelhalter, D. J. (1996). League tables and their limitations: statistical issues in comparisons of institutional performance. Journal of the Royal Statistical Society, Series A, 159, 3 385– 409 Crossref, Google Scholar

  • Hofmann, H. Stiksrud, A. (1994). Zufriedenheit mit einem Psychologie-Lehrbetrieb. Aspekte der Evaluation von Evaluatoren. Empirische Pädagogik, 8, 2 169– 198 Google Scholar

  • Hornbostel, S. (2001). Der Studienführer des CHE - ein multidimensionales Ranking. In U. Engel (Hrsg.), Hochschul-Ranking - Zur Qualitätsbewertung von Studium und Lehre (S. 83-120). Frankfurt/M.: Campus Google Scholar

  • Hornbostel, S. Daniel, H.-D. (1994). Das “Spiegel“-Ranking: Mediensensation oder ein Beitrag zur hochschulvergleichenden Lehrevaluation?. In P. Ph. Mohler (Hrsg.), Universität und Lehre: Ihre Evaluation als Herausforderung an die Empirische Sozialforschung (S. 29-44). Münster: Waxmann Google Scholar

  • Kaiser, F. G. Keller, C. (2001). Disclosing situational constraints to ecological behavior: a confirmatory application of the mixed Rasch model. European Journal of Psychological Assessment, 17, 3 212– 221 Link, Google Scholar

  • Kromrey, H. (1994). Wie erkennt man “gute Lehre“? Was studentische Vorlesungsbefragungen (nicht) aussagen. Empirische Pädagogik, 8, 2 153– 168 Google Scholar

  • Kromrey, H. (2001). Studierendenbefragungen als Evaluation der Lehre? Anforderungen an Methodik und Design. In U. Engel (Hrsg.), Hochschul-Ranking. Zur Qualitätsbewertung von Studium und Lehre (S. 11-48). Frankfurt a.M.: Campus Google Scholar

  • Laird, N. M. Louis, T. A. (1989). Empirical Bayes ranking methods. Journal of Educational Statistics, 14, 1 29– 46 Crossref, Google Scholar

  • Lewin, K. Heublein, U. Schreiber, J. Sommer, D. (1999). Studienanfänger im Wintersemester 1998/1999 [HIS Hochschulplanung Nr. 138]. Hannover: Hochschul-Informations-System GmbH [HIS] Google Scholar

  • Littell, R. C. Milliken, G. A. Stroup, W. W. Wolfinger, R. D. (1996). SAS system for mixed models . Cary, NC: SAS Institute, Inc. Google Scholar

  • Marsh, H. W. Roche, L. A. (1997). Making students’ evaluations of teaching effectiveness effective. The critical issues of validity, bias, and utility. American Psychologist, 52, 1187– 1197 Crossref, Google Scholar

  • Moosbrugger, H. Hartig, J. (2001). Zur Bedeutung von individuellen und institutionellen Studienbedingungen für die vergleichende Evaluation der Lehre. In U. Engel (Hrsg.), Hochschul-Ranking - Zur Qualitätsbewertung von Studium und Lehre (S. 49-60). Frankfurt a.M.: Campus Google Scholar

  • Mutz, R. (2001). Studienreform als Programm - Programmevaluation zur Akzeptanz des reformierten Studiengangs “Forstwissenschaft“ in Freiburg . Landau: Empirische Pädagogik Google Scholar

  • Mutz, R. (2003). Multivariate Reliabilitäts- und Generalisierbarkeitstheorie in der Lehrevaluationsforschung. Zeitschrift für Pädagogische Psychologie, 17, 3/4 245– 254 Link, Google Scholar

  • Mutz, R. Borchers, J. Becker, G. (2002). Forstliches Engagement und forstliches Engagementpotenzial von Privatwaldbesitzern in NRW - Analyse auf der Basis des Mixed-Rasch-Modells. Forstwissenschaftliches Centralblatt, 121, 35– 48 Crossref, Google Scholar

  • Neidhardt, F. (1990). Lob und Tadel sind befangen. Über den Umgang mit dem SPIEGEL-Ranking. In SPIEGEL (Hrsg.), SPIEGEL-Spezial Nr. 1. Studieren heute. Welche Uni ist die beste? (S. 118-125). Hamburg: SPIEGEL-Verlag Google Scholar

  • Neidhardt, F. (1991). Kritik und Folgerungen - Am Beispiel des “SPIEGEL“-Ranking universitärer Lehrbedingungen. Soziologie, 25, 86– 94 Google Scholar

  • Raudenbush, S. W. Bryk, A. S. (2002). Hierarchical linear models. Applications and data analysis methods (2nd ed.). London: Sage Google Scholar

  • Rindermann, H. (1996). Untersuchung zur Brauchbarkeit studentischer Lehrevaluationen: Analysen der Validität und zu Auswirkungen ihres Einsatzes anhand des Heidelberger Inventars zur Lehrevaluation (HILVE) . Landau: Empirische Pädagogik Google Scholar

  • Rindermann, H. (1997). Die studentische Beurteilung von Lehrveranstaltungen: Forschungsstand und Implikationen für den Einsatz von Lehrevaluationen. In R. S. Jäger, R. H. Lehmann & G. Trost (Hrsg.), Tests und Trends (Jahrbuch der Pädagogischen Diagnostik, 11) (S. 12-53). Weinheim: Beltz Google Scholar

  • Rindermann, H. (2001). Lehrevaluation. Einführung und Überblick zur Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen. Mit einem Beitrag zur Evaluation computerbasierten Unterrichts . Landau: Empirische Pädagogik Google Scholar

  • Rost, J. (2002). When personality questionnaires fail to be unidimensional. Psychologische Beiträge, 44, 108– 125 Google Scholar

  • Rost, J. (2004). Lehrbuch Testtheorie - Testkonstruktion . Bern: Huber Google Scholar

  • Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and non-randomized studies. Journal of Educational Psychology, 66, 688– 701 Crossref, Google Scholar

  • Rubin, D. B. Stuart, E. A. Zanutto, E. (2004). A potential outcomes view of value-added assessment in education. Journal of Educational and Behavioral Statistics, 29, 1 103– 116 Crossref, Google Scholar

  • Snijders, T. A. Bosker, R. J. (1999). Multilevel analysis. An introduction to basic and advanced multilevel modeling . London: Sage Google Scholar

  • Skrondal, A. Rabe-Hesketh, S. (2004). Generalized latent variable modeling . London: Chapman & Hall Google Scholar

  • Spiel, C. (2001). Der differentielle Einfluss von Bias-Variablen auf studentische Lehrveranstaltungsbewertungen. In U. Engel (Hrsg.), Hochschul-Ranking. Zur Qualitätsbewertung von Studium und Lehre (S. 61-82). Frankfurt a.M.: Campus Google Scholar

  • Steyer, R. (2005). Analyzing individual and average causal effects via structural equation modeling. Methodology, 1, 1 39– 54 Link, Google Scholar

  • Steyer, R. Gabler, S. von Davier, A. A. Nachtigall, C. (2000b). Causal regression models II: Unconfoundedness and causal unbiasedness. Methods of Psychological Research-Online, 5, 55– 86 ( www.mpr-online.de, 19.4.2006) Google Scholar

  • Steyer, R. Gabler, S. von Davier, A. A. Nachtigall, C. Buhl, T. (2000a). Causal regression models I: individual and average causal effects. Methods of Psychological Research-Online, 5, 39– 71 ( www.mpr-online.de, 19.4.2006) Google Scholar

  • Statistisches Bundesamt (2000). Fachserie VII C - 5.11 Google Scholar

  • Tarnai, C. Grimm, H. John, D. Watermann, R. (1993). Das Universitätsranking im SPIEGEL der latenten Klassenanalyse. ZA-Information, 33, 75– 93 Google Scholar

  • Tekwe, C. D. Carter, R. L. Ma, C. X. Algina, J. Lucas, M. E. Roth, J. Ariet, M. Fisher, T. Resnick, M. B. (2004). An empirical comparison of statistical models for value-added assessment of school performance. Journal of Educational and Behavioral Statistics, 29, 1 11– 36 Crossref, Google Scholar

  • Vermunt, J. K. Magidson, J. (2005). Technical Guide for Latent GOLD 4.0: Basic and Advanced . Belmont Massachusetts: Statistical Innovations Inc. Google Scholar

  • Willige, J. (2001). Hochschulranking. HISBUS-Kurzbericht Nr. 3 . Hannover: HIS Google Scholar

  • Wirtz, M. Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität . Göttingen: Hogrefe Google Scholar

  • Wissenschaftsrat (1985). Empfehlungen zum Wettbewerb im deutschen Hochschulsystem . Köln Google Scholar

  • Wissenschaftsrat (1996). Empfehlungen zur Stärkung der Lehre in den Hochschulen durch Evaluation . Berlin Google Scholar

  • Witte, E. H. (1977). Zur Studienmotivation von Erstsemestern im Fach Psychologie. In E. H. Witte (Hrsg.), Psychologie als empirische Wissenschaft. Eine Einführung (S. 223-231). Stuttgart: Enke Google Scholar

  • Witte, E. H. Brasch, D. (1991). Wege und Umwege zum Studium der Psychologie II. Psychologische Rundschau, 42, 206– 210 Google Scholar