Abstract
Zusammenfassung. Daten in der pädagogisch-psychologischen Forschung weisen häufig eine Mehrebenenstruktur auf: Schüler sind geschachtelt innerhalb von Schulen und Klassen. Dies muss berücksichtigt werden, wenn Schüler Merkmale ihres schulischen Kontextes (z.B. Lehrer, Schulklima) auf mehreren Dimensionen beurteilen sollen und dann die Einschätzungen der Schüler sowohl auf der Individual- als auch aggregiert auf der Klassenebene in weiteren Analysen verwendet werden. Die konfirmatorische Mehrebenen-Faktorenanalyse ist ein Verfahren, das zur Analyse solcher Daten besonders gut geeignet, bislang jedoch noch nicht ausreichend bekannt ist. Die vorliegende Arbeit demonstriert anhand eines Datensatzes aus der Hausaufgabenforschung (1712 Schüler in 98 Klassen) die Grundlagen und Anwendung der Mehrebenen-Faktorenanalyse. Sowohl auf Schüler- als auch auf Klassenebene ließen sich die drei Faktoren Qualität der Hausaufgaben, die Kontrolle der Hausaufgaben sowie die effektive Zeitnutzung im Französisch-Unterricht erwartungsgemäß empirisch trennen. Darüber hinaus ließ sich sowohl auf der Schüler- als auch der Klassenebene ein positiver Effekt der Qualität der Hausaufgaben und der effektiven Zeitnutzung auf die selbst berichtete Anstrengung bei der Bearbeitung der Hausaufgaben nachweisen.
Abstract. Data in educational research commonly have a multilevel structure - students are nested within classes and schools. Nested structures are particularly salient when students are asked to rate aspects of the school context (e.g., teachers, school climate) on several dimensions, and these student ratings are then used for further analyses of both the individual level and the aggregated class level. Confirmatory multilevel factor analysis is particularly suited to analyzing data of this kind, but this method is not yet sufficiently well established. In this paper, we demonstrate the principles and application of multilevel factor analysis using a dataset from homework research (1712 students in 98 classes). As expected, the three factors under investigation (homework quality, teachers’ homework control, and effective use of learning time in French lessons) were empirically distinguishable at both the student and the class level. Moreover, homework quality and effective use of learning time proved to have positive effects on self reported homework effort at both the student and the class level.
Literatur
Baumert, J. , Kunter, M. , Brunner, M. , Krauss, S. , Blum, W. , Neubrand, M. (2004). Mathematikunterricht aus der Sicht der PISA-Schülerinnen und -Schüler und ihrer Lehrkräfte. In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand et al. (Hrsg.), PISA 2003: Der Bildungsstand der Jugendlichen in Deutschland - Ergebnisse des zweiten internationalen Vergleichs (S. 314-354). Münster: Waxmann .Burstein, L. (1980). The analysis of multilevel data in educational research and evaluation. Review of Research in Education, 8, 158– 233 .Cronbach, L. J. (1976). Research on classrooms and schools: Formulations of questions, design and analysis . Stanford, CA: Stanford Evaluation Consortium .Cronbach, L. J. , Webb, N. (1975). Between-class and within-class effects in a reported aptitude * treatment interaction: Reanalysis of a study by G. L. Anderson. Journal of Educational Psychology, 67, 717– 724 .Goldstein, H. (1995). Multilevel statistical models . London: Edward Arnold .Gruehn, S. (2000). Unterricht und schulisches Lernen: Schüler als Quellen der Unterrichtsbeschreibung . Münster: Waxmann .Härnqvist, K. (1978). Primary mental abilities of collective and individual levels. Journal of Educational Psychology, 70, 706– 16 .Helmke, A. (2003). Unterrichtsqualität . Seelze: Kallmeyersche Verlagsbuchhandlung .Hofmann, D. A. , Gavin, M. B. (1998). Centering decisionsin hierarchical linear models: Implications for research in organizations. Journal of Management, 24, 623– 641 .Hox, J. J. (2002). Multilevel analysis: Techniques and applications . Mahwah, NJ: Lawrence Erlbaum Associates .Hox, J. J. , Maas, C. J. M. (2001). The accuracy of multilevel structural equation modeling with pseudobalanced groups and small samples. Structural Equation Modeling, 8, 157– 174 .Hu, L.-T. , Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1– 55 .Julian, M. W. (2001). The consequences of ignoring multilevel data structures in nonhierarchical covariance modeling. Structural Equation Modeling, 8, 325– 352 .Köller, O. , Trautwein, U. (2004). Englischleistungen von Schülerinnen und Schülern an allgemein bildenden und beruflichen Gymnasien. In O. Köller, R. Watermann, U. Trautwein & O. Lüdtke (Hrsg.), Wege zur Hochschulreife in Baden-Württemberg. TOSCA - Eine Untersuchung an allgemein bildenden und beruflichen Gymnasien (S. 285-326). Opladen: Leske + Budrich .Kreft, I. G. G. , de Leeuw, J. , Aiken, L. S. (1995). The effect of different forms of centering in hierarchical linear models. Multivariate Behavioral Research, 30, 1– 21 .Kunter, M. (2005). Multiple Ziele im Mathematikunterricht . Münster: Waxmann .Levy, P. S. , Lemeshow, S. (1999). Sampling of populations: Methods and applications . New York: Wiley .Li, F. , Duncan, T. E. , Harmer, P. , Acock, A. , Stoolmiller, M. (1998). Analyzing measurement models of latent variables through multilevel confirmatory factor analysis and hierarchical linear modeling approaches. Structural Equation Modeling, 5, 294– 306 .Lüdtke, O. , Trautwein, U. , Kunter, M. , Baumert, J. (2006). Analyse von Lernumwelten: Ansätze zur Bestimmung der Reliabilität und Übereinstimmung von Schülerwahrnehmungen. Zeitschrift für Pädagogische Psychologie, 20, 85– 96 .Mehta, P. D. , Neale, M. C. (2005). People are variables too: Multilevel structural equations modeling.. Psychological Methods, 10, 259– 284 .Muthén, B. O. (1991). Multilevel factor analysis of class and student achievement components. Journal of Educational Measurement, 28, 338– 354 .Muthén, B. O. (1994). Multilevel covariance structure analysis. Sociological Methods and Research, 22, 376– 398 .Muthén, B. O. (2002). Beyond SEM: General latent variable modeling. Behaviormetrika, 29, 81– 117 .Muthén, B. O. , Muthén, L. K. (1998-2004). Mplus (Version 3.12) [Computer software]. Los Angeles, CA .Muthén, B. O. , Satorra, A. (1995). Complex sample data in structural equation modeling. Sociological Methodology, 25, 267– 316 .Raudenbush, S. W. , Bryk, A. S. (2002). Hierarchical linear models (2nd ed.). Thousand Oaks: Sage .Raudenbush, S. W. , Rowan, B. , Kang, S. J. (1991). A multi-level, multivariate model for studying school climate with estimation via the EM algorithm and application to U.S. high-school data. Journal of Educational Statistics, 16, 295– 330 .Reise, S. P. , Ventura, J. , Nuechterlein, K. H. , Kim, K. H. (2005). An illustration of multilevel factor analysis. Journal of Personality Assessment, 84, 126– 136 .Schafer, J. L. , Graham, J. W. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7, 147– 177 .Shen, C. , Pedulla, J. J. (2000). The relationship between students’ achievement and their self-perception of competence and rigour of mathematics and science: a cross-national analysis. Assessment in Education, 7, 237– 253 .Skrondal, A. , Rabe-Hesketh, S. (2004). Generalized latent variable modeling: Multilevel, longitudinal, and structural equation models . Boca Raton, FL: Chapman & Hall/CRC .Snijders, T. A. B. , Bosker, R. J. (1999). Multilevel analysis: An introduction to basic and advanced multilevel modeling . London: Sage .Stapleton, L. (2006). Using multilevel structural equation modeling techniques with complex sample data. In G. R. Hancock & R. O. Mueller (Eds.), Structural Equation Modeling: A Second Course (pp. 345-383). Greenwich, CT: Information Age Publishing, Inc .Trautwein, U. (in press) The homework-achievement relation reconsidered: Differentiating homework time, homework frequency, and homework effort. Learning and Instruction, .Trautwein, U. , Köller, O. , Schmitz, B. , Baumert, J. (2002). Do homework assignments enhance achievement? A multilevel analysis in 7th grade mathematics. Contemporary Educational Psychology, 27, 26– 50 .Trautwein, U. , Lüdtke, O. , Schnyder, I. , Niggli, A. (2006). Predicting homework effort: Support for a domain-specific, multilevel homework model. Journal of Educational Psychology, 98, 438– 456 .Wanous, J. P. , Reichers, A. E. , Hudy, M. J. (1997). Overall job satisfaction: How good are single-item measures?. Journal of Applied Psychology, 82, 247– 252 .Weinert, F. E. , Helmke, A. (1995). Interclassroom differences in instructional quality and interindividual differences in cognitive development. Educational Psychologist, 30, 15– 20 .Yuan, K.-H. , Hayashi, K. (2005). On Muthén’s maximum likelihood for two-level covariance structure models. Psychometrika, 70, 1– 21 .Zimprich, D. , Perren, S. , Hornung, R. (2005). A two-level confirmatory factor analysis of a modified Rosenberg self-esteem scale. Educational and Psychological Measurement, 65, 465– 481 .
