Mehrebenenanalyse oder Varianzanalyse?
Ein simulationsbasierter Vergleich von Verfahren zur Auswertung pädagogisch-psychologischer Experimente
Abstract
Zusammenfassung. Wer Experimente in Schulklassen durchführt, hat mit hierarchisch strukturierten Daten zu tun, was Mehrebenenanalysen nahelegt. Meist sind solche Experimente so aufwändig, dass die für hierarchisch lineare Modelle üblichen Stichprobengrößen nicht zu erreichen sind. Wenn man an Vorhersagen auf Klassenebene nicht interessiert ist, bieten sich alternativ Varianzanalysen an, die die Klasse als Faktor einbeziehen. In einer Simulationsstudie wurden die Äquivalenz, die Reaktion auf variierte Rahmenbedingungen und die Genauigkeit der Parameterschätzungen der beiden Verfahren geprüft. Dazu wurden acht mal 1000 Datensätze simuliert, die sich systematisch in der Anzahl der Klassen, der Balance der Klassengrößen und der Intraklassenkorrelation unterschieden. Die Datensätze wurden mit hierarchischen Regressionsanalysen nach dem random-intercept Modell und mit Varianzanalysen ausgewertet und die Ergebnisse verglichen. Es zeigte sich, dass die Teststärke der beiden Methoden praktisch gleich ist, dass die Rahmenbedingungen sich nur schwach auswirken und dass die hierarchische Regressionsanalyse die Modellparameter bei Datensätzen einer Größe von zehn Klassen befriedigend reproduziert.
Abstract. When conducting experiments in schools, one has to deal with hierarchically nested data, suggesting the use of multilevel analyses. Often, such experiments are costly, so that the usual sample sizes for hierarchical linear modeling cannot be accomplished. If one is not interested in predictions on the class level, the data might alternatively be analyzed with ANOVA, including class as a factor. In a simulation study, we investigated the equivalence of these methods with respect to statistical power, sensitivity to varied basic conditions, and accuracy of parameter estimation. In all, 8,000 datasets, varying systematically in the number of classes, balance of class sizes, and intraclass correlation, were simulated. The datasets were analyzed using a hierarchical random intercept model and with ANOVA. We found that both methods were equal in power and the effects of varying basic conditions were weak. Hierarchical linear models of datasets consisting of 10 classes reproduced the simulated population parameters well.
Literatur
(2012). lme4: Linear mixed-effects models using S4 classes (R package version 0.999999 – 0). Retrieved September 8, 2015, from http://CRAN.R-project.org/package=lme4
(1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum.
(2012). The effects of feedback during exploratory mathematics problem solving: Prior knowledge matters. Journal of Educational Psychology, 104, 1094 – 1108.
(1994). Regression analysis with clustered data. Statistics in Medicine, 13, 509 – 522.
(1982). The unit of analysis: Group means versus individual observations. American Educational Research Journal, 19, 5 – 18.
(2010). Multilevel analysis: Techniques and applications (2nd ed.). New York, NY: Routledge.
(2009). Data analysis: A model comparison approach (2nd ed.). New York, Hove: Routledge.
(1965). Survey Sampling. New York: Wiley.
(2008). The Influence of misspecification of the heteroscedasticity on multilevel regression parameter and standard error estimates. Methodology, 4, 67 – 72.
(1998). Introducing multilevel modeling. London: Sage.
(2012). Computerunterstützte Leseverständnisförderung: Die Effekte automatisch generierter Rückmeldungen. Zeitschrift für Pädagogische Psychologie, 26, 135 – 148.
(2008). The Multilevel Latent Covariate Model: A New, More Reliable Approach to Group-Level Effects in Contextual Studies. Psychological Methods, 13, 203 – 229.
(2005). Sufficient sample sizes for multilevel modeling. Methodology, 1, 86 – 92.
(2010). Effekte eines induktiven Denktrainings auf die Denk- und Sprachentwicklung bei Vorschulkindern und Erstklässlern in benachteiligten Stadtteilen. Zeitschrift für Pädagogische Psychologie, 24, 139 – 146.
(2011). Vitality and interest-enjoyment as a function of class-to-class variation in need-supportive teaching and pupils’ autonomous motivation. Journal of Educational Psychology, 103, 353 – 366.
(2011). Sample Size and Accuracy of Estimates in Multilevel Models: New Simulation Results. Methodology, 7, 111 – 120.
(2011). Why grades engender performance-avoidance goals: The mediating role of autonomous motivation. Journal of Educational Psychology, 103, 683 – 700.
(2012). R: A language and environment for statistical computing. Wien: R Foundation for Statistical Computing. ISBN 3-900051-07-0. Retrieved September 8, 2015, from http://www.R-project.org/.
(2002). Hierarchical linear models: Applications and data analysis methods (2nd Edition). Thousand Oaks, CA: Sage.
(2012). Contextual and random coefficient multilevel models. A comparison. NEPS Working Paper No. 6 (NEPS Working Papers). Bamberg.
(2012). Dynamic task selection in learning arithmetic: The role of learner control and adaption based on a hierarchy of skills. Zeitschrift für Pädagogische Psychologie, 26, 43 – 55.
(2011). What readers have and do: Effects of students’ verbal ability and reading time components on comprehension with and without text availability. Journal of Educational Psychology, 103, 877 – 896.
(2011). Practicing versus inventing with contrasting cases: The effects of telling first on learning and transfer. Journal of Educational Psychology, 103, 759 – 775.
(1971). Topics in variance component estimation. Biometrics, 27, 1 – 76.
(1992). Variance Components. New York, NY: Wiley.
(2012). Multilevel analysis (2nd edition). London: Sage.
(2011). The influence of working memory and phonological processing on English language learner children’s bilingual reading and language acquisition. Journal of Educational Psychology, 103, 838 – 856.
(1943). Tests of statistical hypotheses concerning several parameters when the number of observations is large. Transactions of the American Mathematical Society, 54, 426 – 482.
