Skip to main content
Search
Search
    Quick Search anywhere
    Quick search in Citations
Advanced Search
Skip main navigationClose Drawer MenuOpen Drawer Menu
Previous article
Next article
Open AccessOriginalarbeit

Was leisten psychologische Tests über Abschlussnoten hinaus?

Befunde zur prädiktiven Validität, Selbst- und Fremdselektion in Auswahlverfahren zur Studienzulassung

Published Online:April 04, 2022https://doi.org/10.1026/0012-1924/a000288

Abstract

Zusammenfassung. Studienplätze werden im deutschsprachigen Raum nach unterschiedlichen Kriterien vergeben, beispielsweise auf Basis schulischer Abschlussnoten oder Ergebnissen psychologischer Diagnostica, die eine Selbstselektion bewirken oder zur Fremdselektion eingesetzt werden. Die Studie vergleicht Möglichkeiten der Selektion und deren Validität für den Studien- und Praxiserfolg: Schulische Abschlussnoten, Self-Assessments und Eignungstests. Zusätzlich wird die Selbstselektion während des Bewerbungsprozesses untersucht. Grundlage der Untersuchung stellt eine 2015 initiierte Längsschnittstudie in Lehramtsstudien dar, in der (angehende) Studierende (nTeilstichprobe 1 = 199; nTeilstichprobe 2 = 129) zu fünf Zeitpunkten befragt wurden. Es zeigt sich, dass im Bewerbungsprozess über 40 % Selbstselektion stattfindet. Zur Vorhersage von Studienerfolg können Sprachkompetenz und Gewissenhaftigkeit – erhoben im Eignungstest – Varianz über Abschlussnoten hinaus aufklären. Selbsteingeschätzte Praxisleistungen können durch fachspezifische Interessen – erhoben in Self-Assessments – und Persönlichkeitsmerkmale vorhergesagt werden, nicht jedoch durch Abschlussnoten. Die vorliegende Studie zeigt, dass Abschlussnoten zwar herkömmliche Kriterien von Studienerfolg vorhersagen, standardisierte Tests aber inkrementelle Validität und Vorhersagen für breitere Kriterien leisten können.


What Can Psychological Tests Contribute Beyond GPA? Findings on Predictive Validity, Self- and Other-Selection in Admission Procedures in Higher Education

Abstract. Universities in German-speaking countries use different selection methods in the admission of students, for example, final school grades or psychological tests. Some of these tests result in self-selection or are used for other-selection. The present study compares different selection methods – final school grades, self-assessments, and admission tests – and their predictive validity for academic achievement and teaching practice success. In addition, we examine self-selection during the application process. This work is part of a longitudinal study initiated in 2015, where (prospective) students (nsubsample 1 = 199; nsubsample 2 = 129) in Austrian initial teacher education programs were tested five times. Ultimately, over 40 % of the applicants dropped out during the application process. Prediction of academic achievement, verbal ability, and conscientiousness, as assessed by the admission test, can explain variance beyond school-leaving grades. Self-reported teaching practice success can be predicted by subject-specific interests, as measured by self-assessments, and by personality traits, but not by school-leaving grades. The present study reveals that, although final grades do predict the common criteria of academic achievement, standardized tests show incremental validity and better predictions for broader criteria.

Literatur

  • Aloe, A. M. & Becker, B. J. (2009). Teacher verbal ability and school outcomes: Where is the evidence? Educational Researcher, 38, 612 – 624. https://doi.org/10.3102/0013189X09353939 First citation in articleCrossref, Google Scholar

  • Arendasy, M., Hornke, L. F., Sommer, M., Häusler, J., Wagner-Menghin, M., Gittler, G. et al. (2009). Intelligenz-Struktur-Batterie (INSBAT): Eine Testbatterie zur Messung von Intelligenz (Manual & Test). Mödling: Schuhfried GmbH. First citation in articleGoogle Scholar

  • Bardach, L. & Klassen, R. M. (2020). Smart teachers, successful students? A systematic review of the literature on teachers’cognitive abilities and teacher effectiveness. Educational Research Review, 30, 100312. https://doi.org/10.1016/j.edurev.2020.100312 First citation in articleGoogle Scholar

  • Barrick, M. R., Mount, M. K. & Judge, T. A. (2001). Personality and performance at the beginning of the new millenium: What do we know and where do we go next? International Journal of Selection and Assessment, 9, 9 – 30. https://doi.org/10.1111/1468-2389.00160 First citation in articleCrossref, Google Scholar

  • Beghetto, R. A. & Plucker, J. A. (2016). Revisiting the relationship among schooling, learning, and creativity. In J. C. KaufmanJ. Baer (Eds.), Creativity and Reasoning in Cognitive Development (pp. 72 – 91). New York: Cambridge University Press. https://doi.org/10.1017/CBO9781139941969.005 First citation in articleGoogle Scholar

  • Benedek, M., Nordtvedt, N., Jauk, E., Koschmieder, C., Pretsch, J., Krammer, G. et al. (2016). Assessment of creativity evaluation skills: A psychometric investigation in prospective teachers. Thinking Skills and Creativity, 21, 75 – 84. https://doi.org/10.1016/j.tsc.2016.05.007 First citation in articleCrossref, Google Scholar

  • Bundesministerium für Bildung, Wissenschaft und Forschung [BMBWF]. (n. d.). Zulassungsregelungen und Aufnahmeverfahren. Verfügbar unter: https://www.bmbwf.gv.at/Themen/HS-Uni/Studium/Studienzulassung/Zugangsregelungen--Aufnahmeverfahren.html First citation in articleGoogle Scholar

  • Brandstätter, H. & Mayr, J. (1994). Die „Lehrer-Persönlichkeits-Adjektivskalen“ (LPA). Ein Instrument zur Selbsteinschätzung berufsrelevanter Persönlichkeitsmerkmale. In J. Mayr (Hrsg.), Lehrer/in werden (S. 231 – 247). Innsbruck: Österreichischer Studienverlag. First citation in articleGoogle Scholar

  • Bundesverfassungsgericht [BVerf, G]. (2017). Urteil des Ersten Senats vom 19. Dezember 2017 – 1 BvL 3/14 – Rn. (1 – 253). Verfügbar unter: http://www.bverfg.de/e/ls20171219_1bvl000314.html First citation in articleGoogle Scholar

  • Chan, D. W. (2006). Emotional intelligence and components of burnout among Chinese secondary school teachers in Hong Kong. Teaching and Teacher Education, 22, 1042 – 1054. https://doi.org/10.1016/j.tate.2006.04.005 First citation in articleCrossref, Google Scholar

  • Cropley, A. J. (2001). Creativity in education and learning: A guide for teachers and educators. London: Kogan Page. First citation in articleGoogle Scholar

  • D’Agostino, J. V. & Powers, S. J. (2009). Predicting teacher performance with test scores and grade point average: A meta-analysis. American Educational Research Journal, 46, 146 – 182. https://doi.org/10.3102/0002831208323280 First citation in articleCrossref, Google Scholar

  • Formazin, M., Schroeders, U., Köller, O., Wilhelm, O. & Westmeyer, H. (2011). Studierendenauswahl im Fach Psychologie. Psychologische Rundschau, 62, 221 – 236. https://doi.org/10.1026/0033-3042/a000093 First citation in articleLink, Google Scholar

  • Gleeson, R., Kriegler-Kastelic, G., Bugelnig, A. & Schott, R. (2014). Self-Assessments als Mittel zur Selbstselektion in mehrstufigen Aufnahmeverfahren. Zeitschrift für Hochschulentwicklung, 9, 131 – 147. First citation in articleGoogle Scholar

  • Hell, B., Trapmann, S. & Schuler, H. (2008). Synopse der Hohenheimer Metaanalysen zur Prognostizierbarkeit des Studienerfolgs und Implikationen für die Auswahl- und Beratungspraxis. In H. Schuler (Hrsg.), Studierendenauswahl und Studienentscheidung (S. 43 – 54). Göttingen: Hogrefe. First citation in articleGoogle Scholar

  • Karwowski, M. (2017). Subordinated and rebellious creativity at school. In R. BeghettoB. Sriraman (Eds.), Creative contradictions in education. Creativity theory and action in education (pp. 89 – 113). Cham: Springer. https://doi.org/10.1007/978-3-319-21924-0_6 First citation in articleCrossref, Google Scholar

  • Kim, L. E., Jörg, V. & Klassen, R. M. (2019). A meta-analysis of the effects of teacher per-sonality on teacher effectiveness and burnout. Educational Psychology Review, 31, 163 – 195. https://doi.org/10.1007/s10648-018-9458-2 First citation in articleCrossref, Google Scholar

  • Köller, O. (2013). Abitur und Studierfähigkeit. In J. AsdonkS. KuhnenP. Bornkessel (Hrsg.), Von der Schule zur Hochschule. Analysen, Konzeptionen und Gestaltungsperspektiven des Übergangs (S. 25 – 49). Münster: Waxmann. First citation in articleGoogle Scholar

  • Koschmieder, C. (2018). Non-cognitive assessment in personnel selection: Development of new tests for the admission procedure in teacher education. Unveröffentlichte Dissertation, Karl-Franzens Universität Graz. First citation in articleGoogle Scholar

  • Koschmieder, C. & Neubauer, A. C. (2021). Measuring emotion regulation for preservice teacher selection: A theory-driven development of a situational judgment test. Personality and Individual Differences, 168, 110363. https://doi.org/10.1016/j.paid.2020.110363 First citation in articleGoogle Scholar

  • Krammer, G., Sommer, M. & Arendasy, M. E. (2016). Realistic job expectations predict academic achievement. Learning and Individual Differences, 51, 341 – 348. https://doi.org/10.1016/j.lindif.2016.09.010 First citation in articleCrossref, Google Scholar

  • Kuncel, N. R. & Hezlett, S. A. (2010). Fact and fiction in cognitive ability testing for admissions and hiring decisions. Current Directions in Psychological Science, 19, 339 – 345. https://doi.org/10.1177/0963721410389459 First citation in articleCrossref, Google Scholar

  • Kuncel, N. R., Hezlett, S. A. & Ones, D. S. (2001). A comprehensive meta-analysis of the predictive validity of the Graduate Record Examinations: Implications for graduate student selection and performance. Psychological Bulletin, 127, 162 – 181. https://doi.org/10.1037/0033-2909.127.1.162 First citation in articleCrossref, Google Scholar

  • Kunter, M., Klusmann, U., Baumert, J., Richter, D., Voss, T. & Hachfeld, A. (2013). Professional competence of teachers: Effects on instructional quality and student development. Journal of Educational Psychology, 105 (3), 805 – 820. https://doi.org/10.1037/a0032583 First citation in articleCrossref, Google Scholar

  • Lang, F. R., Lüdtke, O. & Asendorpf, J. B. (2001). Testgüte und psychometrische Äquivalenz der deutschen Version des Big Five Inventory (BFI) bei jungen, mittelalten und alten Erwachsenen. Diagnostica, 47, 111 – 121. https://doi.org/10.1026//0012-1924.47.3.111 First citation in articleLink, Google Scholar

  • Lievens, F., Peeters, H. & Schollaert, E. (2008). Situational judgment tests: A review of recent research. Personnel Review, 37 (4), 426 – 441. https://doi.org/10.1108/00483480810877598 First citation in articleCrossref, Google Scholar

  • Mayr, J. (n. d.). Fragebogen zu pädagogischen Vorerfahrungen (FPV). Verfügbar unter: http://www.cct-germany.de/de/0/tests/fpv First citation in articleGoogle Scholar

  • Mayr, J. (1998). Die „Lehrer-Interessen-Skalen“ (LIS). Ein Instrument für Forschung und Laufbahnberatung. In J. AbelC. Tarnai (Hrsg.), Pädagogisch-psychologische Interessenforschung in Studium und Beruf (S. 111 – 125). Münster: Waxmann. First citation in articleGoogle Scholar

  • Mayr, J. (2012). Ein Lehramtsstudium beginnen? Ein Lehramtsstudium beginnen lassen? Laufbahnberatung und Bewerberauswahl konstruktiv gestalten. In B. WeyandM. JustusM. Schratz (Hrsg.), Auf unsere Lehrerinnen und Lehrer kommt es an. Geeignete Lehrer / -innen gewinnen, (aus –)bilden und fördern, (S. 38 – 57). Essen: Stifterverband für die Deutsche Wissenschaft. First citation in articleGoogle Scholar

  • Mayr, J., Hanfstingl, B. & Neuweg., G. H. (2020). Der Persönlichkeitsansatz in der Lehrerbildung. In C. CramerM. RothlandJ. KönigS. Blömeke (Hrsg.), Handbuch Lehrerinnen- und Lehrerbildung. (S. 141 – 147). Stuttgart: UTB. First citation in articleGoogle Scholar

  • Mayr, J., Müller, F. H. & Nieskens, B. (2015). CCT – Career Counselling for Teachers: Genese, Grundlagen und Entwicklungsstand eines webbasierten Beratungsangebots. In A. Boeger (Hrsg.), Eignung für den Lehrerberuf. Auswahl und Förderung (S. 181 – 214). Berlin: Springer. First citation in articleGoogle Scholar

  • Neubauer, A., Koschmieder, C., Krammer, G., Mayr, J., Müller, F.H., Pflanzl, B. et al. (2017). TESAT – Ein neues Verfahren zur Eignungsfeststellung und BewerberInnenauswahl für das Lehramtsstudium: Kontext, Konzept und erste Befunde. Zeitschrift für Bildungsforschung, 7, 5 – 21. https://doi.org/10.1007/s35834-017-0178-3 First citation in articleCrossref, Google Scholar

  • Nieskens, B., Mayr, J. & Meyerdierks, I. (2011). CCT – Career Counselling for Teachers: Evaluierung eines Online-Beratungsangebots für Studieninteressierte. Lehrerbildung auf dem Prüfstand, 4 (1), 8 – 32. First citation in articleGoogle Scholar

  • Podgursky, M., Monroe, R. & Watson, D. (2004). The academic quality of public school teachers: An analysis of entry and exit behavior. Economics of Education Review, 23, 507 – 518. https://doi.org/10.1016/j.econedurev.2004.01.005 First citation in articleCrossref, Google Scholar

  • Poropat, A. E. (2009). A meta-analysis of the five-factor model of personality and academic performance. Psychological Bulletin, 135, 322 – 338. https://doi.org/10.1037/a0014996 First citation in articleCrossref, Google Scholar

  • Päßler, K., Hell, B. & Schuler, H. (2011). Grundlagen der Berufseignungsdiagnostik und ihre Anwendung auf den Lehrerberuf. Zeitschrift für Pädagogik, 57, 639 – 654. First citation in articleGoogle Scholar

  • Pretsch, J., Koschmieder, C., Vollmann, H. & Neubauer, A. C. (2016). Emotionale Intelligenz: Test zur Emotionserkennung (TEU). Unveröffentlichtes Testhandbuch, Karl-Franzens-Universität Graz. First citation in articleGoogle Scholar

  • Pretsch, J. & Neubauer, A. C. (2014). Sprachkompetenz Deutsch (GLANG). Unveröffentlichtes Ergebnismanual, Karl-Franzens-Universität Graz. First citation in articleGoogle Scholar

  • Richardson, M., Abraham, C. & Bond, R. (2012). Psychological correlates of university students’ academic performance: A systematic review and meta-analysis. Psychological Bulletin, 138, 353 – 387. https://doi.org/10.1080/02602938.2014.999746 First citation in articleCrossref, Google Scholar

  • Roloff, J., Klusmann, U., Lüdtke, O. & Trautwein, U. (2020). The predictive validity of teachers’ personality, cognitive and academic abilities at the end of high school on instructional quality in Germany: A longitudinal study. AERA Open, 6 (1), 1 – 17. https://doi.org/10.1177/2332858419897884 First citation in articleCrossref, Google Scholar

  • Roth, B., Becker, N., Romeyke, S., Schäfer, S., Domnick, F. & Spinath, F. M. (2015). Intelligence and school grades: A meta-analysis. Intelligence, 53, 118 – 137. https://doi.org/10.1016/j.intell.2015.09.002 First citation in articleCrossref, Google Scholar

  • Sawyer, R. (2013). Beyond correlations: Usefulness of high school GPA and test scores in making college admissions decisions. Applied Measurement in Education, 26 (2), 89 – 112. https://doi.org/10.1080/08957347.2013.765433 First citation in articleCrossref, Google Scholar

  • Schaarschmidt, U. (Hrsg.). (2005). Halbtagsjobber? Psychische Gesundheit im Lehrerberuf – Analyse eines veränderungsbedürftigen Zustandes (2. Aufl.). Weinheim: Beltz. First citation in articleGoogle Scholar

  • Schaarschmidt, U. & Fischer, A. W. (2007). Inventar zur Persönlichkeitsdiagnostik in Situationen (IPS). Manual (Version 21.00). Mödling: Schuhfried GmbH. First citation in articleGoogle Scholar

  • Schmidt, F. L. & Hunter, J. E. (1998). The validity and utility of selection methods in personnel selection: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262 – 274. https://doi.org/10.1037/0033-2909.124.2.262 First citation in articleCrossref, Google Scholar

  • Schuler, H. (2010). Noten als Prädiktoren von Studien- und Berufserfolg. In D. H. Rost (Hrsg.), Handwörterbuch Pädagogische Psychologie (4. Auflage, S. 599 – 606). Weinheim: Beltz. First citation in articleGoogle Scholar

  • Schuler, H. & Hell, B. (2008). Studierendenauswahl und Studienentscheidung aus eignungsdiagnostischer Sicht. In H. SchulerB. Hell (Hrsg.), Studierendenauswahl und Studienentscheidung (S. 11 – 17). Göttingen: Hogrefe. First citation in articleGoogle Scholar

  • Schult, J., Hofmann, A. & Stegt, S. J. (2019). Leisten fachspezifische Studierfähigkeitstests im deutschsprachigen Raum eine valide Studienerfolgsprognose? Ein metaanalytisches Update. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 51 (1), 16 – 30. https://doi.org/10.1026/0049-8637/a000204 First citation in articleLink, Google Scholar

  • Seethaler, E. (2018). Befunde zur prädiktiven Validität eines Aufnahmeverfahrens für Lehramtsstudierende. Zeitschrift für empirische Hochschulforschung, 2, 155 – 174. https://doi.org/10.3224/zefh.v2i2.05 First citation in articleCrossref, Google Scholar

  • Sommer, U., Fink, A. & Neubauer, A. C. (2008). Detection of high ability children by teachers and parents: Psychometric quality of new rating checklists for the assessment of intellectual, creative and social ability. Psychology Science Quarterly, 50, 189 – 205. First citation in articleGoogle Scholar

  • TEDCA – Teachers‘ Education, Development and Career in Austria (2020). Verfügbar unter: https://ius.aau.at/de/forschung-entwicklung/projekte/tedca/ First citation in articleGoogle Scholar

  • Thorndike, R. L. (1949). Personnel selection: Test and measurement techniques. New York: Wiley. First citation in articleGoogle Scholar

  • Trapmann, S., Hell, B., Hirn, J.-O. W. & Schuler, H. (2007). Meta-analysis of the relationship between the Big Five and academic success at university. Zeitschrift für Psychologie/Journal of Psychology, 215, 132 – 151. https://doi.org/10.1027/0044-3409.215.2.132 First citation in articleLink, Google Scholar

  • Trapmann, S., Hell, B., Weigand, S. & Schuler, H. (2007). Die Validität von Schulnoten zur Vorhersage des Studienerfolgs – eine Metaanalyse. Zeitschrift für Pädagogische Psychologie, 21, 11 – 27. https://doi.org/10.1024/1010-0652.21.1.11 First citation in articleLink, Google Scholar

  • Weissenbacher, B., Koschmieder, C., Krammer G., Müller, H., F., Hecht, P., Knitel, D. et al. (2019). Der Studien- und Berufserfolg von (angehenden) Lehrkräften in Österreich im Längsschnitt – Ausgewählte Befunde aus dem ersten Studienjahr. Beiträge zur Lehrerinnen- und Lehrerbildung, 1, 42 – 56. First citation in articleGoogle Scholar

  • Zimmermann, S., Klusmann, D. & Hampe, W. (2017). Correcting the predictive validity of a selection test for the effect of indirect range restriction. BMC Medical Education, 17, 246. https://doi.org/10.1186/s12909-017-1070-5 First citation in articleGoogle Scholar