Skip to main content
Search
Search
    Quick Search anywhere
    Quick search in Citations
Advanced Search
Skip main navigationClose Drawer MenuOpen Drawer Menu
Previous article
Next article
Originalia

Das Berliner Evaluationsinstrument für selbsteingeschätzte, studentische Kompetenzen (BEvaKomp)

Published Online:January 01, 2008https://doi.org/10.1026/0012-1924.54.1.30

Abstract

Zusammenfassung. Im Rahmen des Bologna-Prozesses werden europaweit Bachelor-Studiengänge eingeführt, deren Abschlüsse berufsqualifizierend sind. Die beteiligten Länder haben sich auf einen Qualifikationsrahmen, d.h. auf eine Liste von studienfachunspezifisch formulierten Kompetenzen verständigt, die in Lehrveranstaltungen vermittelt werden sollen. Inwieweit diese Kompetenzen tatsächlich von den Studierenden erworben werden, ist empirisch nachzuweisen. Bisherige Lehrveranstaltungsevaluationsinstrumente können zu diesem Zweck nur bedingt genutzt werden, denn sie messen eher den Prozess als das Ergebnis einer Veranstaltung. Deshalb haben wir ein Instrument entwickelt, das in sechs Subskalen mit insgesamt 29 Items den selbsteingeschätzten Zuwachs an Fach-, Methoden-, Präsentations-, Kommunikations-, Kooperations- sowie Personalkompetenz erhebt. In einer Stichprobe mit insgesamt 2507 Fragebögen wurde das Instrument entlang der klassischen Testtheorie überprüft. Die Ergebnisse zeigen gute Reliabilitäten und die Intraclass Correlations bestätigen die Messgenauigkeit auf Lehrveranstaltungsebene. Eine konfirmatorische Faktorenanalyse bestätigt die Konstruktvalidität. Weiter wurde die diskriminante Validität gegenüber einer Messung von Zufriedenheit geprüft.


The Berlin Evaluation Instrument for self-evaluated student competences

Abstract. Throughout the countries involved in the Bologna process, Bachelor programmes with job-qualifying degrees are established. The participating countries agreed on a “framework of qualifications”, i.e., on a list of multidisciplinary competences to be conveyed in academic courses. Furthermore, universities have to provide empirical evidence in how far their students do in fact acquire these competencies. Existing instruments of course evaluation cannot be used for this purpose because they measure the course’s process instead of its outcome. Against this background we developed a 29-items-questionnaire consisting of six subscales measuring students’ self-reported gains in knowledge processing, methodology/presentation competency, communication/cooperation competency, and personal competency. Following classical test theory, we tested the instrument in a sample of 2507 questionnaires. Results show sufficient reliability and the intraclass correlations confirm data aggregation on course level. A confirmatory factor analysis proves the instrument to be construct-valid, an examination of the distinction between competencies and satisfaction indicates discriminant validity.

Literatur

  • Backhaus, K. Erichson, B. Plinke, W. (2003). Multivariate Analysemethoden . Berlin: Springer First citation in articleGoogle Scholar

  • Beauducel, A. Wittmann, W. W. (2005). Simulation study on fit indexes in CFA based on data with slightly distorted simple structure. Structural Equation Modeling, 12, 41– 75 First citation in articleCrossref, Google Scholar

  • Bechtoldt, M. (2003). Die Bedeutung sozialer Kompetenz für die Bewältigung interpersoneller Stressoren am Arbeitsplatz . Dissertationsschrift Universität Frankfurt. http://publikationen.ub.uni-frankfurt.de/volltexte/2004/382/ First citation in articleGoogle Scholar

  • Bliese, P. D. (2000). Within-group agreement, non-independence, and reliability: Implications for data aggregation and analysis. In K. Klein & S. W. Kozlowski (Eds.), Multilevel theory, research, and methods in organisations (pp. 349-381). San Francisco, CA: Jossey-Bass First citation in articleGoogle Scholar

  • Bloom, B. S. (1956). Taxonomy of educational objectives: the classification of educational goals. Handbook 1, Cognitive . New York: McKay First citation in articleGoogle Scholar

  • Braun, E. Gusy, B. (2006). Perspektiven der Lehrevaluation. In G. Krampen & H. Zayer (Hrsg.), Didaktik und Evaluation in der Psychologie (S. 152-166). Göttingen: Hogrefe First citation in articleGoogle Scholar

  • Braun, E. Soellner, R. Hannover, B. (2006). Ergebnisorientierte Lehrveranstaltungsevaluation. In Hochschulrektorenkonferenz (HRK), Qualitätsentwicklung an Hochschulen - Erfahrungen und Lehren aus 10 Jahren Evaluation (S. 60-67). Bonn: HRK First citation in articleGoogle Scholar

  • Collins, L. M. Schafer, J. L. Kam, C. K. (2001). A comparison of inclusive and restrictive strategies in modern missing-data procedures. Psychological Methods, 6, 330– 351 First citation in articleCrossref, Google Scholar

  • Dochy, F. J. R. C. Alexander, P. A. (1995). Mapping prior knowledge: A framework for discussion among researchers. European Journal of Psychology of Education, 10, 225– 242 First citation in articleCrossref, Google Scholar

  • Donabedian, A. (1966). Evaluating the quality of medical care. The Milbank Quarterly, 44, 166– 203 First citation in articleCrossref, Google Scholar

  • Enders, C. K. (2001). The impact of nonnormality on full information maximum-likelihood estimation for structural equation models with missing data. Psychological Methods, 6, 352– 370 First citation in articleCrossref, Google Scholar

  • Enders, C. K. (2006). Analyzing structural equation models with missing data. In G. R. Hancock & R. O. Mueller (Eds.), Analyzing structural equation models with missing data (pp. 313-342). Greenwich, CT: Information Age First citation in articleGoogle Scholar

  • Enders, C. K. Peugh, J. L. (2004). Using an em covariance matrix to estimate structural equation models with missing data: Choosing an adjusted sample size to improve the accuracy of inferences. Structural Equation Modeling, 11, 1– 19 First citation in articleCrossref, Google Scholar

  • Erpenbeck, J. (2003). Einführung. In J. Erpenbeck & L. von Rosenstiel (Hrsg.), Handbuch Kompetenzmessung. Erkennen, Verstehen und Bewerten von Kompetenzen in der betrieblichen, paedagogischen und psychologischen Praxis (S. 9-19). Stuttgart: Schaeffer-Poeschel First citation in articleGoogle Scholar

  • Frey, A. Balzer, L. (2003). Soziale und methodische Kompetenzen - der Beurteilungsbogen SMK: Ein Messverfahren für die Diagnose von sozialen und methodischen Kompetenzen. Empirische Pädagogik, 17, 148– 175 First citation in articleGoogle Scholar

  • Gold, A. (1996). Können Studierende die Qualität der Lehre beurteilen?. Zeitschrift für Pädagogische Psychologie, 10, 147– 150 First citation in articleGoogle Scholar

  • Gosling, S. D. John, O. P. Craik, K. H. Robins, R. W. (1998). Do people know how they behave? Self-reported act frequencies compared with on-line codings by observers. Journal of Personality and Social Psychology, 74, 1337– 1349 First citation in articleCrossref, Google Scholar

  • Greenwald, A. Gillmore, G. (1998). How useful are student ratings?. American Psychologist, 53, 1228– 1229 First citation in articleCrossref, Google Scholar

  • Grühn, D. (2001). Praxisorientierung in Bachelorstudiengängen. In U. Welbers (Hrsg.), Studienreform mit Bachelor und Master (S. 101-127). Neuwied: Luchterhand First citation in articleGoogle Scholar

  • Hannover, B. (1998). The development of self-concept and interests. In L. Hoffmann, A. Krapp, K. A. Renninger & J. Baumert (Hrsg.), Interest and learning (S. 105-125). Kiel: IPN First citation in articleGoogle Scholar

  • Heckhausen, J. Heckhausen, H. (2006). Motivation und Handeln (3. Auflage). Berlin: Springer First citation in articleGoogle Scholar

  • Helmke, A. (1996). Studentische Evaluation der Lehre - Sackgassen und Perspektiven. Zeitschrift für Pädagogische Psychologie, 10, 181– 186 First citation in articleGoogle Scholar

  • Hu, L. T. Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1– 55 First citation in articleCrossref, Google Scholar

  • Jöreskog, K. G. (1993). Testing structural equation models. In K. A. Bollen & J. S. Long (Eds.), Testing structural equation models (pp. 294-317). Newbury Park: Sage Publications First citation in articleGoogle Scholar

  • Kanning, U. P. (2003). Diagnostik sozialer Kompetenzen . Göttingen: Hogrefe First citation in articleGoogle Scholar

  • Klieme, E. Artelt, C. Stanat, P. (2002). Fächerübergreifende Kompetenzen. In F. E. Weinert (Hrsg.), Leistungsmessungen in der Schule (S. 203-218). Weinheim: Beltz First citation in articleGoogle Scholar

  • Klippert, H. (2000). Methoden-Training: Übungsbausteine für den Unterricht . Weinheim: Beltz First citation in articleGoogle Scholar

  • Kultusministerkonferenz, Hochschulrektorenkonferenz und Bundesministerium für Bildung und Forschung (2005). Qualifikationsrahmen für Deutsche Hochschulabschlüsse . Verfügbar unter http://www.kmk.org/doc/beschl/ BS_050421_Qualifikationsrahmen_AS_Ka.pdf First citation in articleGoogle Scholar

  • Kramer, K. (2003). Entwicklung eines Lerndiagnose-Monitorings für Lehrkräfte - Zwischenergebnisse eines Arbeitsprozesses zur Weiterbildung . Unveröffentlichter Arbeitsbericht zum Bund-Länder-Projekt “Lebenslanges Lernen-Grundschule“. Kiel: IPN First citation in articleGoogle Scholar

  • Krapp, A. (2002). Structural and dynamic aspects of interest development: Theoretical considerations from an ontogenetic perspective. Learning and Instruction, 12, 383– 409 First citation in articleCrossref, Google Scholar

  • Kromrey, H. (1996). Qualitätsverbesserung in Lehre und Studium statt so genannter Lehrevaluation. Ein Plädoyer für gute Lehre und gegen schlechte Sozialforschung. Zeitschrift für Pädagogische Psychologie, 10, 153– 166 First citation in articleGoogle Scholar

  • Landesinstitut für Schule und Medien Brandenburg, Landesinstitut für Schule und Ausbildung Mecklenburg-Vorpommern, Berliner Landesinstitut für Schule und Medien & Fachbereich Erziehungswissenschaften und Psychologie der Freien Universität Berlin (2004). Rahmenlehrpläne Grundschule - Pädagogische Begriffe . Berlin: Wissenschaft und Technik First citation in articleGoogle Scholar

  • L’Hommedieu, R. Menges, R. J. Brinko, K. T. (1990). Methodological explanations for the modest effect of feedback from student ratings. Journal of Educational Psychology, 82, 232– 241 First citation in articleCrossref, Google Scholar

  • Lucas, R. E. Baird, B. M. (2006). Global self-assessment. In M. Eid & E. Diener (Eds.), Handbook of multimethod measurement in psychology (pp. 29-42). Washington, DC: American Psychological Association First citation in articleGoogle Scholar

  • Lüdtke, O. (2004). Analyse von Schulumwelten: Ansätze zur Bestimmung der Reliabilität und Übereinstimmung von Schülerwahrnehmungen . Vortrag auf der 65. Fachtagung der Allgemeinen Empirischen Pädagogischen Forschung, Nürnberg, 19.09-22.09.2004 First citation in articleGoogle Scholar

  • Marsh, H. W. (1994). Using the national longitudinal study of 1988 to evaluate theoretical models of self-concept: The Self-Description Questionnaire. Journal of Educational Psychology, 86, 439– 456 First citation in articleCrossref, Google Scholar

  • Marsh, H. W. Balla, J. R. McDonald, R. P. (1988). Goodness of fit in confirmatory factor analysis: The effect of sample size. Psychological Bulletin, 103, 391– 410 First citation in articleCrossref, Google Scholar

  • Marsh, H. W. Hau, K. T. Wen, Z. (2004). In search of golden rules: Comment on hypothesis-testing approaches to setting cutoff values for fit indexes and dangers in overgeneralizing Hu and Bentler’s (1999) findings. Structural Equation Modeling, 11, 320– 341 First citation in articleCrossref, Google Scholar

  • Marsh, H. W. Roche, L. A. (1997). Making students’ evaluations of teaching effectiveness effective. American Psychologist, 52, 1187– 1197 First citation in articleCrossref, Google Scholar

  • OECD Organisation for Economic Cooperation and Development (2004). Learning for tomorrow’s world. First results from PISA 2003 . Paris: OECD First citation in articleGoogle Scholar

  • Rindermann, H. (2001). Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichts . Landau: Verlag Empirische Pädagogik First citation in articleGoogle Scholar

  • Rychen, D. S. Salganik, L. H. (2003). Key competencies for a successful life and a well-functioning society . Cambridge: Hogrefe & Huber Publishers First citation in articleGoogle Scholar

  • Roche, L. A. Marsh, H. W. (1998). Workload, grades, and students’ evaluations of teaching: Clear understanding sometimes requires more patient explanations. American Psychologist, 53, 1230– 1231 First citation in articleCrossref, Google Scholar

  • Rosemann, B. Schweer, M. (1996). Evaluation universitärer Lehre und der Wissenszuwachs bei Studierenden. Zeitschrift für Pädagogische Psychologie, 10, 175– 180 First citation in articleGoogle Scholar

  • Satorra, A. Bentler, P. M. (1988). Scaling corrections for Chi-square statistics in covariance structure analysis. In ASA (Ed.), Proceedings of the Business and Economics Statistics Section (pp. 308-313). Washington, DC: American Statistical Association First citation in articleGoogle Scholar

  • Schaeper, H. Briedis, K. (2004). Kompetenzen von Hochschulabsolventinnen und Hochschulabsolventen, berufliche Anforderungen und Folgerungen für die Hochschulreform . Hannover: Hochschul-Informations-System First citation in articleGoogle Scholar

  • Schafer, J. L. (1997). Analysis of incomplete multivariate data . London: Chapman and Hall / CRC Press First citation in articleGoogle Scholar

  • Schafer, J. L. Graham, J. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7, 147– 177 First citation in articleCrossref, Google Scholar

  • Sonntag, K. Schäfer-Rauser, U. (1993). Selbsteinschätzung beruflicher Kompetenzen bei der Evaluation von Bildungsmaßnahmen. Zeitschrift für Arbeits- und Organisationspsychologie, 37, 163– 171 First citation in articleGoogle Scholar

  • Spain, J. S. Eaton, L. G. Funder, D. C. (2000). Perspective on personality: The relative accuracy of self versus others for the prediction of emotion and behavior. Journal of Personality, 68, 837– 867 First citation in articleCrossref, Google Scholar

  • Spiel, C. (2001). Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck . Münster: Waxmann First citation in articleGoogle Scholar

  • Staufenbiel, T. (2000). Fragebogen zur Evaluation universitärer Lehrveranstaltungen durch Studierende und Lehrende. Diagnostica, 46, 169– 181 First citation in articleLink, Google Scholar

  • Tabachnick, B. G. Fidell, L. S. (2004). Using multivariate statistics . Boston, MA: Allyn and Bacon First citation in articleGoogle Scholar

  • Thomas, S. L. Heck, R. H. (2001). Analysis of large-scale secondary data in higher education research: Potential perils associated with complex sampling designs. Research in Higher Education, 42, 517– 540 First citation in articleCrossref, Google Scholar

  • Weinert, F. E. (2002). Leistungsmessungen in der Schule . Weinheim: Beltz First citation in articleGoogle Scholar

  • Westermann, R. Heise, E. Spies, K. Trautwein, U. (1996). Identifikation und Erfassung von Komponenten der Studienzufriedenheit. Psychologie in Unterricht und Erziehung, 43, 1– 22 First citation in articleGoogle Scholar

  • Westermann, R. Spies, K. Heise, E. Wollburg-Claar, S. (1998). Bewertung von Lehrveranstaltungen und Studienbedingungen durch Studierende: Theorieorientierte Entwicklung von Fragebögen. Empirische Pädagogik, 12, 133– 166 First citation in articleGoogle Scholar