„Wir wollen mitreden!“ – Entwicklung und Validierung von Skalen zur Erfassung motivationaler Regulation bei der Teilnahme an Befragungen zur Evaluation des Studiums (SMR-Eval)
Abstract
Zusammenfassung: Für die Evaluation und Qualitätsentwicklung von Studium und Lehre werden häufig quantitative Befragungen von Studenten eingesetzt. Jedoch ist häufig unklar, aus welcher Motivation Studenten an den Befragungen teilnehmen und inwieweit unterschiedliche motivationale Regulationsstile mit dem Antwortverhalten im Fragebogen zusammenhängen. Ausgehend von der Selbstbestimmungstheorie der Motivation nach Deci und Ryan stellt der Beitrag die Entwicklung der Skalen zur motivationalen Regulation bei Befragungen zur Evaluation (SMR-Eval) vor. Studie 1 zeigt die fünffaktorielle Struktur des Instruments. Studie 2 weist auf eine starke Messinvarianz bezüglich Geschlecht, Abschlussziel und Fakultät hin. Korrelationen mit Drittvariablen belegen die konvergente Validität der fünf Subskalen. In Studie 3 werden latente Profilanalysen über die fünf Regulationsstile berechnet. Die Ergebnisse zeigen vier Profile, welche sich inhaltlich plausibel im Antwortverhalten der Befragten unterscheiden und damit Hinweise auf die Kriteriumsvalidität der Skalen geben. Diskutiert werden theoretische und praktische Implikationen für Evaluationsvorhaben an Hochschulen sowie Übertragungsmöglichkeiten auf andere Evaluationsgegenstände.
Abstract: Evaluation and quality assurance in higher education often relies on data that is generated by quantitative surveys of students. However, it remains unclear why students participate in these surveys, and how their motivational regulation correlates with their response behavior in these surveys. Based on Self-Determination Theory by Deci and Ryan, this contribution presents scales to assess motivational regulation for participating in surveys for the evaluation of study programs (SMR-Eval). Study 1 analyzes the factorial structure of the instrument and finds a five-factor structure. Study 2 shows strong measurement invariance regarding gender, academic degree, and faculty, and reports correlations that support the construct validity of the scale. In Study 3, Latent Profile Analyses across the five scale of motivational regulation result in four profiles. These profiles differ in their response behavior, thus supporting criterion validity of the scale. The results of the three studies carry implications for theorizing and for practitioners in the field of evaluation and quality assurance in higher education.
Einleitung
Für Evaluation und Qualitätsentwicklung von Studium und Lehre sind quantitative Befragungen von Studenten sehr geläufig. Sie können einzelne Lehrveranstaltungen oder Module betreffen oder auch die allgemeinen Bedingungen eines Studiengangs. Bei der Konzeption und Umsetzung solcher Befragungen, sowie bei der Interpretation und Verwertung der Ergebnisse bleibt jedoch zumeist unklar, aus welcher Motivation die eingeladenen Studenten an der Befragung teilnehmen. Angesichts der kontroversen Diskussion um die Reliabilität, Validität und Generalisierbarkeit von Befragungsergebnissen zur Evaluation von Studium und Lehre (z.B. Rindermann, 2016) wären Erkenntnisse zur Teilnahmemotivation hilfreich, um die Befragungsdaten adäquat zu interpretieren.
Empirische Studien zum Teilnahmeverhalten an Befragungen im Allgemeinen untersuchen zumeist Effekte von einzelnen Gestaltungvarianten (z.B. Art und Zeitpunkt des Anschreibens; cf. Keusch, 2015) und seltener von personenbezogenen Merkmalen der Befragten (z.B. Persönlichkeitsmerkmale; cf. Keusch, 2015). Demgegenüber stehen Theorien und Modelle zur Befragungsteilnahme, welche neben Gestaltungsvarianten auch Eigenschaften der adressierten Population, sprich, der potenziellen Befragungsteilnehmer berücksichtigen (z.B. Bosnjak, Tuten & Wittmann, 2005; Groves, Singer & Corning, 2000; Hox, de Leeuw & Vorst, 1995; Krosnick, 1991). Die Untersuchung motivationaler Aspekte, welche unmittelbar im Zusammenhang mit der Teilnahmeentscheidung und der Qualität des Antwortverhaltens stehen (cf. Keusch, 2015), steht bisher noch aus. Dies erfordert jedoch zunächst die Entwicklung reliabler und valider Messinstrumente.
Ziel der vorliegenden Studie ist die Entwicklung und Validierung eines Instruments zur Erfassung der studentischen Teilnahmemotivation – die Skala zur motivationalen Regulation bei der Teilnahme an Befragungen zur Evaluation des Studiums (SMR-Eval). Als theoretische Grundlage dient die Selbstbestimmungstheorie der Motivation (Ryan & Deci, 2000), welche vier unterschiedliche Regulationsstile auf einem Kontinuum von Extrinsischer Regulation bis Intrinsischer Regulation postuliert. Es wurden drei Studien durchgeführt. In Studie 1 wurde die Skala entwickelt sowie ihre faktorielle Struktur geprüft. Studie 2 widmete sich der Untersuchung der Messinvarianz der Skala sowie ihrer Konstruktvalidität anhand von Korrelationen mit Drittvariablen. Zur Überprüfung der Kriteriumsvalidität wurden in Studie 3 Befragte mithilfe latenter Profilanalysen entlang ihrer Regulationsstile gruppiert und hinsichtlich ihres Antwortverhaltens im Fragebogen verglichen.
Die Skala SMR-Eval ist aus mindestens vier Gründen für die Evaluationspraxis und -forschung relevant: Um (1) Zusammenhänge zwischen Regulationsstilen der Teilnehmer und der Güte ihres Antwortverhaltens zu ermitteln, um (2) die Interpretation der Befragungsergebnisse zu unterstützen und damit die Erarbeitung adäquater Maßnahmen in Studium und Lehre zu fördern, und um (3) die Gestaltung der Befragungen besser an die Zielgruppe anzupassen und somit die Rücklaufquoten und die Güte der Befragungsergebnisse zu erhöhen. Schließlich (4) können Befunde zur motivationalen Regulation die Theoriebildung zum Teilnahmeverhalten in Befragungen befördern.
Theoretischer Rahmen
Teilnahmeentscheidung und Antwortverhalten in Befragungen
Empirische Studien zeigen eine Vielzahl an Faktoren, welche Einfluss auf die Teilnahme oder Nichtteilnahme (z.B. Keusch, 2015) sowie das Antwortverhalten (z.B. Galesic & Bosnjak, 2009) haben sowie verschiedene Theorien zur Erklärung der Teilnahme an Befragungen. Gemäß der Leverage-Saliency-Theorie (Groves et al., 2000) wird die Teilnahmebereitschaft durch die individuelle Präferenz der Adressaten sowie durch die Salienz, in welcher Befragungsmerkmalen präsentiert werden, bestimmt. Die Summe aus den Produkten der individuellen Präferenzen und der Salienz über alle Befragungsmerkmale hinweg bestimmt die Teilnahmebereitschaft eines Individuums. Die Leverage-Saliency-Theorie hebt somit die Bedeutung individueller Präferenzen der adressierten Personen hervor, trifft jedoch keine Aussagen über motivationale Regulationsstile und ihre Auswirkungen auf die Teilnahmeentscheidung oder das Antwortverhalten.
Basierend auf der Theorie des geplanten Verhaltens (Ajzen, 1991) postulieren andere Theorien, dass die Intention zur Teilnahme ein Zusammenspiel ist aus (a) der individuellen Einstellung gegenüber Befragungen, (b) wahrgenommenen sozialen Normen und (c) der wahrgenommenen Verhaltenskontrolle (z.B. Bosnjak et al., 2005; Hox et al., 1995). Ausgehend hiervon wurden Instrumente zur Erfassung der Einstellung gegenüber Befragungen entwickelt und Zusammenhänge zwischen Einstellung und dem Antwortverhalten gezeigt (z.B. bezüglich der Anzahl beantworteter Fragen oder der Bearbeitungsdauer; z.B. Rogelberg, Fisher, Maynard, Hakel & Horvath, 2001; Stocké, 2006). Diese Studien berichten damit zwar relevante Prädiktoren für die Intention zur Teilnahme, jedoch fällt der Zusammenhang zwischen Intention und der tatsächlichen Teilnahme eher gering aus (Bosnjak et al., 2005; Hox et al., 1995). Dies lässt die Vermutung zu, dass die Stärke einer Intention allein nicht ausreicht, um die Teilnahmeentscheidung und das Antwortverhalten zu erklären.
Theoretische Überlegungen zum Antwortverhalten widmen sich beispielsweise der Frage nach der Sorgfalt bei der Beantwortung der Items (Krosnick, 1991). Eine nachlässige Beantwortung von Fragen (sog. Satisficing) sollte höher ausfallen bei schwer zu verstehenden Items, geringerer Fähigkeit sowie geringerer Motivation zur optimalen Beantwortung (Krosnick, 1991). Bisher nicht untersucht wurde, inwieweit unterschiedliche Regulationsstile der Motivation Satisficing beeinflussen.
Regulationsstile der Motivation und Teilnahmeverhalten in Befragungen
Die Selbstbestimmungstheorie der Motivation (Ryan & Deci, 2000) geht von vier Regulationsstilen der Motivation aus, welche menschlichem Handeln vorausgehen, und welche auf einem Kontinuum zwischen Extrinsischer und Intrinsischer Regulation angeordnet sind. Externale Regulation liegt vor, wenn die Handlung für Belohnung oder zur Vermeidung von Bestrafung umgesetzt wird (z.B., wenn Studenten an Befragungen teilnehmen, um ein attraktives Incentive zu gewinnen). Introjizierte Regulation besteht, wenn die Handlung der Einhaltung sozialer Normen oder Aufrechterhaltung des Selbstwerts dient (z.B., wenn Studenten denken „man nimmt als Student einfach an Befragungen teil“). Neuere Studien weisen darauf hin, dass Introjizierte Regulation möglicherweise aus zwei Facetten besteht (Assor, Vansteenkiste & Kaplan, 2009; Müller et al., 2021). Bei Positiver Introjizierter Regulation dient die Handlung dazu, Stolz herbeizuführen oder den Selbstwert zu steigern oder aufrechtzuerhalten. Bei Negativer Introjizierter Regulation dient die Handlung dazu, Scham, Schuld, oder die Verringerung des Selbstwerts zu vermeiden. Von Identifizierter Regulation ist die Rede, wenn eine Handlung der Realisierung eines persönlich wichtigen Ziels dient (z.B., wenn Studenten mit ihrer Teilnahme dazu beitragen wollen, ihren Studiengang weiterzuentwickeln). Integrierte Regulation liegt vor, wenn die Handlung darüber hinaus den Werten der jeweiligen Person entspricht (z.B., wenn die Werthaltung vorliegt, dass Feedback allgemein wichtig für Entwicklung ist). Bei Intrinsischer Regulation schließlich wird eine Handlung ihrer selbst willen und ob der Freude an ihrer Umsetzung durchgeführt (z.B., wenn die Beantwortung des Fragebogens als interessant empfunden wird). Externale und Introjizierte Regulation werden auch als kontrollierte Regulation bezeichnet, Identifizierte, Integrierte und Intrinsische Regulation als autonome Regulation, wobei postuliert wird, dass die unterschiedlichen Regulationsstile mit unterschiedlicher Verhaltensqualität zusammenhängen (Deci, Olafsen & Ryan, 2017; Ryan & Deci, 2000).
Empirische Ergebnisse stützen dies und zeigen, dass autonome im Vergleich zu kontrollierten Regulationsstilen mit höheren Leistungen in Studium (Botnaru, Orvis, Langdon, Niemiec & Landge, 2021) und Beruf (Reizer, Brender-Ilan & Sheaffer, 2019) zusammenhängen. Wenngleich frühe Ergebnisse nahelegen, dass für eine gegebene Handlung stets nur ein Regulationsstil vorherrschend ist (Ryan & Connell, 1989), zeigen neuere Studien, dass einer Handlung durchaus simultan mehrere Regulationsstile zugrunde liegen können (Chen, Zhang & Gilal, 2019; Wang et al., 2017). In Bezug auf die Teilnahme an Befragungen wäre dies beispielsweise der Fall, wenn neben der Freude an der Beantwortung auch zugleich das persönlich wichtige Ziel der Studiengangsentwicklung ausschlaggebend für die Teilnahme ist. Vor dem Hintergrund dieser theoretischen und empirischen Befunde stellt sich die Frage, inwieweit der Teilnahme an Befragungen zur Evaluation des Studiums ebenfalls unterschiedliche Regulationsstile zugrunde liegen (cf. Wenemark, Vernby, & Norberg, 2010), und inwieweit diese mit unterschiedlichem Antwortverhalten beim Ausfüllen der Fragebögen einhergehen (z.B. bezüglich der Sorgfalt bei der Beantwortung oder der aufgewendeten Anstrengung).
Erste qualitative Hinweise deuten darauf hin, dass sich die Teilnahmemotivation bei Befragungen entlang der Regulationsstile der Selbstbestimmungstheorie beschreiben lässt (Torres-van Grinsven, Bolko & Bavdaz, 2014; Wenemark, Hollman Frisman, Svensson & Kristenson, 2010). Jedoch existiert bisher kaum ein Instrument zur Erfassung von Regulationsstilen in Bezug auf die Befragungsteilnahme. Das Survey Participation Inventory (SPI; Brüggen, Wetzels, de Ruyter & Schillewaert, 2011) geht einen ersten Schritt in diese Richtung im Feld der Marktforschung, indem es motivationale Aspekte der Befragungsteilnahme entlang von acht Subskalen erfasst (nämlich (1) Interesse am Befragungsthema, (2) Äußerung der eigenen Meinung, (3) Neugier auf das Thema, (4) Freude an der Teilnahme, (5) Hilfsbereitschaft, (6) das versprochene Incentive, (7) soziale Anerkennung durch die Teilnahme und (8) Gefühl der Verpflichtung). Diese motivationalen Aspekte hängen mit unterschiedlich hohen Rücklaufquoten zusammen. Die Ergebnisse demonstrieren die Sinnhaftigkeit des Instruments im Speziellen und der Erfassung motivationaler Aspekte im Allgemeinen. Zwar rekurriert das SPI auf die Konzepte der Intrinsischen und Extrinsischen Motivation, muss jedoch aufgrund seines fehlenden Bezugs zu motivationspsychologischen Theorien als atheoretisches Instrument bezeichnet werden.
Befragungsteilnahme als politische Partizipation
Politische Partizipation liegt vor, wenn die Öffentlichkeit in politische Entscheidungen, Steuerung und Koordination so eingebunden ist, dass Individuen und Vertreter verschiedener Gruppierungen öffentliche Entscheidungen, welche ihre Interessen betreffen, beeinflussen können (Baum, 2015). Da alle Hochschulmitglieder zur Mitwirkung an der Selbstverwaltung verpflichtet sind (Ministerium für Kultur und Wissenschaft [MKW], 2019), spielt Partizipation für innerhochschulische Entscheidungsprozesse eine wichtige Rolle. Studenten sind in diese Entscheidungsprozesse beispielsweise durch ihre Mitgliedschaft in Gremien sowie die demokratische Wahl ebendieser Mitglieder eingebunden. Dies kann als klassische Form der politischen Partizipation angesehen werden, also eine freiwillige, nicht-professionelle Handlung innerhalb etablierter politischer Strukturen (Partizipation Typ I; van Deth, 2021). Eine andere Form politischer Partizipation (Typ II) liegt vor, wenn diese Handlungen zwar außerhalb politischer Strukturen stattfinden, sich aber an Entscheidungsträger in jenen Strukturen richten, wie es etwa bei der Teilnahme an Demonstrationen oder Petitionen der Fall ist (van Deth, 2021). Da Befragungsergebnisse zur Studiengangsevaluation in Entscheidungsprozesse über die Gestaltung und Entwicklung von Studium und Lehre einfließen, kann das Ausfüllen jener Befragungen als innerhochschulische politische Partizipation vom Typ II verstanden werden.
Als wichtige Faktoren für hochschulpolitische Partizipation gelten das individuelle Interesse an den Themen (Bundesministerium für Bildung und Forschung [BMBF], 2017), sowie die individuelle politische Selbstwirksamkeitsüberzeugung. Dabei wird unterschieden in die internale politische Selbstwirksamkeit (d.h. die individuelle Überzeugung, politische Ziele durch persönlichen Einsatz erreichen zu können), und die externale politische Selbstwirksamkeit (d.h. die individuelle Überzeugung, dass politische Systeme und Entscheidungsprozesse empfänglich für individuelle und kollektive Einflussnahme sind; Caprara, Vecchione, Capanna & Mebane, 2009). Insbesondere die internale Selbstwirksamkeit wird mit tatsächlicher politischer Partizipation in demokratischen Systemen in Verbindung gebracht (Caprara et al., 2009).
Ausgehend von diesen Überlegungen kann angenommen werden, dass unterschiedliche Regulationsstile zur Teilnahme an Befragungen in unterschiedlicher Art und Weise mit politischer Selbstwirksamkeitsüberzeugung zusammenhängen. Beispielsweise wäre denkbar, dass Studenten, die vornehmlich aufgrund eines Incentives an einer Befragung teilnehmen eine andere politische Selbstwirksamkeitsüberzeugung aufweisen als Studenten, die mit ihrer Teilnahme vornehmlich Änderungen im Studiengang befördern möchten.
Die aktuellen Studien
Ziel der vorliegenden Studien ist, (a) ein reliables und valides Instrument zur Erfassung von Regulationsstilen bei der Befragungsteilnahme zur Evaluation des Studiums zu entwickeln und zu validieren und (b) die Relevanz der Regulationsstile für die Interpretation von Befragungsergebnissen aufzuzeigen. Für die Konstruktion des Instruments wurde zunächst ein Item-Pool basierend auf der Selbstbestimmungstheorie zusammengestellt. In den anschließenden Studien wurden die psychometrischen Eigenschaften der Items und die Faktorenstruktur (Studie 1) sowie die Messinvarianz und konvergente Validität (Studie 2) geprüft. Zur Untersuchung der Kriteriumsvalidität wurde in Studie 3 untersucht, inwieweit die unterschiedlichen Regulationsstile mit unterschiedlichem Antwortverhalten im Fragebogen zusammenhängen. Hierfür wurden latente Profilanalysen durchgeführt und die Profile hinsichtlich des Antwortverhaltens im Fragebogen verglichen.
Allgemeine Methode
Stichprobe
Für alle drei Studien wurden Daten aus Befragungen herangezogen, welche zwischen Mai 2021 und Juli 2022 an der Universität zu Köln durchgeführt wurden. Die Befragungen wurden zum Zweck der Evaluation, Qualitätssicherung und -entwicklung von Studium und Lehre umgesetzt und erfassten Aspekte der Studiengangsqualität (z.B. Studien- und Prüfungsorganisation, Internationalisierung, Beratung). Die Befragungsergebnisse dienten Dekanaten und Verantwortlichen in den jeweiligen Studiengängen zur Qualitätssicherung und -entwicklung ihrer Studiengänge. Für die Befragung wurden alle Studenten der jeweiligen Studiengänge, die sich mindestens im zweiten Fachsemester befanden, per E-Mail zum Ausfüllen des Online-Fragebogens eingeladen. Die Beantwortung, welche ca. 15 bis 20 Minuten dauerte, konnte innerhalb von vier Wochen zu einem beliebigen Zeitpunkt erfolgen. Vor Versand der Einladungs-Emails informierten Fachschaften und Lehrpersonen über die Befragung. Nach Ausfüllen des Fragebogens konnten die Teilnehmer an einer Verlosung teilnehmen, in der vier Mal 50 Euro verlost werden. In der Einladung wurde über das Ziel der Erhebung, die Freiwilligkeit, die Anonymität der Antworten sowie über die Verlosung informiert.
Entwicklung der SMR-Eval
Zur Generierung einer initialen Item-Liste wurden ein (induktiver) Bottom-up Ansatz sowie ein (deduktiver) Top-down Ansatz gewählt (cf. Bollwerk, Schlipphak & Back, 2022). Für den Bottom-up Ansatz wurden qualitative Antworten aus vorangegangenen Befragungen der Universität zu Köln ausgewertet, in welchen Studenten aller Fachrichtungen zwischen November 2018 und November 2019 zu den Bedingungen ihres jeweiligen Studiengangs befragt wurden. In diesen Befragungen beantworteten die Teilnehmer in einem schriftlichen, offenen Textformat u.a. die Frage „Aus welchem Grund haben Sie sich entschieden, Ihren Studiengang zu beurteilen?“. Die insgesamt 1,142 Antworten auf diese Frage wurden inhaltsanalytisch ausgewertet (Mayring, 2022). Das hieraus resultierende Kategorienschema beschreibt Teilnahmegründe der Befragten anhand von zehn Kategorien. Zur Erstellung der initialen Item-Liste wurden aus diesen Kategorien 17 Items entlang der Regulationsstile der Motivation erstellt.
Für den Top-down Ansatz wurden aus den Skalen zur motivationalen Regulation: Studium und Lehre (SMR-SL; Thomas, Müller & Bieg, 2018), der Situational Motivation Scale (SIMS; Guay, Vallerand & Blanchard, 2000), des Academic Self-Regulation Questionnaire (SRQ-A; Ryan & Connell, 1989) sowie der Academic Motivation Scale (AMS; Vallerand et al., 1992) insgesamt 13 Items zusammengetragen, übersetzt und in ihrer Formulierung an den Gegenstand (d.h. der Teilnahme an Befragungen zur Evaluation des Studiums) angepasst.
Die insgesamt 30 Items des Bottom-up- und des Top-down-Ansatzes wurden anschließend bezüglich ihres Inhalts verglichen. Items mit inhaltlichen Redundanzen wurden gestrichen, was in einer initialen Item-Liste von 22 Items resultierte (siehe Tabelle 1). In kognitiven Interviews (Presser et al., 2004) mit fünf Studenten unterschiedlicher Fachrichtungen wurden diese Items schließlich auf ihre Verständlichkeit überprüft und daraufhin teilweise in ihrer Formulierung leicht angepasst. Weder die offenen Antworten des Bottom-up Ansatzes zeigten Hinweise auf Integrierte Regulation noch war dieser Regulationsstil in den etablierten Skalen des Top-down Ansatzes vertreten. Daher wurde Integrierte Regulation bei der Zusammenstellung der Items nicht berücksichtigt.
Für alle Analysen wurden nur vollständige Datensätze einbezogen, d.h. es wurden alle Fälle ausgeschlossen, welche bei den 22 Items fehlende Werte aufwiesen. Hierdurch reduzierten sich die Stichprobengrößen um 19.4% (N1), 19.5% (N2) und 19.3% (N3). Chi2-Tests zeigten keine signifikanten Unterschiede zwischen eingeschlossenen und ausgeschlossenen Fällen in Bezug auf Geschlecht oder Fachsemester (alle p > .05).
Studie 1: Überprüfung der Faktorenstruktur
Methode
Stichprobe
Für Studie 1 wurde ein Datensatz genutzt, der zwischen Mai und Juli 2021 erhoben wurde mit N1 = 1,887 Teilnehmern (76.9% weiblich, 0.4% divers) verschiedener Studiengänge der Fächer Biologie, Philosophie, Rechtswissenschaften und Pädagogik (siehe Tabelle E1 im Elektronischen Supplement [ESM] 1 für eine Auflistung nach Geschlecht je (Teil-)Studiengang). Das mittlere Fachsemester1 betrug MSemester = 6.11 (SD = 3.64).
SMR-Eval
Es wurden die 22 Items der ersten Fassung der SMR-Eval verwendet mit der Instruktion „Es gibt unterschiedliche Gründe für Studierende, an Befragungen wie dieser Studiengangsbefragung teilzunehmen. Bitte beantworten Sie die untenstehenden Fragen. Manche Fragen wirken sehr ähnlich. Es ist aber wichtig, dass Sie alle Fragen sorgfältig ausfüllen.“ und einer fünfstufigen Likert-Skala von 1 (trifft überhaupt nicht zu) bis 5 (trifft voll und ganz zu).
Analysen
Die Gesamtstichprobe wurde zunächst per Zufall in drei Teilstichproben aufgeteilt (N1a = N1b = N1c = 629; siehe Tabelle E2 für die deskriptiven Statistiken zu Fachsemester und Geschlecht für alle Stichproben). Mit den ersten beiden Teilstichproben (N1a und N1b) wurden Explorative Faktorenanalysen (EFA) per Hauptkomponentenanalyse mit Varimax-Rotation gerechnet; mit der dritten Teilstichprobe (N1c) wurden konfirmatorische Faktorenanalyen (KFA) gerechnet. Für die KFA wurden vier Modelle hinsichtlich ihrer Modellgüte mithilfe von Satorra-Bentler Tests verglichen. Die EFA wurde mit SPSS 28 durchgeführt, die KFA erfolgte mit lavaan für R (Rosseel, 2012). Zur Einschätzung der Modellgüte wurden der Comparative Fit Index (CFI), der Tucker Lewis Index (TLI), die X2-Statistik, der Root Mean Square Error of Approximation (RMSEA) sowie die Informationskriterien AIC und BIC herangezogen. Für den RMSEA gelten Werte unter .08 als angemessene und Werte unter .05 als gute Modellpassung; für den CFI und den TLI gelten Werte über .90 als akzeptabel und Werte über .95 als gut (Kline, 2011). Anschließend wurde für jedes Item die Trennschärfe und für jeden Faktor die Konsistenz (Cronbach's Alpha und McDonald's Omega) berechnet.
Ergebnisse
Der Eigenwertverlauf und der Screeplot der ersten EFA mit N1a und 22 Items deuten darauf hin, dass sich sechs Faktoren extrahieren lassen. Die sechs Faktoren lassen sich inhaltlich den Regulationsstilen (Ryan & Deci, 2000) zuordnen: (1) Intrinsische Regulation (d.h. Freude an der Beantwortung des Fragebogens), (2) Identifizierte Regulation: Weiterentwicklung (d.h. der Wunsch, mit der Teilnahme die Weiterentwicklung des eigenen Studiengangs zu unterstützen), (3) Identifizierte Regulation: Ausdruck von positivem Affekt (d.h. Äußerung von Lob für positive Aspekte des Studiengangs), (4) Identifizierte Regulation: Ausdruck von negativem Affekt (d.h. Äußerung von Frust über negative Aspekte des Studiengangs), (5) Negative Introjizierte Regulation (d.h. Konformität mit sozialen Normen zur Vermeidung von Schuld, Scham oder der Verringerung des Selbstwerts) sowie (6) Externale Regulation: Belohnung (d.h. der Wunsch, bei der Verlosung den Geldbetrag zu gewinnen). Vier Items, welche sich Positiver Introjizierter Regulation zuordnen lassen (d.h. Konformität mit sozialen Normen zur Steigerung des Selbstwerts), zeigten Doppelladungen > .20 auf zwei oder mehr benachbarten Faktoren und/oder Faktorladungen < .60.
Aufgrund ihrer inkonsistenten Ladungen wurden die vier Items für die zweite EFA mit N1b ausgeschlossen. Der Eigenwertverlauf und der Screeplot der zweiten EFA mit N2 und 18 Items deuten erneut auf sechs Faktoren hin, welche sich inhaltlich wieder den Regulationsstilen zuordnen lassen. Die Faktorladungen zeigen eine weitgehende Einfachstruktur (siehe Tabelle 1). Nur drei Items weisen eine geringe Doppelladung von jeweils .21 auf einer benachbarten Skala auf. Diese drei Items lassen sich am ehesten Negativer Introjizierter Regulation zuordnen (d.h. Vermeidung von Schuld oder Scham).
Für die anschließende KFA mit N1c und 18 Items wurde die Modellgüte von vier Modellen miteinander verglichen. Hierbei handelte es sich um ein Modell mit sechs Faktoren, ein Modell mit fünf Faktoren (d.h. ohne den Faktor Negative Introjizierte Regulation), ein Modell mit zwei Faktoren (d.h. ein Faktor für autonome Regulation und ein Faktor für kontrollierte Regulation), und ein Modell mit nur einem Faktor, auf den alle Items laden (siehe Abbildung E1 im ESM 1). Faktorladungen der KFA sind in Tabelle 1 aufgeführt. Die Ergebnisse zeigen, dass das 5-Faktorenmodell und das 6-Faktorenmodell die Daten jeweils sehr gut abbilden (5 Faktoren: X2 = 238.68, df = 80, CFI = .97 TLI = .97, RMSEA = .06; 6 Faktoren: X2 = 315.21, df = 120, CFI = .97, TLI = .96, RMSEA = .05). Beide Modelle weisen eine signifikant höhere Modellgüte im Vergleich zu den Modellen mit einem Faktor und mit zwei Faktoren auf (siehe Tabelle E3 im ESM 1). Außerdem wies das Modell mit fünf Faktoren im Vergleich zum Modell mit sechs Faktoren eine signifikant höhere Modellgüte sowie geringe Werte des AIC und BIC auf. Fünf der sechs Faktoren weisen akzeptable bis sehr gute interne Konsistenz auf (.75 ≤ α ≤ .97; .76 ≤ ω ≤ .97) und die zugehörigen Items weisen akzeptable bis sehr gute Trennschärfen auf (.77 ≤ rit ≤ .98). Ein Faktor (Negative Introjizierte Regulation) weist eine geringere interne Konsistenz (α = .63; ω = .51), und die zugehörigen Items geringere Trennschärfen auf (.57 ≤ rit ≤ .77). Diese Ergebnisse sprechen für eine valide Interpretierbarkeit von fünf der sechs Subskalen, welche mindestens akzeptable Reliabilitäten und Trennschärfen aufwiesen. Dies spricht für die Bevorzugung einer Skala mit fünf Subskalen (ohne Negative Introjizierte Regulation) und insgesamt 15 Items (mit drei Items je Subskala).
Studie 2: Validierung der SMR-Eval
In Studie 2 wurde die fünffaktorielle Struktur mit einer größeren Stichprobe kreuzvalidiert und die Messinvarianz zwischen Geschlechtern, Fachsemestern und Fakultäten überprüft. Anhand von Korrelationen mit den Drittvariablen a) Interesse an der Studienganggestaltung, (b) internale politische Selbstwirksamkeit in Bezug auf den Studiengang sowie (c) politische Deprivation in Bezug auf den Studiengang (zur Erfassung externaler politischer Selbstwirksamkeit) sollten weitere Hinweise auf die Konstruktvalidität und damit die valide Interpretierbarkeit der fünf Subskalen gewonnen werden. Folgende Hypothesen wurden formuliert: Es bestehen positive Zusammenhänge zwischen …
H1a: … dem Interesse an der Studienganggestaltung und vier der fünf Skalen (alle außer Externale Regulation).
H1b: … internaler politischer Selbstwirksamkeit und drei der fünf Skalen, nämlich Intrinsische Regulation, Identifizierte Regulation: Weiterentwicklung sowie Identifizierte Regulation: Ausdruck von positivem Affekt.
H1c: … politischer Deprivation und Identifizierter Regulation: Ausdruck von negativem Affekt, sowie negative Zusammenhänge mit den beiden Skalen Identifizierte Regulation: Weiterentwicklung und Identifizierte Regulation: Ausdruck von positivem Affekt.
Methode
Stichproben
Für Studie 2 wurden zwei Datensätze genutzt. Im Zeitraum zwischen Oktober und Dezember 2021 wurden N2a = 734 Studenten verschiedener Studiengänge der Fächer Geographie, Lebenswissenschaften, Regionalwissenschaften und Linguistik befragt (65.1% weiblich, 1.4% divers, siehe Tabellen E2 und E4 im ESM 1). Das mittlere Fachsemester der Teilnehmer betrug MSemester = 5.01 (SD = 2.44). Im Zeitraum zwischen April und Juli 2022 wurden N2b = 1,089 Studenten verschiedener Studiengänge der Fächer Anglistik, Romanistik, Ethnologie, Slavistik, und Physik befragt (71.5% weiblich, 1.0% divers, siehe Tabellen E2 und E5 im ESM 1). Das mittlere Fachsemester der Teilnehmer betrug MSemester = 4.87 (SD = 2.26).
Instrumente
SMR-Eval: Zur Erfassung der Regulationsstile wurde die SMR-Eval mit fünf Skalen und insgesamt 15 Items eingesetzt, wieder im Rahmen von Befragung zur Studiengangsqualität (siehe Allgemeine Methode). Die Werte der internen Konsistenz spiegelten jene aus Studie 1 wider und lagen zwischen α = .97, bzw. ω = .97 (Externale Regulation) und α = .73, bzw. ω = .73 (Identifizierte Regulation: Weiterentwickeln) bei N2a, und zwischen α = .97, bzw. ω = .97 (Externale Regulation) und α = .81, bzw. ω = .81 (Intrinsische Regulation) bei N2b.
Interesse an der Studiengangsgestaltung: Das allgemeine Interesse an der Gestaltung des eigenen Studiengangs wurde erfasst, indem ein Item des ALLBUS zu Interesse an Politik (Baumann, Schulz & Thiesen, 2022) auf den Kontext der Studiengangsgestaltung angepasst („Wie stark interessieren Sie sich für Fragen der Gestaltung Ihres Studiengangs?“) und auf einer 5-stufigen Likert-Skala von überhaupt nicht (1) bis äußerst (5) bewertet wurde.
Internale politische Selbstwirksamkeitsüberzeugung: Zur Erfassung der internalen politischen Selbstwirksamkeitsüberzeugung in Bezug auf die Studienganggestaltung wurden zwei Items der Political Efficacy Kurzskala (PEK; Beierlein, Kemper, Kovaleva & Rammstedt, 2018) verwendet und in ihrer Formulierung auf den Kontext der Studiengangsgestaltung angepasst („Wichtige Fragen in Bezug auf die Gestaltung meines Studiengangs kann ich gut verstehen und einschätzen“, und „Ich traue mir zu, mich an Gesprächen über die Gestaltung meines Studiengangs aktiv zu beteiligen“). Die Items wurden auf einer 5-stufigen Likert-Skala von stimme überhaupt nicht zu (1) bis stimme voll und ganz zu (5) bewertet. Die Korrelation zwischen beiden Items betrug r = .43.
Politische Deprivation: Die Political Efficacy Kurzskala (PEK; Beierlein et al., 2018) umfasst auch zwei Items zur Erfassung externaler politischer Selbstwirksamkeitsüberzeugung, welche jedoch für den Hochschulkontext weniger geeignet erschienen. Aus diesem Grund wurden zwei Items von Decker et al. (2020) zur Erfassung politischer Deprivation verwendet, da diese dem Konzept von (geringer) externaler politischer Selbstwirksamkeitsüberzeugung ähnlich erscheinen. Beide Items wurden in ihrer Formulierung auf den Kontext der Studienganggestaltung angepasst („Studierende haben sowieso keinen Einfluss darauf, was Professoren/-innen und Lehrende im Studiengang tun“, und „Ich halte es für sinnlos, mich bei der Gestaltung des Studiengangs zu engagieren“). Die Items wurden auf einer 5-stufigen Likert-Skala von stimme überhaupt nicht zu (1) bis stimme voll und ganz zu (5) bewertet. Die Korrelation zwischen beiden Items betrug r = .41. Interesse an der Studiengangsgestaltung sowie internale und externale politische Selbstwirksamkeitsüberzeugung wurden nur in Stichprobe N2a erhoben.
Analysen
Zwei Konfirmatorische Faktorenanalysen (KFA) für beide Stichproben wurden berechnet, um die Faktorenstruktur der SMR-Eval zu belegen. Für die Überprüfung der Messinvarianz für Geschlecht, Fakultät und Fachsemester wurden in einem sequenziellen Vorgehen jeweils drei genestete Modelle mit zunehmenden Restriktionen erstellt. In Modell 1 wurde die Faktorenstruktur zwischen Gruppen verglichen, um konfigurale Messinvarianz zu prüfen. In Modell 2 wurden zusätzlich die Faktorladungen fixiert, um schwache Invarianz zu prüfen. In Modell 3 schließlich wurden die Achsenabschnitte (intercepts) fixiert, um starke Invarianz zu prüfen. Letztere ist eine Voraussetzung für valide Gruppenvergleiche. Nach jedem Schritt wurde die Passung des jeweils restriktiveren Modells mit dem vorangegangenen sparsameren Modell vergleichen. Gemäß den Kriterien nach Chen (2007) wurde von einer Verletzung der Invarianz ausgegangen, wenn im restriktiveren Modell der CFI um mindestens .01 sank und der RMSEA um mindestens .015 anstieg. Für die Korrelationen mit Drittvariablen wurde vorab ein Signifikanzniveau von p < .05 gewählt.
Ergebnisse
Kreuzvalidierung
Sowohl die KFA mit N2a (X2 = 326.00, df = 80, CFI = .96, TLI = .95, RMSEA = .07) als auch mit N2b (X2 = 317.10, df = 80, CFI = .98, TLI = .97, RMSEA = .05) zeigt, dass das 5-Faktorenmodell die Daten sehr gut abbildet.
Messinvarianz
Die Überprüfung der Messinvarianz erfolgte mithilfe von N2b (siehe Tabelle E6 im ESM 1). Die Basismodelle zeigten gute Modellpassungen mit getrennten Schätzungen aller Parameter für Männer und Frauen (X2 = 403.28, df = 160, CFI = .96, TLI = .95, RMSEA = .07), für die vier vertretenen Fakultäten (Mathematisch-Naturwissenschaftliche Fakultät, Philosophische Fakultät, Humanwissenschaftliche Fakultät und Medizinische Fakultät; X2 = 326.00, df = 80, CFI = .96, TLI = .95, RMSEA = .07) sowie für die fünf vertretenen Abschlussgrade (Bachelor, Master, Bachelor Lehramt, Master Lehramt, Staatsexamen; X2 = 693.01, df = 400, CFI = .96, TLI = .94, RMSEA = .07). Nach Einbezug der Restriktionen der Faktorladungen und der Achsenabschnitte (intercepts) zeigten sich keine bedeutsamen Verschlechterungen der jeweiligen Modellpassungen, weshalb für alle drei Gruppierungsvariablen von starker Invarianz ausgegangen werden kann.
Korrelationen mit Drittvariablen
Die Korrelationen der SMR-Eval mit Drittvariablen sind in Tabelle E7 des ESM 1 dargestellt.
Interesse an der Studienganggestaltung: Die Ergebnisse stützen Hypothese 1a. Sie zeigen mittlere bis starke positive Zusammenhänge (Cohen, 1988) mit zwei Regulationsstilen (nämlich Identifizierte Regulation: Weiterentwicklung und Identifizierte Regulation: Ausdruck von positivem Affekt) und geringe positive Zusammenhänge mit zwei weiteren Regulationsstilen (nämlich Intrinsische Regulation und Identifizierte Regulation: Ausdruck von negativem Affekt). Der Zusammenhang mit Extrinsischer Regulation fiel negativ und klein aus.
Internale politische Selbstwirksamkeitsüberzeugung: Die Ergebnisse stützen Hypothese 1b. Sie zeigen einen geringen positiven Zusammenhang mit der Skala Intrinsische Regulation, mittlere positive Zusammenhänge mit den beiden Skalen Identifizierte Regulation „Weiterentwicklung“ und „Ausdruck von positivem Affekt“ sowie keine Zusammenhänge mit den anderen beiden Skalen.
Politische Deprivation: Die Ergebnisse stützen Hypothese 1c. Sie zeigen einen mittleren positiven Zusammenhang mit Identifizierter Regulation: Ausdruck von negativem Affekt, geringe bis mittlere negative Zusammenhänge mit den beiden Skalen Identifizierte Regulation „Weiterentwicklung“ und „Ausdruck von positivem Affekt“ sowie einen geringen negativen Zusammenhang mit Intrinsischer Regulation.
Die Befunde zur faktoriellen Struktur des Instruments aus Studie 1 konnte demnach mit zwei weiteren Stichproben in Studie 2 bestätigt werden. Die starke Messinvarianz über Geschlecht, Fakultät und Abschlussziel spricht für die Güte des Instruments und erlaubt entsprechende Gruppenvergleiche. Die Korrelationen der Subskalen der SMR-Eval mit Drittvariablen erscheinen plausibel und können als Hinweis auf die Konstruktvalidität des Instruments gedeutet werden.
Studie 3: Profilbildung zur Untersuchung der Kriteriumsvalidität
Für das Sammeln von Hinweisen auf die Kriteriumsvalidität der Skala wurde in Studie 3 untersucht, inwieweit die unterschiedlichen Regulationsstile mit unterschiedlichem Antwortverhalten im Fragebogen zusammenhängen. Es wurden zunächst latente Profilanalysen mit den fünf Subskalen der SMR-Eval durchgeführt. Anschließend wurden die Profile in Bezug auf drei Validierungsvariablen verglichen. Diese umfassten die Sorgfalt bei der Beantwortung (d.h. der Antwortausfall einzelner Items), den eingesetzten Aufwand bei der Beantwortung (d.h. die Länge der Textantworten auf zwei offene Fragen) sowie die allgemeine Bewertung der Zufriedenheit mit dem eigenen Studium (cf. Galesic & Bosnjak, 2009; Stocké, 2006).
Annahmen
Neben anderen möglichen Profilen wurden zwei Profile erwartet, woraus sich folgende Hypothesen ergaben:
H2a: Es gibt eine Gruppe (Profil 1), die zuvorderst aufgrund der Verlosung teilnimmt. Dieses Profil müsste eine hohe Ausprägung auf der Subskala Externale Regulation aufweisen und geringe Ausprägungen auf allen anderen Subskalen.
H2b: Es gibt eine Gruppe (Profil 2), die zuvorderst Beschwerden äußern möchte. Dieses Profil müsste eine hohe Ausprägung auf der Subskala Identifizierte Regulation: Ausdruck von negativem Affekt aufweisen und geringe Ausprägungen auf allen anderen Subskalen.
Mitglieder von Profil 1 und Profil 2 sollten sich schließlich in ihrem Antwortverhalten im Fragebogen unterscheiden:
H3a: Profil 1 zeigt im Vergleich zu anderen Profilen geringere Sorgfalt in der Beantwortung und geringeren eingesetzten Aufwand.
H3b: Profil 2 zeigt im Vergleich zu anderen Profilen eine geringere Studienzufriedenheit.
Etwaige weitere Profile sollten explorativ bezüglich der drei Validierungsvariablen verglichen und etwaige Gruppenunterschiede auf Plausibilität geprüft werden.
Methode
Stichprobe
Für Studie 3 wurden die Stichproben der vorherigen Studien zusammengefügt. Dies resultierte in einer Gesamtstichprobe von Ngesamt = 3,703 Teilnehmern (70.7% weiblich, 0.8% divers) im mittleren Fachsemester MSemester = 5.53 (SD = 3.12).
Analysen
Die Profilbildung erfolgte mithilfe latenter Profilanalysen (LPA) mit tidyLPA für R (Rosenberg, Beymer, Anderson, van Lissa & Schmidt, 2018). Für die Entscheidung über die Anzahl der Profile wurde neben theoretischen und inhaltlichen Erwägungen sowie dem Prinzip der Sparsamkeit (Pastor, Barron, Miller & Davis, 2007; Spurk, Hirschi, 42-2Wang, Valero & Kauffeld, 2017) folgende Indizes herangezogen: (1) Die Informationskriterien AIC und BIC, wobei kleinere Werte jeweils für eine bessere Passung stehen; (2) Die Entropie, welche die Zuverlässigkeit der Klassifikation mit Werten zwischen 0 und 1 anzeigt; und (3) die posterioren Wahrscheinlichkeiten der Profilzugehörigkeit, wobei jeweils das Minimum und das Maximum je Profil herangezogen wurden. Etwaige Profile mit einem N kleiner 1% der Gesamtstichprobe sollten verworfen werden (Pastor et al., 2007; Spurk et al., 2017).
Für die Profilbildung wurden gleiche Varianzen (variance = „equal“) und Kovarianzen gleich Null (covariances = „zero“) angenommen. Da die Voraussetzung der multivariaten Normalverteilung nicht erfüllt war, wurde die ML-Schätzung mit robusten Standardfehlern vorgenommen (estimator = mlr). Zur Vermeidung lokaler Maxima in der ML-Schätzung wurde die Anzahl der zufälligen Startwertsets (starts = 5,000 100) und der Iterationen (stiterations = 250) erhöht. Für die Interpretation und Evaluation der Profile wurden für jede der fünf Skalen die Abweichungen des jeweiligen Profilmittelwerts vom Gesamtmittelwert untersucht.
Für die Unterschiede zwischen den identifizierten Profilen in Hinblick auf die Validierungsvariablen wurden mit SPSS Gruppenvergleiche (Signifikanzniveau von p < .05) mit Kruskal-Wallis-Tests und anschließend post-hoc Paarvergleiche mit Dunn-Bonferroni-Tests durchgeführt.
Validierungsvariablen zum Antwortverhalten
Studienzufriedenheit: Als Maß für Studienzufriedenheit wurde ein Item aus dem Studiengangsfragebogen verwendet („Insgesamt betrachtet, wie zufrieden sind Sie mit den Bedingungen in Ihrem Studienfach?“), welches auf einer Skala von überhaupt nicht zufrieden (1) bis voll zufrieden (5) bewertet wurde.
Sorgfalt in der Beantwortung: Zur Einschätzung der Sorgfalt bei der Beantwortung des Studiengangsfragebogens wurden Items gezählt, bei denen die Antwortoption „Kann/möchte ich nicht beantworten“ ausgewählt wurde (cf. Stocké, 2006). Da sich die Anzahl der verwendeten Items je Fragebogen zwischen Studiengängen marginal unterscheiden, wurden fehlende Werte als Prozentwerte relativ zur Gesamtzahl aller Items ermittelt und ausgewertet.
Eingesetzter Aufwand bei der Beantwortung: Zur Einschätzung des Aufwands, den Befragte für die Beantwortung des Studiengangsfragebogens bereit waren einzusetzen, wurde die Länge zweier offener Antworten ausgewertet, welche sich am Ende des Studiengangsfragebogens befinden (cf. Galesic & Bosnjak, 2009). Die Items lauteten „Gibt es darüber hinaus positive (negative) Aspekte in Bezug auf dieses Studienfach, die Sie erwähnen möchten?“. Als Maß für eingesetzten Aufwand wurde die Anzahl an Zeichen je Frage ausgewertet.
Ergebnisse
Profilbildung
Die Profilbildung wurde mit zwei bis sechs Profilen vorgenommen (für Kennwerte siehe Tabelle E8 im ESM 1). Die Informationskriterien AIC und BIC zeigten absteigende Werte mit zunehmender Zahl an Profilen. Die posterioren Wahrscheinlichkeiten der Profilzugehörigkeit fielen im Modell mit vier Profilen am höchsten aus. Die Werte für Entropie fielen in den beiden Modellen mit vier bzw. fünf Profilen am höchsten aus. Anhand dieser Maße erschien eine Vier- oder Fünf-Profile-Lösung am ehesten mit den Daten vereinbar zu sein. In beiden Modellen fanden sich die zuvor postulierten zwei Profile (d.h. eine Gruppe von Befragten, die zuvorderst aufgrund der Verlosung teilnehmen, und eine Gruppe von Befragten, die zuvorderst negativen Affekt äußern möchten). Aufgrund des Prinzips der Sparsamkeit wurde das Vier-Profile-Modell ausgewählt.
Zur inhaltlichen Beschreibung der vier Profile wurden diese hinsichtlich der fünf Profilierungsvariablen (d.h. der Subskalen der SMR-Eval) verglichen. Abbildung 1 zeigt die mittlere Abweichung vom Gesamtmittelwert je Subskala für jedes der vier Profile. Das erste Profil weist eine hohe Ausprägung auf Externaler Regulation und geringe Werte auf allen anderen Regulationsformen auf, weshalb dieses Profil „Glücksritter“ genannt wurde.
Das zweite Profil, „Unzufriedene“, weist hohe Ausprägungen auf Identifizierter Regulation: Ausdruck von negativem Affekt auf und durchschnittliche oder geringere Ausprägungen auf den anderen Regulationsstilen. Diese beiden Profile entsprechen inhaltlich den beiden a-priori postulierten Profilen und stützen damit Hypothesen 2a und 2b. Beide Profile machen mit N = 280 und N = 593 einen relativ geringen Anteil an der Gesamtstichprobe aus.
Das dritte Profil, „Genügsame“ weist eine geringere Ausprägung auf der Skala Identifizierte Regulation: Ausdruck von negativem Affekt und durchschnittliche Ausprägungen auf allen anderen Profilierungsvariablen auf. Das vierte Profil, „Hochmotivierte“ weist hohe Ausprägungen auf allen Profilierungsvariablen auf. Beide Profile machen mit N = 1,295 und N = 1,539 die größeren Anteile an der Gesamtstichprobe aus.
Profilunterschiede
Shapiro-Wilk-Tests zeigten Verletzungen der Normalverteilungsannahme für alle Validierungsvariablen (d.h. Studienzufriedenheit, Sorgfalt bei der Beantwortung sowie eingesetzter Aufwand), weshalb für die Gruppenvergleiche Kruskal-Wallis-Tests verwendet wurden (siehe Tabelle E9 im ESM 1 für deskriptive Statistiken). Sie zeigen bedeutsame Unterschiede zwischen Profilen bezüglich der Studienzufriedenheit (X2(3) = 782.74, p < .001), der Anzahl fehlender Antworten im Studiengangsfragebogen (X2(3) = 25.26, p < .001), der Länge positiver Textantworten (X2(3) = 91.48, p < .001) sowie der Länge negativer Textantworten (X2(3) = 300.40, p < .001).
In den post-hoc Paarvergleichen mithilfe von Dunn-Bonferroni-Tests (siehe Tabelle E10 im ESM 1) zeigte Profil 1 (Glücksritter) im Vergleich zu den anderen drei Profilen bei elf von zwölf Vergleichen signifikante Unterschiede. Im Vergleich zu den anderen drei Gruppen war die Anzahl fehlender Werte in dieser Gruppe höher (Mdiff = 1.33/0.95/ 1.88) und die Länge positiver Antworten geringer (Mdiff = −28.55/−18.81/−43.30). Die Länge negativer Antworten war geringer als in zwei anderen Gruppen (Mdiff = −144.23/ −110.10). Diese Ergebnisse stützen Hypothese 3a.
Profil 2 (Unzufriedene) zeigte im Vergleich zu den anderen drei Profilen bei zehn von zwölf Vergleichen signifikante Unterschiede. Im Vergleich zu den anderen drei Gruppen war die Studienzufriedenheit in dieser Gruppe geringer (Mdiff = −0.83/−1.33/−0.71), und im Vergleich zu zwei anderen Gruppen war die Länge der negativen Antworten höher (Mdiff = 144.23/145.68). Diese Ergebnisse stützen Hypothese 3b.
Profil 3 (Genügsame) zeigte im Vergleich zu den anderen drei Profilen bei zehn von zwölf Vergleichen signifikante Unterschiede. Im Vergleich zu den anderen drei Gruppen war Studienzufriedenheit in dieser Gruppe höher (Mdiff = 0.50/1.33/0.62), ebenso war die Länge der positiven Antworten höher (Mdiff = 18.81/9.47/24.49). Im Vergleich zu zwei anderen Gruppen war die Länge der negativen Antworten geringer (Mdiff = 145.68/111.55).
Profil 4 (Hochmotivierte) zeigte im Vergleich zu den anderen drei Gruppen bei elf von zwölf Vergleichen signifikante Unterschiede. Im Vergleich zu den anderen drei Gruppen war die Anzahl fehlender Werte geringer (Mdiff = −1.88/−0.55/−0.93) und die Länge positiver Antworten war höher (Mdiff = 43.30/14.75/24.49). Im Vergleich zu zwei anderen Gruppen war die Länge negativer Antworten höher (Mdiff = 110.10/111.55).
Zusammenfassend zeigen die Ergebnisse somit, dass sich mithilfe der Subskalen der SMR-Eval inhaltlich plausible Profile bilden lassen, welche zugleich entlang relevanter Variablen des Antwortverhaltens bedeutsame Unterschiede zeigen. Dies spricht für die Kriteriumsvalidität der SMR-Eval.
Diskussion
Zusammenfassung und Implikationen
Es wurde ein Instrument, die SMR-Eval, entwickelt und validiert, welches, basierend auf der Selbstbestimmungstheorie der Motivation (Ryan & Deci, 2000), die Regulationsstile bei der Teilnahme an Befragungen zur Evaluation des Studiums erfasst. In drei Studien zeigt sich eine fünffaktorielle Struktur der Skala. Die fünf Subskalen mit jeweils drei Items lassen sich inhaltlich schlüssig den Regulationsstilen der Selbstbestimmungstheorie zuordnen, nämlich (1) Intrinsische Regulation, (2) Identifizierte Regulation: Weiterentwicklung des Studiengangs, (3) Identifizierte Regulation: Ausdruck von positivem Affekt, (4) Identifizierte Regulation: Ausdruck von negativem Affekt und (5) Externale Regulation. In der Skala nicht enthalten sind Integrierte Regulation sowie Introjizierte Regulation. Die Ergebnisse deuten auf starke Messinvarianz bezüglich Geschlecht, Fakultät und Abschlussgrad sowie auf Konstrukt- und Kriteriumsvalidität der Skalenwerte hin.
Die Ergebnisse sind anschlussfähig an die Leverage-Saliency-Theorie (Groves et al., 2000) und konkretisieren diese, als dass Regulationsstile der Motivation ein weiteres bedeutsames Personenmerkmal darstellen können. Werden hierzu passende Befragungsmerkmale salient präsentiert (z.B. indem die geplante Verwertung der Ergebnisse zur Studiengangsentwicklung beschrieben wird), sollte sich dies günstig auf die Teilnahmebereitschaft auswirken. Darüber hinaus erweitern die Ergebnisse theoretische Annahmen, welche auf Basis der Theorie des geplanten Verhaltens getroffen werden (z.B. Bosnjak et al., 2005; Hox et al., 1995). So können die Regulationsstile der Motivation einen Erklärungsansatz dafür darstellen, dass empirische Studien häufig einen geringen Zusammenhang zwischen der Intention zur Handlung und ihrer tatsächlichen Umsetzung finden. Schließlich bestätigen die Ergebnisse theoretische Überlegungen zur Sorgfalt beim Ausfüllen von Fragebögen (sog. Satisficing; Krosnick, 1991) und erweitern diese um den Befund, dass nicht nur die Stärke der Motivation auf Satisficing wirkt, sondern auch die Qualität der Motivation (hier operationalisiert als Regulationsstile der Motivation).
Hochschulen können die Ergebnisse im Bereich Evaluation und Qualitätsmanagement nutzen, um die Regulationsstile ihrer Befragten theoriebasiert einzuschätzen. Dies kann die Interpretation der Befragungsergebnisse unterstützen sowie die Optimierung der jeweiligen Befragung, etwa zur Erhöhung der Rücklaufquote und der Antwortgüte, z.B. mithilfe von Incentives.
Grenzen und Ausblick
Wenngleich die Selbstbestimmungstheorie der Motivation neben den untersuchten Regulationsstilen zudem von Integrierter sowie von Introjizierter Regulation ausgeht (Ryan & Deci, 2000; Deci et al., 2017), wurde Integrierte Regulation nicht einbezogen, da sich in den offenen Antworten des Bottom-up-Ansatzes keinerlei Hinweise auf diesen Regulationsstil zeigten, und zudem die gesichteten etablierten Skalen diesen Regulationsstil nicht einbeziehen (z.B. Thomas et al., 2018). Zugleich lässt sich nicht ausschließen, dass dieser Regulationsstil in Bezug auf die Teilnahme an Befragungen relevant sein könnte, z.B. wenn Feedback und Partizipation zum Wertesystem der Befragten passen. Der ursprüngliche Item-Pool umfasste sieben Items zu Introjizierter Regulation in ihren beiden Facetten (d.h. positiv und negativ; cf. Assor et al., 2009). Die faktorenanalytischen Ergebnisse zeigten jedoch ein uneindeutiges Ladungsmuster für die vier Items der positiven Facette, bzw. eine geringere Modellpassung sowie geringere Werte für Trennschärfe und interne Konsistenz für die drei Items der negativen Facette. Aus diesen Gründen wurden beide Facetten von Introjizierter Regulation von den weiteren Analysen ausgeschlossen. Inhaltlich erscheint es plausibel, wenn die Teilnahme an Befragungen nicht mit höherem Selbstwert oder Stolz, bzw. die Nichtteilnahme nicht mit Scham- oder Schulgefühlen verbunden wäre (anders als bei der Bearbeitung von Schul- oder Studienaufgaben; cf. Assor et al., 2009; Müller et al., 2021). Dies könnte sich anders darstellen bei Befragungen zur Lehrveranstaltungsevaluationen, bei denen die jeweilige Lehrperson auf Befragungsergebnisse angewiesen ist. Die vorliegenden Studien untersuchten Regulationsstile bei der Teilnahme an einer spezifischen Befragung (Studiengangsbefragung). Für die Übertragung auf andere Befragungen an Hochschulen, z.B. zu Lehrveranstaltungen, müsste die Skala ggf. leicht angepasst werden. Ebenso kann nicht ausgeschlossen werden, dass andere Befragtengruppen oder andere Befragungskontexte eine Anpassung erfordern. Darüber hinaus ist qua Untersuchungsdesign nichts über jene Personen bekannt, welche von der Befragung erfahren haben, sich jedoch für eine Nichtteilnahme entschieden haben. Künftige Untersuchungen könnten hier Vergleiche entlang relevanter Variablen anstellen und Wege aufzeigen, wie diese Personen zur Teilnahme motiviert werden könnten. Schließlich wäre interessant zu untersuchen, wie die Regulationsstile mit den relativ stark beforschten Einstellungen zu Befragungen (z.B. Rogelberg et al., 2001; Stocké, 2006) zusammenhängen.
Elektronisches Supplement (ESM)
Das elektronische Supplement ist mit der Online-Version dieses Artikels verfügbar unter https://doi.org/10.1024/1010-0652/a000381
Literatur
(1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50, 179–211.
(2009). Identified versus introjected approach and introjected avoidance motivation in school and in sports: The limited benefits of self-worth strivings. Journal of Educational Psychology, 101(2), 482–497. http://doi.org/10.1037/a0014236
(2015).
Citizen participation . In J. D. Wright (Ed.), International encyclopedia of the social & behavioral sciences (2nd ed.), (pp. 625–630). Amsterdam: Elsevier. http://dx.doi.org/10.1016/B978-0-08-097086-8.74005-0(2022). ALLBUS 2021 – variable report. GESIS-Variable Reports Nr. 2022 | 10. Köln: GESIS.
(2018). Political Efficacy Kurzskala (PEKS). Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis34
(2022). Development and validation of the perceived societal marginalization scale. European Journal of Psychological Assessment, 38(2), 137–149. https://doi.org/10.1027/1015-5759/a000651
(2005). Unit (non)response in web-based access panel surveys: An extended planned-behavior approach. Psychology & Marketing, 22(6). 489–505. https://doi.org/10.1002/mar.20070
(2021). Predicting final grades in STEM courses: A path analysis of academic motivation and course-related behavior using Self-Determination Theory. Learning and Motivation, 74, 101723. https://doi.org/10.1016/j.lmot.2021.101723.
(2011). Individual differences in motivation to participate in online panels. The effect on response rate and response quality perceptions. International Journal of Marketing Research, 53(3), 369–390. https://doi.org/10.2501/IJMR-53-3-369-390
Bundesministerium für Bildung und Forschung. (2017). Studiensituation und studentische Orientierung. 13. Studierendensurvey an Universitäten und Fachhochschulen. Berlin.(2009). Perceived political self-efficacy: Theory, assessment, and applications. European Journal of Social Psychology, 39, 1002–1020. https://doi.org/10.1002/ejsp.604
(2019). Composition of motivation profiles at work using latent analysis: Theory and evidence. Psychology Research and Behavior Management, 12, 811–824. https://doi.org/10.2147/PRBM.S210830
(2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural equation modeling. A Multidisciplinary Journal, 14(3), 464–504. https://doi.org/10.1080/10705510701301834
(1988). Statistical power analysis for the behavioral sciences. Hillsdale: Lawrence Earlbaum Associates.
(2017). Self-Determination Theory in work organizations: The state of a science. Annual Review of Organizational Psychology and Organizational Behavior, 4, 19–43. https://doi.org/10.1146/annurev-orgpsych-032516-113108.
(2020).
Die Leipziger Autoritarismus Studie 2020: Methode, Ergebnisse und Langzeitverlauf . In O. DeckerE. Brähler (Ed.), Autoritäre Dynamiken. Neue Radikalität – alte Ressentiments. Leipziger Autoritarismus Studie 2020 (S. 27–87). Gießen: Psychosozial Verlag.(2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349–360. https://doi.org/10.1093/poq/nfp031
(2000). Leverage-Saliency Theory of survey participation: Description and an illustration. The Public Opinion Quarterly, 64(3), 299–308. http://www.jstor.org/stable/3078721
(2000). On the assessment of situational intrinsic and extrinsic motivation: The Situational Motivation Scale (SIMS). Motivation and Emotion, 24(3), 175–213.
(1995). Survey participation as reasoned action. A behavioral paradigm for survey nonresponse? Bulletin of Sociological Methodology/Bulletin de Méthodologie Sociologique, 48, 52–67. http://www.jstor.org/stable/24362142
(2011). Principles and practice of structural equation modeling (3rd ed.). New York, NY: Guilford Press.
(2015). Why do people participate in web surveys? Applying survey participation theory to internet survey data. Management Review Quarterly, 65, 183–216. https://doi.org/10.1007/s11301-014-0111-y
(1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5, 213–236.
(2022). Qualitative Inhaltsanalyse. Grundlagen und Techniken. Beltz: Mannheim.
Ministerium für Kultur und Wissenschaft. (2019). Gesetz über die Hochschulen des Landes Nordrhein-Westfalen (Hochschulgesetz – HG). GV NRW, S. 547.(2021). University students' basic psychological needs, motivation, and vitality before and during COVID-19: A Self-Determination Theory approach. Frontiers in Psychology, 12, 775804. https://doi.org/10.3389/fpsyg.2021.775804
(2007). A latent profile analysis of college students' achievement goal orientation. Contemporary Educational Psychology, 32, 8–47. https://doi.org/10.1016/j.cedpsych.2006.10.003
(2004). Methods for Testing and Evaluating Survey Questions. Public Opinion Quarterly, 68(1), 109–30.
(2019). Employee motivation, emotions, and performance: A longitudinal diary study. Journal of Managerial Psychology, 34(6), 415–428. https://doi.org/10.1108/JMP-07-2018-0299
(2016).
Lehrveranstaltungsevaluation an Hochschulen . In D. GroßmannT. Wolbring (Hrsg.), Evaluation von Studium und Lehre. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-10886-1_7(2001). Attitudes toward surveys: Development of a measure and its relationship to respondent behavior. Organizational Research Methods, 4(1), 3–25.
(2018). tidyLPA: An R package to easily carry out latent profile analysis (LPA) using open-source or commercial software. Journal of Open Source Software, 3(30), 978. https://doi.org/10.21105/joss.00978
(2012). Lavaan: An R Package for structural equation modeling. Journal of Statistical Software, 48(2), 1–36. https://doi.org/10.18637/jss.v048.i02
(1989). Perceived locus of causality and internalization: Examining reasons for acting in two domains. Journal of Personality and Social Psychology, 57(5), 749–761.
(2000). Self-Determination Theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), 68–78. https://doi.org/10.1037//0003-066X.55.1.68
(2017). Latent profile analysis: A review and “how to” guide of its application within vocational behavior research. Journal of Vocational Behavior, 120, 103445. https://doi.org/10.1016/j.jvb.2020.103445
(2006). Attitudes toward surveys, attitude accessibility and the effect on respondents' susceptibility to nonresponse. Quality & Quantity, 40, 259–288. https://doi.org/10.1007/s11135-005-6105-z
(2018). Entwicklung und Validierung der Skalen zur motivationalen Regulation beim Lernen im Studium (SMR-LS). Diagnostica, 64(3), 145–155. https://doi.org/10.1026/0012-1924/a000201
(2014). In search of motivation for the business survey response task. Journal of Official Statistics, 30(4), 579–606. https://dx.doi.org/10.2478/JOS-2014-0039
(1992). The Academic Motivation Scale: A measure of intrinsic, extrinsic, and amotivation in education. Educational and Psychological Measurement, 52(4), 1003–1017. https://doi.org/10.1177/0013164492052004025
(2021). What is political participation? Oxford Research Encyclopedia of Politics. Oxford University Press.
(2017). Latent profile analysis of students' motivation and outcomes in mathematics: An organismic integration theory perspective. Heliyon, 3(5), e00308. https://doi.org/10.1016/j.heliyon.2017.e00308
(2010). Can incentives undermine intrinsic motivation to participate in epidemiologic surveys? European Journal of Epidemiology, 25, 231–235. https://doi.org/10.1007/s10654-010-9434-8
(2010). Respondent satisfaction and respondent burden among differently motivated participants in a health-related survey. Field Methods, 22(4), 378–390. https://doi.org/10.1177/1525822X10376704
1 Aus Datenschutzgründen wurde das Alter der Befragten nicht erfasst.
