Mixed-Methods Designs: Eine kritische Reflexion zu Gelingensbedingungen, Restriktionen und Überschüssen

Das Jubiläum der Frühen Bildung nehmen wir zum Anlass, uns mit einer der meistdiskutierten methodischen Entwicklungen der letzten zehn Jahre zu befassen: den Mixed-Methods-Designs. Ihr Einsatz wird mit der hohen Erwartung verknüpft, im Vergleich zu singulären Zugängen ein erweitertes und vertieftes Verstehen zu ermöglichen. Die Kombination verschiedener methodischer Zugänge könne dabei helfen, „Teildimensionen einer mehrdimensionalen Forschungsfrage“ zu beantworten (Baur, Belle & Kuckartz, 2017, S.23) und sei Ausdruck eines zeitgemäßen Methodenverständnisses, das „der Komplexität heutiger Forschungsfragen entspricht“ (Kuckartz, 2014, S.29).

Angesichts dieser Verheißungen finden sich auch in der frühpädagogischen Forschungslandschaft zunehmend Studien, die auf Mixed-Methods-Designs beruhen (vgl. Berth & Schneider in diesem Band). Da unter diesem Oberbegriff diverse Methodenkombinationen mit völlig unterschiedlichen Gewichtungen versammelt werden und sich diese sowohl auf die Phase des Samplings, der Erhebung als auch der Auswertung oder aber nur auf eine dieser Forschungsphasen erstrecken können, sagt allein die steigende Nutzung noch nichts über die Qualität bzw. den Mehrwert solcher Designs aus (Kratzmann, 2018; Kuckartz, 2017, S.159). In diesem Beitrag möchten wir uns daher zur Verwendung von Mixed-Methods-Designs kritisch positionieren und einige aus unserer Sicht zentrale Fragen aufwerfen, die sich bei der Entscheidung für Mixed-Methods-Forschung stellen.

Was ist Mixed-Methods-Forschung?

Wir orientieren uns begrifflich an dem in der breiten methodischen Fachliteratur mittlerweile etablierten Konsens und sprechen von Mixed-Methods, wenn innerhalb eines Forschungsvorhabens quantitative und qualitative Methoden Anwendung finden und miteinander in Beziehung gesetzt werden. Dabei folgen wir der Kompatibilitätsannahme, die sich erkenntnistheoretisch dem amerikanischen Pragmatismus zuordnen lässt und im Grundsatz anerkennt, dass qualitative und quantitative Erkenntniszugänge integriert und durch die Mischung von Methoden und Ansätzen die Chancen für eine umfassende Bearbeitung und Beantwortung von Forschungsfragen maximiert werden können¹.

Zur Systematisierung der vielfältigen Design-Varianten sind in der Mixed-Methods-Forschung viele Vorschläge gemacht worden. So lassen sich Designs nach der relativen Bedeutsamkeit qualitativer bzw. quantitativer Zugänge innerhalb der Studie, der zeitlichen Abfolge des Einsatzes der Methoden sowie der Zielsetzung unterscheiden, unter der ein kombinierter Methodeneinsatz erfolgt (Kratzmann, 2018; Kuckartz, 2014). Bereits in den 1990er Jahren wurde eine intuitiv verständliche Notationsform entwickelt, die die Spezifika verschiedener Designs verdeutlicht (Morse, 1991; später Johnson, Onwuegbuzie & Turner, 2007). Der Vorrang des einen vor dem anderen methodischen Zugang wird dabei durch Groß- vs. Kleinschreibung, die zeitliche Parallelität bzw. Sequenzialität durch ein Pluszeichen bzw. einen Pfeil ausgedrückt. Somit können Designs voneinander unterschieden werden, die

• •
  qualitative und quantitative methodische Zugänge gleichberechtigt gewichten und solche, bei denen eine Prioritätensetzung entweder auf qualitative oder quantitative Methoden erfolgt;
• •
  qualitative und quantitative Methoden gleichzeitig einsetzen oder aber sequenziell aufgebaut sind, also die Erkenntnisse, die auf Basis der einen Methode generiert werden, für die Konzipierung der nächsten Studienphase mit dem jeweils anderen methodischen Zugriff genutzt werden.

Die Zielsetzungen von Mixed-Methods-Forschung reichen von der einfachen Validierung, also der Überprüfung von Forschungsergebnissen durch den Einbezug einer weiteren Perspektive, der Schaffung einer empirischen Basis für die (Weiter-)Entwicklung einer darauffolgend einzusetzenden Methode (z.B. die Nutzung der Ergebnisse qualitativer Interviews für die Fragebogenentwicklung) über den komplementären Einsatz der Methoden, der auf „Elaboration, Illustration und das bessere Verständnis der Ergebnisse der einen Methode durch die Resultate einer zweiten Studie mit anderer Methodik“ zielt (Kuckartz, 2014, S.58), bis zum Anspruch der inhaltlichen Anreicherung der Forschung und der damit verbundenen Erhöhung der Validität und Reichweite ihrer Ergebnisse (Expansion) und der expliziten Offenheit für die Entdeckung von Inkongruenzen und Widersprüchen (Initiation) (Kuckartz, 2014).

Was sind Grundvoraussetzungen der Forschung mit Mixed-Methods?

Um Mixed-Methods-Forschung betreiben zu können, braucht es nicht nur sinnvolle methodologische Konzepte und eine grundlegende Verständigung darüber, wie diese gelingen kann, sondern auch eine disziplinär verankerte Forschungskultur als Fundament. Dies bedeutet, dass eine solche Forschungsrichtung nicht nur in der jeweiligen Disziplin Anerkennung erfährt, allgemeinen und spezifischen Gütekriterien folgt² und die Chance hat, gefördert und publiziert zu werden. Auch braucht es bei den Forschenden eine Kultur des gemeinsamen Forschens. Dafür sind nicht nur grundlegende Haltungen wie wechselseitige Aufgeschlossenheit, Lernbereitschaft sowie Interesse für und Anerkennung der jeweils anderen Methodenperspektive Grundbedingungen, sondern auch Wissen zu erkenntnistheoretischen Grundlagen und den unterschiedlichen methodischen Vorgehensweisen sowie zu den Ausgangspunkten von Mixed-Methods-Forschung. Zugleich sind hier grundlegende Aushandlungen notwendig, in denen im Vorfeld das jeweilige Verhältnis zwischen quantitativer und qualitativer Forschung zu klären ist und abgestimmt wird, welche Forschungsfragen in welcher Kombination gewinnbringend aufeinander bezogen und integriert werden können. Vor dem Hintergrund der besonderen (neuen) Herausforderungen braucht es daher im Forschungsprozess erweiterte Ressourcen, wie z.B. Zeit und Räume, durch die nicht nur Routinen im gemeinsamen Forschen entwickelt, sondern die gemeinsame Reflexion ermöglicht wird, die wiederum Ausgangspunkt für gegenseitige produktive Irritation sein kann.

Der Mehrwert einer Mixed-Methods-Forschung entfaltet sich ja möglicherweise nicht in der reibungslos verzahnten und methodisch abgesicherten Abarbeitung von Methodendesigns, sondern gerade in der Flexibilität der beteiligten Forscher_innen und -teams, sich auf die im Kern ergebnisoffenen Forschungsprozesse tatsächlich einzulassen. Ein japanischer Kollege hat dies im Kontext interkultureller Forschungsaktivitäten von seinem Team und Kolleg_innen aus Deutschland als „Zusammenforschung“ bezeichnet. Gemeint ist eine Forschung, die Perspektiven integriert, ohne sie zu verwässern oder die eine über die andere dominieren zu lassen; eine Forschung, die zu einem Überschuss führt, weil der Erkenntnisgewinn mehr ist als die Summe der Einzelergebnisse einzelner Forschungsmodule.

Welche Strukturen, Formate und Rahmenbedingungen befördern Forschung mit Mixed-Methods?

Es stellt sich grundsätzlich die Frage, ob die bestehenden Rahmenbedingungen der Forschung zur Frühen Bildung überhaupt unterstützen, dass diese sich stärker als bisher der Mixed-Methods-Forschung zuwendet oder sie zumindest – unter Berücksichtigung kritischer Anfragen (Giddings, 2006) – erprobt werden kann.

Häufig sind Publikationsvorgaben in wissenschaftlichen Journals für die Veröffentlichung von Mixed-Methods basierten Erkenntnissen hinderlich, weil z.B. enge Gliederungsstruktur- und Zeichenvorgaben nur eine verkürzte, inadäquate Darstellung der methodischen Vorgehensweisen und Ergebnisse ermöglichen und/oder eine Marginalisierung des jeweils anderen Zugangs bei der Ergebnispräsentation notwendig machen. Da Mixed-Methods-Zugänge noch nicht als selbstverständlicher Teil einer Forschungskultur betrachtet werden können, fallen Beiträge möglicherweise aus Unkenntnis über die spezifischen Logiken durch ein Review. Hier bedarf es alternativer Publikationsvorgaben und Formate für eine angemessene Darstellung der Methodiken und ihrer Bezüge, ggf. der Samplingstrategien und insbesondere der Ergebnisse und ihrer Integration. So könnten die Zeichenanzahl für Mixed-Methods-Studien deutlich erweitert oder Formate angeboten werden, in denen zwei Beiträge aus einer Studie, evtl. ergänzt um einen Beitrag zur methodischen Reflexion der Studie und die Diskussion des oben angesprochenen Überschusses des Designs, veröffentlich werden.

Auch die aktuelle Forschungsförderung begünstigt u.a. durch strikte Vorgaben bei der Förderdauer bestimmte Forschungsformate, insbesondere sequenzielle Designs, da diese besser nachvollziehbar machen, wie der Forschungsprozess geplant wird. Auch hier wären nicht nur erweiterte zeitliche und monetäre Ressourcen für die Förderung von Mixed-Methods-Forschung notwendig, weil diese grundsätzlich kostenintensiver ist als rein quantitative oder qualitative Forschung und der Aufwand an Koordination und Kommunikation höher ist. Auch gelingt es nicht immer, den zusätzlichen Erkenntnisgewinn der Mixed-Methods-Designs, der über zwei Einzelförderungen hinausgeht, bereits in der Antragsphase ausreichend deutlich zu machen, weil für das Verständnis eine fundierte Kenntnis der oben beschriebenen Systematiken auf Gutachterseite erforderlich ist. Hier wäre eine Anpassung der Förderlogik sinnvoll, um Mixed-Methods-Forschung die gleichen Erfolgschancen zu geben wie anderen Ansätzen. So könnte beispielsweise – ähnlich wie es bei Verbundanträgen gehandhabt wird – explizit die Möglichkeit vorgesehen werden, gestufte Förderanträge zu stellen, die als Gesamtpaket mit zwei oder mehreren Förderphasen eingereicht werden. Der erste Teil wird gefördert; integriert in den Förderzeitraum ist die Ausdifferenzierung der zweiten bzw. weiterer Förderphasen angelegt, wobei inhaltlich und methodisch eine gewisse Flexibilität möglich sein muss³. Die Förderung der Anschlussphasen würde bereits zum Projektstart zugesagt und könnte nur bei erheblichen Problemen bzw. der Gefahr des Scheiterns des Projekts zurückgezogen werden.

Welche Kompetenzen braucht es?

Aus unserer Sicht braucht es für Mixed-Methods-Forschung multiprofessionelle Teams von Wissenschaftler_innen. Jeder methodische Zugang hat seine ganz speziellen Herausforderungen, für deren Bewältigung profunde Methodenkenntnisse und Anwendungserfahrungen notwendig sind. Daher sollten in einem Forschungsteam, das ein Mixed-Methods-Design verfolgt, Spezialist_innen für die unterschiedlichen Methoden zusammenarbeiten. Daneben gibt es auch Forscher_innenpersönlichkeiten, die sich sowohl in der qualitativen als auch der quantitativen Forschung zu Hause fühlen. Sie wären prädestiniert für die Leitung von Mixed-Methods-Projekten. Als Generalisten tragen sie verantwortlich dazu bei, den Forschungsgegenstand so zu bestimmen, dass er für beide Forschungsmethodiken bzw. -teams (be)greifbar bzw. operationalisierbar, aber eben auch wieder verschränkbar im Sinne der gemeinsamen Erkenntnisgenerierung wird. Die Leitung eines multi-methodal ausgerichteten Forscher_innenteams erfordert dabei nicht nur die jeweiligen methodischen Grundverständnisse ‚beider Seiten‘, sondern auch eine spezielle – auf Triangulation ausgerichtete – forschende Haltung, um Gelingensbedingungen und Überschüsse, aber auch Restriktionen des integrierten Forschungsprozesses zu erkennen. Die Kompetenz lässt sich durch die Fähigkeit und Bereitschaft beschreiben, methodische Vorgehensweisen und Ergebnisse produktiv aufeinander und auf die theoretischen Fundamente resp. Theoriebestände zu beziehen, zu triangulieren und unter Einbeziehung der jeweiligen Spezialist_innen den gemeinsamen Erkenntnisprozess voranzubringen.

Förderlich, aber noch wenig diskutiert ist, für die Weiterentwicklung der Mixed-Methods-Forschung spezifische Konzepte zu nutzen, die im Sinne emergenter Forschung (Schreier, 2017) das Innovationspotential dieser Forschungsrichtung unterstützen. Es könnte zum Beispiel aus der Netzwerkforschung das Konzept der Broker übernommen werden: Broker verbinden in Anlehnung an Burt (2004) verschiedene Komponenten eines (Forschungs-)Netzwerkes. Wenn Broker systematischer Bestandteil von Forschungsdesigns sind, könnten sie z.B. als Expert_innen den Forschungsprozess zu bestimmten Zeitpunkten durch eine ‚fremde‘ Perspektive anreichern, um dadurch alternative theoretische Bezüge zu ermöglichen und neue Fragen aufzuwerfen. Als Expert_innen in Forschungsmethoden könnten sie dazu beitragen, kreative methodische Verknüpfungen bei heterogenen Datensorten zu schaffen. In Mixed-Methods-Designs könnten auch mit ähnlicher Absicht Grenzobjekte (Star & Griesemer, 1989/2017) zum Einsatz kommen, also z.B. Begriffe, Objekte, Texte oder Methoden, die in den jeweiligen Diskursen (noch) eher fremd sind und diese verknüpfen können. So diente im interdisziplinären, unterschiedliche Forschungsparadigmen verbindenden Forschungsverbund „Inklusive Bildungsforschung der Frühen Kindheit“ als Grenzobjekt die von Mai-Anh Boger (2017) entwickelte Theorie der Trilemmatischen Inklusion, nach der jede Beschäftigung mit Inklusion immer nur zwei von drei Basissätzen folgen kann, zu reflektieren, welchen beiden Basissätzen die Projekte des Forschungsverbunds eher zuzuordnen sind: Inklusion als Empowerment, als Normalisierung oder als Dekonstruktion (vgl. Gerstenberg et al., 2021).

Fazit

Mixed Methods sind keine Modeerscheinung; ihr Einsatz ist bei der Beforschung komplexer Fragestellungen sinnvoll, ja häufig unumgänglich. Dennoch stellen sie keine jederzeit probate Lösung dar und sind nicht a priori als Königsweg zur wissenschaftlichen Erkenntnis zu deklarieren. Wie für jede Forschung gilt für Mixed-Methods-Designs, dass sich die Methoden am Gegenstand orientieren müssen. Auch sind Methoden nicht gleichermaßen gut miteinander kombinierbar. Daraus folgt, dass Entscheidungen für und innerhalb von Mixed-Methods-Designs ein hohes methodisches Wissen voraussetzen. Vorteilhaft sind Forscher_innenteams, die sowohl generalistische Netzwerker_innen (ggf. auch Broker in Forschungsnetzwerken) als auch spezialisierte Methodenexpert_innen versammeln. Eine entscheidende Gelingensbedingung für die erfolgreiche Umsetzung von Mixed-Methods-Forschung und die Ausschöpfung des ihr inhärenten Erkenntnispotenzials liegt jedoch in der grundsätzlichen Bereitschaft der Wissenschaftler_innen, über die Paradigmen der jeweils eigenen Verfahren hinaus eine gemeinsame Kultur des Forschens zu etablieren.

Die traditionelle Forschungsförderung weisen ebenso wie wissenschaftliche Publikationsorgane limitierende Rahmenbedingungen auf, die die Verbreitung und den Erfolg von Mixed-Methods-Studien einschränken. Hier sind ein Umdenken und in Folge Umstrukturierungen notwendig, damit qualitativ hochwertige Forschung durchgeführt und das Erkenntnispotential, das über die jeweils singuläre Perspektive hinausgeht, tatsächlich entfaltet werden können.

Damit sich eine fundierte Mixed-Methods-Tradition entwickeln kann, die den oben beschriebenen Ansprüchen gerecht wird, und verkürzte Formate nicht zu Verwässerungen mindestens einer der beiden methodischen Zugänge zu Phänomenen der Frühen Bildung führen, muss Mixed-Methods-Forschung nicht nur die jeweils methodeninhärent gültigen Gütekriterien (z.B. Fröhlich-Gildhoff, Nentwig-Gesemann & Haderlein, 2008) beachten, sondern sich darüber hinaus an Mixed-Methods spezifischen Standards orientieren. Hierzu zählen nach unserer Auffassung zumindest drei Aspekte, die an dieser Stelle nur kurz benannt werden sollen. (1) Die interne (idealerweise auch externe) kommunikative Validierung: diese sieht regelmäßige und systematische Diskurs- und Reflexionsgelegenheiten zu paradigmenspezifischen Erkenntniswegen, Denkgewohnheiten, Begrifflichkeiten und Bedeutungszuweisungen während des gesamten gemeinsamen Forschungsprozesses vor. (2) Das Substanzprinzip: dieses lässt zwar unterschiedliche Gewichtungen quantitativer und qualitativer Methoden zu, fordert jedoch ein Mindestmaß an substanziell angelegten Erhebungs- und Auswertungsverfahren beider Stränge ein, damit von einem Mixed-Methods-Design gesprochen werden kann sowie (3) der Integrationsanspruch: dieser verlangt, Bezüge zwischen den Ergebnissen des quantitativen und qualitativen Forschungsstrangs herauszuarbeiten und nicht nur getrennt voneinander zu berichten. Denn gerade bei einer integrierten Dokumentation der Verfahren können sich Korrespondenzen, Ergänzungen, Reziprozitäten, Vertiefungen, Irritationen oder Widersprüche zeigen. Sie bilden das eigentliche Potenzial von Mixed-Methods-Designs.