Ein national gefördertes Onlinelabor als Infrastruktur für die psychologische Forschung
Abstract
Momentan besteht hohes wissenschaftspolitisches Interesse an der Entwicklung von Forschungsinfrastrukturen in allen Wissenschaftsbereichen. Wir plädieren dafür, ein national gefördertes Onlinelabor für die psychologische Forschung in diesen Diskurs einzubringen. Dieses Labor sollte einen großen Teilnehmerpool, notwendige Software-Tools, edukative Komponenten (Methodenberatung) sowie Schnittstellen zu Datenarchiven zur Verfügung stellen. Die Vorteile einer solchen Einrichtung werden auf der Basis von Effizienzbetrachtungen sowie methodischen und forschungsethischen Überlegungen verdeutlicht. Abschließend diskutieren wir mittelfristige Entwicklungspotenziale eines Nationalen Onlinelabors.
There is currently a high level of science policy interest in the development of research infrastructures in all scientific areas. We propose to promote the idea of a national online laboratory within this discourse. This laboratory should provide access to a large participant pool, should offer software tools, provide education on Internet-based research methodologies, and should interface with data archives. The advantages of such a facility on the basis of efficiency concerns as well as considerations concerning research methodology and research ethics are outlined. We conclude with a discussion of mid-term developmental potentials of a nationally funded online laboratory.
Forschungsinfrastrukturen in den Natur-, Sozial- und Geisteswissenschaften
Der Begriff der Forschungsinfrastruktur hat sich in Deutschland aus der Förderung naturwissenschaftlicher Großgeräte entwickelt. Spätestens seit 1954 das CERN in Betrieb genommen wurde, sind Großforschungseinrichtungen wie Forschungsschiffe, Großteleskope und Teilchenbeschleuniger Kristallisationspunkte für wegweisende Forschung ganzer Wissenschaftsgemeinschaften und werden entsprechend öffentlich gefördert. Der Wissenschaftsrat (2002; 2006) hat sich vor 12 Jahren erstmals mit der vergleichenden Bewertung mehrerer naturwissenschaftlich genutzter Großgeräte befasst und darauf hingewiesen, dass zukünftige forschungspolitische Betrachtungen Forschungsinfrastrukturen in „prinzipiell alle [n] Disziplinen–einschließlich der Sozial- und Geisteswissenschaften” mit berücksichtigen sollten (Wissenschaftsrat, 2006, S. 40).1
Außerhalb der Naturwissenschaften konnten vor allem Vertreter der Wirtschaftswissenschaften und der Soziologie im Rahmen einer „Kommission zur Verbesserung der informationellen Infrastruktur zwischen Wissenschaft und Statistik” (2001) erfolgreich ihre Bedarfe an Forschungsdaten artikulieren. Dieser Prozess gipfelte 2001 in der Gründung des Rates für Sozial- und Wirtschaftsdaten (RatSWD), der nachhaltig die Verfügbarkeit von Daten für diese und angrenzende Disziplinen verbessert hat (Wissenschaftsrat, 2009). Obwohl die Psychologie punktuell an diesem Prozess teilhat und in Teilbereichen auch davon profitiert hat, blieb das bisherige Engagement weitgehend auf Einzelpersonen beschränkt.
Ein weitergehendes Engagement der wissenschaftlichen Psychologie wäre momentan vielversprechend, da die wissenschaftspolitische Aufmerksamkeit für Weiterentwicklungen im Bereich der Forschungsinfrastrukturen hoch ist und somit prinzipiell die Möglichkeit zur Förderung neuer Einrichtungen besteht. Unter anderem befindet sich derzeit die Erstellung einer nationalen Roadmap für die Finanzierung von Forschungsinfrastrukturen in einer vom Bundesministerium für Bildung und Forschung (BMBF) angestrengten Pilotphase, an der die Psychologie unseres Wissens aber nicht beteiligt ist.2 Darüber hinaus hat sich eine Arbeitsgruppe des Wissenschaftsrates explizit mit den Forschungsinfrastrukturbedarfen in den Sozial- und Geisteswissenschaften auseinandergesetzt (Wissenschaftsrat, 2011), und das BMBF investiert in Maßnahmen in diesem Bereich (BMBF, 2013). Auch die DFG (beispielsweise im Rahmen des Langfristprogramms oder der Programme der Gruppe Wissenschaftliche Literaturversorgungs- und Informationssysteme) fördert die wissenschaftliche Infrastruktur in erheblichem Umfang. Und schließlich wird auf europäischer Ebene die Förderung von Forschungsinfrastrukturen im Rahmen des European Strategy Forum on Research Infrastructures (ESFRI, 2008) vorangetrieben. Auf der entsprechenden Roadmap sind neben zahlreichen natur-, technik- und lebenswissenschaftlichen Großprojekten auch sozialwissenschaftliche Umfragestudien (wie beispielsweise der European Social Survey oder der Survey of Health, Ageing and Retirement in Europe) vertreten, die zwar auch für die Psychologie relevant sind, primär aber von den Wissenschaften und der Soziologie verantwortet werden.
Die aktive Artikulation der Forschungsinfrastrukturbedarfe durch die jeweiligen wissenschaftlichen Gemeinschaften wird dabei nachdrücklich ermutigt (Wissenschaftsrat, 2011). Es stellt sich entsprechend die Frage, ob die Psychologie die für sie relevanten Bedarfe schon ausreichend identifiziert und deutlich gemacht hat.
Unsere These ist, dass dies zumindest in einem Bereich–einer Internet-basierten akademischen Forschungsinfrastruktur mit uneingeschränktem Zugang–noch nicht geschehen ist. Entsprechende innerfachliche Vorstöße wie etwa die der früheren IuK-Kommission der DGPs in dieser Zeitschrift (Bierhoff, Funke, Reips & Weichselgartner, 2005) reichen hierfür nicht aus, sondern müssen aktiv an Förderinstitutionen herangetragen werden. Wir werden im Folgenden argumentieren, dass ein national gefördertes Onlinelabor wegweisend für die psychologische Forschung–und mittelfristig auch für andere Disziplinen–sein könnte. Ähnlich wie international finanzierte Weltraumteleskope die Astronomie fundamental veränderten, indem sie alte Forschungsfragen beantworteten, neue aufwarfen, technische und methodische Entwicklungen anstießen und sich selbst auf die sozialen Gesichtspunkte der wissenschaftlichen Zusammenarbeit auswirkten, so bestehen auch für die Psychologie wesentliche Entwicklungschancen in der Etablierung einer nachhaltig geförderten und der gesamten Wissenschaftsgemeinschaft zur Verfügung stehenden Infrastruktur für die Internet-basierte Forschung.
Grundzüge eines national geförderten Onlinelabors
Wir wollen vier Komponenten eines solchen Labors für die deutschsprachige Forschungsgemeinschaft kurz umreißen:
- 1.Teilnehmerpool: Zentrales Element eines national geförderten Onlinelabors wäre ein Pool an potentiellen Versuchsteilnehmenden. Das Gros psychologischer Umfragen und Experimente verwendet nicht-repräsentative Stichproben. Den Kern des Teilnehmerpools könnte deshalb eine große und breit gestreute Gelegenheitsstichprobe bilden. Es besteht darüber hinaus die Möglichkeit, gezielt Stichproben spezifischer Populationen zu rekrutieren (z. B. Personen einer bestimmten deutschsprachigen Region, Alters, Einkommens- oder Bildungsstandes, Wohnorts; Personen mit klinisch relevanten Charakteristika; Personen, die spezifischen Gruppen angehören, wie z. B. Fußballfans, Angehörige einer Religionsgemeinschaft, Arbeitslose usw.). Zu einem späteren Zeitpunkt und engen Erfahrungsaustausch mit korrespondierenden Vorhaben aus der Umfrageforschung, wie z. B. dem GESIS Panel3 könnten außerdem bevölkerungsrepräsentative Studien und Experimente ermöglicht werden (Mutz, 2011).
- 2.Experimentalsoftware: Das Onlinelabor müsste die Internet-basierte Erstellung und Durchführung experimenteller und korrelativer Studien erlauben. Da die dafür benötigte Software unabhängig von der Pflege des Teilnehmerpools ist, wäre in diesem Zusammenhang die Kooperation mit–idealerweise mehreren–existierenden kommerziellen und nicht-kommerziellen (z. B. Göritz & Birnbaum, 2005; Leiner, 2012a; WEXTOR.org) Software-Lösungen erstrebenswert.
- 3.Edukation: Das Onlinelabor könnte Lernmaterialien und Beratungsangebote zur Methodik Internet-basierter Forschung bereitstellen, um dadurch die reflektierte und qualitativ hochwertige Nutzung des Angebots zu fördern und zu begleiten.
- 4.Datenarchiv: Die erhobenen Daten sollten bei Einverständnis der Studienverantwortlichen mit Metadaten versehen und gemäß der Berliner Erklärung über den offenen Zugang zu wissenschaftlichem Wissen (Max-Planck-Gesellschaft, 2003) öffentlich zugänglich gemacht werden. Hier bietet sich eine Zusammenarbeit mit Datenarchiven wie PsychData4 oder dem GESIS Datenarchiv für Sozialwissenschaften5 an. Die Archivierung könnte dabei neben den erhobenen Daten auch die Originalstudien aus Teilnehmersicht sowie den Programm-Code, der die Replikation oder Erweiterung der Studie ermöglicht, enthalten.
Das Onlinelabor verstehen wir dabei als eine Basisinfrastruktur ähnlich dem Zugang zu wissenschaftlicher Information in Bibliotheken. Es sollte entsprechend grundsätzlich allen qualifizierten wissenschaftlichen Nutzern offen stehen. Dies schließt einen finanziellen Eigenbeitrag bei der Durchführung der Studien und insbesondere der Honorierung der Versuchspersonen nicht aus.
Im Folgenden werden wir zuerst auf den Stand der Forschung bezüglich der Internet-basierten Durchführung psychologischer Studien eingehen. Danach werden wir darstellen, welche wesentlichen Effizienzbetrachtungen und forschungsethischen Argumente für die Einrichtung eines national geförderten Onlinelabors sprechen. Dabei gehen wir auch auf methodische Vorteile der Internet-basierten Studiendurchführung im Rahmen eines Onlinelabors ein (für ausführlichere methodische Diskussionen siehe Birnbaum, 2004; Denissen, Neumann & van Zalk, 2010; Horton, Rand & Zeckhauser, 2011; Reips, 2007; Reis & Gosling, 2010). Wir schließen mit einer Darstellung der Entwicklungspotenziale eines national geförderten Onlinelabors.
Onlinestudien
Bereits in den 1990er Jahren erschienen erste Artikel, die online erhobene Daten enthielten, in führenden Zeitschriften wie zum Beispiel Psychological Review (Musch & Reips, 2000). Für die Jahre 2003 und 2004 berichteten Skitka und Sargis (2006), dass vier von 298 Studien (ca. 1,3 %) des Flagschiff-Journals der American Psychological Association im Bereich Persönlichkeits- und Sozialpsychologie (Journal of Personality and Social Psychology) zumindest teilweise auf online erhobenen Daten basierten. Für dieselbe Zeitschrift ergab eine Abstract-basierte Suche für die Jahre 2008 und 2009, dass 25 von 343 (ca. 7,2 %) der Studien dieses Kriterium erfüllten (Denissen et al., 2010). Eine Auswertung zweier neuerer Ausgaben (Band 101, Ausgaben 5 und 6) von JPSP durch zwei unabhängige Rater ergab, dass inzwischen knapp ein Viertel (24 von 101) der berichteten Studien zumindest eine online durchgeführte Komponente beinhalten (15 % der kodierten Studien wurden vollständig online durchgeführt; siehe Abbildung 1). Dem stehen 37 % vollständig im Labor durchgeführte Studien entgegen. Zumindest in einigen psychologischen Teildisziplinen werden also die Daten eines substantiellen Anteils der in Zeitschriftenartikeln berichteten Studien inzwischen online erhoben. Dieser Befund deckt sich mit Daten von Reips und Krantz (2010), die für zwei der beliebtesten Websites zum Rekrutieren von Versuchspersonen, der web experiment list (http://wexlist.net) und der Exponnet-Seite (http://psych.hanover.edu/research/exponnet.html), über die Jahre einen exponentiellen Anstieg der angemeldeten Online-Studien feststellten.
Der verstärkten Nutzung von Onlinestudien entspricht eine intensivierte begleitende Forschung, welche die Internet-basierte Studiendurchführung mit Laborstudien bzw. Fragebogenstudien vergleicht. Als Fazit dieser Forschung lässt sich festhalten, dass Onlinestudien bei kompetenter Durchführung methodisch auf Augenhöhe mit Laborstudien liegen, wobei die studienspezifischen Anforderungen entscheiden, welche Durchführungsvariante vorzuziehen ist. Eine Reihe von Studien zeigen inzwischen, dass die Reliabilität validierter Messinstrumente sowie Effektstärken experimenteller Manipulationen bei Internet-basierter Durchführung vergleichbar mit den Kennwerten sind, die bei traditioneller Durchführung gefunden werden (Bandilla, Bosnjak & Altdorfer, 2001; Buhrmester, Kwang & Gosling, 2011; Chuah, Drasgow & Roberts, 2006; Cole, Bedeian & Feild, 2006; Denscombe, 2006; Germine et al., 2012; Horton et al., 2011; Krantz & Dalal, 2000; Lewis, Watson & White, 2009; Paolacci, Chandler & Ipeirotis, 2010; Ritter, Lorig, Laurent & Matthews, 2004; Srivastava, John, Gosling & Potter, 2003). Manche Studien weisen darauf hin, dass online erhobene Daten–beispielsweise aufgrund der größeren Freiwilligkeit der Teilnahme (Reips, 2002, 2007)–sogar qualitativ besser sein können als traditionell erhobene Daten (Birnbaum, 2001; Buchanan & Smith, 1999).
Allerdings unterscheiden sich die Stichproben, die in Internet-basierten Studien erhoben werden z. T. erheblich von üblichen Stichproben in Laborstudien. Insbesondere sind Studierende und Hochqualifizierte in Onlinestichproben gewöhnlich weniger stark überrepräsentiert als in Laborstudien (Gosling, Sandy, John & Potter, 2010; Reips, 2000). Sie sind somit weniger anfällig für die mit hochselektiven Stichproben verbundenen Validitätsprobleme (Arnett, 2008; Henrich, Heine & Norenzayan, 2010; Peterson, 2001; Sears, 1986).
Weitere Vorteile von Onlinestudien bestehen in ihrer schnellen Durchführbarkeit, den vergleichsweise geringen Erhebungskosten, der standardisierten Durchführung (und dadurch geringeren Interviewer-Einflüssen; Paolacci et al., 2010; Reips, 2002), sowie möglicherweise geringeren Effekten sozialer Erwünschtheit (Crutzen & Göritz, 2010; Kaufmann & Reips, 2008; Richman, Kiesler, Weisband & Drasgrow, 1999).
Diese Vorteile müssen im Einzelfall mit geringerer Kontrolle in der Internet-basierten Studiendurchführung abgewogen werden. Beispielsweise können im Bereich von Leistungstests Betrugsversuche der Teilnehmenden nicht effektiv verhindert werden (Denissen et al., 2010). Darüber hinaus ist die technische Ausstattung der Teilnehmenden weniger standardisiert als dies in Laboruntersuchungen der Fall ist. Dies bedingt auch, dass bestimmte Erhebungsmethoden (z. B. solche, die hochpräzise Zeitmessungen erfordern) bisher nur eingeschränkt online durchgeführt werden können. Ähnliches gilt für Paradigmen, in denen nicht über den Computer zu erfassende Verhaltensmaße erhoben werden. Hinsichtlich dieser letzten Punkte steht allerdings zu erwarten, dass die weitere technische Entwicklung (beispielsweise die Verfügbarkeit von Webcams, schnelleren Prozessoren und größeren Bandbreiten) dazu führen wird, dass zukünftig ein noch größerer Prozentsatz an Studien online durchgeführt werden kann. Darüber hinaus könnte ein national gefördertes Onlinelabor dazu beitragen, diese Probleme zu überwinden, indem beispielsweise Studieneinladungen nur an Panelmitglieder mit einer bestimmten technischen Ausstattung versandt werden. Dies ist bei der dezentralen Durchführung einzelner Onlinestudien mit ad hoc rekrutierten Versuchspersonen gewöhnlich nicht möglich, da vor der Einladung keine Teilnehmerinformationen vorliegen.
Effizienzbetrachtungen
Effizienzgewinne eines national geförderten Onlinelabors gegenüber selbst programmierten Studien mit ad hoc Rekrutierung liegen (a) in der Programmierung von Experimentalsoftware, (b) in der Rekrutierung von Versuchspersonen, der Pflege eines Teilnehmerpools und der nachhaltigen Nutzung angeworbener Versuchspersonen, (c) in der vereinfachten Umsetzung von Regeln guter wissenschaftlicher Praxis, (d) in der Speicherung und Nachnutzung von Forschungsdaten und (e) im systematischen Aufbau methodischer und technischer Expertise.
Wie das Internet insgesamt, entwickelt sich auch die technische Durchführung wissenschaftlicher Onlinestudien dynamisch–die Halbwertszeit einmal programmierter Software kann gering sein, wenn sie nicht ständig weiterentwickelt wird. Ein national gefördertes Onlinelabor könnte kontinuierlich den Zugang zu aktuellen Softwarelösungen sicherstellen. Uns erscheint die Verfügbarkeit mehrerer Softwarelösungen sinnvoll, so dass Forschende das für sie passende Programm finden und auswählen können und die verschiedenen Softwarelösungen sich im direkten Wettbewerb behaupten müssen. Darüber hinaus könnte eine solche Einrichtung selbst wissenschaftsgeleitet weitere Software-Entwicklungen vorantreiben. Derzeit geschieht dies in existierenden, von wenigen Personen getragenen Best Practise-Beispielen (z. B. Göritz, 2009; Göritz & Birnbaum, 2005; Leiner, 2012a; Reips & Garaizar, 2011). Die Nachhaltigkeit solcher Bemühungen ist derzeit entsprechend stark von Einzelpersonen abhängig. Was die Verfügbarkeit kommerzieller Softwarelösungen angeht, besteht Grund zu der Annahme, dass ein über ein national gefördertes Onlinelabor ausgehandelter Nutzungsvertrag vorteilhaftere Konditionen bieten würde als die zahlreichen bestehenden Einzellizenzen. Daneben stünde zu erwarten, dass durch die Bündelung von Nutzerinteressen größerer Einfluss auf die Weiterentwicklung dieser Software genommen werden könnte. Ein Onlinelabor könnte auch auf frei verfügbare Dienste zur Datenanalyse online (z. B. Freelon, 2010, 2013) und spezifische Tools für die Vorbereitung von Untersuchungen (z. B. Faul, Erdfelder, Buchner & Lang, 2009) verweisen.
Auch was die Rekrutierung von Versuchspersonen und die Pflege des Versuchspersonen-Pools angeht, bestehen schon wissenschaftsgetragene Best Practice-Beispiele sowie eine Vielzahl kommerzieller Angebote. Umfangreiche wissenschaftsgetragene Onlinepanel sind beispielsweise das an der Universität Freiburg angesiedelte WiSo-Panel (Stand 11.02.2014: über 12.000 Mitglieder; in diesem Zusammenhang wurde auch frei zugängliche Software zur Pflege eines Onlinepanels entwickelt; Göritz, 2009) oder das SoSci-Panel (Stand 17. 6. 2013: über 100.000 Mitglieder; Leiner, 2012b). Die Rekrutierung und Pflege von Panels mit solch hohen Mitgliederzahlen erfordern einen großen zeitlichen und häufig auch finanziellen Aufwand, der sich nur bei einer nachhaltigen Nutzung des Panels durch eine große wissenschaftliche Community auszahlt. Ein großes, langfristig angelegtes, wissenschaftsgetragenes Panel würde die bisher gesammelte Expertise bezüglich Rekrutierung und Pflege solcher Panels bündeln und die Umsetzung wissenschaftlich begleiten. Existierende Panels wurden beispielsweise genutzt, um die Effekte verschiedener Belohnungs-Modelle (Birnholtz, Horn, Finholt & Bae, 2004; Göritz& Luthe, 2013a, 2013b; Göritz, Wolff & Goldstein, 2008) und Kommunikationsmethoden (Bosnjak, Neubarth, Couper, Bandilla & Kaczmirek, 2008; Göritz & Crutzen, 2012; Göritz & Stieger, 2009; Stiglbauer, Gnambs & Gamsjäger, 2011) auf das Antwortverhalten der Panelmitglieder zu untersuchen. Ein besonderer Vorteil eines gemeinschaftlich genutzten Panels ist darüber hinaus, dass einmal rekrutierte Versuchspersonen an mehreren Studien teilnehmen können. Dadurch verringert sich im Vergleich zur Durchführung vieler einzelner Onlinestudien der zeitliche und finanzielle Rekrutierungsaufwand erheblich. Außerdem ist eine Quernutzung von Daten denkbar. Insbesondere können Panelmitglieder zu Beginn ihrer Mitgliedschaft hinsichtlich sozio-demografischer und psychologischer Variablen befragt werden. Diese Daten können dann entweder zur Filterung bestimmter Subpopulationen bei der Einladung zu neuen Studien genutzt oder in die Analyse mit einbezogen werden. Ebenso besteht die Möglichkeit, dass Daten aus früheren Studien als Prädiktoren oder Kontrollvariablen in die Auswertung späterer Studien einfließen.
Auch in der Sicherung guter wissenschaftlicher Praxis könnten Effizienzgewinne erzielt werden. Beispielsweise könnte die Abklärung grundlegender ethischer Gesichtspunkte generell für das Onlinelabor erfolgen. Es würde dadurch vermieden, die vorhandenen Ethik-Kommissionen der Forschungseinrichtungen bzw. der DGPs mit redundanten Fragestellungen zu befassen. Ein auf dieser Basis erarbeiteter Katalog von Mindestanforderungen (beispielsweise hinsichtlich der Informationspflichten an die Versuchsteilnehmenden6) könnte außerdem die ethisch einwandfreie Erstellung von Onlinestudien für die Forschenden vereinfachen.
Im Rahmen der Regeln guter wissenschaftlicher Praxis wird zunehmend auch die effiziente Speicherung und Ermöglichung der Nachnutzung von Forschungsdaten gefordert (Fahrenberg, 2012; Simonsohn, 2012). Die Berliner Erklärung über den offenen Zugang zu wissenschaftlichem Wissen (Max-Planck-Gesellschaft, 2003) schließt den offenen Zugang zu Forschungsprimärdaten ein. Empfehlungen des Ausschusses für Wissenschaftliche Bibliotheken und Informationssysteme der DFG (Deutsche Forschungsgemeinschaft, 2009) spezifizieren, dass „jeder Wissenschaftler […] seine Forschungsprimärdaten nach Möglichkeit überregional und frei zur Verfügung” stellt (S. 3) und dass dies nach definierten Standards unter Nutzung von Metadaten geschehen solle. Das Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) erfordert für Archivierungen in PsychData eine „Dokumentation des Erhebungsprozesses und der Erhebungsmethoden, sowie die Beschreibung der zugrunde liegenden Studie und ihres theoretischen Hintergrundes” (Weichselgartner, 2011a, S. 2). Es wird deutlich, dass der mit der Datenarchivierung verbundene Arbeitsaufwand ein entscheidender Anreiz ist, eigene Daten nicht zu archivieren (Borgman, 2010). Vor diesem Hintergrund kann es kaum überraschen, dass data sharing „in der Psychologie noch nicht zur Fachkultur gehört” (Weichselgartner, 2011b, S. 2). Im Rahmen eines national geförderten Onlinelabors bestünde nicht nur die Möglichkeit, die Primärdaten an ein Datenarchiv zu übergeben, sondern zugleich beispielsweise den Programmcode, Screenshots aus Teilnehmersicht sowie das entsprechende Codebuch ohne nennenswerten Arbeitsaufwand zu hinterlegen. Die archivierten Forschungsdaten würden unmittelbar durch DOI identifizierbar (Hausstein, 2012). Sogenannte „Embargo-” oder Alleinnutzungs-Zeiten (d. h. Zeiten, in denen die Daten von der Nachnutzung durch Dritte noch ausgeschlossen sind) könnten problemlos umgesetzt werden und damit eine weitere Hürde für die Datenhinterlegung überwinden (Nelson, 2009). Gemeinsam mit dem verminderten Arbeitsaufwand für die Archivierung könnte dies entscheidend zur Akzeptanz des data sharing in der Psychologie beitragen.
Was die methodische und technische Expertise in der Durchführung von Onlinestudien betrifft, konnten an vielen Standorten im deutschsprachigen Raum inzwischen beachtliche Erfahrungen gesammelt werden. Einige willkürlich gewählte Beispiele mögen genügen: An der Universität Freiburg unterhält die Abteilung für Wirtschaftspsychologie mit dem WiSo-Panel ein großes wissenschaftsgetragenes Panel.7 Vertreter der Abteilung Sozialpsychologie und der Abteilung Allgemeine und Theoretische Psychologie betreiben gemeinsam das kognitive und soziale WebLAB der Universität Heidelberg, das als Open-Source Toolkit in Zukunft zur freien Verfügung gestellt werden soll.8 Die Lehrstühle für Sozialpsychologie der Universität Mannheim verfolgen mit dem Portal „Forschung erleben!” ein innovatives Konzept in der Durchführung von Onlinestudien und Kommunikation der Ergebnisse9. Das Psychologische Institut der Humboldt-Universität zu Berlin betreibt mit psytests.de10 eine Internetseite zur Bewerbung von Onlinestudien. Die Abteilungen Allgemeine Psychologie II der LMU München11, die Arbeitsgruppe Psychologische Diagnostik und Gesundheitspsychologie der Universität Konstanz12, die Abteilung für Sozialpsychologie und Methodenlehre der Universität Freiburg13 und viele andere Abteilungen bewerben Onlinestudien auf ihren Internetseiten. Schließlich stellt der iScience Server (http://iscience.eu) an der Universität Konstanz ein ganzes Set an nützlichen Instrumenten zur Erstellung, Visualisierung und Überprüfung von Onlinestudien bereit. Dieser räumlich verteilte Aufbau von Expertise ist sinnvoll und wünschenswert. Ein national gefördertes Onlinelabor würde jedoch in seinem Umfeld durch Workshops und Konferenzen die Möglichkeit bieten, in einen stärkeren Austausch zu treten. In diesen Austausch könnten sich auch Experten für die Programmierung entsprechender Software einbringen. Das Onlinelabor könnte die Ergebnisse dieses Austausches sowie allgemeine Informationen zu Methoden der Internet-basierten Forschung gebündelt verfügbar machen und darüber hinaus die Vernetzung mit Initiativen wie Websm.org oder Webdatanet.eu sicherstellen. Von diesem intensivierten Austausch würden sowohl die einzelnen Forschungseinheiten als auch das Onlinelabor profitieren. Mittelfristig würde sich das Onlinelabor zu einem Kompetenzzentrum und Ansprechpartner für die Durchführung von Onlinestudien entwickeln und somit den systematischen Aufbau und die Weitergabe relevanter Expertise sicherstellen.
Forschungsethische Betrachtungen
Die Durchführung von Onlinestudien hat grundlegende ethische Vorteile gegenüber der Durchführung von Labor-, Telefon- oder Feldstudien. Insbesondere besteht kein unmittelbarer Kontakt zwischen Versuchsleitung und Studienteilnehmenden–die Möglichkeit zu unangemessener Einflussnahme auf die Versuchspersonen wird dadurch minimiert (Nosek, Banaji & Greenwald, 2002). Es besteht ein hohes Maß an Freiwilligkeit der Versuchsteilnahme (Reips, 2002), die beispielsweise in während Seminaren und Vorlesungen durchgeführten Studien nicht in gleichem Maße gewährleistet ist. Letzteres gilt auch für studentische Teilnahmen zur Erlangung von Studienleistungen. Allerdings birgt die Internet-basierte Datenerhebung auch forschungsethische Herausforderungen (Keller & Lee, 2003; Nosek et al., 2002; Pace & Livingston, 2005). Wir glauben, dass alle diese Herausforderungen wirksamer in einem Nationalen Onlinelabor adressiert werden können als im Rahmen der gegenwärtig üblichen Durchführung einzelner Onlinestudien. Orientiert an Nosek et al. (2002) sind beispielhaft folgende forschungsethische Gesichtspunkte zu nennen:
- –Aufklärung der Studienteilnehmenden (debriefing): Absichtlich (z. B. durch Schließen des Browserfensters) oder unabsichtlich (z. B. durch einen Computerabsturz) kann es dazu kommen, dass Studienteilnehmende nicht bis zur Abschlussseite einer Studie gelangen und somit–im Gegensatz zum Abbruch einer Laborstudie–nicht vollständig über den Hintergrund einer Studie aufgeklärt werden können. Ethische Richtlinien (DGPs & BDP, 1998/2004) erfordern eine solche nachgelagerte Aufklärung aber speziell dann, wenn die Studie Elemente enthält, über die die Teilnehmenden zu Beginn aus wissenschaftlich notwendigen Gründen getäuscht werden. Teilnehmenden muss in diesem Fall die Möglichkeit eröffnet werden, ihre Daten zurückzuziehen. In einzeln durchgeführten Onlinestudien ist eine solche nachgelagerte Aufklärung nur mit erheblichem Aufwand sicherzustellen. Der Teilnehmerpool eines national geförderten Onlinelabors würde aber aus registrierten Mitgliedern bestehen, deren Kontaktdaten hinterlegt sind. Auch Teilnehmende, die eine Studie abbrechen, könnten entsprechend noch kontaktiert und aufgeklärt werden.
- –Ebenfalls kann von Teilnehmenden eines Onlinelabors bei ihrer Anmeldung zum Panel ihr Vorab-Einverständnis eingeholt werden, bei manchen Studien aus methodischen Gründen über den (wahren) Untersuchungszweck bis zum Ende der Studie im Unklaren gelassen zu werden. Durch eine solche informierte Meta-Einwilligung ist die Auswirkung von Täuschung bzw. Informationsvorenthaltung von Vornherein geringer als bei einzeln durchgeführten Onlinestudien.
- –Schutz Minderjähriger: Der Aufwand, das Alter von Studienteilnehmenden zweifelsfrei festzustellen, ist erheblich, da ein Identitätsnachweis erforderlich ist. Während einzeln durchgeführte Onlinestudien deshalb praktisch nie ausschließen können, dass minderjährige Personen an der Studie teilnehmen, wäre die Umsetzung eines adäquaten Altersverifikationssystems im Rahmen eines national geförderten Onlinelabors mit angemessenem Aufwand zu leisten.
- –Datenschutz: Sowohl die Datenübertragung als auch die Speicherung der Forschungsdaten erfordern einen Schutz der Vertraulichkeit der Daten. Um diesen Schutz zu gewährleisten, sind ein rechtlicher Rahmen und eine Verschlüsselung auf dem neusten Stand der Technik notwendig. Während ein national gefördertes Onlinelabor in diesem Bereich Kompetenzen systematisch aufbauen und so bestmögliche Datensicherheit herstellen könnte, ist dasselbe Maß an zuverlässigem Datenschutz bei der Durchführung von Einzelstudien schwieriger zu erreichen.
- –Bezahlung: Ein weiterer Vorteil eines national geförderten Onlinelabors bestünde im geringeren Aufwand einer individuellen Kompensation der Studienteilnehmenden. Eine solche Einrichtung könnte den Teilnehmenden gegenüber glaubhaft sowohl aus Verlosungen bestehende Anreize umsetzen als auch jede Einzelperson (ggf. auch leistungsabhängig) vergüten (Horton et al., 2011).
Forschungsethische Betrachtungen enden aber nicht bei der Studiendurchführung. Wissenschaftliches Fehlverhalten von Psychologen hat in den vergangenen Jahren mehrmals das Feld erschüttert (Callaway, 2011; Enserink, 2012; Wade, 2010) und die Erkenntnis wachsen lassen, dass gegenwärtige Forschungspraktiken hinterfragt werden müssen (Crocker & Cooper, 2012; Mummendey, 2012; Simonsohn, 2012). Selbst ohne die Fälschung von Forschungsdaten gibt es viele Stellen im Forschungsprozess, an denen Wissenschaftler Einfluss auf empirische Studienergebnisse nehmen und diesen Einfluss ggf. missbrauchen können (sogenannte „researcher degrees of freedom”; Simmons, Nelson & Simonsohn, 2011). Vorschläge zur Veränderung gängiger Forschungspraktiken zielen auf drei Maßnahmen: (a) Replikation von Studienergebnissen durch Dritte (z. B. Mummendey, 2012; Yong, 2012) oder die Autoren der Studie (Simmons et al., 2011, aber siehe Francis, 2012), (b) Veröffentlichung der Primärdaten (z. B. Crocker & Cooper, 2012; Simonsohn, 2012) und (c) Veröffentlichung aller Studiendetails (insbesondere aller experimentellen Bedingungen und erhobenen Variablen; Eich, 2014; Simmons et al., 2011). Sowohl Rufe nach Replikationen als auch nach einer verstärkten Veröffentlichung von Daten und Studienmaterialien sind bisher allerdings meist ungehört verhallt–aus unserer Sicht besteht auch zum jetzigen Zeitpunkt wenig Grund zur Annahme, dass sich dies grundlegend ändern wird. Dies liegt in erster Linie an der Anreizstruktur: Solange kein „handfester Verdacht auf Fälschung” (Wagner & Huschka, 2012, S. 3) besteht, werden Replikationsversuche–weitgehend unabhängig davon, ob sie das Originalergebnis bestätigen oder ihm widersprechen–als „langweilig” (Wagner & Huschka, 2012, S. 3) wahrgenommen. Publikationschancen solcher Studien sind entsprechend gering, weshalb Replikationsstudien, wenn sie denn durchgeführt werden, häufig nicht publiziert werden (Rosenthal, 1979). Ähnlich dysfunktionale Anreize bestehen im Bereich der Daten- und Materialsicherung (Borgman, 2010): auch hier trifft hoher Aufwand für den individuellen Wissenschaftler auf geringe Chancen für einen Reputationsgewinn. Die geforderten Maßnahmen zur besseren Überprüfbarkeit von Studienergebnissen sind deshalb in der Umsetzung mit absehbaren Problemen behaftet. Die Etablierung eines national geförderten Onlinelabors könnte diese unbefriedigende Situation in manchen Bereichen der Psychologie grundlegend verändern.
Ein national gefördertes Onlinelabor könnte Wissenschaftlern die Möglichkeit bieten, die methodische und forschungsethische Qualität der eigenen Datenerhebung, -analyse und -interpretation glaubwürdig zu verdeutlichen. Dies könnte dadurch geschehen, dass die Studienverantwortlichen sich auf freiwilliger Basis verpflichten, sowohl die Versuchsmaterialien als auch die direkt vom Server extrahierten Rohdaten (einschließlich beispielsweise aller später als Ausreißer identifizierten Fälle) bei Publikation der Ergebnisse öffentlich zugänglich zu machen. Dies wird auch bereits von einigen Zeitschriften gefordert, beispielsweise verlangt das International Journal of Internet Science eine URL zu den Studienmaterialien. Die Durchführung einer Studie im Rahmen des Onlinelabors unter diesen spezifischen Bedingungen könnte sich somit als eine Art „Gütesiegel” für eine transparente Studiendurchführung und ‐analyse etablieren. Der Charme dieses Ansatzes besteht unter anderem darin, dass er die zentrale Rolle des peer review für die wissenschaftliche Qualitätssicherung stärkt. Gutachter blieben frei darin, zu entscheiden, welches Gewicht sie einem solchen Gütesiegel im Begutachtungsprozess zumessen wollen. Sollten Gutachter die gewährleistete Transparenz allerdings hoch einschätzen, würde dies eine völlig geänderte Anreizstruktur etablieren: Datenveröffentlichung würde ein begünstigender Faktor im Veröffentlichungsprozess und somit für die Forschenden attraktiv. Meta-Analysen und Re-Analysen–wie beispielsweise die kritische Überprüfung (Wagenmakers, Wetzels, Borsboom & van der Maas, 2011) der Analysen zu einem umstrittenen Artikel zu Präkognition (Bem, 2011)–würden vereinfacht.
Des Weiteren würden die Kosten einer Replikation deutlich sinken. Da alle Versuchsmaterialien (ggf. einschließlich des entsprechenden Quellcodes) unmittelbar zugänglich wären, wäre eine Replikation nur wenige Mausklicks entfernt. Dies würde zukünftige Versuche, die Reproduzierbarkeit psychologischer Forschungsergebnisse zu überprüfen, (wie beispielsweise das laufende Reproducability Project14 zur Replikation aller im Jahr 2008 in drei führenden Zeitschriften veröffentlichten Studien) dramatisch vereinfachen.
Entwicklungspotenziale eines national geförderten Onlinelabors
Zwei Entwicklungen machen deutlich, dass ein national gefördertes Onlinelabor ausgesprochen fruchtbar für die Zukunft der Psychologie sein könnte. Erstens verbringen immer mehr Menschen immer mehr Zeit online. In Deutschland ist der Prozentsatz der Internetnutzer an der Allgemeinbevölkerung in den letzten 16 Jahren von 6,5 % (1997) auf 77,2 % gestiegen (ARD, 1997; ARD/ZDF, 1998 – 2013). Die tägliche Nutzungszeit der Onlinenutzer stieg im selben Zeitraum von 76 auf 169 min. Es ist somit absehbar, dass in Zukunft immer größere Lebensbereiche in die „virtuelle Welt” verlagert werden. Zweitens entwickeln sich die technischen Möglichkeiten rapide weiter. Das Internet wird mobiler: Der Prozentsatz derer, die über Mobiltelefon oder Smartphone online gehen stieg in den letzten vier Jahren von 4 % auf 41 %. Holografische 3-D-Technologie steht im Online-Bereich in den Startlöchern. Auch andere Sinne (wie Geschmackssinn, Geruchssinn und Tastsinn) können heute schon neben auditiven und visuellen Kanälen mit angesprochen werden. Der Trend zu stärkerer Interaktivität–möglicherweise auch in größeren Gruppen–könnte sich fortsetzen.
Die zukünftigen Entwicklungen des Internets sind für die Psychologie von dreifacher Bedeutung. Erstens rechtfertigt die Nutzung von Onlinespielen, -büros, -partnerbörsen, -marktplätzen, -banking etc. schon heute die „virtuelle Welt” und ihre psychologischen Bedingungen und Auswirkungen als eigenständiges Forschungsfeld. Mit dem Wachstum der Bedeutung dieser „virtuellen Welt” wird sie als Forschungsgegenstand immer größeren Raum in der psychologischen Forschung einnehmen. Zweitens ist das Internet schlicht ein Weg, eine große Zahl von Versuchspersonen zu erreichen und zu untersuchen. Die Untersuchungsmöglichkeiten steigen dabei mit den erweiterten technischen Möglichkeiten. Aus Datensätzen, die durch das Onlineverhalten großer Zahlen von Internetnutzern entstehen („Big Data”), können zunehmend verhaltens- und sozialwissenschaftliche Erkenntnisse gewonnen werden. Drittens bietet die virtuelle Zusammenarbeit an Studien in einem Onlinelabor die Möglichkeit, das wissenschaftliche Arbeiten selbst zu transformieren. Wie wir Studien entwickeln, durchführen, auswerten und veröffentlichen wird durch die sozialen Zusammenhänge bestimmt, in denen Wissenschaft stattfindet. Diese Zusammenhänge haben sich durch das Internet schon in den vergangenen 20 Jahren grundlegend verändert. Sie werden es–potenziell im Rahmen eines national geförderten Onlinelabors–auch in Zukunft tun.
In welchen Punkten ein national gefördertes Onlinelabor der Zukunft über heutige Onlinestudien hinausgehen könnte, ist zwar Spekulation; drei mögliche Entwicklungen wollen wir hier aber doch nennen:
- 1.Interdisziplinarität: Ein national gefördertes Onlinelabor könnte sich in Zukunft für Disziplinen außerhalb der Psychologie öffnen. Das Sozio-oekonomische Panel (SOEP) am Deutschen Institut für Wirtschaftsforschung in Berlin beweist schon heute, dass die Kombination der Erkenntnisinteressen verschiedener Disziplinen in einer gemeinsamen Befragung fruchtbar sein kann (Wissenschaftsrat, 2009). In einem national geförderten Onlinelabor sind aufgrund der weniger stark beschränkten Befragungsdauer interdisziplinäre Fragestellungen in noch größerer Zahl adressierbar.
- 2.Repräsentativität und Interkulturalität: Die Tatsache, dass die wissenschaftliche Psychologie weitgehend auf (häufig studentische) Gelegenheitsstichproben (Gordon, Slade, & Schmitt, 1986; Greenberg, 1987; Sears, 1986) und in aller Regel auf Stichproben aus westlichen, gut ausgebildeten, industrialisierten, reichen und demokratischen Gesellschaften („WEIRD societies”; Henrich et al., 2010) basiert, wurde viel diskutiert–mit bisher nur geringen Konsequenzen. Die Aufnahme einer repräsentativ gezogenen Stichprobe in ein Onlinelabor ist möglich, wie das Beispiel von Time-sharing Experiments for the Social Sciences (TESS; http://www.tessexperiments.org/) in den USA zeigt. Dafür wird der Dienst des kommerziellen Anbieters GfK Knowledge Networks in Anspruch genommen, der die Versuchsteilnehmer u. a. mit Computern und Internetzugang ausstattet, um Verletzungen der Bedingungen für Repräsentativität zu minimieren. Die internationale Dimension eines Onlinelabors könnte beispielsweise über eine europäische Förderung im Rahmen des ESFRI-Prozesses und ggf. über darüber hinaus gehende internationale Kooperationen mit ähnlichen Einrichtungen hergestellt werden. Interkulturelle Replikationen könnten damit mit geringem Aufwand und hohem Grad an Standardisierung durchgeführt werden.
- 3.Integration von Selbstauskunfts- und Verhaltensdaten: Sogenannte Paradaten (Verhaltensdaten, wie beispielsweise Mausbewegungen, die bei der Beantwortung von Onlinestudien entstehen) können mit Web-Technologien erfasst werden (Janetzko, 2008; Stieger & Reips, 2010). Zusätzlich ist–speziell bei der Nutzung mobiler Endgeräte–eine vielfältige Integration zwischen Verhaltensdaten (beispielsweise GPS-Geodaten) und Befragungsdaten denkbar.
Aus unserer Sicht ist die Verwirklichung dieser und weiterer Möglichkeiten der Internetforschung sehr viel wahrscheinlicher, wenn eine schlagkräftige, auf Dauer angelegte Forschungsinfrastruktur solche Möglichkeiten kontinuierlich beobachtet und entsprechende Umsetzungen vorantreibt. Wir hoffen, dass dieser Artikel ein erster Schritt zu einer deutlicheren Formulierung dieser faszinierenden Möglichkeiten in den laufenden wissenschaftspolitischen Entscheidungsprozessen ist. Um sich in diesen Entscheidungsprozessen zu behaupten, bedarf es der aktiven Unterstützung vieler wissenschaftlich tätigen Psychologinnen und Psychologen. Um den Bedarf und die Anforderungen der Fachgemeinschaft an ein national gefördertes Onlinelabor besser einschätzen zu können, haben die Autoren einen kurzen Online-Fragebogen entwickelt. Dieser ist unter http://www.unipark.de/uc/a7aa/ zugänglich. Die Beantwortung des Fragebogens ist sowohl für die Weiterentwicklung der Konzeption eines national geförderten Onlinelabors als auch als Argumentationshilfe gegenüber wissenschaftspolitischen Entscheidungsträgern bedeutsam. Die Ergebnisse der Befragung werden selbstverständlich in die psychologische Fachgemeinschaft zurückgespielt.
Wir danken Dominik Leiner und Michael Bosnjak für hilfreiche Kommentare zu einer früheren Version dieses Artikels.
1Das hier vorgeschlagene national geförderte Onlinelabor würde in der Forschungsinfrastruktur-Diskussion–unabhängig vom bereichsübergreifenden Charakter der Psychologie–in Abgrenzung zu naturwissenschaftlichen Großgeräten als „sozial- und geisteswissenschaftliche Forschungsinfrastruktur” klassifiziert.
2siehe www.wissenschaftsrat.de/arbeitsbereiche-arbeitsprogramm/forschungsinfrastrukturen/
3Das GESIS-Panel ist ein probabilistisches Mixed-Mode (online per Web, offline per postalischen Befragungen) Omnibus Access Panel, das Sozialwissenschaftlern ab 2014 für die Einspeisung von Fragebogenitems offen steht. Jährlich sind insgesamt sechs Erhebungswellen a 20 Minuten Befragungszeit geplant. Einfache experimentelle Designs können im GESIS-Panel umgesetzt werden, komplexere Experimente sind aufgrund des Mixed-Mode Charakters bisher nicht vorgesehen. Im GESIS-Panel erhobene Daten stehen der sozialwissenschaftlichen Profession zeitnah zur Verfügung. Weitere Informationen zum GESIS-Panel finden sich unter: www.gesis.org/unser-angebot/daten-erheben/
4Getragen vom Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID): www.psychdata.de/
5Getragen vom GESIS Leibniz-Institut für Sozialwissenschaften: www.gesis.org/das-institut/wissenschaftliche-abteilungen/datenarchiv-fuer-sozialwissenschaften/
6Dies wird bei der Publikation von Online-Studien durch das Social Psychology Network momentan schon umgesetzt: www.socialpsychology.org/expts.htm
12www.psychologie.uni-konstanz.de/forschung/diagnostik/home-ag-renner/forschung/onlinestudien/
13www.psychologie.uni-freiburg.de/abteilungen/Sozialpsychologie.Methodenlehre
Literatur
(1997). ARD Online-Studie: Onlinenutzung in Deutschland. AG ARD-Multimedia–Online. Zugriff am 11. 02. 2014. Verfügbar unter http://www.ard-zdf-onlinestudie.de/fileadmin/Onlinestudie_1997/Online97.pdf
(1998 – 2013). ARD/ZDF Online-Studie: Nutzung von Internet und Onlineangeboten elektronischer Medien in Deutschland. AG ARD-Multimedia–Online. Zugriff am 11. 02. 2014. Verfügbar unter www.ard-zdf-onlinestudie.de/index.php?id=415
(2008). The neglected 95 %: Why American psychology needs to become less American. American Psychologist, 63, 602 – 614.
(2001). Effekte des Erhebungsmodus? Ein Vergleich zwischen einer web-basierten und einer schriftlichen Befragung zum ISSP-Modul Umwelt. ZUMA Nachrichten, 49, 7 – 28.
(2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100, 407 – 425.
(2005). Information und Kommunikation 2005: Ein Lagebericht und einige Zukunftsperspektiven. Psychologische Rundschau, 56, 212 – 219.
(2001). A Web-based program of research on decision making. In , Dimensions of Internet Science (pp. 23 – 55). Lengerich: Pabst Science.
(2004). The effects of cash, electronic, and paper gift certificates as respondent incentives for a web-based survey of technologically sophisticated respondents. Social Science Computer Review, 22, 355 – 362.
(2013). Forschunginfrastrukturen für die Geistes- und Sozialwissenschaften. Zugriff am 15.02.2014. Verfügbar unter http://www.bmbf.de/pub/forschungsinfrastrukturen_geistes_und_sozialwissenschaften.pdf
(2010). Research data: Who will share what, with whom, when, and why? In H. Solga, G. G. Wagner & D. Huschka (Eds.), RatSWD Working Paper Series, 161, 1 – 21. Retrieved February 11, 2014, from http://www.ratswd.de/download/RatSWD_WP_2010/RatSWD_WP_161.pdf
(2008). Prenotification in web-based access panel surveys: The influence of mobile text messaging versus e-mail on response rates and sample composition. Social Science Computer Review, 26, 213 – 223.
(1999). Using the Internet for psychological research: Personality testing on the World Wide Web. British Journal of Psychology, 90, 125 – 144.
(2011). Amazon’s Mechanical Turk: A new source of inexpensive, yet high-quality, data? Perspectives on Psychological Science, 6, 3 – 5.
(2011). Report finds massive fraud at Dutch universities. Nature, 479, 15.
(2006). Personality assessment: Does the medium matter? No. Journal of Research in Personality, 40, 359 – 376.
(2006). The measurement equivalence of web-based and paper-and-pencil measures of transformational leadership: A multinational test. Organizational Research Methods, 9, 339 – 368.
(2012). Addressing scientific fraud. Science, 334, 1182.
(2010). Social desirability and self-reported health risk behaviors in web-based research: Three longitudinal studies. BMC Public Health, 10, 720.
(2006). Web-based questionnaires and the mode effect: An evaluation based on completion rates and data contents of near-identical questionnaires delivered in different modes. Social Science Computer Review, 24, 246 – 254.
(2010). How the internet is changing the implementation of traditional research methods, people’s daily lives, and the way in which developmental scientists conduct research. International Journal of Behavioral Development, 34, 564 – 575.
(2009). Empfehlungen zur gesicherten Aufbewahrung und Bereitstellung digitaler Forschungsprimärdaten. Zugriff am 15. 02. 2014. Verfügbar unter http://www.dfg.de/download/pdf/foerderung/programme/lis/ua_inf_empfehlungen_200901.pdf
(1998/2004). Ethische Richtlinien der Deutschen Gesellschaft für Psychologie e.V. und des Berufsverbands Deutscher Psychologinnen und Psychologen e.V. Zugriff am 27. 02. 2014. Verfügbar unter http://www.dgps.de/index.php?id=96422
(2014). Business not as usual. Psychological Science, 25, 3 – 6.
(2008). European roadmap for research infrastructures. Roadmap Update 2008. Luxembourg: European Communities. Retrieved February 15, 2014, from http://ec.europa.eu/research/infrastructures/pdf/esfri/esfri_roadmap/roadmap_2008/esfri_roadmap_update_2008.pdf
(2012). Fraud-detection tool could shake up psychology. Science, 337, 21 – 22.
(2012). Open Access: Nur Texte oder auch Primärdaten? In H. Solga, G. G. Wagner & D. Huschka (Hrsg.), RatSWD Working Paper Series, 200, 1 – 28. Zugriff am 15. 02. 2014. Verfügbar unter http://www.ratswd.de/download/RatSWD_WP_2012/RatSWD_WP_200.pdf
(2009). Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behavior Research Methods, 41, 1149 – 1160.
(2012). The psychology of replication and replication in psychology. Perspectives on Psychological Science, 7, 580 – 589.
(2010). ReCal: Intercoder reliability calculation as a Web service. International Journal of Internet Science, 5 (1), 20 – 33.
(2013). ReCal OIR: Ordinal, interval, and ratio intercoder reliability as a Web service. International Journal of Internet Science, 8, 10 – 16.
(2012). Is the Web as good as the lab? Comparable performance from Web and lab in cognitive/perceptual experiments. Psychonomic Bulletin & Review, 19, 847 – 857.
(1986). The science of the sophomore revisited: From conjecture to empiricism. Academy of Management Review, 11, 191 – 207.
(2009). Building and managing an online panel with phpPanelAdmin. Behavior Research Methods, 41, 1177 – 1182.
(2005). Generic HTML Form Processor: A versatile PHP script to save web-collected data into a MySQL database. Behavior Research Methods, 37, 703 – 710.
(2012). Reminders in web-based data collection: Increasing response rates at the price of retention? American Journal of Evaluation, 33, 240 – 250.
(2013a). Effects of lotteries on response behavior in online panels. Field Methods, 25, 219 – 237.
(2013b). How do lotteries and study results influence response behavior in online panels? Social Science Computer Review, 31, 371 – 385.
(2009). The impact of the field time on response, retention, and response completeness in list-based Web surveys. International Journal of Human Computer Studies, 67, 342 – 348.
(2008). Individual payments as a longer-term incentive in online panels. Behavior Research Methods, 40, 1144 – 1149.
(2010). Wired but not WEIRD: The promise of the internet in reaching more diverse samples. Behavioral and Brain Sciences, 33, 94 – 95.
(1987). The college sophomore as guinea-pig: Setting the record straight. Academy of Management Review, 12, 157 – 159.
(2012). Die Vergabe von DOI-Namen für Sozial- und Wirtschaftsdaten. In H. Solga, G. G. Wagner & D. Huschka (Hrsg.), RatSWD Working Paper Series, 193, 1 – 13. Zugriff am 15. 02. 2014. Verfügbar unter http://www.ratswd.de/download/RatSWD_WP_2012/RatSWD_WP_193.pdf
(2010). The weirdest people in the world? Behavioral and Brain Sciences, 33, 61 – 135.
(2011). The online laboratory: Conducting experiments in a real labor market. Experimental Economics, 14, 399 – 425.
(2003). Ethical issues surrounding human participants research using the internet. Ethics and Behavior, 13, 211 – 219.
(2008). Non-reactive data collection on the Internet. In , Handbook of Internet and Online Research Methods (pp. 161 – 174). London, UK: Sage.
(2008). Internet-basierte Messung sozialer Erwünschtheit. Saarbrücken: VDM Verlag Dr. Müller.
(2001). Wege zu einer besseren informationellen Infrastruktur. Baden-Baden: Nomos. Zugriff am 15. 02. 2014. Verfügbar unter http://ratswd.de/ratswd/kvi
(2000). Validity of Web-based psychological research. In , Psychological Experiments on the Internet (pp. 35 – 60). New York: Academic Press.
(2012a). SoSci Survey (Version 2.3.03) [Computer Software]. Retrieved February 15, 2014, from www.soscisurvey.de
(2012b). SoSci Panel: The noncommercial online access panel. Poster presented at the GOR 2012, Mannheim. Retrieved February 15, 2014, from www.soscisurvey.de/panel/download/SoSciPanel.GOR2012.pdf
(2009). Internet versus paper-and-pencil survey methods in psychological experiments: Equivalence testing of participant responses to health-related messages. Australian Journal of Psychology, 61, 107 – 116.
(2003). Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities. Zugriff am 15. 02. 2014. Verfügbar unter http://openaccess.mpg.de/3515/Berliner_Erklaerung
(2012). Scientific misconduct in social psychology: Towards a currency reform in science. European Bulletin of Social Psychology, 24, 4 – 7.
(2000). A brief history of Web experimenting. In , Psychological Experiments on the Internet (pp. 61 – 88). San Diego, CA: Academic Press.
(2011). Population-Based Survey Experiments. Princeton, NJ: Princeton University Press.
(2009). Data sharing: Empty archives. Nature, 461, 160 – 163.
(2002). E-research: Ethics, security, design, and control in psychological research on the Internet. Journal of Social Issues, 58, 161 – 176.
(2005). Protecting human subjects in internet research. Electronic Journal of Business Ethics and Organization Studies, 10, 35 – 41.
(2010). Running experiments on Amazon Mechanical Turk. Judgment and Decision Making, 5, 411 – 419.
(2001). On the use of college students in social science research: Insights of a second-order meta-analysis. Journal of Consumer Research, 28, 450 – 461.
(2000). The Web experiment method: Advantages, disadvantages, and solutions. In , Psychological Experiments on the Internet (pp. 89 – 114). San Diego, CA: Academic Press.
(2002). Standards for Internet-based experimenting. Experimental Psychology, 49, 243 – 256.
(2007). The methodology of Internet-based experiments. In , The Oxford Handbook of Internet Psychology (pp. 373 – 390). Oxford, UK: Oxford University Press.
(2011). Mining Twitter: Microblogging as a source for psychological wisdom of the crowds. Behavior Research Methods, 43, 635 – 642.
(2010). Conducting true experiments on the Web. In , Advanced Methods for Conducting Online Behavioral Research (pp. 193 – 216). Washington, DC: American Psychological Association.
(2010). Social psychological methods outside the laboratory. In S. T. Fiske, D. T. Gilbert & G. Lindzey, (Eds.), Handbook of Social Psychology (5th ed., vol. 1, pp. 82 – 114). New York, NY: Wiley.
(1999). A meta-analytic study of social desirability distortion in computer-administered questionnaires, traditional questionnaires, and interviews. Journal of Applied Psychology. 84, 754 – 775.
(2004). Internet versus mailed questionnaires: A randomized comparison. Journal of Medical Internet Research, 6 (3), e29.
(1979). The „file drawer problem” and tolerance for null results. Psychological Bulletin, 86, 638 – 641.
(1986). College sophomores in the laboratory: Influences of a narrow data base on social psychology’s view of human nature. Journal of Personality and Social Psychology, 51, 515 – 530.
(2012). Just post it: The lesson from two cases of fabricated data detected by statistics alone. Retrieved February 15, 2014, from http://ssrn.com/abstract=2114571
(2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22, 1359 – 1366.
(2006). The internet as psychological laboratory. Annual Review of Psychology, 7, 529 – 555.
(2003). Development of personality in early and middle adulthood: Set like plaster or persistent change? Journal of Personality and Social Psychology, 84, 1041 – 1053.
(2010). What are participants doing while filling in an online questionnaire: A paradata collection tool and an empirical study. Computers in Human Behavior, 26, 1488 – 1495.
(2011). The interactive effects of motivations and trust in anonymity on adolescents’ enduring participation in web-based social science research: A longitudinal behavioral analysis. International Journal of Internet Science, 6, 29 – 43.
(2010, August 20). Harvard finds scientist guilty of misconduct. The New York Times. Retrieved February 15, 2014, from http://www.nytimes.com/2010/08/21/education/21harvard.html
(2012), Datenverfügbarkeit reicht nicht, um Replikationsstudien zur Routine zu machen. RatSWD Working Paper Series, 194, 1 – 9. Zugriff am 15. 02. 2014. Verfügbar unter http://www.ratswd.de/download/RatSWD_WP_2012/RatSWD_WP_194.pdf
(2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100, 426 – 432.
(2011a). Disziplinenspezifische Aspekte des Archivierens von Forschungsdaten am Beispiel der Psychologie. In H. Solga, G. G. Wagner & D. Huschka (Hrsg.), RatSWD Working Paper Series, 179, 1 – 21. Zugriff am 15. 02. 2014. Verfügbar unter http://www.ratswd.de/download/RatSWD_WP_2011/RatSWD_WP_179.pdf
(2011b). Forschungsdaten in der Psychologie: Disziplinspezifische und disziplinübergreifende Bedürfnisse. In H. Solga, G. G. Wagner & D. Huschka (Hrsg.), RatSWD Working Paper Series, 187, 1 – 12. Zugriff am 15. 02. 2014. Verfügbar unter http://www.ratswd.de/download/RatSWD_WP_2011/RatSWD_WP_187.pdf
(2002). Stellungnahme zu neun Großgeräten der naturwissenschaftlichen Grundlagenforschung und zur Weiterentwicklung der Investitionsplanung von Großgeräten. Berlin: Wissenschaftsrat. Zugriff am 15. 02. 2014. Verfügbar unter http://www.wissenschaftsrat.de/download/archiv/5363-02.pdf
(2006). Stellungnahme zu zwei Großgeräten der naturwissenschaftlichen Grundlagenforschung: Freie-Elektronen-Laser für weiche Röntgenstrahlung (BESSY FEL) und eisbrechendes Forschungsbohrschiff (AURORA BOREALIS). Nürnberg: Wissenschaftsrat. Zugriff am 15. 02. 2014. Verfügbar unter http://www.wissenschaftsrat.de/download/archiv/7269-06.pdf
(2009). Stellungnahme zum Status und der zukünftigen Entwicklung des Rates für Sozial- und Wirtschaftsdaten (RatSWD). Berlin. Aachen: Wissenschaftsrat. Zugriff am 15. 02. 2014. Verfügbar unter www.wissenschaftsrat.de/download/archiv/9504-09.pdf
(2011). Empfehlungen zu Forschungsinfrastrukturen in den Geistes- und Sozialwissenschaften. Berlin: Wissenschaftsrat. Zugriff am 15. 02. 2014. Verfügbar unter http://www.wissenschaftsrat.de/download/archiv/10465-11.pdf
(2012). Nobel laureate challenges psychologists to clean up their act. Nature News–Online. Retrieved October 11, 2012, and February 15, 2014, from http://www.nature.com/news/nobel-laureate-challenges-psychologists-to-clean-up-their-act-1.11535
