10 Open Science und Reporting
10.1 Einführung
Die grundlegende Idee von Open Science besteht darin, wissenschaftliche Vorgehensweisen und Ergebnisse allgemein verfügbar zu machen und dadurch Transparenz und wissenschaftliche Qualität zu sichern. Open Science soll Wissens‑ und Datenasymmetrien abbauen (Dienlin et al., 2021; Nosek et al., 2015) und im Idealfall Gerechtigkeit und Inklusion fördern (Fox et al., 2021). Open Science bezieht sich auf sämtliche Phasen des Forschungsprozesses. Entsprechend sind die Open-Science-Bemühungen vielfältig und umfassen u. a. Daten (Open Data), Studienmaterialien (Open Materials), Publikationen (Open Access), Software (Open Source), Lehrmaterialien (Open Educational Resources, OER), Evaluationsprozesse (Open Peer Review) und Infrastrukturen (z. B. das Open Science Framework OSF). Unter Open Science fällt auch die Präregistrierung von Studien (i. S. v. open reproducible research), auf die wir in Abschnitt 10.2 eingehen.
Das Ziel von Open Science ist es, Forschung und ihre Ergebnisse allgemein zugänglich zu machen, um wissenschaftliche Qualität zu sichern und Gerechtigkeit und Inklusion zu fördern.
Ein Ursprung der aktuellen Open-Science-Bewegung in der KMW liegt in der Replikationskrise der Psychologie, da zentrale Befunde nicht in nachfolgenden Studien repliziert werden konnten (Open Science Collaboration, 2015). Dieses Problem hatte mehrere (vermeintliche) Ursachen: Die Dokumentation des Vorgehens in den Originalstudien war für eine Replikation häufig nicht ausführlich genug. Replizierbar ist ein Ergebnis, wenn gilt: „It can be obtained with other random samples drawn from a multidimensional space that captures the most important facets of the research design“ (Asendorpf et al., 2013, S. 109). Es geht also darum, dass eine Studie, die demselben Vorgehen folgt, zum gleichen Ergebnis kommen sollte. Im Sinne von Open Science ist die Veröffentlichung aller Materialien (z. B. Erhebungsinstrumente und experimentelle Manipulationen) sinnvoll, um dieser Anforderung gerecht zu werden. Auch das ausführliche Reporting, also die genaue Dokumentation von methodischen und datenanalytischen Vorgehensweisen in Forschungsberichten und Publikationen, spielt hierfür eine zentrale Rolle (siehe z. B. Roekel et al., 2019; Schnauber-Stockmann & Karnowski, 2020; Stone & Shiffman, 2002; Trull & Ebner-Priemer, 2020). Reportingstandards erleichtern die Transparenz, indem sie Forschende dazu anregen, das Design ihrer Studie, inklusive forschungsethischer Überlegungen, den Analyseplan und die Ergebnisse in der Veröffentlichung vollständig und nachvollziehbar zu beschreiben (Kirtley et al., 2021).
Außerdem besteht die Möglichkeit, dass fragwürdige Forschungspraktiken (sog. Questionable Research Practices, vgl. Matthes et al., 2015) zum Einsatz gekommen sind, etwa das sog. p-hacking oder HARKing (Hypothesizing after Results Are Known). Ersteres umfasst z. B. die Änderung der Auswertungsstrategie und der in die Auswertung einbezogenen (Kontroll-)Variablen oder Fälle, bis die gewünschten hypothesenbestätigenden Ergebnisse herauskommen (p < .05 als Kriterium für Signifikanz, deshalb p-hacking). Letzteres meint, dass Hypothesen nach Auswertung der Daten an die Ergebnisse angepasst werden, weil die ursprünglichen Hypothesen nicht durch die Ergebnisse bestätigt werden. Beide Vorgehensweisen haben ihren Ursprung auch in der Publikationskultur – veröffentlicht werden häufig nur Studien, die zu signifikanten Ergebnissen gelangen. Studien mit Nullergebnissen, also mit nicht signifikanten Resultaten, werden nicht veröffentlicht und verschwinden gewissermaßen in der Schublade (daher der Begriff file drawer problem). So kann der Eindruck entstehen, dass sich ein Zusammenhang in allen Studien bestätigt, wenn nur diese publiziert werden (publication bias). Dieses Problem besteht auch in der KMW (Sun & Pan, 2020). Um dem zu begegnen, ist ein zentraler Bestandteil von Open Science die Präregistrierung, also die Formulierung und Veröffentlichung von Hypothesen und Forschungsfragen, des Forschungsdesigns, der Datenmanagement‑ und Analysepläne bereits im Vorfeld der Datenerhebung oder -analyse. Im folgenden Abschnitt gehen wird auf Präregistrierung und Reportingstandards für In-situ-Studien sowie die Möglichkeiten und Grenzen der Veröffentlichung von Materialien und Daten sowie des Codes ein.
10.2 Präregistrierung
In-situ-Studien haben deutlich mehr Entscheidungspfade als klassische Befragungsstudien; es gibt daher (noch) keine etablierten methodischen Standards wie bei anderen Erhebungsmethoden. Aus der Open-Science-Perspektive – zur Sicherstellung von Replizierbarkeit und Transparenz sowie zur Verhinderung von fragwürdigen Forschungspraktiken – ist es daher sehr wichtig, alle Schritte vorab gründlich zu planen und zu dokumentieren. Präregistrierungen werden üblicherweise öffentlich verfügbar gemacht, z. B. im OSF.
Die Podcastingstudie wurde im Vorfeld der Datenerhebung im OSF präregistriert. Die Präregistrierung und alle Materialien (z. B. Fragebögen), die Daten, der Auswertungscode und eine Ergänzung, die die Abweichungen von der Präregistrierung dokumentiert, sind im Studiensteckbrief verfügbar (siehe auch das zugehörige Projekt im OSF hier).
Es gibt für Open-Science-Praktiken (Präregistrierung, Metadaten etc.) bisher noch wenige Vorlagen für In-situ-Studien (eine Ausnahme ist z. B. Kirtley et al., 2021). Bei Langener et al. (2024) findet sich für die Präregistrierung von mobilen digitalen Verhaltensdaten eine Vorlage, die hilfreich sein kann, wenn im Rahmen der Studie solche Daten miterhoben werden. Im Folgenden gehen wir auf die zentralen Aspekte ein, die dokumentiert werden sollten und in diesem Buch als notwendige Bestandteile für In-situ-Studien beschrieben wurden. Wir möchten aber noch einmal ausdrücklich betonen, wie wichtig eine umfassende Dokumentation ist, die dazu dient, die Freiheitsgrade der Forschenden (siehe hierzu Nosek et al., 2018; Wicherts et al., 2016) offenzulegen oder einzuschränken.
Unter Ressourcen haben wir entsprechende Templates und Beispielpräregistrierungen zusammengestellt. Beispiele für Präregistrierungen finden sich auch in einigen unserer Steckbriefstudien.
Bei der Präregistrierung werden die zu prüfenden Hypothesen und die zu beantwortenden Forschungsfragen im Vorfeld festgelegt und öffentlich kommuniziert. Die Präregistrierung gilt auch für Erhebung, Aufbereitung und Auswertung der Daten (Wicherts et al., 2016). Gerade bei Aufbereitung und Auswertung können an vielen Stellen alternative, gleichermaßen legitime Optionen gewählt werden, die ggf. zu unterschiedlichen Ergebnissen führen würden. So müssen wir uns z. B. bei der Compliance entscheiden, ab welchem Grenzwert Teilnehmer:innen aus der Analyse ausgeschlossen werden. Denn der Ein‑ und Ausschluss von Fällen kann das Ergebnis verändern. Es gibt hier keine festen Regeln (siehe Abschnitte 6.3.2.2 und 9.2.1), wichtig ist, dass die Entscheidung über mögliche Grenzwerte im Vorfeld getroffen wird. Weiterhin können wir zwischen verschiedenen Auswertungsmethoden wählen, von denen ggf. einige – aber andere nicht – signifikante Ergebnisse erbringen. In der Präregistrierung legen wir das Vorgehen deshalb vorab fest, um zu verhindern, dass Hypothesen oder Auswertungsstrategien nachträglich ‚geschönt‘ werden, um signifikante Ergebnisse zu erzielen. Solche Forschungspraktiken gelten als fragwürdig, weil dadurch valide gewonnene Nullergebnisse nicht sichtbar werden, obwohl sie einen wichtigen Beitrag zum wissenschaftlichen Erkenntnisgewinn leisten können.
In Tabelle 10.1 sind die zentralen Informationen aufgeführt, die in einer Präregistrierung festgehalten werden sollten. Diese decken sich in großen Teilen mit den Reportingstandards (siehe Abschnitt 10.3).
Eine Präregistrierung ist mit Arbeitsaufwand vor dem eigentlichen Studienstart verbunden. Dieser Arbeitsaufwand fällt allerdings ohnehin an, z. B. wenn im Rahmen eines Ethikvotums die Vorgehensweise vorab offengelegt werden muss (siehe Abschnitt 4.2) oder während der Datenaufbereitung und ‑auswertung Entscheidungen zu treffen sind. Es erfordert also ohnehin einen zeitlichen Aufwand, zentrale Aspekte einer Studie möglichst umfänglich zu durchdenken und zu planen. Im Rahmen einer Präregistrierung hat dieses planvolle Vorgehen einige erhebliche Vorteile: Bereits vor der eigentlichen Datenerhebung zeigt sich, ob alle Aspekte berücksichtigt und die benötigten Variablen auch gemessen werden. Umgekehrt fällt uns vielleicht auf, dass bestimmte Konstrukte gar nicht notwendig sind und ein Verzicht auf deren Erhebung der Datensparsamkeit dient. Zudem kann die Situation eintreten, dass die Auswertungsmethode, die für eine Studie am besten geeignet ist, bestimmte Anforderungen an das Studiendesign stellt, das entsprechend angepasst werden muss. Diese vorausschauenden Maßnahmen verhindern, dass uns unüberlegte Entscheidungen später wieder einholen.
Dennoch wird es fast immer Aspekte geben, die nicht wie geplant laufen. Wichtig ist deshalb, eine Präregistrierung als Plan zu begreifen, aber nicht als ,Gefängnis‘ (DeHaven, 2017). Abweichungen sind immer möglich, sollten aber begründet und transparent dokumentiert werden, etwa in einem (Online-)Anhang (siehe z. B. die Checkliste bei Wicherts et al., 2016; siehe auch Kirtley et al., 2021; Lakens, 2024).
Es ist möglich, über die Präregistrierung hinausgehende Auswertungen von unerwarteten Ergebnissen zu berichten, die als explorativ gekennzeichnet sein sollten. Es wird zwischen explorativen und konfirmatorischen Auswertungen unterschieden. Konfirmatorische Auswertungen umfassen die Hypothesen und Forschungsfragen sowie die dazugehörigen Auswertungsschritte, die wir in der Präregistrierung festgehalten haben. Explorative Auswertungen umfassen alle zusätzlichen, nicht präregistrierten Auswertungen und dienen dazu, zusätzliche Erkenntnisse aus den Daten zu gewinnen, die über die ursprünglich festgelegten Ziele hinausgehen. Sie können neue und unvorhergesehene Erkenntnisse liefern, die in künftigen Forschungsvorhaben (konfirmatorisch) vertieft untersucht werden können.
Präregistrierungen dokumentieren alle Hypothesen, Forschungsfragen und methodischen Schritte vor dem Studienstart. Damit werden die Freiheitsgrade der Forschenden nach der Datenerhebung begrenzt, um fragwürdige Forschungspraktiken zu verhindern und valide Nullergebnisse sichtbar zu machen. Präregistrierungen helfen den Forschenden, ihre Studie im Vorfeld detailliert zu planen, wobei begründete und nachvollziehbare Planabweichungen möglich und manchmal unvermeidlich sind.
10.3 Reporting-Standards und Veröffentlichung von Studienmaterialien und -daten
Die ausführliche Dokumentation methodischer und datenanalytischer Vorgehensweisen in Forschungsberichten und Publikationen spielt für die Transparenz und damit auch die Replizierbarkeit (falls auch Daten geteilt werden, zudem die Reproduzierbarkeit) von empirischen Studien eine entscheidende Rolle. Wir empfehlen daher, das Design der eigenen Studie, den Analyseplan und die Ergebnisse in der Veröffentlichung vollständig zu beschreiben (Kirtley et al., 2021).
Es gibt bereits einige Vorschläge für Reportingstandards für In-situ-Studien in der Literatur (z. B. May et al., 2018; Roekel et al., 2019; Schnauber-Stockmann & Karnowski, 2020; Stone et al., 2023; Trull & Ebner-Priemer, 2020). Im Wesentlichen beinhalten diese Vorschläge ähnliche Aspekte wie die Präregistrierung, denn auch in der Forschungsarbeit selbst sollte das Vorgehen genau dokumentiert sein. Hinzu kommen Informationen, die auf den tatsächlichen Studienergebnissen basieren – etwa Fallzahlen auf der Personen- und Situationsebene, die Compliance und Reliabilitätswerte von Skalen. Neben dem Reporting in der Publikation selbst ist es aus Open-Science-Sicht wünschenswert, in einem Repositorium (z. B. OSF) zusätzlich alle Materialien (z. B. Protokolle, Briefingunterlagen, Vorabfragebogen) sowie die anonymisierten Daten und den Analysecode zu teilen, um der Reproduzierbarkeit von Ergebnissen gerecht zu werden. Ein Ergebnis ist reproduzierbar, wenn andere Forschende es mit einer erneuten Analyse der ursprünglichen Daten rekonstruieren können: „Researcher B […] obtains exactly the same results (e. g., statistics and parameter estimates) that were originally reported by Researcher A […] from A’s data when following the same [data analysis]“ (Asendorpf et al., 2013, S. 109).
Rechtliche und ethische Hürden können einer Veröffentlichung der Daten im Wege stehen. Diese betreffen insbesondere den Datenschutz bzw. das Recht auf informationelle Selbstbestimmung. Wir müssen also den zu veröffentlichenden Datensatz kritisch daraufhin prüfen, ob er Personendaten enthält und diese ggf. löschen oder anonymisieren. Dies gilt besonders bei so detailreichen und teilweise sehr umfangreichen Datensätzen wie sie im Rahmen von In-situ-Studien entstehen. Bei einer Anonymisierung muss daher auch das Risiko einer nachträglichen Deanonymisierung berücksichtigt werden. Im Zweifelsfall sollte von einer Veröffentlichung der Daten abgesehen werden (siehe auch Fox et al., 2021). Zudem ist es wichtig, auf eine solche Veröffentlichung und die daraus möglicherweise resultierende Zweitverwertung der Daten im Informed Consent hinzuweisen und das explizite Einverständnis der Teilnehmer:innen einzuholen (siehe Abschnitt 4.2, siehe hierzu allgemein Morehouse et al. (2024)).
Die Veröffentlichung der Daten und des Analysecodes einer Studie ermöglicht die Reproduzierbarkeit der Befunde. Vor der Veröffentlichung von Daten sollte eine sorgfältige datenschutzrechtliche Prüfung stattfinden und die Einwilligung der Teilnehmer:innen vorliegen. Denn auch anonymisierte Daten können sensibel sein – je detailreicher sie sind, desto größer ist das Risiko der Deanonymisierung.
| Präregistrierung | Reporting | |
|---|---|---|
| Einige Aspekte können beim Reporting in der Publikation auch aus Platzgründen in einen (Online-)Anhang ausgegliedert werden – vor allem die mit * gegenzeichneten bieten sich hierfür an. | ||
| Forschungsfragen und Hypothesen | Auflistung der Forschungsfragen und Hypothesen (siehe Kapitel 3) | |
| Studiendesign und Feldzeit | Beschreibung des Gesamtsettings der Studie – ggf. Kombination mit anderen Methoden (siehe Abschnitt 5.1) | |
| Design der In-situ-Studie möglichst genau beschreiben und begründen (z. B. Dauer der Feldzeit, Form der Protokollauslösung, erlaubte Zeit zwischen Signal und Ausfüllen; siehe Kapitel 2, Abschnitte 6.1 und 6.3) | zusätzlich: tatsächliche Response Latencies (siehe Abschnitt 9.2.1) | |
| ggf. in der Feldzeit aufgetretene Probleme | ||
| Technische Aspekte | für die Datenerhebung genutzte Geräte (z. B. Smartphones) bzw. Betriebssysteme (z. B. nur Android-Geräte) | |
| genutzte Software/Anbieter für die Datenerhebung (z. B. Sosci-Survey) und Art der Signalsendung und des Ausfüllens (z. B. per SMS, per Notifikation, webbasiert, appbasiert; siehe Abschnitt 6.3.2.1) | ||
| Teilnehmer:innen | Beschreibung der Zielgruppe | |
| Beschreibung der Stichprobenziehung und Rekrutierung (siehe Abschnitt 6.2) | ||
| Fallzahlen | angestrebte Fallzahl auf der Personenebene | Fallzahl auf der Personenebene bei Studienstart und final; Reporting der Ausschlussgründe (zu Bereinigung, siehe auch weiter unten; siehe Abschnitt 9.2.1) |
| Begründung der Stichprobengröße auf der Personen- und Situationsebene (z. B. A-priori-Power-Analyse;* siehe Abschnitt 6.1) | ||
| Anzahl der geplanten Signale pro Tag (oder angenommene Anzahl bei ereignisabhängigem ESM) | Anzahl der gesendeten Signale pro Tag; tatsächlich ausgefüllte Protokolle, die darauf basierende Compliance, ggf. Angaben zu zeitlichen Mustern in der Compliance (siehe Abschnitt 9.2.1) | |
| Protokoll | Anzahl Fragen/Items pro Protokoll | |
| erwartete Antwortzeit pro Protokoll | durchschnittliche Antwortzeit pro Protokoll | |
| Dokumentation aller Fragen/Items und Antwortskalen mit Angabe der Quelle, aus der die Fragen/Items stammen (Kapitel 7); Informationen zur geplanten Berechnung von Skalen/Indices und sonstigen geplanten Transformationen; geplante Reliabilitätsmaße; Vorgehen, falls Reliabilitätswerte nicht ausreichend sind etc. (siehe Abschnitt 9.2.2.1) | Dokumentation aller Fragen/Items und Antwortskalen;* Informationen zur Berechnung von Skalen/Indices und sonstigenTransformationen, inklusive psychometrischer Informationen (Reliabilitäten, M, SD etc.) und Angabe der Quelle, aus der die Fragen/Items stammen (siehe Kapitel 7, Abschnitte 9.2.2.1 und 9.5.1) | |
| Briefing und Motivation der Teilnehmer:innen | Beschreibung der Schulung von Teilnehmer:innen* (siehe Abschnitt 8.3) | |
| Beschreibung aller Maßnahmen zur Steigerung der Teilnahme-Motivation (z. B. Incentives; siehe Abschnitt 8.2) | ||
| Ethikvotum und Informed Consent | falls vorhanden: Informationen zum Ethikvotum (siehe Abschnitt 4.2) | |
| Informationen zum forschungsethischen Vorgehen (z. B. Informed Consent) und zum Datenschutz* (siehe Abschnitt 4.1) | ||
| Datenaufbereitung | Vorgehen bei der Datenbereinigung: Ausschluss von Personen (z. B. Mindestcompliance, Careless Responding bei X Protokollen…); Ausschluss von Protokollen (siehe Abschnitte 7.2 und 9.2.1) | |
| Umgang mit fehlenden Werten (z. B. Imputationsverfahren; siehe Abschnitt 9.2.2.2) | ||
| Vorbereitungen für die Auswertung: Art der Zentrierung, Anspiel von zeitversetzten Variablen etc. (siehe Kapitel 9) | ||
| Auswertung | Bericht der bivariaten Korrelationen (within und between, z. B. für Metaanalysen;* siehe Abschnitt 9.3) | |
| Auswertungsplan: Vorgehen so genau und replizierbar wie möglich beschreiben; darauf eingehen, was gemacht wird, wenn Voraussetzungen nicht erfüllt werden (Verteilung, Nichtkonvergenz der Modelle etc.), z. B. welche einfacheren Modelle dann berechnet werden; idealerweise Präregistrierung des Auswertungscodes (siehe Kapitel 9) | finaler Auswertungsplan; ggf. auf Probleme eingehen (siehe Kapitel 9) | |
| Kontrollvariablen mit Begründung (siehe Abschnitt 9.5.2.5) | ||
| Inferenzkriterien (z. B. p-Wert) | ||
| Angabe der verwendeten Software (z. B. R, inklusive der verwendeten Pakete) (siehe Kapitel 9) | ||