Diese knappe Checkliste für eine In-situ-Studie ist als praktische Hilfestellung gedacht, um sich vor Studienbeginn alle wichtigen Aspekte noch einmal zu vergegenwärtigen und auf möglicherweise offene Punkte aufmerksam zu werden. Welche Aspekte relevant für die jeweilige Studie sind und welche Details zu bedenken sind, ist in den einzelnen Kapiteln des Buches ausführlich erläutert.
Wir haben die Checkliste in vier Abschnitte eingeteilt: Unter Gesamtplanung gehen wir auf die den gesamten Forschungsprozess begleitenden Themen zeitliche und finanzielle Rahmenbedingungen, Ethik und Präregistrierung sowie Open Science ein. Unter Studienplanung fallen die Konzeption des Studiendesigns und des In-situ-Protokolls sowie die der Datenaufbereitung und Auswertung, weil letztere zentral für die Bestimmung der Stichprobengröße ist und ggf. auch im Rahmen einer Präregistrierung vor Studienstart festgehalten wird. Zudem geht es um die Stichprobenplanung auf Personen‑ und Situationsebene, die Frage nach zusätzlichen Messungen, z. B. der Vorab‑ und Nachbefragung, sowie die technische Umsetzung. Unter Durchführung fassen wir den Pretest, die Teilnehmer:innenschulung und Incentivierung sowie die wichtigsten Aspekte während der Feldzeit zusammen. Schließlich gehen wir auf Datenhandling und Auswertung ein.
Gesamtplanung
Überblick über zeitliche und finanzielle Rahmenbedingungen
Haben wir den zeitlichen Aufwand und Ablauf im Blick?
- mögliche Vorstudien, z. B. zur Skalen‑ oder Itemvalidierung
- ggf. die Präregistrierung
- ggf. das Einholen eines Ethikvotums
- die technische Umsetzung (Programmierung)
- den Pretest
- die Rekrutierung einer ausreichend großen Personenstichprobe
- die Feldzeit und ggf. Nachbefragung
Haben wir alle anfallenden Kosten im Blick?
Hierunter fallen Kosten für…
- Rekrutierung (Druck von Flyern, Bezahlung eines Panelanbieters o. ä.)
- ggf. Incentivierung
- Technik (App-Nutzung, SMS-Versand)
Ethik
Erheben wir personenbezogene Daten (bspw. auch zur Auszahlung von Incentives) und fällt unsere Studie somit unter die DSGVO?
- Wenn ja, ist eine Abstimmung mit der:dem Datenschutzbeauftragten notwendig?
Benötigen wir ein Ethikvotum?
- Wenn ja: Wo können wir es beantragen und wie? Welche Informationen über die Studie müssen dafür vorliegen und wie viel Zeit müssen wir dafür einplanen?
Was müssen wir bei der Einwilligungserklärung (Informed Consent) bedenken?
Zentrale Aspekte sind z. B.
- Datenschutz (z. B. Anonymität, Widerspruchsrecht, verantwortliche Person) und Datensicherheit (z. B. Übermittlung und Zugang)
- Art und Umfang der Datenverwertung (z. B. für Sekundäranalysen)
- Informationen über das Thema, das technische Vorgehen und die Dauer bzw. den Aufwand der jeweiligen In-situ-Studie
- Aufklärung über die Freiwilligkeit der Teilnahme
- geeignete Präsentation der Informationen
Präregistrierung und Open Science
Wollen wir unsere Studie präregistrieren?
- Wenn ja, wo wollen wir die Präregistrierung einreichen (z. B. im OSF)?
Wollen wir unsere Materialien (z. B. In-situ-Protokolle), Datensätze und unseren Auswertungscode öffentlich zugänglich machen?
- die Sensibilität unserer Daten abwägen
- entscheiden, wo wir unsere Materialien, Datensätze und unseren Auswertungscode verfügbar machen wollen (z. B. im OSF)
Studienplanung
Studiendesign
Welche Art von In-situ-Studie passt am besten zu unseren Forschungsfragen und Hypothesen?
In-situ-Protokoll
Wird aus den Frage‑ und/oder Itemformulierungen klar, auf welchen Zeitraum sich die Antwort beziehen soll, also z. B. den aktuellen Moment, die zurückliegende halbe Stunde o. ä.?
Was wollen wir alles im Protokoll messen?
- ob es bereits geeignete Kurzskalen oder Single Items gibt oder wir solche selbst entwickeln müssen (ggf. Skalen/Item‑Pretest einplanen)
- dass unser Protokoll nicht zu ausführlich ausfällt
- dass wir bei Filterführung im Protokoll ggf. darauf achten, dass alle Protokollvarianten ähnlich lang sind, um Reaktivitätseffekte zu vermeiden
Datenaufbereitungs‑ und Auswertungsplanung
Wie wollen wir unsere Daten bereinigen?
- der Ausschluss einzelner Protokolle bei zu großer Response Latency
- der Ausschluss von Teilnehmer:innen bei zu geringer Compliance
Mit welchen statistischen Verfahren wollen wir unsere Hypothesen prüfen bzw. unsere Forschungsfragen beantworten?
- Dabei müssen wir die Komplexität der Daten berücksichtigen
Stichprobenplanung
Umfang
Welche Fallzahlen auf Personen‑ und Situationsebene brauchen wir, um die geplanten Analysen vornehmen zu können?
Personenstichprobe
Wer ist unsere Grundgesamtheit und was ist unsere Stichprobenziehungsstrategie?
Wie gestalten wir die Rekrutierung?
- Überlegungen zu möglichen Kontaktwegen (z. B. Mailinglisten)
- ggf. die Gestaltung von Flyern, Social-Media-Posts o. ä.
Situationsstichprobe
Wie viele Tage läuft unsere Studie?
Ist eine „Testphase“ geplant, also z. B. ein Tag, der nicht in die Auswertungen eingeschlossen wird?
Wie lange nach Signalempfang kann ein Protokoll ausgefüllt werden?
Haben wir die Teilnehmer:innenbelastung und unser Forschungsinteresse gut gegeneinander abgewogen?
Bei signalbasierten Designs:
Wie viele Signale erhalten die Teilnehmer:innen pro Tag?
Legen wir ein Zeitfenster fest, in dem die Signale versendet werden (z. B. von 8-22 Uhr)?
Legen wir Mindestabstände zwischen Signalen fest?
Müssen wir bei den Abständen zwischen zwei Signalen etwas für die spätere Auswertung beachten (z. B., dass diese nicht zu klein oder zu groß ausfallen)?
Bei ereignisabhängigen Designs:
Legen wir eine Obergrenze an auszufüllenden Protokollen pro Tag oder Zeitabschnitt fest (z. B. bei Ereignissen, die sehr häufig auftreten)?
Können wir das Protokoll automatisch auslösen lassen, z. B. über eine App?
Wenn nein: Haben wir das Ereignis gut genug beschrieben, dass die Teilnehmer:innen wissen, wann sie ein Protokoll ausfüllen müssen? Wie können die Teilnehmer:innen auf das Protokoll zugreifen, wenn sie selbstausgelöst ausfüllen müssen?
Zusätzliche Messungen
Was müssen wir in einer Vorabbefragung abfragen?
- Screeningfragen, die nach Zielgruppenzugehörigkeit fragen
- unabhängige sowie Kontrollvariablen auf Personenebene
- die Einholung des Informed Consent
Brauchen wir eine Nachbefragung?
- Wann soll diese stattfinden? Direkt im Anschluss oder mit Zeitverzögerung?
- Welche (weiteren) unabhängigen und Kontrollvariablen auf Personenebene müssen wir hier erheben?
- Wollen wir nach der Studienerfahrung fragen?
Wollen wir zusätzliche Daten erheben, z. B. mittels Tracking?
Technische Umsetzung
Setzen wir eine spezielle App ein?
- Welche App? Ist sie kostenpflichtig?
- Sind wir mit ihrer Funktionsfähigkeit ausreichend gut vertraut?
- Gehen mit der App Anforderungen an die technische Ausstattung der Teilnehmer:innen einher?
- Haben diese Voraussetzungen evtl. einen Einfluss auf die Stichprobe (etwa durch den Ausschluss eines bestimmten Betriebssystems)?
- Welches andere Vorgehen wählen wir, um die Teilnehmer:innen zu alarmieren und ihnen die Protokolle zugänglich zu machen (z. B. SMS-Versand)?
Durchführung
Pretest
Funktioniert unser Studiensetup technisch einwandfrei?
- die Signalversendung (wenn nicht selbstausgelöst) und damit verbunden der Aufruf des In-situ-Protokolls
- die Verknüpfbarkeit der einzelnen Studienteile (z. B. Vorabbefragung und In-situ-Protokolle)
- die „Übergabe“ von der Vorabbefragung zum In-situ-Teil (z. B. Onboarding in eine App oder Abfrage von Mobilfunknummer und SMS-Versand)
- die Filterführung
Ist unser In-situ-Protokoll (und mögliche andere Studienteile) fehlerfrei und verständlich?
Schulung
Was muss in die Schulungsunterlagen für die Teilnehmer:innen aufgenommen werden?
Wie stellen wir die Verfügbarkeit der Schulungsunterlagen sicher?
- z. B. Versand per E-Mail, Abrufbarkeit über eine Projektwebseite
Benötigen wir eine persönliche (virtuelle oder Präsenz-)Schulung oder reichen schriftliche Unterlagen bzw. Videos o. ä. aus?
- Wenn wir eine persönliche Schulung benötigen: wo und wie können wir diese durchführen?
Incentivierung und Teilnehmer:innenmotivation
Wie incentivieren wir unsere Teilnehmer:innen?
- monetär oder anderweitig?
Wie können wir die Incentives verteilen?
- z. B. an alle Teilnehmer:innen, die eine Mindest-Compliance erfüllt haben oder in Form einer Verlosung
Welche weiteren Maßnahmen zur Steigerung der Compliance planen wir?
- z. B. Reminder, Motivationsnachrichten
Feldzeit
Wie stellen wir sicher, dass unsere Teilnehmer:innen uns während der Feldzeit erreichen?
- z. B. über eine Studien-E-Mail oder die eingesetzte App
Wie können wir den Studienverlauf im Auge behalten (Feldmonitoring), d. h. kontrollieren, wie viele Teilnehmer:innen noch teilnehmen, wie hoch die Compliance ist etc.?
Wie können wir sicherstellen, dass eventuelle (technische) Probleme frühzeitig erkannt werden?
- z. B. durch Teilnahme eines Team-Mitglieds an der Studie
Datenhandling und Auswertung
Datenhandling
Haben wir sichergestellt, dass nicht benötigte, v. a. personenbezogene Daten (z. B. zur Incentivierung) zeitnah gelöscht werden?
Sehen alle Daten vollständig und plausibel aus (Dateninspektion)?
Haben wir alle Datenbereinigungsschritte wie geplant durchgeführt?
- Wenn nicht, sollten wir Abweichungen von unserem Plan dokumentieren und begründen, v. a. wenn die Studie präregistriert wurde
Auswertung
Haben wir die Stichprobe transparent beschrieben (deskriptive Auswertungen)?
Haben wir alle hypothesenprüfenden bzw. forschungsfragenbeantwortenden Analysen wie geplant durchgeführt?
- Wenn nicht, sollten wir Abweichungen von unserem Plan dokumentieren und begründen, v. a. wenn die Studie präregistriert wurde
Ist es sinnvoll, weitere explorative Auswertungen durchzuführen?