8  Durchführung einer In-situ-Studie

8.1 Pretest

Unabhängig davon, wie sorgfältig die Erhebungsinstrumente entwickelt, evaluiert und am Schreibtisch mithilfe theoretischer Verfahren wie ESM-Q (Eisele et al., 2025) evaluiert wurden, ist es immer empfehlenswert, diese sowie alle weiteren Aspekte einer In-situ-Studie im Rahmen eines sog. Pretests vor ihrem Einsatz im Feld gründlich zu überprüfen (vgl. ausführlich Möhring & Schlütz, 2025, siehe Abschnitt 6.2). Es ist sinnvoll, sowohl methodisch versierte Personen als auch Angehörige der angestrebten Zielgruppe einzubeziehen.

WichtigMERKE

Im Pretest wird die inhaltliche und technische Eignung der Erhebungsinstrumente überprüft, bevor sie ins Feld gehen.

Im Pretest sollten die Instrumente, also die Fragebögen der Vorab- und Nachbefragung sowie das In-situ-Protokoll auf Verständlichkeit der Fragen, Länge etc. getestet werden. Kognitive Interviews eignen sich beispielsweise, um das korrekte inhaltliche Verständnis der Protokollfragen sicherzustellen (vgl. Beatty & Willis, 2007). Diese Form des Pretests ist vergleichbar mit der Methode des lauten Denkens (ggf. ergänzt um Verständnisnachfragen): Beim Ausfüllen des Fragebogens bzw. Protokolls werden die Pretester:innen gebeten, ihre Gedanken zu artikulieren. Auf diese Weise werden Informationen gesammelt, die dazu dienen, die Qualität der Antworten zu bewerten und festzustellen, ob die Frage die intendierten Informationen liefert (für Beispiele siehe Eisele et al., 2022). Ein solcher Pretest basiert auf dem in Abschnitt 7.1.1 vorgestellten kognitiven Antwortprozess – Verstehen, Erinnern/Urteilen, Schätzen und Anpassen. Er zielt darauf ab, diesen Prozess abzubilden und ggf. damit verbundene Probleme zu identifizieren, um die Reliabilität und Validität der Antworten sicherzustellen. Eine weniger aufwändige Form des Pretests besteht darin, Testpersonen zu bitten, die Fragebögen und Protokolle auszufüllen und ihre Anmerkungen an die Forschenden zu übermitteln. Software für Onlinebefragungen bietet dafür üblicherweise eine Pretestfassung mit offenen Kommentarfeldern an (wie z. B. SoSci Survey, Leiner, 2024). Außerdem ist für eine In-situ-Studie der reibungslose technische Ablauf zentral, also etwa der korrekte Versand der Signale, die Verbindung der Datensätze aus den verschiedenen Studienteilen, die Funktionsfähigkeit der eingesetzten technischen Lösung, z. B. der App etc. Diese Aspekte sollten zentraler Teil des Pretests sein.

8.2 Incentivierung

Viele Studien bieten ihren Teilnehmer:innen Belohnungen, also Incentives an, um die Teilnahmebereitschaft zu steigern und die Selbstselektivität zu reduzieren. Darüber hinaus sollen Incentives zum vollständigen und sorgfältigen Ausfüllen motivieren und damit die Datenqualität erhöhen. Wir können zwischen monetären und nicht monetären Belohnungen unterscheiden. Nicht-monetäre Incentives können etwa Spenden an Wohltätigkeitsorganisationen sein oder der Zugang zu Studienergebnissen. Bei Siebers et al. (2024) (siehe Studiensteckbrief) konnten die Teilnehmer:innen beispielsweise ihr Ausfüllverhalten über eine interaktive Website in Echtzeit beobachten.

Der Einfluss von Incentives wurde bereits intensiv untersucht (vgl. Keusch, 2015; Singer, 2018). Empirische Ergebnisse zeigen, dass monetäre Incentives die Teilnahmebereitschaft allgemein sowie in In-situ-Studien im Besonderen erhöhen (Keusch et al., 2019; Kibuchi et al., 2020). Nicht-monetäre Incentives haben sich als weniger effektiv erwiesen (Göritz & Neumann, 2016; im Überblick Keusch, 2015; zu gegenteiligen Ergebnissen aber Edwards et al., 2023).

Monetäre Incentives können vorab oder nachträglich und dann in Abhängigkeit von der tatsächlichen Teilnahme und dem regelmäßigen Ausfüllen der Protokolle ausgezahlt werden (siehe Abschnitt 6.3.2.2). Die Studienlage zeigt allerdings konsistent, dass grundsätzlich gewährte und vorab ausgezahlte Incentives an alle Teilnehmer:innen wirksamer sind als solche, die nachträglich und abhängig von der Teilnahme gewährt werden. Je nach Rekrutierungsstrategie sind voraussetzungsfreie Belohnungen bei Onlinebefragungen allerdings kaum umzusetzen. Daher ist die nachträgliche, an die Compliance geknüpfte Incentivierung bei In-situ-Studien deutlich verbreiteter. Alternativ erweist sich teilweise auch eine Kombination aus vorab und nachträglich ausgezahlten Belohnungen als erfolgreich (Göritz, 2008; Patrick et al., 2013).

Hinsichtlich der Höhe der Incentivierung können bereits kleine Beträge bei einfachen Befragungen erfolgreich sein (z. B. 2 US-$, Gajic et al., 2012), wobei mit steigender Summe auch die Antwortrate steigt (Singer, 2018). In einer Metaanalyse von ESM-Studien im medizinischen Bereich zeigen Vachon et al. (2019), dass die Höhe des Incentives zudem positiv mit der Compliance korreliert. Dabei bieten sich höhere Beträge (im Überblick Singer, 2018) und mehrere Belohnungen über die Panelwellen hinweg an (Jäckle & Lynn, 2008). Siebers et al. (2024) zahlten ihren Teilnehmer:innen z. B. 0,30 Euro für jedes ausgefüllte Protokoll (siehe Studiensteckbrief).

Das Budget reicht häufig nicht aus, alle Teilnehmer:innen – unabhängig davon, ob und wenn ja wie gut sie die Studie durchgehalten haben – zu belohnen. Daher werden häufig Gutscheine oder Sachpreise verlost (Zhu et al., 2018). Wertigere Lotteriepreise steigern die Teilnahmebereitschaft mehr als niedrigere, auch bei geringeren Gewinnchancen (Gajic et al., 2012). Auch in eine Verlosung können alle Teilnehmer:innen einbezogen werden oder nur solche, die regelmäßig Protokolle ausgefüllt haben. In der Studie von Siebers et al. (2024) nahmen diejenigen, die alle sechs Protokolle eines Tages ausgefüllt hatten – zusätzlich zu anderen Maßnahmen –, an einer täglichen Lotterie teil, bei der 4 x 25,00 Euro verlost wurden (siehe Studiensteckbrief). Karnowski et al. (2017) verlosten vier Gutscheine im Wert von 50,00 Euro unter allen, die einen Vorabfragebogen und über acht Tage einmal täglich einen Kurzfragebogen ausfüllten (siehe Studiensteckbrief, für weitere Beispiele siehe Berkel et al. (2017)). Im Rahmen unserer Beispielstudie wurde unter allen Teilnehmer:innen des In-situ-Teils ein Kopfhörer mit Noise-Cancelling-Funktion verlost. Eine Mindestanzahl an beantworteten Protokollen war nicht Voraussetzung, um an der Verlosung teilzunehmen (siehe Studiensteckbrief). Insgesamt sollten für die Höhe der Incentivierung neben dem verfügbaren Budget die Länge des Erhebungszeitraums und der einzelnen Protokolle, ihre Komplexität sowie die Häufigkeit der Signale berücksichtigt werden. Eisele et al. (2022) verweisen darauf, dass viele Ethikkommissionen eine Orientierung der Belohnung am Aufwand der Beteiligung erwarten. Dennoch arbeiten einige Studien aufgrund eingeschränkter Budgets auch ohne monetäre Anreize (z. B. Dogruel & Schnauber-Stockmann, 2020; Naab, 2013).

WichtigMERKE

Für die Steigerung der Teilnahmebereitschaft erweisen sich vor allem monetäre Incentives als effektiv. Deren Höhe sollte sich am Aufwand der Beteiligung orientieren. Obwohl vorab ausgezahlte Incentives erfolgversprechender sind, wird eine Belohnung – oft aufgrund von Budgetbegrenzungen – i. d. R. nachträglich ausgezahlt und an eine bestimmte Compliance geknüpft.

8.3 Schulung, Feldphase und Debriefing

In-situ-Studien erstrecken sich in der Regel über einen längeren Zeitraum und sind komplex in ihrer inhaltlichen und technischen Ausgestaltung. Die Anforderungen an die Teilnehmer:innen sind also insgesamt hoch. Es bedarf einer Reihe von Bemühungen, die research alliance (Larson & Csikszentmihalyi, 1983, siehe Abschnitt 6.2.2.2) aufzubauen und die Teilnahmebereitschaft und ‑motivation sicherzustellen. Unterstützende Maßnahmen sind – neben Incentives – die Bereitstellung geeigneter Informationen, eine Schulung im Vorfeld der Studie, eine enge Betreuung während der Feldphase sowie ein Debriefing.

8.3.1 Informationen im Vorfeld der Studie

Aus forschungsethischen Gründen (vgl. Kapitel 4), aber auch um einen reibungslosen Ablauf einer In-situ-Studie sicherzustellen, ist es notwendig, dass wir die Teilnehmer:innen im Vorfeld genau über den Ablauf der Studie und über die an sie gestellten Erwartungen (z. B. die Anzahl auszufüllender Protokolle) informieren. Es bietet sich an, im Vorfeld der Studie eine entsprechende Veranstaltung einzuplanen, bei der Studieninformationen in einem persönlichen Gespräch und/oder einem ausführlichen, aber einfach verständlichen schriftlichen Briefing weitergegeben werden. Das Briefing zur Studie von Aalbers et al. (2022) fand etwa im Klassenraum der jugendlichen Teilnehmer:innen statt (siehe Studiensteckbrief). Dabei unterstützten die Forschenden bei der Installation der Studienapp und erläuterten den Ablauf der ESM-Phase. Auch Erklärvideos sind denkbar. Im Anhang unter Ressourcen finden sich einige Beispiele für Erklärvideos. Ziel ist, die Teilnehmer:innen zu motivieren und ihnen zentrale Aspekte der Vorgehensweise zu verdeutlichen (Häufigkeit der Alarmierung, Wiederholungscharakter, Unmittelbarkeit des Ausfüllens) und Protokolleinträge zu üben. Vor allem können wir kommunizieren, dass täglich mehrere identische Fragebögen auszufüllen sind, und das Vorgehen im Falle eines Problems (Kontaktmöglichkeit) und die Bewältigung besonderer Situationen (z. B. Fragen von anderen Personen) besprechen. Schließlich ist eine solche Schulung eine passende Gelegenheit, Feedback von den Teilnehmer:innen einzuholen. Ein solches Vorgehen kann die fehlerfreie Beteiligung verbessern, Abbrüche vermeiden sowie Compliance und Teilnahmemotivation steigern (Palmier-Claus et al., 2011; Stone et al., 2023; Wen et al., 2021).

Über ein Manual, eine Studienwebseite oder in der verwendeten Erhebungsapp können wir Informationen bereitstellen, auf die die Teilnehmer:innen jederzeit zurückgreifen können. Die konkreten Informationen sind abhängig vom Studieninteresse und ‑verlauf. Wichtig sind folgende Teilnahmehinweise (Formulierungsvorschläge für Instruktionen, die an die eigene Studie angepasst werden können, finden sich z. B. bei Eisele et al., 2022):

  • technische Voraussetzungen (z. B. bestimmte Betriebssysteme, Notwendigkeit einer mobilen Datenverbindung oder WLAN-Verbindung)

  • technische Einstellungen: die verwendete App, ihre Installation und Bedienung, notwendige Einstellungen am eigenen Gerät (z. B. Benachrichtigungen und Berechtigungen)

  • Aufbau der Erhebung: Vorabbefragung, In-situ-Phase, Nachbefragung etc.

  • Beginn und Ende der Erhebung

  • zentrale Konstrukte und ihre Messung: Es empfiehlt sich, das Protokoll durchzusprechen und die Operationalisierungen zu erklären, etwa auf welchen Zeitraum sich das Protokoll bezieht (z. B. „jetzt gerade“ vs. „in der letzten Stunde“)

  • Art der Alarmierung (z. B. per App, SMS, E-Mail)

  • Häufigkeit und Zeitraum der Signale: Ggf. ist es angebracht, nicht die genaue Anzahl und die konkreten Zeiten anzugeben; zentral ist bei selbstausgelösten ereignisbasierten ESM-Studien die genaue Definition des Ereignisses und wie das Protokoll aufgerufen werden kann

  • Handlungsanweisungen zur Alltagsgestaltung: Der Alltag soll möglichst nicht angepasst und das Smartphone immer bereitgehalten werden

  • Handlungsanweisungen über die erwartete Compliance: z. B. wie lange nach dem Signal ein Protokoll ausgefüllt werden kann (maximale Response Latency); was zu tun ist, wenn ein Signal versäumt wurde oder zwei aufeinanderfolgende Signale bereitstehen; ob und wie ein Protokoll nachgeholt werden kann

  • vollständige Informationen zur Datenerhebung, ‑speicherung und ‑verarbeitung (siehe Kapitel 4)

  • Informationen zur Incentivierung

  • Kontaktdaten für Rückfragen

In der Podcastingstudie wurden die Teilnehmer:innen folgendermaßen instruiert (siehe Studiensteckbrief):

Der zweite Teil der Untersuchung erstreckt sich über zwei Wochen, und zwar vom 18.09. bis 01.10.2023. Er besteht aus bis zu vier sehr kurzen Umfragen (max. 2–3 Minuten) pro Tag. In dem Teil geht es uns vor allem um die jeweilige Situation, in der Sie Podcasts hören.

Sie benötigen für diesen Teil keine gesonderte App. Wir werden Ihnen einfach eine SMS mit einem Befragungslink schicken, der Sie zum Kurzfragebogen leitet. Sie können ihn dann zwischendurch am Handy ausfüllen. Dafür benötigen Sie mobiles Datenvolumen oder eine WLAN-Verbindung. Der Link ist nach dem Versand eine Stunde gültig. In diesem Zeitfenster können Sie die Umfrage ausfüllen. Wenn Sie gerade keine Gelegenheit dazu haben, machen Sie einfach bei der nächsten Umfrage wieder mit. Für das Gelingen der Studie ist es aber wichtig, dass so viele Kurzfragebögen wie möglich beantwortet werden. Wir freuen uns daher, wenn Sie Ihr Smartphone bereithalten und so häufig wie möglich mitmachen – aber natürlich sollen Sie ihr „normales“ Verhalten nicht aufgrund der Studie verändern, denn gerade das interessiert uns ja.

Selbstverständlich ist auch die Teilnahme an diesem Teil freiwillig und kann jederzeit abgebrochen werden. Auch die Kurzfragebögen sind vollständig anonym. Es werden keine zusätzlichen Datenspuren erhoben (wie z. B. Ihr Aufenthaltsort). Die Angaben, die Sie im Rahmen der Befragung freiwillig machen, werden durchgängig vertraulich behandelt und ausschließlich für wissenschaftliche Zwecke genutzt.

Als kleines Dankeschön für Ihre Mühe verlosen wir unter allen Teilnehmer:innen der kompletten Studie einen Kopfhörer mit Lärmreduktionsfunktion nach Wahl (im Wert von bis zu 245 Euro). Am Ende der Studie haben Sie Gelegenheit, an der Verlosung teilzunehmen.

8.3.2 Betreuung während der Feldphase und Debriefing

Auch während der Feldphase ist es ratsam, kontinuierlich Kontakt mit den Teilnehmer:innen zu halten, um ihre Teilnahmebereitschaft etwa durch gelegentliche motivierende Kurznachrichten aufrecht zu erhalten. Umgekehrt sollten auch die Teilnehmer:innen die Möglichkeit haben, Kontakt zu den Forschenden aufzunehmen, z. B. per SMS, E-Mail oder über die eingesetzte App. Wenn die individuelle Compliance kontinuierlich überwacht wird, können auch solche Teilnehmer:innen gezielt kontaktiert werden, die eine geringe Beteiligung zeigen (Silvia et al., 2013). Zusätzlich ist es sinnvoll, dass eine Person aus dem Team an der Studie teilnimmt, um eventuell auftretende technische Fehler (z. B. fehlende Alarmierungen) während der Feldphase rasch zu erkennen und zu beheben. Diese Daten müssen natürlich vor der Analyse aus dem Datensatz entfernt werden.

Zum Abschluss der Befragung ist ein Debriefing empfehlenswert. Eine solche Nachbesprechung kann aus forschungsethischen Gründen angezeigt sein, um die Teilnehmer:innen nachträglich über den genauen Studienzweck aufzuklären, wenn dies im Vorfeld der Studie aus methodischen Gründen nicht möglich oder nicht sinnvoll war (vgl. Verbeke et al., 2023). Weiterhin können im Rahmen des Debriefings die Incentives ausgeschüttet und die notwendigen Kontaktdaten dafür erhoben werden.

Ein Debriefing kann auch genutzt werden, um zu ermitteln, welche Erfahrungen die Teilnehmer:innen mit der Studienteilnahme gemacht haben. Es ist sinnvoll, am Ende der Erhebung standardisiert Feedback einzuholen, um die Zuverlässigkeit der Ergebnisse abschätzen zu können. Beispielsweise können die Befragten reflektieren, inwiefern der Erhebungszeitraum ihrem gewöhnlichen Alltag entsprach, ob besondere Ereignisse aufgetreten waren und wie sie mit den Protokollen zurechtkamen. Solche Einschätzungen können helfen, methodische Limitationen wie etwa Reaktivitätseffekte abzuschätzen (vgl. auch Eisele et al., 2022). Im Rahmen unserer Beispielstudie wurden verschiedene Items bewertet, um Aspekte der Studie wie externe Validität, Careless Responding oder Reaktivität besser beurteilen zu können (siehe Studiensteckbrief, siehe auch Ernst et al. (2026) für ähnliche Formulierungen):

  • Aufgrund der Studienteilnahme hatte ich Sorgen um private Informationen, die ich online preisgegeben habe.

  • Aufgrund der Studienteilnahme hat sich die Art und Weise verändert, wie ich Podcasts höre.

  • Die letzte Woche war typisch für meinen momentanen Alltag.

  • Die Studie hat sich gut in den Alltag eingepasst und hat kaum gestört.

  • Es gab viele Momente, wo ich den Fragebogen nicht ausfüllen konnte oder wollte.

  • Die kurzen Befragungen haben mich beim Hören eines Podcasts gestört.

  • Es war anstrengend, die Fragen immer wieder zu beantworten.

  • Ich habe die Kurzfragebögen in der Regel gewissenhaft ausgefüllt.