6 Ziehung von Personen- und Situationsstichproben
Die Stichprobenziehung (das sog. Sampling) in In-situ-Studien bewegt sich immer auf zwei Ebenen: Auf der Personenebene wird, wie wir es von allen Arten von Befragungsstudien kennen, eine Gruppe an Teilnehmer:innen ausgewählt (Personenstichprobe), die häufig stellvertretend für eine größere Gruppe stehen. Auf der Situationsebene wird über einen gewissen Zeitraum hinweg eine Menge an Situationen aus dem Alltag dieser Teilnehmer:innen ausgewählt (Situationsstichprobe). Genauso wie die Stichprobe der Teilnehmer:innen häufig dazu dient, auf eine größere Gruppe an Personen zu schließen, dient die Situationsstichprobe dazu, Einblick in die Vielfalt alltäglicher Situationen im Leben der Teilnehmer:innen zu erhalten.
Während die folgenden Ausführungen zu Stichprobengröße, Erhebungsdichte und ‑zeitraum sowie für die Personenstichprobe auch für Tagebuchstudien gelten, ist die Ziehung der Situationsstichprobe spezifisch für ESM-Designs. In Tagebuchstudien werden auf der Situationsebene fast immer ganze Tage oder zusammenhängende Tagesabschnitte ausgewählt. ESM-Studien erheben hingegen mehrmals täglich über mehrere Tage hinweg Selbstauskünfte von den Teilnehmer:innen. Damit ziehen solche Studien – wie auch der Name Experience Sampling besagt – eine Stichprobe an Situationen oder Momenten aus dem Alltag der Teilnehmer:innen, um von dieser Stichprobe auf die Gesamtheit des alltäglichen Verhaltens, der Kognitionen und Emotionen zu schließen. Die Teilnehmer:innen werden dann gebeten, wiederholt Auskunft zu aktuellen oder kurz zurückliegenden Situationen zu geben, z. B. zu ihrem Mediennutzungsverhalten in den letzten fünf Minuten.
In-situ-Studien erfordern eine Stichprobenziehung auf zwei Ebenen. Zum einen werden auf der Personenebene Teilnehmer:innen ausgewählt, die eine größere Gruppe an Personen repräsentieren (Personenstichprobe). Zum anderen wird auf Situationsebene eine Stichprobe an Situationen aus dem Alltag gezogen, die den Alltag der Teilnehmer:innen repräsentiert (Situationsstichprobe).
6.1 Stichprobengröße, Erhebungsdichte und ‑zeitraum
Zunächst stellt sich wie bei jeder Studie die Frage nach der benötigten Stichprobengröße. Bei In-situ-Designs müssen wir hierfür beide Ebenen berücksichtigen – die Personen- und die Situationsebene.
Auf der Personenebene wird die Stichprobengröße ausschließlich von der Anzahl der Personen bestimmt, die an der Studie teilnehmen (sollen). Auf der Situationsebene ergibt sich die Stichprobengröße aus mehreren Aspekten: zunächst natürlich aus der Anzahl der Teilnehmer:innen – denn je mehr Personen teilnehmen, desto größer wird auch die Situationsstichprobe. Darüber hinaus ist die Länge der Feldzeit (Erhebungszeitraum) in Kombination mit der Anzahl der auszufüllenden Protokolle pro Tag (Erhebungsdichte) entscheidend. Wir können dieselbe Stichprobengröße mit einer Studie mit einem Tag Feldzeit und 15 Protokollen pro Tag erreichen wie mit einer Studie, die 15 Tage Feldzeit hat und pro Tag nur ein Protokoll (z. B. einer Tagebuchstudie). Deshalb ist es bei In-situ-Studien nicht nur relevant, dass wir die benötigte Stichprobengröße bestimmen (siehe hierzu weiter unten), sondern auch, wie die Situationsstichprobe sich innerhalb von Erhebungstagen und über den gesamten Erhebungszeitraum hinweg verteilt. Diese Entscheidungen sind im Zusammenhang mit In-situ-Studien zentral und hängen vom Forschungsinteresse ab: Interessieren wir uns für Phänomene, die im Alltag häufig auftreten, z. B. den Zusammenhang von sozialer Mediennutzung und Wohlbefinden, sind kürzere Erhebungszeiträume ausreichend. Eine hohe Erhebungsdichte mit geringeren Abständen zwischen den einzelnen Messungen ist sinnvoll, wenn wir beabsichtigen, die Veränderung der gemessenen Variable nachzuzeichnen oder zeitversetzte Zusammenhänge zu analysieren (siehe Abschnitt 9.5.2.7). Gehen wir hingegen von einer geringeren Variabilität im Tagesverlauf aus oder von seltener auftretenden Phänomenen, z. B. der Nutzung spezieller Nischeninhalte, dann passt eine geringere Erhebungsdichte und ein längerer Erhebungszeitraum besser zu unserem Phänomen.
Sowohl die Länge des Erhebungszeitraums (Feldzeit) als auch die Erhebungsdichte (Anzahl auszufüllender Protokolle pro Tag) sind zentrale Designentscheidungen in In-situ-Studien. Sie sind abhängig von der vermuteten zeitlichen Variabilität der gemessenen Konstrukte und bestimmen die Stichprobengröße auf der Situationsebene entscheidend mit.
Für die Begründung und Bestimmung der angemessenen Stichprobengröße – sowohl auf der Personen- als auch auf der Situationsebene – gibt es verschiedene Herangehensweisen (ausführlich Lakens, 2022). Der „Königsweg“ ist die A-priori-Teststärkenanalyse (für detaillierte Ausführungen siehe Döring & Bortz, 2016, S. 814ff.). Für die Durchführung einer A-priori-Teststärkenanalyse, die oftmals als Poweranalyse bezeichnet wird, müssen wir vor der Durchführung der Untersuchung u. a. das anzustrebende Signifikanzniveau, die Power (Teststärke), die zu erwartenden Effektgrößen oder die sog. smallest effect sizes of interest, also die geringste Effektstärke, die noch als realweltlich bedeutsam angesehen wird (siehe z. B. Lakens, 2022), und das Auswertungsverfahren festlegen. Auf dieser Basis lässt sich der optimale Stichprobenumfang berechnen. Die Festlegung von Teststärke und Signifikanzniveau ist im Allgemeinen kein Problem, weil sich die KMW an den Konventionen der Sozialwissenschaften orientiert. Üblicherweise werden ein Signifikanzniveau von \(\alpha = .05\) und eine Teststärke von \(1 - \beta = .80\) gesetzt. Schwieriger ist die Vorabfestlegung der zu erwartenden Effektstärke und je nach Auswertungsverfahren weiterer Parameter. Hier müssen wir je nach konkretem Forschungsinteresse auf ein Zusammenspiel an theoretischen Modellen, vorhandenen empirischen Ergebnissen, eigenen Vorstudien oder Simulationen zurückgreifen.
Während es für gängige Studiendesigns und Auswertungsverfahren standardisierte Tools zur Berechnung der Power gibt (beispielsweise G*Power, Faul et al., 2009), ist die Berechnung der angestrebten Stichprobengröße bei In-situ-Studien komplexer. Durch die Mehrebenenstruktur der erhobenen Daten muss auch die Vorgehensweise einer A-priori-Poweranalyse diesen Gegebenheiten angepasst werden. Konkret müssen die entsprechenden Berechnungen der Tatsache Rechnung tragen, dass komplexere Auswertungsverfahren notwendig sind, die Varianz der abhängigen Variable in (mindestens) zwei Ebenen (Personen- und Situationsebene) zerlegt werden kann und die unabhängigen Variablen sowohl auf der Personen- als auch auf der Situationsebene angesiedelt sein können (siehe Kapitel 9). Empfehlungen für entsprechende Poweranalysen liegen erst seit Kurzem vor, wobei sich simulationsbasierte Vorgehensweisen nicht zuletzt aufgrund ihrer breiteren Anwendbarkeit im Vergleich zu anderen Ansätzen durchzusetzen scheinen (für eine ausführlichere Diskussion siehe Lafit, 2022). Aktuell stehen wenige Anwendungen für entsprechende A-priori-Poweranalysen im Zusammenhang mit spezifischen Auswertungsverfahren zur Verfügung, u. a. PowerAnalysisIL (Lafit, 2022) und SIMR (Arend & Schäfer, 2019).
Allerdings sind diese Verfahren erstens oft sehr rechenintensiv Tuerlinckx et al. (2026). Zweitens erfordern Simulationen bereits umfassende Vorannahmen über die Struktur der Daten, die oft nicht bekannt sind und dann geschätzt oder vorab simuliert werden müssen. Dieses Vorgehen ist nicht in allen Fällen sinnvoll und ausreichend informiert möglich, um solide Berechnungen durchzuführen. Im Anhang unter Ressourcen stellen wir einen vereinfachten R-Code zur Verfügung, der ohne allzu spezifische Vorannahmen einfache Poweranalysen ermöglicht. Aufgrund der sehr dynamischen Entwicklungen in diesem Feld empfehlen wir, vor Studienbeginn den aktuellen Stand der Entwicklungen zu recherchieren.
Doch selbst wenn wir keine A-priori-Poweranalyse durchführen können oder wollen, ist es wichtig, die Stichprobengröße zu planen und zu begründen. Ein weniger exakter, aber dennoch hilfreicher Zugang kann die Orientierung an entsprechender Methodenliteratur sein. Speziell für Mehrebenenanalysen mit zwei Ebenen (eines der üblichsten Auswertungsverfahren für In-situ-Daten, siehe Abschnitt 9.5.2) geben Arend & Schäfer (2019) – basierend auf Monte-Carlo-Simulationen – hilfreiche Daumenregeln für typische Forschungsfragen (siehe auch Maas & Hox, 2005; weiterhin Park & Yu, 2018 für Multilevel Latent Class Analysis).
Schließlich müssen wir auch immer die zeitlichen und finanziellen Ressourcen der Forschenden sowie die Belastung der Teilnehmer:innen berücksichtigen (zur Integration dieser Parameter im Rahmen von A-priori-Poweranalysen siehe Revol et al., 2024). Entsprechende Erwägungen bei der konkreten Durchführung und Rekrutierung diskutieren wir in den Abschnitten 6.2.2 und 6.3.2.
6.2 Ziehung der Personenstichprobe
6.2.1 Grundlagen
Wie die meisten empirischen Studien in der KMW können auch In-situ-Studien nur in seltenen Fällen alle für das Forschungsinteresse relevanten Personen in die Studie mit einbeziehen, also eine Vollerhebung auf der Personenebene durchführen. Entsprechend müssen sich auch In-situ-Studien üblicherweise auf Teilerhebungen beschränken, also eine Stichprobe an Personen ziehen. Die Stichprobenziehung auf der Personenebene ist dabei nicht spezifisch für In-situ-Studien. Vielmehr erfolgt sie genauso, wie wir dies aus der KMW allgemein (vgl. Brosius et al., 2022) und insbesondere aus Befragungsstudien (vgl. Möhring & Schlütz, 2025) kennen. Entsprechend werden wir an dieser Stelle nicht detailliert auf die einzelnen Aspekte der Stichprobenziehung eingehen, die sich an anderer Stelle nachlesen lassen. Wir geben lediglich einen kurzen Überblick in Anlehnung an die ausführliche Darstellung in Möhring & Schlütz (2025).
Zunächst stellt sich im Hinblick auf die Auswahl einer Stichprobe die grundlegende Frage, ob die Teilerhebung auch Aussagen über eine größere Gruppe, also über die Grundgesamtheit zulassen soll. Dieser Schritt ist möglich, wenn die Stichprobe repräsentativ für die Grundgesamtheit ist und ein verkleinertes Abbild dieser liefert. Es hängt von der Art der Stichprobenauswahl ab, ob dies tatsächlich zutrifft. In Analogie zu allgemeinen Befragungsstudien kann die Personenstichprobe in In-situ-Studien mithilfe verschiedener Auswahlverfahren gezogen werden. Dabei lässt sich zwischen zufallsgesteuerten und nicht zufallsgesteuerten Auswahlverfahren unterscheiden (vgl. Abbildung 6.1).
6.2.1.1 Zufallsgesteuerte Auswahlverfahren
Ein zufallsgesteuertes Auswahlverfahren (Zufallsstichprobe) liegt vor, wenn alle Elemente der Grundgesamtheit die gleiche mathematisch berechenbare Chance haben, ausgewählt zu werden. Die Auswahl eines Elements darf nicht die Chance eines anderen Elements beeinflussen, in die Stichprobe zu gelangen. Generell lassen nur zufallsgesteuerte Auswahlverfahren Rückschlüsse auf die Grundgesamtheit im Sinne einer Repräsentativität der Stichprobe zu.
Repräsentativität hängt vom Auswahlverfahren ab und ist streng genommen nur mit Zufallsstichproben zu erreichen.
Bei einem einstufigen Verfahren findet die Zufallsauswahl in einem Schritt statt. Dies kann als einfache oder als systematische Zufallsauswahl erfolgen. Bei der einfachen Zufallsauswahl werden die einzelnen Teilnehmer:innen der Stichprobe im Sinne eines mathematischen Lotterieverfahrens aus der Grundgesamtheit ausgewählt. Für eine Studie zu den Hörgewohnheiten könnten z. B. alle Abonnent:innen eines bestimmten Podcasts die Grundgesamtheit bilden. Die Personenstichprobe für unsere Studie können wir nun mithilfe einer einfachen Zufallsauswahl ziehen, indem wir z. B. aus einer Liste aller Abonnent:innen durch Zufallszahlen die Teilnehmer:innen für unsere Stichprobe auswählen. Eine systematische Zufallsauswahl liegt vor, wenn jedes n-te Element aus der Grundgesamtheit in die Stichprobe aufgenommen wird. Aus der bereits erwähnten Liste der Abonnent:innen des Podcasts würden wir beispielsweise jede 25. Person für unsere Stichprobe auswählen. Dieses Vorgehen setzt voraus, dass eine solche Liste vorliegt. Wichtig ist zudem, dass die Anordnung der Grundgesamtheit nicht auf einem für das Untersuchungsinteresse relevanten Merkmal basiert, die Liste also z. B. nicht nach der Nutzungshäufigkeit geordnet ist.
Mehrstufige, zufallsgesteuerte Auswahlverfahren sind im Unterschied zu einstufigen Methoden notwendig, wenn die Grundgesamtheit nicht vollständig erfasst ist und beispielsweise in Form einer Liste vorliegt, was eher die Regel als die Ausnahme sein dürfte. Wie der Name bereits nahelegt, vollzieht sich die Auswahl bei diesen Verfahren nicht in einem Schritt, sondern mithilfe mehrerer hintereinandergeschalteter Auswahlschritte. Bei der geschichteten Auswahl wird die Grundgesamtheit zunächst anhand eines für das Forschungsinteresse relevanten Merkmals in verschiedene Teilgesamtheiten aufgeteilt. Diese Schichten sind in sich möglichst homogen, aber zueinander mit Blick auf das Schichtungsmerkmal heterogen, also z. B. Nutzer:innen, die Podcasts häufig oder wenig nutzen. Aus den verschiedenen Schichten werden die Elemente der Stichprobe dann mithilfe einer einfachen oder systematischen Zufallsauswahl ausgewählt. In unserer Studie zu den Hörgewohnheiten der Abonnent:innen eines bestimmten Podcasts könnten wir die Abonnent:innen zunächst anhand ihrer Hörfrequenz (jede Episode, jede zweite Episode, seltener) schichten und dann aus jeder Schicht eine einfache Zufallsauswahl mithilfe einer Zufallszahl treffen. Geschichtete Stichproben verbessern die Stichprobenqualität vor allem von kleinen Stichproben, weil die Repräsentation wichtiger Merkmale sichergestellt wird. Eine Voraussetzung ist allerdings, dass die Merkmale und deren Verteilung bekannt sind.
Bei der Klumpenauswahl sind die einzelnen Klumpen in sich hingegen möglichst heterogen und zueinander homogen. Die Einteilung in Klumpen basiert also auf einem Merkmal, das für das Forschungsinteresse nicht relevant ist, aber idealerweise natürlich vorkommt. Die einzelnen Klumpen kann man sich als verkleinerte Grundgesamtheit vorstellen. Für die Stichprobe werden vollständige Klumpen ausgewählt. Eine häufige Art der Auswahl von Klumpenstichproben ist die Auswahl ganzer Schulklassen. Am Beispiel unserer Studie zur Podcastnutzung wäre die Auswahl der Stichprobe mithilfe einer Klumpenstichprobe beispielsweise in Form einer Studie in mehreren Schulklassen möglich.
6.2.1.2 Nicht zufallsgesteuerte Auswahlverfahren
Bei der nicht zufallsgesteuerten Auswahl wird zwischen bewussten und willkürlichen Auswahlverfahren unterschieden. Willkürliche Auswahlverfahren (Convenience Sampling) sind weder systematisch noch repräsentativ. Entsprechend sind Rückschlüsse auf die Grundgesamtheit nicht möglich. Aus stichprobentheoretischer Sicht sind willkürliche Stichproben problematisch, denn Personen, die zur Grundgesamtheit gehören, werden willkürlich in die Stichprobe aufgenommen. Ihre Teilnahme liegt nur im eigenen (sog. Selbstrekrutierung, z. B. durch das Klicken auf gepostete Teilnahmelinks in den sozialen Medien) bzw. im Ermessen der Rekrutierenden. Beispielsweise können in einem Schneeballverfahren Teilnehmer:innen gebeten werden, die Aufforderung zur Studienteilnahme (z. B. den Teilnahmelink) selbst weiterzuleiten.
Bei Convenience Samples lässt sich die Wahrscheinlichkeit nicht angeben, mit der eine bestimmte Person aus der Grundgesamtheit in die Stichprobe gelangt. Dies ist aber eine Voraussetzung für inferenzstatistische Verfahren, die in der Datenauswertung angewendet werden. Trotzdem finden auch willkürliche Auswahlverfahren immer wieder Anwendung, denn sie sind zumindest geeignet, Aussagen über Zusammenhänge innerhalb der Stichprobe zu treffen. In unserer Beispielstudie zur Podcastnutzung haben wir den Link zum Fragebogen auf der Website und den Social-Media-Kanälen beliebter Podcasts gepostet und die Hörer:innen konnten selbst entscheiden, ob sie teilnehmen wollten oder nicht. Es handelt sich also um eine nicht-zufallsgesteuerte, genauer um eine willkürliche Stichprobenziehung bzw. ein Convenience Sample (siehe Studiensteckbrief).
Neben diesen willkürlichen Auswahlverfahren können die Elemente der Stichprobe bei sog. Quota-Verfahren auch bewusst ausgewählt werden. Voraussetzung für ein Quota-Verfahren ist allerdings, dass bestimmte Merkmalsverteilungen der Grundgesamtheit bekannt sind (also z. B. der Anteil der True-Crime-Fans unter den Podcasthörer:innen). Anhand dieser Verteilungen lässt sich gezielt eine Stichprobe als verkleinertes Abbild der Grundgesamtheit zusammenstellen. Diese Stichprobe kann – zumindest mit Blick auf diese Merkmale – wiederum als repräsentativ für die Grundgesamtheit gelten und lässt entsprechende Rückschlüsse zu.
6.2.2 Praktische Umsetzung und Herausforderungen
Nachdem wir im vorherigen Abschnitt grundsätzliche Vorgehensweisen bei der Ziehung von Personenstichproben beschrieben haben, geht es nun um die praktischen Abwägungen in Bezug auf das Sampling bei In-situ-Studien.
6.2.2.1 Validität und Repräsentativität der Personenstichprobe
Die Stichprobengüte auf der Personenebene bestimmt mit, wie extern valide, d. h. verallgemeinerbar die Ergebnisse einer In-situ-Studie sind (siehe auch Exkurs in Kapitel 2). Es ist eine Grundfrage der Stichprobenziehung, ob eine Stichprobe Rückschlüsse – statistisch gesprochen Inferenzschlüsse – auf die Grundgesamtheit zulässt. Aus strikt inferenzstatistischer Sicht kann dies nur für Stichproben gelten, die auf einer Zufallsauswahl basieren, weil nur in diesem Fall auf die Wahrscheinlichkeitstheorie zurückgegriffen werden kann. Doch selbst unter diesen Bedingungen müssen Fehler berücksichtigt werden, die die Repräsentativität und damit die externe Validität einer Personenstichprobe einschränken (Total Survey Error, Biemer, 2010; Groves & Lyberg, 2010; Wolf et al., 2016; vgl. Sen et al., 2021 für ein Anwendungsbeispiel). Zum einen kann die Grundgesamtheit im ersten Schritt nicht richtig bestimmt worden sein, womit auch die zufällige Auswahl der Elemente der Stichprobe fehlerhaft wird. Dieser Fehler wird als Coverage Error bezeichnet. Wenn wir also in unserer Studie zur Podcastnutzung die Abonnent:innen eines bestimmten Podcasts (z. B. eines wöchentlich ausgestrahlten True-Crime-Angebots) als Grundgesamtheit definieren und daraus eine Zufallsauswahl treffen, aber Rückschlüsse auf alle Podcasthörer:innen – also auf eine andere Grundgesamtheit – ziehen, unterläuft uns dieser Fehler. Zudem können wir bei der Zufallsauswahl an sich Fehler machen (Sampling Error). Beispielsweise könnten wir bei einer systematischen Zufallsauswahl aus den Abonnent:innen eines Podcasts die Liste immer abwechselnd mit Männern und Frauen besetzen. Wählen wir nun jedes zehnte Element von der Liste, haben wir nur Frauen in der Stichprobe und damit einen Samplingfehler verursacht.
Einen Sonderfall bei der Betrachtung der Repräsentativität von Stichproben und damit der Übertragbarkeit von Aussagen auf die Grundgesamtheit sind Stichproben, die bewusst mithilfe eines Quota-Verfahrens zusammengestellt wurden. Diese Stichproben geben zwar ein verkleinertes Abbild der Grundgesamtheit wieder, jedoch nur mit Blick auf die quotierten Merkmale. Fallweise muss diskutiert werden, inwieweit und unter welchen Umständen diese Merkmale Rückschlüsse auf die Grundgesamtheit zulassen (vgl. u. a. Döring & Bortz, 2016).
Zuletzt kann – unabhängig vom Stichprobenverfahren – auch der Response Error die Repräsentativität unserer Stichprobe einschränken. Nicht alle für eine Mitwirkung an unserer Studie ausgewählten Personen werden auch teilnehmen. Es ist ein verbreitetes Problem im Zusammenhang mit Selbstselektion, dass die geplante von der tatsächlich realisierten Stichprobe abweicht und es zu einem Auswahlfehler auf dieser Ebene kommt. Gerade bei für die Teilnehmer:innen aufwändigen Designs wie In-situ-Studien kann sich der Response Error als ein zentrales Problem erweisen. So ist es möglich, dass potenzielle Teilnehmer:innen gar nicht erst bereit sind, an der Studie teilzunehmen. Dieses Problem ist nicht spezifisch für In-situ-Studien und generell unter dem Stichwort Response Rate oder Teilnahmebereitschaft hinreichend erforscht (siehe z. B. Groves & Couper, 1998; Schnell, 1997). Zudem gibt es Personen, die zunächst zwar teilnehmen, dann aber während der Feldphase abbrechen. Dieser Ausfall von Teilnehmer:innen ist typisch für Panelstudien und wird auch als Panelmortalität bezeichnet (Longhi, 2017; Scherer & Naab, 2013). Nichtteilnahme und Abbrüche können systematisch sein und die Ergebnisse verzerren, d. h. die Personen, die nicht an der Studie teilnehmen oder die abbrechen, unterscheiden sich von denen, die bis zum Schluss mitmachen (Myin-Germeys & Kuppens, 2022; Rintala et al., 2019; Vachon et al., 2019). In vielen Fällen steigen die Teilnehmer:innen in einer frühen Phase der Studie, d. h. in den ersten Tagen aus (Stone et al., 1991). Das lässt sich kaum verhindern. Wenn durch eine Vorabbefragung grundlegende Informationen von diesen Teilnehmer:innen vorliegen, kann zumindest nach Ende der Feldzeit geprüft werden, welche systematischen Ausfälle es gab (siehe hierzu auch Abschnitte 6.3.2.2 und 9.2.1).
Die Teilnahmebereitschaft wird von diversen Faktoren auf individueller, gesellschaftlicher und auf Gruppenebene beeinflusst (Groves et al., 1992; Keusch, 2015; vgl. auch Möhring & Schlütz, 2025). Menschen aus kollektivistisch orientierten Kulturen beteiligen sich beispielsweise häufiger an Studien. Gerade für ländervergleichende Studien kann dieser Faktor ins Gewicht fallen. Außerdem sind einige gesellschaftliche Gruppen stärker von Befragungsmüdigkeit(survey fatigue) betroffen. Dazu zählt auch die häufig einbezogene Zielgruppe der Studierenden (Porter et al., 2004). Zum anderen hängen Teilnahmebereitschaft und ‑kontinuität in längsschnittlichen Studien von Merkmalen der Person, z. B. Persönlichkeitscharakteristika und soziodemografischen Faktoren, ab (Cheng et al., 2016; Keusch, 2015). Hektner et al. (2007) berichten, dass Teilnehmer:innen an In-situ-Studien tendenziell eher weiblich, gut organisiert, gewissenhaft und mental gesund sind. Diese Verzerrung mag für manche Fragestellungen unproblematisch sein, für andere kann sich daraus jedoch ein Problem ergeben, wenn es etwa um mentale Gesundheit geht (vgl. Kimhy et al., 2012). Für die Durchführung von mobilen In-situ-Studien sind vor allem der notwendige Zugang zu einem Mobilgerät, mit dem die Studie durchgeführt wird, eine ausreichende Datenverbindung und eine gewisse Affinität zu technischen Geräten sowie ggf. die Bereitschaft ausschlaggebend, eine App für die Datenerhebung zu installieren. Diesbezüglich kann es zu systematischen Ausfällen kommen (Keusch et al., 2019; Struminskaya et al., 2021). Bei einigen Forschungsinteressen gehören Nutzer:innen, die auf Internet und Smartphone verzichten, vielleicht nicht zur Grundgesamtheit; in allen anderen Fällen ist aber auch ihr systematischer Ausschluss durch die Wahl der Erhebungsmethode problematisch.
Schließlich spielen Faktoren auf der Ebene des Studiendesigns eine wesentliche Rolle für den Erfolg der Rekrutierung (ausführlich siehe Keusch, 2015; vgl. auch Stone et al., 2023). Aus der Literatur zu Onlinebefragungen ist bekannt, dass Art und Zeitpunkt der Kontaktierung einen Einfluss auf die Teilnahmebereitschaft haben. Beispielsweise werden Einladungen am Wochenende und im Sommer schneller beantwortet. Vorankündigungen (auch offline für Onlineerhebungen) und Erinnerungen sind sinnvoll. Eine Einladung von bekannten Absender:innen oder eine Unterstützung der Studie von vertrauenswürdigen Sponsor:innen erhöhen die Teilnahmebereitschaft. Hinsichtlich personalisierter Formulierungen in der Ansprache und der Länge des Einladungstextes ist die Studienlage uneindeutig.
Auch In-situ-spezifische Aspekte des Studiendesigns wie die Feldzeit, die Anzahl der Signale oder die Länge des Protokolls spielen eine Rolle und können dazu führen, dass Personen gar nicht erst teilnehmen oder die Teilnahme abbrechen (siehe Abschnitt 6.3.2.2). Schließlich ist die Gestaltung des Protokolls relevant für die Teilnahmemotivation und auch Gamificationelementen können zur Steigerung der Teilnahmebereitschaft beitragen (Berkel et al., 2017).
Validität und Repräsentativität der Personenstichprobe in In-situ-Studien hängen – neben der Art der Stichprobenziehung – auch von deren Ausschöpfung ab. Hierbei können systematische Ausfälle durch kulturelle, individuelle und durch das Studiendesign bedingte Faktoren auftreten.
6.2.2.2 Umsetzung der Stichprobenziehung auf Personenebene
Eine der größten Herausforderungen bei wiederholten In-situ-Studien ist, dass sie einen hohen Einsatz der Teilnehmer:innen erfordern und die Forschenden deshalb besonders auf deren Kooperationsbereitschaft angewiesen sind. Nach Larson & Csikszentmihalyi (1983) ist eine „research alliance“ (S. 45) mit den Versuchspersonen notwendig, um die Güte der Erhebung zu sichern. Mit einer einmaligen Befragung zu einem häufig selbstbestimmten Zeitpunkt ist es nicht getan, sondern die Teilnehmer:innen müssen über einen längeren vorgegebenen Zeitraum immer wieder teilnehmen – ggf. auch in Situationen, in denen ein Ausfüllen störend sein könnte. Diese empfundene Belastung kann zu Selbstselektivität im Vorfeld der Erhebung, zu Studienabbruch, nicht ausgefüllten Protokollen (geringe Compliance) und mangelnder Datenqualität führen (siehe Abschnitt 6.3.2.2).
Nicht zufallsgesteuerte Stichproben sind häufig forschungsökonomisch der einzige Weg, Teilnehmer:innen für In-situ-Studien zu rekrutieren. Auch wenn diese aus stichprobentheoretischer Sicht problematisch sind und die Übertragbarkeit der Ergebnisse auf die Grundgesamtheit auf der Personenebene nicht mehr gegeben ist, können sie bei gutem Sampling auf der Situationsebene eine pragmatische Lösung für die Umsetzung von In-situ-Studien sein (siehe Abschnitt 6.3).
Wie die Teilnehmer:innen für die erforderliche Stichprobe genau rekrutiert werden, ist besonders von der Größe, Beschaffenheit und Erreichbarkeit der Grundgesamtheit sowie den zur Verfügung stehenden Ressourcen abhängig. Im Universitätskontext werden als einfachster Weg gelegentlich reine Studierendenstichproben über Kurse oder zentrale Pools von Teilnehmer:innen rekrutiert. Dieses Vorgehen kann für Forschungsfragen sinnvoll sein, deren Grundgesamtheit Studierende sind. Anderenfalls sind Verzerrungen der Ergebnisse durch die Merkmale dieser speziellen sozialen Gruppe zu befürchten (Meltzer et al., 2012). Weit verbreitet ist auch die Rekrutierung über persönliche Netzwerke, z. B. indem die Einladungen zur Studie per E-Mail oder Messenger versendet werden (z. B. Dogruel & Schnauber-Stockmann, 2020). Weiterhin nutzen Studien Social-Media-Kanäle (z. B. Reinecke & Hofmann, 2016) oder zum Thema der Studie passende Kontaktpunkte oder Multiplikator:innen (z. B. in unserer Beispielstudie, siehe Studiensteckbrief). Bei speziellen Grundgesamtheiten, z. B. durch einen regionalen Fokus oder ein Nischenthema, kann eine gezielte Werbung über Zeitungsaufrufe oder Plakate hilfreich sein (für Beispiele siehe Anhang unter Ressourcen).
Finanziell gut ausgestattete Forschungsprojekte engagieren kommerzielle Marktforschungsanbieter (z. B. Schnauber-Stockmann & Mangold, 2020), die u. a. Online-Access-Panels anbieten, in denen Personen registriert sind, die sich bereit erklärt haben, häufiger an Studien teilzunehmen. Solche Access-Panels gehen häufig aus Convenience-Stichproben hervor, weil die Teilnehmer:innen selbst entscheiden können, ob sie am Panel teilnehmen möchten und willkürlich darin aufgenommen werden. Zudem ist ihre Entscheidung für die Teilnahme an einer spezifischen Studie wiederum selbstselektiv. Häufig werden Quoten festgelegt, um zumindest zu gewährleisten, dass sich die finalen Teilnehmer:innen in einem vorher definierten Verhältnis über verschiedene soziale Kategorien verteilen und ein Abbild der Grundgesamtheit in den bekannten Merkmalen darstellen, z. B. ein bestimmter Anteil von Frauen und Männern, von verschiedenen Altersgruppen und von Bildungsgraden (siehe Quota-Verfahren, Abschnitt 6.2.1.2). Ein zentraler Kostenfaktor ist, über welche Merkmale definiert wird, ob eine Person in die Grundgesamtheit gehört oder nicht. Je seltener ein Merkmal ist, also je geringer dessen sog. Inzidenz, desto teurer ist das Sample. Beispielsweise ist der Anteil der Deutschen, die gelegentlich Messenger-Dienste nutzen, sehr viel höher als der Anteil der Deutschen, die gelegentlich einen Podcast hören (Kupferschmitt, 2024). Die Suche nach Postcastnutzer:innen ist schwieriger und daher mit höheren Kosten verbunden. Auch ohne Unterstützung von kommerziellen Rekrutierungsanbietern arbeiten Forschende gelegentlich mit einer bewussten Auswahl anhand von Quotenstichproben (z. B. Naab, 2013).
Zufallsstichproben ist zwar grundsätzlich der Vorzug zu geben, allerdings lassen sie sich häufig forschungspraktisch nicht umsetzen. Deshalb greifen Forschende in der Praxis überwiegend auf nicht zufallsgesteuerte Auswahlverfahren zurück. Auch wenn nicht zufallsgesteuerte Stichproben aus stichprobentheoretischer Sicht problematisch sind, können sie bei gutem Sampling auf der Situationsebene eine pragmatische Lösung für die Umsetzung von In-situ-Studien sein.
6.3 Ziehung der Situationsstichprobe
Neben der im vorhergehenden Abschnitt dargestellten Auswahl der Personen, die an einer In-situ-Studie teilnehmen, müssen im zweiten Schritt auch die konkreten Situationen oder Momente aus dem Alltag dieser Teilnehmer:innen ausgewählt werden, die in die Studie einfließen sollen. Wie im Kapitel zur Personenstichprobe befassen wir uns zunächst mit den Grundlagen, um uns diesen Fragen anzunähern und gehen anschließend auf mögliche Herausforderungen während der Umsetzung ein.
6.3.1 Grundlagen
6.3.1.1 Untersuchungseinheiten auf Situationsebene
Auf der Personenebene ist die Wahl der Untersuchungseinheit so intuitiv, dass wir uns darum im Allgemeinen keine Gedanken machen. Wir wollen Aussagen über Personen machen, also ist die einzelne zu betrachtende Entität, von der wir im Rahmen der Befragung Auskünfte einholen, das Individuum. Es sind auch einzelne Individuen, die mithilfe der im vorhergehenden Abschnitt skizzierten Auswahlverfahren als Elemente in die Personenstichprobe eingehen. Auf der Situationsebene ist diese Zuordnung nicht so offensichtlich. Was genau sind hier die einzelnen Elemente, die wir aus dem Alltag auswählen, um Teil der Situationsstichprobe zu werden? Oder anders ausgedrückt: Was ist unsere Untersuchungseinheit auf der Situationsebene? In welche Einheiten zerlegen wir den Alltag, bevor wir daraus eine Stichprobe ziehen können?
Für die Situationsstichprobe in In-situ-Studien schlagen wir in Anlehnung an Schnauber-Stockmann et al. (2025) die folgenden drei Untersuchungseinheiten vor: Momente, Episoden und Segmente. Je nach Untersuchungsinteresse sollte der passende Auflösungsgrad und die entsprechende Untersuchungseinheit auf der Situationsebene gewählt werden.
Momente sind ‚Schnappschüsse‘ aus dem Alltag. Sie dauern nur ein paar Sekunden oder Minuten, ihre Grenzen sind also durch einen spezifischen und kurzen Zeitrahmen („jetzt gerade“, „in diesem Moment“) definiert. Eine umfassende Beschreibung der relevanten Situationsfaktoren (je nach Forschungsinteresse) zu diesem Zeitpunkt liefert ein klares Bild von Momenten des täglichen Lebens. Insbesondere bei wiederholten Messungen bei denselben Personen zu zufällig ausgewählten Momenten können solche Stichproben zur Beschreibung des täglichen Lebens herangezogen werden, um Zusammenhänge zwischen situativen Faktoren und der Mediennutzung zu erkennen.
Episoden konzentrieren sich auf ein bestimmtes Zielverhalten, in der KMW häufig auf ein Mediennutzungsverhalten. Die Grenzen dieser Untersuchungseinheit werden also durch den Beginn und die Beendigung des interessierenden Verhaltens definiert (z. B. die Rezeption einer Podcastepisode). Diese Einheit auf der Situationsebene ermöglicht eine detaillierte Beschreibung eines Zielverhaltens und eignet sich beispielsweise für die Untersuchung von kognitiven Prozessen während der Mediennutzung (z. B. Schnauber-Stockmann et al., 2018).
Segmente erstrecken sich über einen längeren Zeitraum. Die Grenzen der Segmente lassen sich je nach Forschungsinteresse auf unterschiedliche Weise festlegen. Jeder situative Faktor mit eindeutigen Anfangs- und Endpunkten kann zur Segmentierung eines Tages verwendet werden. Typische Beispiele sind (Tages-)Zeit, Ort, primäre Aktivitäten und soziale Konstellationen (siehe z. B. die sog. Day Reconstruction Method von Kahneman et al., 2004). Innerhalb dieser Segmente können die relevanten situativen Faktoren erhoben werden. Diese Untersuchungseinheit ermöglicht es zum Beispiel, die Mediennutzung innerhalb von Tagen zu verorten (z. B. Hoplamazian et al., 2018).
Die Untersuchungseinheit bezeichnet diejenige Einheit, in die wir die Grundgesamtheit zerlegen, um daraus eine Stichprobe ziehen zu können. Die Untersuchungseinheit legt fest, welche Entität wir als Merkmalsträger für unser Forschungsinteresse definieren. In In-situ-Studien können die Untersuchungseinheiten auf der Situationsebene Momente, Episoden oder Segmente sein.
Tagebuchstudien sind häufig in Segmente aufgeteilt, während in ESM-Studien überwiegend Momente oder Episoden die Untersuchungseinheit bilden. Bei Tagebuchstudien findet meist keine Stichprobenziehung auf der Situationsebene statt, sondern alle im Untersuchungszeitraum liegenden Segmente werden einbezogen. Im Folgenden gehen wir auf die drei Unterarten von ESM-Studien aus Kapitel 2 – echte ESM-Studien, Quasi-ESM-Studien und ereignisabhängige ESM-Studien – und die damit verbundenen Spezifika der Stichprobenziehung ein.
6.3.1.2 Echte ESM-Studien
Echte ESM-Studien greifen auf das Prinzip der Zufallsauswahl zurück, d. h., die Zeitpunkte der Alarmierung werden zufällig aus der Menge aller möglichen Momente im Alltag der Teilnehmer:innen ‚gezogen‘. Oder anders ausgedrückt: Die Teilnehmer:innen werden zu einem zufälligen Zeitpunkt alarmiert und gebeten, Auskunft über den aktuellen Moment zu geben. Im strikten statistischen Sinne lassen nur derartige Zufallsstichproben einen Repräsentationsschluss auf den Alltag der Teilnehmer:innen zu (vgl. auch Abschnitt 6.2.1.1)
Bei der einfachen Zufallsauswahl werden zufällig ein oder mehrere Momente pro Tag aus dem Alltag der Teilnehmer:innen ausgewählt. Bei einer derartigen Auswahl laufen wir – aufgrund des Zufalls – jedoch Gefahr, dass mehrere zufällig ausgewählte Zeitpunkte pro Tag sehr nahe beieinander liegen, dass die Teilnehmer:innen also beispielsweise um 9.59 Uhr, 10.03 Uhr, 10.10 Uhr und 10.19 Uhr alarmiert werden und unser Einblick in den Alltag damit weniger umfassend ist, als wir uns wünschen würden. Datenanalytisch gesprochen würden wir in diesem Fall in unserer Messung nicht die notwendige Varianz erreichen, um einen validen Einblick in den gesamten Alltag der Teilnehmer:innen zu bekommen. Eine geschichtete Zufallsauswahl eignet sich, um diesem Problem vorzubeugen (vgl. u. a. Reinecke & Hofmann, 2016). Der Alltag der Teilnehmer:innen wird zunächst in verschiedene Zeitfenster (Schichten) eingeteilt (in der Annahme, dass Tageszeit und Mediennutzung zusammenhängen). Innerhalb der einzelnen Zeitfenster wird dann zufällig ein Moment ausgewählt. Beabsichtigen wir für unsere Studie zur Podcastnutzung, vier Signale pro Tag zwischen 6.00 und 22.00 Uhr zu versenden, so würden wir diesen Zeitraum in vier gleich große Zeitfenster von jeweils vier Stunden unterteilen (6.00 bis 10.00 Uhr, 10.00 bis 14.00 Uhr, 14.00 bis 18.00 Uhr und 18.00 bis 22.00 Uhr) und innerhalb eines jeden Zeitfensters dann zufällig einen Moment auswählen, um eine höhere Varianz zu gewährleisten. Alternativ legen manche Studien Mindestabstände zwischen zwei Signalen fest (z. B. Klingelhoefer et al. (2024), siehe Studiensteckbrief).
6.3.1.3 Quasi-ESM-Studien
Quasi-ESM-Studien sind echten ESM-Studien mit Blick auf die Ziehung der Situationsstichprobe weitgehend ähnlich. Auch hier werden die Zeitpunkte der Alarmierung zufällig ausgewählt, überwiegend als einfache oder geschichtete Zufallsauswahl (vgl. Abschnitt 6.3.1.2). Der Unterschied bezieht sich auf die Untersuchungseinheit, die bei echten ESM-Studien der Moment ist. Quasi-ESM-Studien weichen von diesem Merkmal ab, indem das relevante Zeitfenster ausgeweitet wird und z. B. nach den vergangenen 30 Minuten gefragt wird. Die Untersuchungseinheit kann aus einem Segment – bestimmt durch den Zeitraum von 30 Minuten – bestehen: Die Teilnehmenden berichten über ihr Verhalten, ihre Emotionen oder Kognitionen innerhalb dieses Segments. Die Untersuchungseinheit kann auch aus einer Episode bestehen, die innerhalb eines vordefinierten Zeitraums stattgefunden hat. Als Beispiel sei das Hören eines Podcasts in den zwei Stunden vor oder seit dem letzten Signal genannt. Die Teilnehmer:innen werden in diesem Fall gebeten, ihre Antworten auf diese Episode zu beziehen.
Zu bedenken ist, dass aus statischer Sicht keine echte Zufallsauswahl mehr aus dem Alltag getroffen wird. Sinn dieses Vorgehens ist es aber, die Chance der Messung für den Fall zu erhöhen, dass das Untersuchungsobjekt nicht durchgängig im Alltag prävalent ist. Während die ursprünglichen Studien von Csikszentmihalyi et al. (vgl. Abschnitt 1.2) beispielsweise das Flow-Erleben untersuchten, das sich jederzeit im Alltag messen lässt, richtet die KMW ihr Interesse häufig auf Aspekte der Mediennutzung, die nicht in jeder Alltagssituation stattfindet. Eine Quasi-ESM-Studie kann durch Ausweitung des Zugriffszeitraums auf Segmente oder Episoden statt auf Momente als Untersuchungseinheiten helfen, trotzdem für das Untersuchungsinteresse relevantes Verhalten, Emotionen oder Kognitionen zu messen.
Auch in Quasi-ESM-Studien werden die Teilnehmer:innen zu zufälligen Zeitpunkten alarmiert. Die Teilnehmer:innen werden dann instruiert, an einen definierten Zeitraum zu denken und entweder ihre Antworten auf das gesamte Segment oder auf konkrete Episoden in diesem Zeitraum zu beziehen. Klingelhoefer et al. (2024) fragen beispielsweise nach den vergangenen zwei Stunden (siehe Studiensteckbrief) und in unserer Beispielstudie nach dem gesamten Zeitraum seit dem letzten Signal (siehe Studiensteckbrief).
6.3.1.4 Ereignisabhängiges ESM
Bei ereignisabhängigen ESM-Studien ist die Untersuchungseinheit auf der Situationsebene immer eine Episode. Hier wählen wir alle für unser Untersuchungsinteresse relevanten Ereignisse aus dem Alltag der Teilnehmer:innen aus. In derartigen Studien ist die Grundgesamtheit nicht der gesamte Alltag der Teilnehmer:innen, sondern nur die Gesamtheit spezifischer Situationen im Alltag, beispielsweise aller Podcastnutzungssituationen.
So könnten die Teilnehmer:innen beispielsweise immer ein Protokoll ausfüllen müssen, wenn sie ihre Podcast-App schließen. Der Vorteil solcher ereignisabhängiger Samplingstrategien ist, dass wir bei jeder Messung wirklich auch Auskünfte in Bezug auf unser Untersuchungsinteresse erhalten. Dadurch minimieren wir den Abdeckungsfehler, weil nur relevante Episoden in die Stichprobe gelangen. Dies gilt vor allem, wenn es möglich ist, das interessierende Ereignis technisch gestützt zu erkennen. Die Teilnehmer:innen können dann automatisch alarmiert werden, damit sie ein Protokoll ausfüllen (siehe hierzu Abschnitt 6.3.2.1). In ihrer Studie zur Beendigung der Mediennutzung in situ nutzten Ernst & Schnauber-Stockmann (2026) z. B. eine ESM-App, die die im Rahmen der Studie relevante TikTok- und Instagram-Nutzung tracken konnte (z. B. das Öffnen und Schließen der App) und die Teilnehmer:innen direkt nach dem Schließen der App automatisiert alarmierte (siehe Studiensteckbrief). Ist diese Möglichkeit nicht gewährleistet, wenn es z. B. um die Nutzung des linearen Fernsehens geht, dann müssen die Teilnehmer:innen selbst erkennen, wann sie ein Protokoll ausfüllen müssen, was zu fehlenden Episoden führen kann. Schließlich können Teilnehmer:innen die Befragungen zum relevanten (Mediennutzungs-)Verhalten als eine übermäßige Belastung wahrnehmen, wenn es sich um sehr häufig auftretendes Verhalten handelt. Dann bedarf es auch im Rahmen von ereignisabhängigen ESM-Studien einer (Zufalls-)Auswahl an Episoden (siehe z. B. Masur, 2019). Ernst & Schnauber-Stockmann (2026) begrenzten die tägliche Anzahl an auszufüllenden Protokollen z. B. auf sechs, die zur Sicherstellung der Verteilung über den Tag auf drei Zeitfenster entfielen: Maximal zweimal wurden Protokolle zwischen 0.00 und 08.00 Uhr, zwischen 08.00 und 16.00 Uhr und zwischen 16.00 und 0.00 Uhr ausgelöst (siehe Studiensteckbrief).
6.3.2 Praktische Umsetzung und Herausforderungen
6.3.2.1 Möglichkeiten der technischen Umsetzung
Die technischen Voraussetzungen für die Durchführung von ESM-Studien haben sich durch die flächendeckende Verbreitung internetfähiger mobiler Endgeräte (insbesondere Smartphones) in den vergangenen Dekaden grundlegend verbessert. Durch die ubiquitäre Verfügbarkeit werden Smartphones heute üblicherweise für die Alarmierung genutzt. Die damit einhergehenden Voraussetzungen für die Studienteilnahme, also der Besitz eines Smartphones und vielfach auch die Übernahme der Kosten für den anfallenden Datenverkehr durch die Teilnehmer:innen sind, aus forschungsethischer Sicht nicht ganz unproblematisch (siehe Abschnitt 4.2). Ein solches Vorgehen ist dennoch weit verbreitet.
Die Alarmierung kann mithilfe einer auf dem Smartphone der Teilnehmer:innen installierten App ausgelöst werden (so z. B. bei Aalbers et al. (2022), siehe Studiensteckbrief, Ernst & Schnauber-Stockmann (2026), siehe Studiensteckbrief und Klingelhoefer et al. (2024), siehe Studiensteckbrief). Die App dient dann nicht nur der Alarmierung, sondern gleichzeitig auch dem Ausfüllen des In-situ-Protokolls. Der Vorteil dieser Anwendungen ist, dass teilweise auch weitere Sensordaten des Smartphones (z. B. der Standort) oder Aktivitäten auf dem Gerät (z. B. Öffnen und Schließen von Apps) einbezogen werden können (ausführlich zum Einbezug von Smartphonedaten siehe Harari et al. (2016); vgl. auch Abschnitt 5.1). Diese Daten können dazu genutzt werden, automatisch ereignisbasiert ESM-Protokolle auszulösen (vgl. Abschnitte 6.3.1.4 und 6.3.2.1). So wurden die Teilnehmer:innen in einer Studie von Reichow & Friemel (2020) immer dann alarmiert, wenn sie ihren Standort wechselten. Bei Ernst & Schnauber-Stockmann (2026) (siehe Studiensteckbrief) wurden die Teilnehmer:innen immer dann alarmiert, nachdem sie TikTok oder Instagram auf ihrem Smartphone schlossen.
Die verfügbaren ESM-Apps unterscheiden sich deutlich in ihren Funktionalitäten. Nicht alle Apps können Sensordaten einbeziehen und die In-situ-Protokolle technisch ereignisbasiert auslösen und die wenigsten funktionieren für alle gängigen Smartphonebetriebssysteme. Wir müssen daher stets prüfen, über welche Funktionen eine App genau verfügt und ob sie den Anforderungen an das Studiendesign genügt. In den vergangenen beiden Dekaden gab es eine Vielzahl wissenschaftlicher und kommerzieller Initiativen, Apps für ESM-Studien zu entwickeln. Viele davon, insbesondere im wissenschaftlichen Kontext, wurden nur wenige Male genutzt und nicht weiter aktualisiert. Hier sei ebenfalls auf den von Wieland et al. (2025) zusammengestellten Überblick über vorhandene ESM-Software verwiesen, der online verfügbar ist.
Neben diesen All-in-one-Lösungen ist auch die Trennung von Alarmierung und In-situ-Protokoll auf technischer Ebene möglich. In diesem Fall werden mittels entsprechender SMS-Portale, via E-Mail oder Messenger-App die individuellen Einladungen zu den In-situ-Protokollen an die Teilnehmer:innen verschickt. Eine entsprechende integrierte Lösung, die insbesondere in der deutschen KMW vielfach Verwendung findet (so z. B. bei Karnowski et al. (2017), siehe Studiensteckbrief, Naab et al. (2019), siehe Studiensteckbrief und Schlütz et al. (2027), siehe Studiensteckbrief), bietet das Onlinebefragungstool SoSci Survey an (Leiner, 2024). Die Umsetzung über ein derartiges Onlinebefragungstool erfordert allerdings große Sorgfalt, um die Verbindung der erhobenen In-situ-Datensätze mit den Daten auf der Personenebene zu ermöglichen, beispielsweise mit einer eindeutigen Identifikationsnummer. Es empfiehlt sich, diese Verknüpfung vor der Feldphase ausführlich zu testen.
Neben der Möglichkeit der signalbasierten Auslösung, also der externen Alarmierung der Teilnehmer:innen überwiegend mit einem Smartphone, ist auch ein selbstausgelöstes Ausfüllen möglich. Diese Option wird im Allgemeinen nur bei ereignisabhängigen ESM-Studien genutzt. Die Teilnehmer:innen werden gebeten, immer dann, wenn sie ein bestimmtes Verhalten ausführen oder ausgeführt haben, beispielweise immer nach Ende der Podcastnutzung, ein In-situ-Protokoll auszufüllen. Damit geht allerdings eine gewisse Unschärfe einher, weil die Güte der Stichprobe von der Genauigkeit der Instruktionen, die die Forschenden den Teilnehmer:innen bereitstellen, sowie der Compliance der Teilnehmer:innen abhängt.
Hinsichtlich der praktischen Erhebung der Situationsstichprobe besteht zunächst ein Unterschied zwischen signalbasierter Auslösung und Selbstauslösung. Beim signalbasierten Vorgehen werden die Teilnehmer:innen durch ein externes Gerät, in der Regel durch ihr Smartphone, alarmiert, ein In-situ-Protokoll auszufüllen. Die technische Umsetzung ist sowohl mit speziellen Apps als auch mit einem Onlinebefragungstool in Verbindung mit einer Alarmierung via SMS, E-Mail o. ä. möglich. Bei der Selbstauslösung entscheiden die Teilnehmer:innen basierend auf den Instruktionen der Forschenden selbst, wann sie ein Protokoll ausfüllen.
Es hängt maßgeblich vom Forschungsinteresse ab, welcher Weg für eine Studie geeignet ist. Sollen nur Selbstauskunftsdaten erhoben werden, so ist die Kombination aus Alarmierung per SMS oder E-Mail und einer konventionellen Onlinebefragung, die über das Smartphone aufgerufen werden kann, vollauf ausreichend. Falls über das Smartphone automatisiert erhobene Verhaltensdaten mit ausgewertet werden sollen, empfiehlt sich eine integrierte App-basierte Lösung. Neben den Fragen zu technischen Funktionen müssen bei der Auswahl der Softwarelösung rechtliche bzw. forschungsethische Aspekte beachtet werden, insbesondere eine datenschutzrechtlich einwandfreie Speicherung der Daten. Hier sollte auf die DSGVO-Konformität des jeweiligen Anbieters geachtet werden. Die Ansätze der technischen Umsetzung sind mit unterschiedlich hohen Kosten verbunden, die ebenfalls im Vorfeld bedacht werden müssen.
6.3.2.2 Stichprobengüte
Auch bei der Situationsstichprobe sind mögliche Fehler zu bedenken, die die Repräsentativität der Stichprobe einschränken können. Üblich bei ESM-Studien sind sog. Coverage Errors, die aus pragmatischen Erwägungen resultieren. Die Zeitpunkte der zufälligen Alarmierungen beschränken sich i. d. R. auf die Wachzeiten der Teilnehmer:innen, also beispielsweise auf den Zeitraum zwischen 8.00 und 22.00 Uhr. Diese Einschränkung der verfügbaren Stunden repräsentieren dann die sog. Auswahlgesamtheit, was jedoch gelegentlich problematisch ist. Podcasts werden beispielsweise häufig kurz vor dem Einschlafen gehört, also ggf. nach 22.00 Uhr. Wenn wir dann aus einer eingeschränkten Auswahlgesamtheit auf die Podcastnutzung rund um die Uhr und an sieben Tagen die Woche der Teilnehmer:innen schließen würden, läge ein Coverage Error vor. Daneben können auf der Situationsebene Sampling Errors auftreten, also Fehler bei der zufälligen Auswahl der einzelnen Elemente, z. B. wenn Signale nicht zugestellt werden, weil der Akku des Smartphones leer ist oder die Teilnehmer:innen keinen Empfang haben oder – wie häufig bei Studien mit Kindern oder Jugendlichen– das Smartphone nicht genutzt werden darf (vgl. Fecke et al., 2024).
Weiterhin spielt für die Güte der Situationsstichprobe die sog. Response Latency, also die Zeit zwischen dem Signal bzw. bei selbstausgelösten Protokollen dem zu berichtenden Ereignis und dem Ausfüllen des Protokolls eine Rolle: Besonders bei zufallsbasierten Stichprobenplänen (siehe Abschnitt 6.3.1) ist der Zeitpunkt der Alarmierung entscheidend für die gezogene Untersuchungseinheit. Er gibt an, welcher Moment mit „jetzt gerade“ gemeint ist oder welches Segment mit diesem Moment endet. Beantworten die Teilnehmer:innen das Protokoll aber zu einem späteren Zeitpunkt, kann diese Verzögerung zu Verzerrungen der Situationsstichprobe führen. Einige Apps und Softwaretools für Befragungen sind deshalb mit der Einschränkung ausgestattet, dass Protokolle nur eine gewisse Zeit nach der Alarmierung (z. B. zehn Minuten, eine halbe Stunde) ausgefüllt werden können.
Die Response Latency, der zeitliche Abstand zwischen dem Signal bzw. dem zu berichtenden Ereignis und dem Ausfüllen des Protokolls, ist ein wesentliches Qualitätskriterium für In-situ-Studien. Sie sollte möglichst gering sein.
Schließlich ist auf der Situationsebene mit fehlenden Werten und damit ggf. mit Response Errors zu rechnen. Denn selten füllen Teilnehmer:innen alle Protokolle über den gesamten Zeitraum der Studie gewissenhaft aus. Dieses Thema wird in der Literatur unter dem Begriff der Compliance behandelt (siehe z. B. Eisele, Vachon, et al., 2022; Rintala et al., 2019). Im Durchschnitt liegt die Compliance in ESM-Studien bei etwa 70 bis 85 % (Eisele, Kasanova, et al., 2022; Fritz et al., 2024; Jones et al., 2019; Myin-Germeys & Kuppens, 2022; Stone et al., 2023). Allerdings beziehen sich diese Werte auf die in Publikationen berichteten Complianceraten. Diese Information fehlt aber in etlichen Publikationen oder sie wird auf Basis der Teilnehmer:innen berechnet, die bereits eine vorab festgelegte Mindestcompliance erreicht haben (siehe auch Abschnitt 9.2.1), sodass die tatsächliche durchschnittliche Compliancerate ggf. niedriger ausfällt (Fritz et al., 2024). In ESM-Studien mit selbstausgelösten Protokollen lässt sich die Compliance kaum bestimmen.
Die Compliance, der Anteil ausgefüllter Protokolle an allen gesendeten Signalen, ist ein wesentliches Qualitätskriterium für ESM-Studien. Sie sollte möglichst hoch sein.
Häufig werden Teilnehmer:innen vor der Datenauswertung ausgeschlossen, wenn sie eine gewisse Mindestcompliance (z. B. 60 %) unterschreiten (siehe auch Abschnitt 9.2.1). Die zugrunde liegende Annahme lautet, dass die Situationsstichprobe dann nicht mehr repräsentativ für den Alltag der Teilnehmer:innen ist und die Ergebnisse somit verzerrt sind. Es ist allerdings abhängig von den Gründen für die fehlenden Werte, ob und wenn ja in welchem Ausmaß es zu Verzerrungen kommt. In der Methodenliteratur wird zwischen verschiedenen Arten von fehlenden Werten (sog. Missings) unterschieden. Fehlende Werte können rein zufällig sein (missing completely at random, MCAR). Mit MCAR ist gemeint, dass die fehlenden Werte keinen Zusammenhang mit anderen, für die Studie relevanten Variablen haben. Die fehlenden Werte sind quasi eine zufällige Stichprobe aller Werte. Beispielsweise kann es gelegentlich zu technischen Schwierigkeiten kommen, sodass einzelne Protokolle nicht ausgefüllt werden. Weiterhin können fehlende Werte missing at random (MAR) sein. Entgegen der Bezeichnung meint MAR, dass die fehlenden Werte nicht rein zufällig sind, aber dass die Faktoren (z. B. Personen- oder Situationsmerkmale), die für die fehlenden Werte verantwortlich sind, bekannt sind und nicht mit der Ausprägung der fehlenden Beobachtung zusammenhängen. Beispielsweise könnten wir feststellen, dass männliche Teilnehmer häufiger Protokolle unserer Podcaststudie auslassen als weibliche Teilnehmerinnen. Spielt das Geschlecht keine Rolle für die zu untersuchenden Zusammenhänge, handelt es sich um MAR-Ausfälle. Schließlich können fehlende Werte systematisch sein (not missing at random, NMAR). In diesem Fall hängt das Fehlen direkt mit der Ausprägung des fehlenden Wertes zusammen (Courvoisier et al., 2012; Enders, 2022; Schafer & Graham, 2002; Stone et al., 2023). Beispielsweise könnten gerade Personen, die während der Alarmierung einen Podcast hören, das Protokoll nicht ausfüllen, weil sie nicht beim Hörerlebnis gestört werden möchten.
Während rein zufällige Ausfälle (MCAR) vor allem die Teststärke einer Stichprobe (die sog. Power, siehe Abschnitt 6.1) beeinträchtigen und – je nach Auswertungsmethode (siehe Kapitel 9) – die Analyse der Daten erschweren, können MAR- und vor allem NMAR-Ausfälle die Qualität einer Studie beeinträchtigen. Deshalb ist es wichtig, sich über die Ausfallgründe im Klaren zu sein, um ihnen durch die Gestaltung der Studie entgegenzuwirken und sie bei der Interpretation der Ergebnisse zu berücksichtigen. Gründe für nicht rein zufällige Ausfälle lassen sich in drei Kategorien einteilen: Merkmale der Person, Merkmale der Situation und Studieneigenschaften (siehe z. B. Ono et al., 2019).
Merkmale der Person sind stabile Eigenschaften wie z. B. soziodemografische Merkmale (Alter, Geschlecht) oder Persönlichkeitsmerkmale, die i. d. R. bereits im Rahmen einer Vorabbefragung (siehe Abschnitt 5.1) erhoben werden. Im Anschluss an die Feldzeit kann analysiert werden, ob bestimmte Personenmerkmale mit einem höheren Anteil nicht ausgefüllter Protokolle einhergehen. Zum Beispiel könnte es sein, dass jüngere Teilnehmer:innen im Vergleich zu älteren weniger Protokolle ausfüllen. Über Ergebnisse, die in diese Richtung deuten, berichten z. B. bei Morren et al. (2009), Ono et al. (2019) und Rintala et al. (2019). Solche Auffälligkeiten können dann in einer Publikation der Ergebnisse berichtet werden (siehe Abschnitt 10.3). Es kann sich hierbei um MAR handeln, wenn z. B. das Alter keinen Zusammenhang mit den uns interessierenden Variablen aufweist. Besonders gravierend sind solche Personenunterschiede in der Compliance allerdings, wenn ein direkter Zusammenhang mit dem Inhalt der Studie besteht. Geht es in der Studie z. B. um depressive Verstimmungen (Situationsebene), könnte befürchtet werden, dass Personen mit Depressionen (Personenmerkmal) eher dazu neigen, Protokolle auszulassen, wenn sie sich gerade besonders deprimiert fühlen, nicht aber Personen, die keine Depressionen haben. Unter diesen Bedingungen hängt nicht nur der Ausfall eines Protokolls von einem Personenmerkmal ab, sondern auch die fehlende Antwort, weil vor allem Personen mit Depression nicht mitmachen, wenn sie sich gerade schlecht fühlen. In diesem Fall läge NMAR vor, was problematisch wäre.
Merkmale der Situation können zeitliche Faktoren, Kontextfaktoren (Ort, soziales Umfeld) oder psychologische States von Personen sein. Am einfachsten zu erkennen sind zeitliche Faktoren in signalbasierten ESM-Studien, aus denen hervorgeht, wann das Protokoll hätte ausgefüllt werden müssen. Bei selbstausgelösten Protokollen ist diese Möglichkeit hingegen nicht gegeben, weil nicht bekannt ist, ob das auslösende Ereignis stattgefunden hat und nur kein Protokoll ausgefüllt wurde. In einigen ESM-Studien zeigen sich entsprechende Ausfallmuster im Tagesverlauf. Häufig werden Protokolle am Morgen nicht beantwortet (z. B. Courvoisier et al., 2012; Rintala et al., 2019). Auch im Wochenverlauf können sich Ausfallmuster zeigen, etwa unterschiedliche Antwortraten zwischen Wochentagen und Wochenenden. Hier gilt: Solche Ausfallmuster können für die Studie wichtig sein, müssen es aber nicht. Wenn man auf diese Weise z. B. immer die erste Nutzungsepisode für einen Podcast am Tag nicht erfasst, wird damit die Abschätzung der Gesamtnutzungsdauer beeinträchtigt (NMAR). Geht es in einer Studie dagegen um den Zusammenhang mit Emotionen und ist dieser Zusammenhang am Morgen und zu anderen Zeiten identisch, beeinträchtigen die Ausfälle nicht die Datenqualität, sondern nur die ‑quantität (MAR).
Schwieriger wird es bei anderen Merkmalen auf der Situationsebene, die erhoben worden sein müssen, um ihr Verzerrungspotenzial abschätzen zu können. So ist es möglich, dass Teilnehmer:innen eher zuhause, nicht aber im ÖPNV auf eine Alarmierung reagieren. Das würde die Messung der mobilen Podcastnutzung im Rahmen einer Studie verzerren. Dieser Befund gilt nicht nur für die Frage, ob ein Podcast gehört wurde, sondern auch, ob weitere studienrelevante Merkmale (z. B. das Rezeptionserleben) mit dem Ort der Nutzung einhergehen. In Bezug auf die psychologischen States einer Person ist z. B. anzunehmen, dass eine Person nicht antwortet, wenn sie besonders gestresst ist. Solche Ausfälle sind problematisch (NMAR), wenn es in der Studie um die Frage geht, ob im gestressten Zustand eher Podcasts genutzt werden.
Während der Zusammenhang zwischen nicht ausgefüllten Protokollen und Merkmalen der Person und der Situation vor allem wichtig ist, um Verzerrungen der Ergebnisse festzustellen und als Limitation anzuerkennen sowie diesen ggf. statistisch entgegenzuwirken, liegen die Studieneigenschaften in der Hand der Forschenden und können mitbedacht werden. Als wichtiger Faktor hat sich die Länge der Feldzeit erwiesen. Im Laufe der Feldzeit sinkt – abgesehen von kompletten Studienabbrüchen – der Anteil ausgefüllter Protokolle (Courvoisier et al., 2012; Eisele, Kasanova, et al., 2022; Fuller-Tyszkiewicz et al., 2013; Ono et al., 2019; Rintala et al., 2019). Besonders bei Feldzeiten von mehr als zwei Wochen geht die Antwortrate zurück (Berkel et al., 2019; Stone et al., 1991). Unklar ist die Forschungslage hinsichtlich der Dichte, d. h. der Anzahl der täglichen Signale bzw. auszufüllenden Protokolle. Gerade bei Ereignissen, bei denen unklar ist, wie oft sie im Alltag vorkommen, ist aus Sicht der Forschenden eine hohe Protokolldichte sinnvoll. Es gibt Methodenstudien und Metaanalysen, die nahelegen, dass viele Protokolle sowohl zu einer geringeren (Vachon et al., 2019), als auch zu einer höheren Compliance führen können (Eisele, Kasanova, et al., 2022). Übergreifend lassen sich jedoch keine Zusammenhänge zwischen der Anzahl der auszufüllenden Protokolle und der Compliance belegen (Jones et al., 2019; Morren et al., 2009; Ono et al., 2019; Soyster et al., 2019).
Es zeigen sich aber zeitliche Antwortmuster, insofern als morgendliche Protokolle tendenziell eher ausgelassen werden. Ein möglicher Grund für dieses Verhalten liegt in den individuellen Tagesabläufen der Teilnehmer:innen. Oft sind ESM-Studien auf bestimmte Tagesabschnitte wie typische Wachzeiten beschränkt. Diese Beschränkung ist unproblematisch, wenn die Grundgesamtheit der Situationen, die uns interessieren, nur diese Wachzeiten umfassen (siehe Abschnitt 6.3.2.2). Diese müssen aber nicht für alle Personen gleich sein. Wenn es das Forschungsinteresse zulässt, indem keine festen Zeitpunkte notwendig sind und die technische Umsetzbarkeit gewährleistet ist (siehe Abschnitt Kapitel 6.3.2), kann es eine Option sein, die Teilnehmer:innen selbst angeben zu lassen, zu welchen Zeiten sie gewöhnlich aufstehen und zu Bett gehen. Es ist sinnvoll, das Senden der Signale individuell an die verfügbaren Zeiten der Teilnehmer:in anzupassen, um den Anteil ausgefüllter Protokolle zu erhöhen (Rintala et al., 2019; Silvia et al., 2013).
Die Länge des Protokolls spielt für die Compliance ebenfalls eine Rolle. Die Befunde in der Forschung sind zwar nicht eindeutig, in der Tendenz zeigt sich aber, dass kürzere Protokolle zu weniger Ausfällen führen (Eisele, Kasanova, et al., 2022; Morren et al., 2009; keinen Einfluss finden z. B. Ono et al., 2019; Rintala et al., 2019, allerdings sind alle ESM-Protokolle, die in diesen beiden Publikationen betrachtet werden, relativ kurz, sodass hier auch die geringe Varianz in der Protokolllänge den fehlenden Zusammenhang erklären könnte).
Ob fehlende Protokolle nur die Power einer Studie beeinträchtigen oder auch zu Verzerrungen in den Ergebnissen führen, hängt davon ab, ob das Nichtausfüllen zufällige oder systematische Ursachen hat. Die Gründe für systematische Ausfälle lassen sich drei Kategorien zuordnen: Merkmale der Person, Merkmale der Situation und Studieneigenschaften. Gerade das zuletzt genannten Merkmal liegt in der Hand der Forschenden. Es sollte daher sorgfältig zwischen der erforderlichen Detailliertheit der Erhebung (Länge der Feldzeit, Anzahl, Umfang und Terminierung der Protokolle) und der Gefahr von Ausfällen abgewogen werden.