9  Auswertung einer In-situ-Studie

Im Folgenden gehen wir auf das Datenmanagement und die Auswertung von In-situ-Daten ein. Die zentralen Schritte sind im Anhang zum Auswertungskapitel in R (R Core Team, 2025) anhand unserer Beispielstudie durchgeführt und kommentiert. Der Code soll den Leser:innen dieses Buches helfen, die technische Komponente des Datenmanagements und der Datenauswertung nachzuvollziehen. Er bietet außerdem eine Ressource, die die Leser:innen für eigene Datensätze adaptieren können. Wir haben uns für R entschieden, weil R ein freies und kostenlos zugängliches und durch seine Erweiterungsmöglichkeiten in Form von Paketen sehr flexibel einsetzbares Tool ist. R findet zunehmend Verbreitung in der KMW und eignet sich besonders für den Umgang mit komplexeren Datenstrukturen und für fortgeschrittene Auswertungsverfahren, wie sie im Zusammenhang mit In-situ-Daten häufig vorliegen. Weder dieses Buch noch der Anhang zum Auswertungskapitel können allerdings in die statistischen Grundlagen aller vorgestellten Verfahren und in ihre Verwendung von R einführen, sondern konzentrieren sich auf den datenanalytischen Umgang mit In-situ-Daten. Grundlegende Einführungen in R finden sich in Buchform z. B. bei Field (2026), Gehrau et al. (2022), Sauer (2019) und Wickham et al. (2023) sowie im Lehrveranstaltungsskript von Schnauber-Stockmann et al. (2024).

Leser:innen finden im Handbuch von Myin-Germeys & Kuppens (2022) zwei Kapitel zur Aufbereitung und Auswertung von In-situ-Daten: Viechtbauer (2022a) gibt einen ausführlichen Überblick über grundlegende Auswertungsmethoden und Lafit (2022) widmet sich den fortgeschrittenen Methoden. Eine detaillierte Literaturübersicht zu (vor allem fortgeschrittenen) Auswertungen von In-situ-Daten findet sich auch im Anhang von Trull & Ebner-Priemer (2020). Zudem legen Bolger & Laurenceau (2013) einen Fokus auf die Auswertung von In-situ-Daten und stellen grundlegende sowie fortgeschrittene Auswertungsverfahren übersichtlich vor. Revelle & Wilt (2019) gehen dezidiert auf die Auswertung von In-situ-Daten mit R ein.

9.1 Struktur von In-situ-Daten

Die Daten von In-situ-Studien weisen eine Mehrebenenstruktur auf. Auf der unteren Ebene liegen die einzelnen Messzeitpunkte (also die einzelnen Protokolle), und auf der oberen Ebene die Personen. Die Messzeitpunkte sind in Personen geschachtelt, d. h., mehrere Messzeitpunkte stammen von derselben Person. Wenn wir nun ein Merkmal wiederholt messen und die Ergebnisse variieren, sie unterscheiden sich also zwischen den Messungen, dann können zwei Ursachen (Messfehler ausgenommen) dafür maßgeblich sein: (1) Personen unterscheiden sich und (2) Situationen unterscheiden sich. Personenunterschiede sagen aus, dass eine Person z. B. generell besser gelaunt oder affiner für Podcasts ist als eine andere. Dabei beschreibt die interindividuelle Varianz die Unterschiede zwischen Personen. In Abbildung 9.1 sehen wir bei der ersten und zweiten Person von oben nur Personenunterschiede: Eine hört nie, die andere immer Podcasts. Situationsunterschiede zeigen Veränderungen auf, die eine Person im Zeitverlauf durchläuft: Sie ist z. B. am Montagmorgen schlechter gelaunt als am Dienstagabend und hört unter der Woche mehr Podcasts als am Wochenende. Diese intraindividuelle Varianz bildet die Unterschiede innerhalb einer Person in unterschiedlichen Situationen ab. In Abbildung 9.1 sehen wir bei der dritten und vierten Person Beispiele für intraindividuelle Varianz: Die beiden Personen hören in einigen Situationen Podcasts, in anderen nicht. Zusätzlich erkennen wir auch Personenunterschiede, denn wir sehen, dass die Person in der dritte Zeile seltener Podcasts hört als die Person in der vierten Zeile. Selten zeigt sich ein Verhalten so einheitlich (nicht) wie bei den Personen in der ersten und zweiten Zeile; überwiegend werden wir – wie bei den Personen in der dritten und vierten Zeile – beide Varianzquellen finden. Liegen mehr als drei Messzeitpunkte vor, ist es statistisch möglich, interindividuelle und intraindividuelle Varianz voneinander zu unterscheiden (siehe Abschnitt 9.5.2.2).

WichtigMerke

In-situ-Daten haben eine Mehrebenenstruktur: Messzeitpunkte sind in Personen geschachtelt, sodass Unterschiede sowohl zwischen Personen (interindividuelle Varianz, between-person variance) als auch innerhalb einer Person zwischen verschiedenen Messsituationen (intraindividuelle Varianz, within-person variance) auftreten können.

Grundsätzlich enthält der Datensatz einer In-situ-Studie immer Variablen auf der Situationsebene. Einerseits handelt es ich um zeitbezogene Variablen, die den Messzeitpunkt eindeutig identifizieren und beschreiben. Sie geben etwa den Tag der Erhebung an (z. B. Studientag 1‑8), um welches Protokoll des Tages es sich handelt (z. B. 1‑4 bei 4 Protokollen am Tag), die Uhrzeit usw. Andererseits gibt es auf der Situationsebene Variablen, die Antworten auf die Fragen des Protokolls enthalten (siehe auch Trull & Ebner-Priemer, 2020). Zudem benötigt jeder In-situ-Datensatz eine eindeutige Identifikationsnummer (ID) für jede teilnehmende Person, um die einzelnen Messzeitpunkte den Teilnehmer:innen zuordnen zu können. Sehr oft sind zudem Personenvariablen von Interesse, die wir im Rahmen einer Vorab- oder Nachbefragung erheben. Diese Variablen sind zeitstabil, d. h. für jeden Messzeitpunkt einer Person identisch. Sie sind häufig in einem eigenen Datensatz enthalten, der dieselbe ID für eine Person ausweisen muss wie der Situationsdatensatz der entsprechenden Person. Anhand dieser ID können die Personenvariablen dann zugespielt werden (siehe hierzu Abschnitte 6.3.2 und 8.1).

WichtigMerke

In-situ-Datensätze enthalten immer Variablen auf der Situationsebene (z. B. Zeitpunkte, Antworten). Diese Variablen können durch Personenvariablen ergänzt werden, die aus einer Vorab- oder Nachbefragung stammen. Deren Messung findet nur einmal statt, weil sie als intraindividuell stabil angenommen werden.

Je nach Studiendesign können auch noch weitere Ebenen oberhalb der Person (z. B. Familien, Peergroups, Paare) relevant sein oder es sind Variablen notwendig, die verschiedene Studienphasen kennzeichnen (z. B. Pre-/Post-Intervention, Welle des Measurement-Bursts o. ä.). Auf diese Aspekte gehen wir im Folgenden nicht näher ein (siehe z. B. Bolger & Laurenceau (2013); Trull & Ebner-Priemer (2020) und den Exkurs in Abschnitt 9.5.2.1).

Die Daten können im Datensatz in zwei Formaten vorliegen, im sog. Long- oder Wide-Format. Im Long-Format bildet jeder Messzeitpunkt für jede Person eine Zeile und es gibt jeweils nur eine Spalte pro Variable auf der Situationsebene sowie je eine Spalte für die zeitstabilen Personenvariablen (siehe Tabelle 9.1). Die Ausprägungen dieser Personenvariablen sind für alle Zeilen derselben Person identisch, denn diese Personenvariablen verändern sich nicht über die Messzeitpunkte hinweg. Im Wide-Format stellt jede Zeile eine:n Teilnehmer:in dar. Für jede Situationsvariable pro Messzeitpunkt (z. B. Messzeitpunkt t1, Messzeitpunkt t2 etc.) gibt es eine Spalte, zudem noch je eine Spalte für jede zeitstabile Personenvariable (siehe Tabelle 9.2).

Je nach Auswertungsverfahren ist das Wide- oder Long-Format notwendig. Die häufiger benötigte Datenstruktur ist aber das Long-Format. Die Umstrukturierung von Datensätzen vom Wide- in das Long-Format und umgekehrt ist in R und anderen Programmen möglich (siehe Anhang A).

WichtigMerke

In-situ-Datensätze können im Long- oder Wide-Format vorliegen. Im Long-Format gibt es pro Messzeitpunkt und Person eine Zeile, während im Wide-Format alle Messzeitpunkte einer Person in einer Zeile stehen. Für die meisten Analysen wird das Long-Format benötigt.

Tabelle 9.1: Beispieldaten im Long-Format
Situationsvariablen
Personenvariablen
Person Messzeitpunkt Podcast Stimmung Geschlecht Alter
1 1 ja 5 weiblich 23
1 2 nein 3 weiblich 23
2 1 ja 2 weiblich 40
2 2 ja 1 weiblich 40
3 1 nein 5 männlich 21
3 2 nein 2 männlich 21
4 1 nein 1 weiblich 32
4 2 ja 4 weiblich 32
Tabelle 9.2: Beispieldaten im Wide-Format
Situationsvariablen
Personenvariablen
t1
t2
Person Podcast Stimmung Podcast Stimmung Geschlecht Alter
1 ja 5 nein 3 weiblich 23
2 ja 2 ja 4 weiblich 40
3 nein 5 nein 2 männlich 21
4 nein 1 ja 3 weiblich 32

9.2 Datenmanagement

9.2.1 Dateninspektion, -prüfung und -bereinigung

Vor Beginn der eigentlichen Analyse ist es sinnvoll, den Datensatz zu inspizieren, um einen ersten Eindruck von den Daten zu erhalten. Dieser Schritt dient der Plausibilitäts- und Vollständigkeitsprüfung sowie der Prüfung von möglichen systematischen Verzerrungen und kann für die Datenbereinigung wichtige Parameter liefern.

Im Folgenden geben wir einen Überblick über mögliche Überprüfungen mit dem Schwerpunkt auf der Inspektion des In-situ-Datensatzes. Natürlich müssen aber auch die Daten einer Vorab- oder Nachbefragung geprüft und ggf. bereinigt werden. Nicht alle der folgenden Schritte sind immer notwendig, dies hängt u. a. vom Design der Studie ab. Die Schritte sollen einen Eindruck davon vermitteln, wie wir uns mit den Daten vertraut machen und wie wir die Daten bereinigen können (siehe auch Revol et al., 2024).

1. Schritt – Grundlegende Checks (siehe Abschnitt B.1)

Fallzahlen: Wie viele Fälle hat der Datensatz auf der Personen- und Situationsebene? Wie viele Personen haben sich an der Studie beteiligt und wie viele Messzeitpunkte liegen von allen Personen vor?

Ausfülldauer: Wie lange dauerte das Ausfüllen der Protokolle durchschnittlich?

Vollständigkeit der Variablen: Sind alle benötigten Variablen vorhanden?

  • Hierfür bietet es sich an, eine Liste aller im Datensatz vorhandenen Variablen zu erstellen und auf Vollständigkeit zu prüfen.

  • Wir empfehlen, die Variablen so zu benennen, dass wir leichter den Überblick behalten. Die Vorgehensweise bei der Benennung von Variablen orientiert sich an persönlichen Präferenzen. Sinnvoll ist in jedem Fall, zusammengehörige Variablen gleich zu benennen (wurde beispielsweise die narrative Transportation anhand von sechs Items erhoben, könnten die Variablen narr_trans_01, narr_trans_02 usw. benannt werden).

Sinnhaftes Ausfüllen: Sind alle Variablen ausgefüllt, die ausgefüllt sein müssen, und sind alle Zellen leer, in denen kein Wert stehen sollte (z. B. bei Filtern)?

  • Diese Fragen können wir über Häufigkeitsauszählungen prüfen.
  • Hierbei erkennen wir auch, ob es bei bestimmten Variablen viele fehlende Werte gibt. Falls ja, sollten wir den Umgang mit fehlenden Werten überprüfen (siehe Abschnitt 9.2.2.2).

Verteilung der Variablen: Sind alle Werte plausibel? Wie verteilen sich die Variablen?

  • Gibt es nur Werte, die im Wertebereich der jeweiligen Variablen liegen? Enthalten offene Felder unplausible Angaben (z. B. eine ungewöhnliche Angabe bei der Nutzungsdauer)?
  • Sind fehlende Werte als solche zu erkennen? In R müssen diese Werte mit NA (not available) gekennzeichnet sein. Haben wir im Protokoll z. B. für „weiß nicht/keine Angabe“ eine –9 vergeben, müssen wir vor den Auswertungen diesen Wert noch als NA codieren.
  • Wie verteilen sich die Variablen? Hier bietet sich bei metrischen Variablen ein Blick z. B. auf Mittelwert, Standardabweichung, Minimum und Maximum an, bei kategorialen Variablen sind Häufigkeitsauszählungen sinnvoll. Auch eine Visualisierung der Ergebnisse kann hilfreich sein.

2. Schritt – Zentrale Indikatoren für die Teilnahmequalität (siehe Abschnitt B.2)

Abbruchquote: Wie viele Teilnehmer:innen haben die Studie abgebrochen?

  • Es ist möglich, dass Teilnehmer:innen zwar die Vorabbefragung ausfüllen, aber die In-situ-Phase gar nicht anfangen oder sehr früh abbrechen (also nur am ersten Tag teilnehmen oder nur wenige Protokolle ausfüllen). Um die Quote zu berechnen, vergleichen wir die Anzahl an Personen, die beabsichtigten, an der In-situ-Studie teilzunehmen (also die Vorbefragung ausgefüllt und ihr Einverständnis für die Teilnahme gegeben haben), mit denen, die die In-situ-Phase tatsächlich begonnen und/oder bis zu einem bestimmten Tag mitgemacht oder eine bestimmte Anzahl an Protokollen ausgefüllt haben.
  • Uch die Teilnahme an einer Nachbefragung kann als (zusätzliches) Kriterium für den Studienabschluss gelten.

Compliance: Wie viele Protokolle haben die einzelnen Teilnehmer:innen ausgefüllt?

  • Der Anteil ausgefüllter Protokolle in Bezug auf alle gesendeten Signale wird als Compliance bezeichnet. Die Compliance gilt als wesentliches Qualitätskriterium einer In-situ-Studie: Je höher die Compliance ist, desto unwahrscheinlicher ist es, dass die Situationsstichprobe verzerrt ist. Bei selbstausgelösten Protokollen ist sie kaum zu bestimmen.
  • Je nach Struktur enthält der Datensatz auch die Protokolle, bei denen die Teilnehmer:innen zwar zur Befragung aufgefordert wurden, indem sie bei signalbasierten Designs ein Signal erhalten haben, das Protokoll aber nicht ausgefüllt haben. Dann können wir die Compliance aus dem Verhältnis von ausgefüllten zu nicht ausgefüllten Protokolle berechnen und entsprechende Muster anhand ausgefüllter bzw. nicht ausgefüllter Protokolle identifizieren. Zudem ist zu erkennen, ob die Signale wie geplant an die Teilnehmer:innen gesendet wurden, ob also der Stichprobenplan auf Situationsebene erfolgreich war oder ob es (technische) Ausfälle gab. Anschließend ist es sinnvoll, eine Filtervariable anzulegen, aus der hervorgeht, ob es sich bei einem Fall um ein ausgefülltes Protokoll handelt oder nicht (z. B. die Variable abgeschlossen mit ja für ein vollständiges Protokoll und nein für ein nicht ausgefülltes Protokoll, also ein nicht beantwortetes Signal). Enthält der Datensatz nur die ausgefüllten Protokolle, lässt sich die Compliance dennoch berechnen, wenn bekannt ist, wie viele Signale die Teilnehmer:innen erhalten haben. Diesen Wert können wir ins Verhältnis zu den von ihnen ausgefüllten Protokollen setzen.

Response Latency: Wie lang ist die Zeitspanne zwischen Alarmierung und Ausfüllen des Protokolls durchschnittlich?

  • Die Response Latency kann nur bei signalbasierten In-situ-Studien bestimmt werden. Zudem hängt es von der verwendeten App oder dem verwendeten Tool ab, ob die notwendigen Informationen für die Berechnung vorliegen.

3. Schritt – Prüfung möglicher systematischer Verzerrungen und Umgang damit (siehe Abschnitt B.3)

Einzelne Situationen

Ausfülldauer: Gibt es einzelne Protokolle, die besonders schnell oder langsam beantwortet wurden?

  • In Bezug auf In-situ-Studien ist die Frage umstritten, ob die Antwortzeit – wie in klassischen Befragungen – ein Qualitätskriterium ist (siehe Abschnitt 7.2.2). Dennoch kann es sinnvoll sein, dass wir uns anschauen, ob es auffällige Protokolle gibt.

Response Latency: Gibt es einzelne Protokolle, bei denen die Ausfüllverzögerung besonders lang ist?

  • Mit einer langen Response Latency geht eine Verzerrung der Situationsstichprobe einher (siehe Abschnitt 6.3.2.2). Aus diesem Grund empfiehlt es sich, die Response Latency der einzelnen Protokolle zu analysieren und ggf. anschließend danach zu bereinigen. Häufig sind bereits das Design und die Programmierung der Studie darauf ausgelegt, dass Protokolle nur eine gewisse Zeit ab Alarmierung (z. B. zehn Minuten, eine halbe Stunde) ausgefüllt werden können. Anderenfalls kann die Response Latency nachträglich zur Bereinigung herangezogen und einzelne Protokolle mit einer langen Response Latency können aus der Analyse ausgeschlossen werden. Es gibt keine allgemeingültigen Grenzwerte, wichtig ist, die Entscheidung sinnvoll zu begründen und vorab festzulegen (siehe Abschnitt 10.2). Eine weitere Möglichkeit ist, die Response Latency als Kontrollvariable in den Auswertungen zu berücksichtigen (wie z. B. bei Naab et al. (2019), siehe Studiensteckbrief).

Personenunterschiede

Studienabbruch: Unterscheiden sich die Personen, die die In-situ-Studie erfolgreich abgeschlossen haben, von den Abbrecher:innen?

  • Wenn die Abbrecher:innen zumindest die Vorabbefragung ausgefüllt haben, können wir uns anhand der dort gegebenen Antworten einen Eindruck davon verschaffen, ob sie sich in relevanten Personenmerkmalen von den Teilnehmer:innen unterscheiden, die die Studie abgeschlossen haben. Diese Befunde können später bei der Ergebnisinterpretation berücksichtigt werden.

Ausfülldauer: Gibt es Personen mit besonders kurzen oder langen Antwortzeiten?

  • Wir können uns die Antwortzeiten nicht nur für die einzelnen Protokolle auf der Situationsebene anschauen, sondern auch die Frage prüfen, ob es Personen gibt, die häufig besonders schnell oder langsam geantwortet haben. Eine schnelle Beantwortung könnte darauf hindeuten, dass sie die Gesamtstudie nicht ernst genommen und generell nicht sorgfältig teilgenommen haben (Careless Responding, siehe Abschnitt 7.2.2).

Response Latency: Gibt es Personen mit generell besonders langen Ausfüllverzögerungen?

  • Analog zur Antwortzeit können wir untersuchen, ob es Personen gibt, die generell immer erst sehr lange nach der Alarmierung antworten, und auch dieses Verhalten als eine Form des Careless Responding werten.

Compliance: Gibt es Personen mit einer besonders niedrigen Compliance?

  • Die individuelle Compliance pro Teilnehmer:in kann ebenfalls für die Datenbereinigung herangezogen werden. Es ist üblich, Teilnehmer:innen, die bestimmte Minimalanforderungen, d. h. eine gewisse Mindestanzahl an ausgefüllten Protokollen, nicht erfüllen, aus der Analyse auszuschließen, weil davon auszugehen ist, dass ihre Situationsstichprobe zu verzerrt ist (Soyster et al., 2019). Es gibt keine festen Vorgaben, welcher Schwellenwert hier angemessen ist. Dies ist von Studie zu Studie abzuwägen. Ggf. ist es auch sinnvoll, dass wir uns lediglich anhand von Personenmerkmalen einen Eindruck verschaffen, welche Personen eine niedrige Compliance aufweisen, und diesen Befund kritisch bei der Interpretation der Ergebnisse berücksichtigen. Denn mit dem Ausschluss von Personen mit geringer Compliance geht wiederum eine Verzerrung der Personenstichprobe einher.

Zeitverläufe

Compliance: Gibt es zeitliche Muster in der Compliance?

  • Wir können prüfen, ob die Compliance über die Feldzeit hinweg abnimmt. Dieser Befund ist i. d. R. gut dokumentiert (siehe Abschnitt 6.3.2.2). Ein moderates Sinken der Compliance ist also zu erwarten. Von Interesse sind zudem zeitliche Muster, wenn z. B. eine geringere Compliance am Wochenende im Vergleich zu den Werktagen oder Muster im Tagesverlauf vorliegen. Diese Muster können bei der späteren Dateninterpretation helfen (siehe z. B. Karnowski et al., 2019). Ermittelte Ergebnisse am Wochenende oder am Morgen können weniger verlässlich sein, wenn die Compliance niedrig ist.

Response Latency: Gibt es zeitliche Muster in der Ausfüllverzögerung?

  • Zeitliche Muster, z. B. eine länger werdende Response Latency im Verlauf der Feldzeit, können als Rückgang der Motivation gedeutet werden und für eine sinkende Datenqualität sprechen (Reynolds et al., 2016). Ein Bewusstsein hierfür hilft bei der Interpretation der Daten.

Verteilung der Variablen: Gibt es zeitliche Muster im Hinblick auf die Verteilung der Variablen?

  • Die Verteilung der Variablen im Zeitverlauf kann Muster aufweisen, die auf Reaktivität hindeuten (siehe Abschnitt 7.2.1). Solche zeitlichen Muster werden getrennt nach Teilnehmer:innen analysiert, denn nur auf dieser Ebene ist Reaktivität erkennbar. Wir müssen hierbei beachten, dass die Ursachen für gefundene Muster sowohl Reaktivität als auch Veränderungen aus anderen Gründen sein können. Typische Muster und ihre mögliche Bedeutung sind:

    • Sinkende Werte bei Verhaltensangaben zeigen, dass entweder das Verhalten seltener ausgeführt oder das Antwortverhalten angepasst wurde.

    • Sinkende Werte bei Skalenfragen wie z. B. Stimmungsmessungen deuten eventuell auf Response Shifts hin, die durch einen initial elevation bias ausgelöst wurden (Reynolds et al., 2016; Shrout et al., 2018). Bei einem ausgeprägten Rückgang empfiehlt es sich eventuell, den ersten Tag auszuschließen. Zumindest ist eine Sensitivitätsanalyse empfehlenswert, indem der erste Tag einmal in die Auswertung einbezogen und einmal davon ausgeschlossen wird. Dies zeigt eventuelle Unterschiede in den Ergebnissen auf.

  • Weiterhin können wir Muster über die Zeit identifizieren, die auf mangelnde Sorgfalt hinweisen. Auch in diesem Fall gilt: Es handelt sich lediglich um Hinweise auf Methodeneffekte, ursächlich können auch tatsächliche Veränderungen während der Feldzeit sein. Das typischste Muster ist eine über die Feldzeit geringer werdende Varianz in den Antworten. Diese kann als Hinweis gewertet werden, dass die Teilnehmer:innen zunehmend dieselbe Antwort ankreuzen (Fuller-Tyszkiewicz et al., 2013). Genauso kann eine über die Feldzeit größer werdende Varianz ein Indiz für mangelnde Sorgfalt sein und auf zufälliges Ankreuzen hindeuten. In diesem Fall bietet es sich an, Teilnehmer:innen zu identifizieren, bei denen diese Antworttendenzen sehr ausgeprägt sind. In gut begründbaren Fällen können diese von der Auswertung ausgeschlossen werden.

WichtigMerke

In-situ-Daten sollten vor der Analyse überprüft werden hinsichtlich (1) grundlegender Verteilungen wie z. B. Fallzahlen, Ausfülldauer und Verteilung der Variablen, (2) zentraler Indikatoren der Teilnahmequalität wie Anzahl ausgefüllter Protokolle (Compliance) oder Ausfüllverzögerung (Response Latency) sowie (3) möglicher systematischer Verzerrungen auf der Situations- und Personenebene oder über die Zeit.

Falls die Datenprüfungen einen Grund zur Datenbereinigung liefern, müssen wir diese Entscheidungen gut abwägen und begründen. Eine geringe Compliance ist vor allem problematisch, wenn die Ausfälle systematisch sind. Zeitliche Antwortmuster können auch auf tatsächliche zeitliche Dynamiken zurückgehen, z. B. eine verringerte Mediennutzung infolge eines wärmeren Sommerwetters oder einer nachlassenden Aufmerksamkeit gegenüber politischen Themen, weil ein politisches Ereignis an Aktualität verliert. Idealerweise legen wir die geplanten Prüfkriterien und Bereinigungsschritte schon vor der Datenerhebung oder Sichtung der Daten fest (siehe Abschnitt 10.2). Eine zu großzügige Bereinigung beeinträchtigt – wenn nicht vorher eingeplant – die Power einer Studie (siehe Abschnitt 6.1). Entscheidender ist aber, dass hierdurch systematische Verzerrungen erst ausgelöst werden können. Wenn wir z. B. Teilnehmer:innen ausschließen, die überwiegend dieselben Antworten geben, schließen wir entweder typische Durchklicker:innen aus, also Fälle von mangelnder Sorgfalt, oder wir entfernen Personen aus der Studie, die stabile Kognitionen, Emotionen oder Verhalten aufweisen, was durchaus möglich sein kann. Deshalb ist es sinnvoll, Fälle – Teilnehmer:innen oder einzelne Messzeitpunkte –, die wir ausschließen wollen, nicht aus dem Datensatz zu löschen, sondern entsprechend zu kennzeichnen und nur für die Auswertung auszuschließen. Anschließend können wir Sensitivitätsanalysen einmal mit und einmal ohne die bereinigten Fälle durchführen, um Veränderungen in den Ergebnissen erkennen und die abweichenden Ergebnisse in die Interpretation einbeziehen zu können. Dieses Vorgehen ist aus forschungsethischer Sicht vorzuziehen, denn zwischen angemessener Datenbereinigung und illegitimer Datenfälschung verläuft ein schmaler Grat. Es ist daher zudem wichtig, das Vorgehen vollständig und transparent zu dokumentieren.

9.2.2 Datenaufbereitung

Nachdem wir uns grundlegend mit dem Datensatz vertraut gemacht und die Bereinigungsschritte durchgeführt und protokolliert haben, geht es im nächsten Schritt um die Datenaufbereitung, also um die Vorbereitung der Daten für die eigentliche Auswertung. Im Folgenden befassen wir uns zunächst mit den Besonderheiten im In-situ-Kontext: mit der Reliabilitätsprüfung von Skalen und dem Umgang mit fehlenden Werten. Weitere spezifische Aufbereitungsschritte hängen von den genauen Analysen ab und werden in den dazugehörigen Abschnitten beschrieben (siehe Abschnitte 9.3 bis 9.5).

9.2.2.1 Reliabilitätsprüfung

Die Reliabilitätsprüfung, also die Frage, ob die Messung verlässlich ist, ist im In-situ-Kontext aus zwei Gründen herausfordernder als in herkömmlichen Befragungsstudien. Erstens besteht die Absicht, die Last für die Teilnehmer:innen so gering wie möglich zu halten. Aus diesem Grund greifen wir i. d. R. auf Single-Item-Messungen zurück (siehe Abschnitt 7.1.2). Die üblichen Verfahren der Reliabilitätsprüfung von Skalen, wie z. B. Omega (\(\omega\)) oder Cronbachs Alpha (\(\alpha\)) (siehe Abschnitt 9.2.2.1.3), sind unter diesen Bedingungen nicht möglich. Zweitens sind bei Skalenabfragen, also bei der Messung eines Konstrukts mit mehreren Items, die Verfahren zur Berechnung der Reliabilität im In-situ-Kontext noch nicht etabliert und statistisch komplexer (Stone et al., 2023; Trull & Ebner-Priemer, 2020). Im Folgenden gehen wir deshalb mehrstufig vor: Zunächst erklären wir die grundlegende Problematik und Logik der Reliabilitätsprüfung im In-situ-Kontext. Anschließend gehen wir auf Möglichkeiten der Reliabilitätsprüfung von Single-Item-Messungen ein. Schließlich stellen wir State-of-the-Art-Verfahren zur Berechnung der Reliabilität von Skalen bei Mehrebenendaten vor und zeigen zusätzlich alternative Wege auf, die zumindest Hinweise auf die Reliabilität von In-situ-Skalen geben können.

9.2.2.1.1 Grundlagen

Bei der Reliabilitätsprüfung geht es immer um das Verhältnis zwischen der Varianz in den Antworten, die inhaltlich bedeutsam ist, und der Varianz in den Antworten, die auf zufällige Messfehler zurückgeht. Systematische Messfehler sind dagegen eine Frage der Validität. Zwei Messungen sollen also unter gleichen Bedingungen auch das gleiche Ergebnis liefern.

Ein Beispiel soll zu einem besseren Verständnis betragen: Wenn wir eine Woche lang täglich unsere Körpergröße messen, werden die Werte immer ein klein wenig schwanken, je nachdem wie genau wir auf das Maßband schauen, es anlegen, wie aufrecht wir stehen etc. Aber die Werte verteilen sich alle um den wahren Wert herum, weil wir gleich groß bleiben. Jede Abweichung vom wahren Wert ist in diesem Fall also rein auf Messfehler zurückzuführen. Dieses Beispiel beschreibt die Retest-Reliabilität – wir führen denselben Test mehrfach durch und jedes Mal sollte sich (fast) dasselbe Ergebnis zeigen. Im Rahmen einer Studie misst aber in der Regel nicht nur eine Person die Körpergröße, sondern viele Menschen werden mit dieser Aufgabe betraut. Daraus ergeben sich zwei Quellen der Varianz: Erstens die inhaltlich bedeutsame Varianz – Personen sind unterschiedlich groß, sie variieren in ihrer wahren Größe. Zweitens die Fehlervarianz, also die Abweichungen in den Messungen, die darauf zurückgehen, dass nicht genau gemessen wurde, weil z. B. das Maßband falsch angelegt wurde.

Es gibt bei Personenvariablen einen einzigen wahren Wert pro Person, um den die einzelnen Messungen einer Person streuen. Alle Abweichungen der einzelnen Messungen einer Person vom wahren Wert sind zufällige Messfehler. Eine inhaltlich bedeutsame Varianz gibt es nur zwischen Personen – die eine ist größer (wahrer Wert höher), die andere kleiner (wahrer Wert niedriger). Die Reliabilität ergibt sich dann aus dem Verhältnis dieser inhaltlich bedeutsamen Varianz zur Gesamtvarianz (inhaltlich bedeutsame Varianz + Fehlervarianz): Je geringer die Fehlervarianz ist, desto reliabler ist die Messung.

Nun fällt aber auf, dass sich diese Logik nicht nahtlos auf Variablen aus In-situ-Studien übertragen lässt. Denn im In-situ-Kontext sind Merkmale relevant, die nicht stabil sind, also nicht nur zwischen, sondern auch innerhalb einer Person im Zeitverlauf variieren. Wir messen nicht die Größe, die weitgehend stabil bleibt, sondern zum Beispiel die Stimmung, die im Tages- und Wochenverlauf schwankt. Diese (valide) Dynamik ist nicht ohne Weiteres von Messfehlern zu unterscheiden (vgl. auch Schuurman & Hamaker, 2019; Stone et al., 2023). Das Grundprinzip bleibt in diesem Fall zwar zunächst gleich: Wir interessieren uns für das Verhältnis zwischen der inhaltlich bedeutsamen Varianz und der Gesamtvarianz. Bei Merkmalen, die innerhalb einer Person variieren, ist die Varianz innerhalb einer Person aber nicht nur die Fehlervarianz, sondern enthält auch den inhaltlich bedeutsamen Teil, d. h., die Stimmung einer Person ist jetzt anders als vor drei Stunden. Entscheidend für die Reliabilitätsprüfung ist es daher, zwischen den Schwankungen in den Antworten zu unterscheiden, die eine echte Veränderung zeigen, und denen, die nur auf den Messfehler zurückgehen. Es geht darum, wie gut unser Messinstrument eine echte Veränderung auf der Situationsebene messen kann. Nur wenn eine Messung auf der Within-Person-Ebene reliabel misst – also ein hinreichend großer Teil der Varianz inhaltlich bedeutsam ist –, können wir davon ausgehen, dass Veränderungen in der Variable zwischen den Messzeitpunkten auch tatsächliche Veränderungen und keine Messfehler sind (Cranford et al., 2006; Neubauer & Schmiedek, 2020). Nur wenn wir z. B. die Stimmung reliabel messen, können wir Stimmungsschwankungen einer Person auch als solche interpretieren und nicht als zufällige Abweichungen durch eine ungenaue Messung.

WichtigMerke

Reliabilität bedeutet, dass eine Messung konsistent und verlässlich ist – also möglichst wenig von zufälligen Messfehlern beeinflusst wird. Bei In-situ-Studien ist es entscheidend, tatsächlich bestehende intraindividuelle Schwankungen von Messfehlern abzugrenzen.

Eine weitere Besonderheit von In-situ-Messungen besteht darin, dass möglichst kurz sein sollten, weswegen häufig Single-Item-Messungen oder sehr kurze Skalen eingesetzt werden (siehe Abschnitt 7.1.2). Im Folgenden gehen wir daher auf die Reliabilitätsprüfung sowohl bei Single-Item-Messungen als auch bei Skalen ein.

9.2.2.1.2 Single-Item-Messungen

Reliabilitätsprüfungen sind bei Single-Item-Messungen bisher kaum etabliert. Basierend auf einer Variante der klassischen Testtheorie (siehe Abschnitt 9.2.2.1.3) befassen sich Dejonckheere et al. (2022) mit der Möglichkeit, über Test-Retest-Verfahren die Reliabilität von Single-Item-Messungen zu bestimmen, und nutzen Mehrebenenmodelle (siehe Abschnitt 9.5.2). Sie schlagen vor, entweder gelegentlich – also nicht in jedem Protokoll – die Single-Item-Messung im selben Protokoll zu wiederholen. So wird sichergestellt, dass der Retest, d. h. die Wiederholung des Items, unter denselben situativen Bedingungen wie der Test stattfindet. Alternativ schlagen sie vor, gelegentlich sehr kurze Zeitabstände (max. 20 min) zwischen den Protokollen zu lassen – unter der Annahme, dass sich das Konstrukt (z. B. die Stimmung) nicht so schnell ändert und auch dies als valider Retest gesehen werden kann. Beide Verfahren zeigten bei der Messung der Stimmung ähnliche Ergebnisse. In Abwägung der Last für die Teilnehmer:innen und dem Erkenntnisgewinn zur Reliabilität der verwendeten Single-Item-Messungen muss entschieden werden, ob die Verfahren im Rahmen einer Studie möglich sind.

Schuurman und Hamaker (2019) stellen eine Prüfmöglichkeit vor, die allerdings auf dynamische VAR(1)-Modelle (= Vektorautoregressive Modelle) beschränkt ist (siehe hierzu Exkurs im Abschnitt 9.5.3).

9.2.2.1.3 Skalen

Außer mit Single-Item-Messungen werden Konstrukte in In-situ-Befragungen teilweise anhand mehrerer Items einer Skala gemessen. Für die weitere Auswertung müssen diese Einzelwerte zusammengefasst werden. Das Vorgehen entspricht herkömmlichen Befragungsstudien; es können z. B. Summen- oder Mittelwertindizes gebildet werden, sodass für jede Person und jeden Messzeitpunkt ein Indexwert entsteht. Gehen wir davon aus, dass die Items ein dahinterliegendes gemeinsames Konstrukt abbilden (z. B. narratives Transportationserleben), dann empfiehlt sich die Prüfung, ob diese Annahme stimmt. Hierfür müssen wir die Reliabilität der Skala berechnen. Üblich ist hier die Berechnung der internen Konsistenz als Reliabilitätsmaß. Diese funktioniert grundsätzlich nach dem gleichen Prinzip wie die Retest-Reliabilität: Die einzelnen Items bilden die wiederholten Messungen desselben Merkmals für eine Person ab. Ihre gemeinsame Varianz – die Konsistenz, mit der sie beantwortet werden – im Vergleich zur Gesamtvarianz gibt an, wie gut die Skala das Konstrukt misst. Daraus lässt sich die Schlussfolgerung ableiten: Wenn alle Items perfekt korrelieren, d. h., eine Person bei allen Items denselben Wert angibt, dann liegt keine Fehlervarianz vor, weil die Messung reliabel ist.

Die Berechnung der internen Konsistenz ist bei In-situ-Daten jedoch schwieriger: Die Skala wird nicht nur einmal pro Person erhoben, sondern mehrfach. Dadurch entstehen zwei Ebenen, auf denen wir Reliabilität prüfen können oder genauer ausgedrückt die wir bei der Berechnung berücksichtigen müssen: die Personenebene (Between-Person-Reliabilität) und die Situationsebene (Within-Person-Reliabilität). Dieses Vorgehen basiert auf der in Kapitel 2 beschriebenen Grundlogik von In-situ-Daten, die die Möglichkeit eröffnet, die Personen- von der Situationsvarianz zu trennen.

Die Within-Person-Reliabilität gibt an, wie zuverlässig eine Messung den intraindividuell schwankenden Anteil des Konstrukts messen kann. Die Between-Person-Reliabilität bemisst hingegen den stabilen Anteil eines Konstruktes. Viele Merkmale haben nicht nur einen situativen Charakter, sondern auch eine Komponente, die stabil ist – diesen Teil bildet die Varianz zwischen Personen ab. Die Between-Person-Reliabilität gibt also an, wie gut Unterschiede (= Varianz) zwischen den Personen über alle Messzeitpunkte hinweg mit der Messung erfasst werden können, wie konsistent also die Personenmittelwerte sind. Welche der beiden Reliabilitäten für die eigene Forschung relevanter ist, hängt von der Forschungsfrage ab. Bei Forschungsfragen auf der Personenebene (siehe Abschnitt 3.1) ist die Between-Person-Reliabilität und bei Forschungsfragen auf der Situationsebene die Within-Person-Reliabilität zentral (siehe Abschnitt 3.2).

Es gibt bisher keinen Standard, wie sich die Reliabilität von Skalen bei In-situ-Daten bestimmen lässt, aber verschiedene Ansätze, die zumindest grundlegende Ähnlichkeiten aufweisen: Sie betrachten alle die interne Konsistenz, basieren auf der Zerlegung der Varianz in verschiedene Komponenten und trennen zwischen Between- und Within-Person-Reliabilität oder genauer gesagt kontrollieren für die Abhängigkeit der Daten durch ihre Mehrebenenstruktur (im Überblick z. B. auch Alphen et al., 2022; Bolger & Laurenceau, 2013; Castro-Alvarez et al., 2026; Eisele et al., 2022; Trull & Ebner-Priemer, 2020). Sie unterscheiden sich allerdings im Hinblick auf ihren messtheoretischen Zugang. So beschreibt z. B. Nezlek (2017) eine Vorgehensweise, mit der auf Basis des Standardoutputs von Mehrebenenanalysen (Residualvarianzen) Reliabilität berechnet wird (zu Mehrebenenanalysen siehe Abschnitt 9.5.2, zur Kritik an diesem Ansatz siehe z. B. Eisele et al. (2022)). Darüber hinaus finden sich in der Literatur vor allem zwei Zugänge: die Generalisierbarkeitstheorie als Erweiterung der klassischen Testtheorie (Bolger & Laurenceau, 2013; Cranford et al., 2006; Revelle & Wilt, 2019; Shrout & Lane, 2012) und die konfirmatorische Mehrebenenfaktorenanalyse (z. B. Alphen et al., 2022; Geldhof et al., 2014; Lai, 2021).

Die Generalisierbarkeitstheorie unterteilt die Gesamtvarianz in die drei Komponenten Zeit, Item (beides Situationsebene) und Person, mit denen verschiedene Between- und Within-Person-Reliabilitätsmaße bestimmt werden können. Weitere hilfreiche Details zu diesem Verfahren finden sich bei Bolger und Laurenceau (2013) und Cranford et al. (2006). In R bietet das weitverbreitete Paket psych eine Funktion zur Berechnung der Reliabilitäten auf Basis der Generalisierbarkeitstheorie an (Revelle, 2024). Ihre Schwäche liegt in den relativ strengen Anwendungsvoraussetzungen, die selten erfüllt sind. Es müssen beispielsweise gleiche Ladungen aller Items auf den Faktor und gleiche Fehlervarianzen vorliegen, d. h., alle Items müssen gleich valide und reliabel sein.

Die konfirmatorische Mehrebenenfaktorenanalyse (multi-level confirmatory factor analysis, MCFA) umgeht diese strengen Voraussetzungen. Eine solche Analyse prüft, ob oder wie gut mehrere Items ein gemeinsames, zugrunde liegendes latentes Konstrukt (= Faktor) messen, indem bei einer MCFA die Mehrebenenstruktur der Daten berücksichtigt wird. MCFAs sind statistisch anspruchsvoll. Weiterführende Informationen finden sich bei Geldhof et al. (2014). Aber auch ohne Detailkenntnisse zu MCFAs gibt es nutzungsfreundliche Möglichkeiten, diese für die Prüfung der Reliabilität von In-situ-Messungen einzusetzen, etwa in Form von R-Paketen. Eine Sammlung von entsprechenden Paketen findet sich hier, in Abschnitt C.2.1 zeigen wir das Vorgehen anhand unserer Beispielstudie.

Auf Basis von MCFAs können ebenenspezifische Reliabilitätskennzahlen für die interne Konsistenz berechnet werden. Am bekanntesten ist Cronbachs Alpha (Cronbach, 1951). Cronbachs Alpha hat allerdings ebenfalls strenge Voraussetzungen, die selten erfüllt sind (vor allem gleiche Ladungen aller Items auf den Faktor). Aus diesem Grund empfehlen wir Omega (McDonald, 1999), das diese Voraussetzung nicht hat (siehe hierzu auch Goodboy & Martin, 2020; Peters, 2018). Die Werte für Cronbachs Alpha und Omega reichen von 0 bis 1, wobei näher an 1 liegende Werte auf eine bessere Reliabilität der Skala hinweisen. Cronbachs Alpha und Omega können als der Anteil der Varianz in den Skalenwerten interpretiert werden, der auf das Konstrukt, das allen Items zugrunde liegt, zurückzuführen ist. Je höher der Wert ist, desto kleiner ist die Fehlervarianz und desto reliabler die Messung (Cronbach, 1951; McDonald, 1999).

Welche Reliabilitätswerte als ausreichend, gut, ungenügend etc. angesehen werden können, ist nicht generell zu beantworten (Alphen et al., 2022; Nezlek, 2017). Bereits die häufig referierte Grenze von 0.7 ist nicht ohne Kritik (siehe z. B. Field, 2026). Zudem verschärft sich das Problem, wenn in In-situ-Protokollen nur sehr kurze Skalen eingesetzt werden. In diesem Fall ist es unwahrscheinlicher, einen hohen Reliabilitätswert zu erreichen, weil klassische Reliabilitätsmaße wie Cronbachs Alpha sensibel für die Anzahl der Items sind (Calamia, 2019; Nezlek, 2017). Wichtig ist eine Abwägung zwischen der Last für die Teilnehmer:innen und der Reliabilität.

WichtigMerke

Im Hinblick auf die Reliabilität von In-situ-Daten unterscheiden wir zwischen der Between-Person-Reliabilität und der Within-Person-Reliabilität. Für die Berechnung bieten sich vor allem konfirmatorische Mehrebenenfaktorenanalysen an.

Schließlich sei noch auf zwei weitere in diesem Zusammenhang sinnvolle, aber anspruchsvolle Vorgehensweisen hingewiesen: Erstens gibt es Ansätze, die Reliabilität personenspezifisch, d. h. für jede Person einzeln zu bestimmen (Hu et al., 2016). Der Vorteil dieses Vorgehens ist, dass wir Personen identifizieren können, die sehr niedrige Reliabilitäten aufweisen, und diese Information für die Datenbereinigung oder als Kontrollvariable in der Auswertung berücksichtigen können. Zweitens gibt es erweiterte Prüfmöglichkeiten für Faktorstrukturen, also Fragen zu den Konstrukten, die den gemessenen Items zugrunde liegen: Wie viele sind es? Sind es auf der Personen- und Situationsebene gleich viele Items? Sind die Strukturen zeitlich invariant, bleibt ihre Bedeutung über die verschiedenen Messzeitpunkte hinweg also gleich (Neubauer et al., 2020; Vogelsmeier et al., 2022; Wright et al., 2015)?

Die vorangegangenen Ausführungen zeigen zur Bestimmung der Reliabilität im In-situ-Kontext Best-Practice-Wege auf, die die geschachtelte Datenstruktur berücksichtigen. Sie sind allerdings an vielen Stellen sehr voraussetzungsreich, noch nicht allen Forschenden vertraut und werden in der KMW (bisher) selten eingesetzt und berichtet. In vielen Fällen wird – wenn Reliabilitätswerte berichtet werden – auf Cronbachs Alpha in seiner üblichen, nicht die Mehrebenenstruktur berücksichtigenden Variante zurückgegriffen. Im Folgenden stellen wir die von Forschenden überwiegend verwendeten Vorgehensweisen vor und gehen kurz auf ihre Vor‑ und Nachteile ein (siehe auch Calamia, 2019; Nezlek, 2017). Ein entscheidender Nachteil ist, dass alle alternativen Optionen gerade bei kleineren Fallzahlen auf der Situationsebene nicht immer für jede Person oder jeden Messzeitpunkt berechenbar sind. Es kommt durchaus vor, dass einzelne Variablen keine Varianz aufweisen und die Berechnung von Cronbachs Alpha deshalb fehlschlägt oder negative Werte auftreten, die nicht im Wertebereich von Cronbachs Alpha liegen. In Abschnitt C.2.2 zeigen wir die Alternativoptionen – mit Ausnahme der nicht empfehlenswerten Option 1 – anhand unserer Beispielstudie.

  • Option 1 (nicht empfehlenswert): Eine Berechnung der Reliabilität über alle Personen und Messzeitpunkte hinweg ist möglich, wenn die Daten im Long-Format vorliegen (siehe Abschnitt 9.1). Diese Variante vermischt Unterschiede zwischen Personen mit Unterschieden innerhalb von Personen, die nötige Unabhängigkeit der einzelnen Fälle ist nicht gegeben. Jede Person steuert so viele Antworten pro Item bei, wie sie Protokolle ausgefüllt hat. Durch die häufig sehr ähnlichen Antwortstile von Personen wird die Reliabilität sehr wahrscheinlich überschätzt. Die Ergebnisse können nicht sinnvoll interpretiert werden; diese Vorgehensweise sollte daher nicht angewendet werden.

  • Option 2: Die Berechnung der Reliabilität findet für jede Person getrennt, aber über alle Messzeitpunkte hinweg statt und anschließend folgt z. B. eine Mittelung der Reliabilitätswerte. Im Vergleich zu Option 1 findet keine Vermischung von Unterschieden zwischen und innerhalb von Personen statt. Die Mehrebenenstruktur wird durch die Trennung der Daten nach Personen aufgelöst. Entgegen der in einigen Quellen gegen diese Methode als Kritik vorgebrachte Annahme, dass die Mehrebenenstruktur bei dieser Berechnung ignoriert würde, kann dieses Vorgehen als vertretbare Annäherung angesehen werden, das zumindest einen deskriptiven Wert hat. Denn letztlich wird jede Person getrennt für sich modelliert, jedes In-situ-Protokoll ist eine Ziehung aus den Situationen einer Person. Die gesamte Varianz in den Werten ist intraindividuell, die Reliabilität bezieht sich lediglich auf die Within-Person-Komponente. Eine Voraussetzung ist jedoch, dass nicht zusätzlich von Zeiteffekten und Autokorrelationen ausgegangen wird.

  • Option 3: Für die Berechnung der Reliabilität für nur einen Messzeitpunkt wird ähnlich wie bei Option 2 die Abhängigkeit der Daten aufgehoben, indem die Messzeitpunkte getrennt betrachtet werden und jede Person pro Messzeitpunkt nur einmal in die Reliabilitätsberechnung einbezogen wird. Ein mögliches Vorgehen ist, z. B. nur den ersten und den letzten Messzeitpunkt auszuwählen sowie ggf. einen Messzeitpunkt in der Mitte der Feldzeit. Indem wir alle zwei oder drei Messzeitpunkte berichten und vergleichen, erhalten wir einen Eindruck über die Reliabilität. Es ist auch möglich, die Reliabilitätsberechnung für jeden Messzeitpunkt durchzuführen und anschließend alle Reliabilitätswerte zu mitteln, um nur eine Kennzahl zu erhalten und berichten zu können. Dieses Vorgehen ist jedoch nicht fehlerfrei, weil es die Logik der Auswahl der Messzeitpunkte nicht berücksichtigt (Nezlek, 2017) und nicht immer die Information vorhanden ist, um welchen Messzeitpunkt es sich handelt. Wir wissen z. B. je nach verwendeter App oder Software bei einem signalbasierten Design nur, um das wievielte ausgefüllte Protokoll einer Person es sich handelt. Diese Information bildet nicht zwingend den Messzeitpunkt ab, weil nicht immer alle Signale zu ausgefüllten Protokollen führen. Das Vorgehen kann dennoch als vertretbare Annäherung gesehen werden und hat somit einen deskriptiven Wert. Es entspricht am ehesten einer Analyse der Between-Person-Reliabilität.

  • Option 4: Bei Berechnung der Reliabilität für die aggregierten Mittelwerte werden zuerst für jedes Item die Personenmittelwerte über alle Messzeitpunkte hinweg berechnet und diese neuen Variablen für die Reliabilitätsprüfung herangezogen. Dieses Vorgehen hat den Vorteil, dass die Unabhängigkeit der Daten nicht ignoriert wird, sodass jede Person nur einmal in die Berechnung einbezogen wird. Es kann als vertretbare Annäherung an die Between-Person-Reliabilität gesehen werden und hat somit deskriptiven Wert.

9.2.2.2 Umgang mit fehlenden Werten

In Abschnitt 9.2.1 haben wir uns damit befasst, ob es aufgrund nicht ausgefüllter Protokolle zum Ausschluss von Personen kommen sollte. Aber auch die Protokolle der Personen, die in der finalen Stichprobe enthalten sind, können fehlende Werte (Missings) aufweisen. Zum einen gibt es kaum Personen, die alle Protokolle ausfüllen. Somit fehlen für einige Messzeitpunkte alle Werte einzelner Personen (Unit Nonresponse). Zum anderen kommt es vor, dass innerhalb eines Protokolls einzelne Fragen nicht beantwortet werden (Item Nonresponse). Es hängt vor allem von der Auswertungsmethode ab, wie wir mit fehlenden Werten umgehen und ob sie problematisch sind. Viele gängige Auswertungsverfahren, z. B. Mehrebenenanalysen, können mit fehlenden Werten umgehen (siehe Abschnitt 9.5.2). Bei anderen Auswertungsverfahren können fehlende Werte hingegen zu deutlichen Einbrüchen der Fallzahlen führen, sodass wir über Möglichkeiten der Imputation oder konkret gesagt des modellbasierten Umgangs mit fehlenden Werten nachdenken müssen. Dies ist weitgehend unproblematisch für rein zufällig fehlende Werte (MCAR, siehe Abschnitt 6.3.2.2), möglich für Missing at Random (MAR) und nicht ohne Weiteres möglich für systematische Ausfälle (NMAR). Deshalb ist es notwendig, dass die Ausfallmuster identifiziert (siehe auch Abschnitt 9.2.1) und bei der Dateninterpretation berücksichtigen werden, um ggf. die passende Methode im Umgang mit fehlenden Werten zu wählen.

Zunächst stellt sich die Frage, ob wir überhaupt imputieren, also fehlende Werte durch plausible Schätzungen ersetzen sollten. Daran schließt sich die Frage an, wie wir imputieren können. Bisher gibt es keinen Konsens unter In-situ-Forschenden, wie (und ob überhaupt) Imputation bei In-situ-Daten sinnvoll und möglich ist. In-situ-Daten zielen auf die Messung von intraindividuell variablen und sich im Alltag stetig verändernden Faktoren ab. Daher erscheint es kaum möglich, fehlende Werte aus vorherigen oder späteren Antworten zu schätzen. Dennoch gibt es hierzu einige Ansätze, die in der In-situ-Forschung allerdings noch nicht etabliert sind. Eine Auseinandersetzung mit Möglichkeiten und Grenzen der Imputation für In-situ-Daten und Mehrebenenstrukturen findet sich im Überblick bei Fritz et al. (2024) und Stone et al. (2023) sowie z. B. bei Cursio et al. (2019), Grund et al. (2018), Hox et al. (2017), Ji et al. (2018), Lin et al. (2018) und Slipetz et al. (2023).

9.3 Grundlegende Auswertungen

Im Methoden‑ und ggf. im Ergebnisteil einer In-situ-Publikation werden üblicherweise – wie bei allen empirischen Publikationen – grundlegende Ergebnisse auf Basis des finalen, bereinigten Datensatzes vorgestellt. Dazu gehören Informationen über die Stichprobenzusammensetzung (z. B. Alter, Geschlecht und Bildungsgrad), die Fallzahlen auf der Personen‑ und Situationsebene sowie die Abbruchquote und die Compliance. Üblicherweise berichten wir auch die Deskriptivangaben zu den zentralen Variablen und bei Skalen die Reliabilitätswerte (siehe Abschnitt 9.2.2.1.3). Weiterhin ist es sinnvoll, die bivariaten Korrelationen aller (metrischen) Variablen zu berichten. Bei einer Mehrebenenstruktur unterscheiden wir zwischen den intraindividuellen (within-person) und den interindividuellen (between-person) Korrelationen (Trull & Ebner-Priemer, 2020). Auch wenn wir selbst nur Forschungsfragen auf einer der beiden Ebenen haben, sind diese Informationen z. B. für Metaanalysen wichtig und geben generell einen ersten Überblick über die Datenstruktur und Zusammenhänge. Ggf. eignet sich für den Bericht ein Anhang (siehe auch Abschnitt 10.3). In Abschnitt D.1 zeigen wir grundlegende Auswertungen anhand unserer Beispielstudie.

9.4 Unterschiede zwischen Personen: Fragen nach interindividueller Varianz

Bei Forschungsfragen auf der Personenebene nutzen wir die In-situ-Daten vor allem für eine valide Erfassung von Informationen (z. B. Nutzungshäufigkeit und -dauer, Naab et al. (2019); siehe Studiensteckbrief). Dafür müssen wir die In-situ-Daten vor der Auswertung aggregieren, d. h., die Messwerte einer Person über mehrere Situationen zu einem Wert für die Person zusammenfassen. Es hängt von der Forschungsfrage ab, welche Variablen wir wie aggregieren (siehe Abschnitt 3.1). Typische Aggregationsvarianten sind (siehe auch Abschnitt D.2):

  • Aufsummieren von Variablen über die Feldzeit, z. B. Anzahl der True-Crime-Nutzungsepisoden

  • Berechnung der Durchschnittswerte bei metrischen Variablen, z. B. der durchschnittlichen Stimmung (person mean, siehe auch Abschnitt 9.5.2.3)

  • Bestimmung der intraindividuellen Varianz, z. B. um zu prüfen, ob es Personen gibt, die überwiegend in der gleichen Stimmung oder erheblichen Stimmungsschwankungen ausgesetzt sind, ob Personen dieselben Gratifikationen suchen oder sich dieses Verhalten je nach Situation unterscheidet oder ob Nutzungsepisoden häufig gleich lang oder jedes Mal unterschiedlich lang sind

Bei allen drei Varianten ist es möglich, weitere Informationen einzubeziehen. Wir können nicht nur einen Wert für die Anzahl der Podcastnutzungsepisoden pro Person berechnen, sondern – wenn es das Forschungsinteresse erfordert – einen Wert für die Nutzung zu Hause und einen zweiten Wert für die Nutzung unterwegs, wenn der Ort auf der Situationsebene erhoben wurde.

Nun können wir mit der eigentlichen Auswertung beginnen. Auf Basis der aggregierten Werte können wir z. B. die Frage beantworten, wie oft, wie lange und wie aufmerksam die Teilnehmer:innen im Durchschnitt Podcasts hören oder wie sie durchschnittlich gelaunt sind. Im Hinblick auf die interindividuelle Varianz können wir zudem feststellen, ob manche Personen häufiger über Stimmungsschwankungen berichten als andere.

Die Einteilung der Nutzer:innen von Podcasts in Klassen/Typen – also eine Gruppierung nach ihrer Ähnlichkeit – ist auf der Personenebene möglich. Beispielsweise können in einer ereignisabhängigen In-situ-Studie jeweils der zeitliche, räumliche und soziale Kontext der Podcastnutzung und genutzte Podcastinhalte erfragt, auf der Personenebene aggregiert und anhand einer latenten Klassenanalyse oder einer Clusteranalyse verschiedene Nutzer:innentypen unterschieden werden. Beide Verfahren sind nicht spezifisch für In-situ-Studien und werden daher nicht näher vorgestellt (siehe z. B. Hagenaars & Mccutcheon, 2003; Hennig et al., 2015; Vermunt & Magidson, 2004). Abschnitt 9.5.3 befasst sich ebenfalls mit der Klassen-/Typenbildung von Personen, bezieht aber die Möglichkeit mit ein, gleichzeitig Situationen einzuteilen und somit die Datenstruktur von In-situ-Studien zu nutzen.

Anhand der aggregierten Werte können wir auch Unterschiede und Zusammenhänge anhand der aus der klassischen Querschnittsbefragung bekannten Analysemethoden berechnen, die hier nicht im Detail vorgestellt werden, weil sie nicht spezifisch für In-situ-Studien sind (siehe z. B. Field, 2026; Gehrau et al., 2022; Sauer, 2019; Wickham et al., 2023). Für die Identifizierung von Mittelwertunterschieden stellt sich z. B. die Frage, ob sich Berufstätige von Nichtberufstätigen in ihrer Podcastnutzung unterscheiden (t-Test oder Varianzanalyse) oder ob ein Zusammenhang zwischen Persönlichkeitsmerkmalen wie der Transportabilität und der Nutzungsdauer besteht (Korrelation oder Regression). Den Einfluss mehrerer Variablen können wir mit einer multiplen Regression berechnen, indem wir z. B. den Einfluss von Transportabilität und Berufstätigkeit auf die durchschnittliche Nutzungsdauer untersuchen.

Insgesamt können sowohl Personenmerkmale, die im Rahmen einer Vorab‑ oder Nachbefragung erhoben wurden, als auch verschiedene in situ erhobene und dann auf Personenebene aggregierte Variablen in Zusammenhang gesetzt werden.

Die vorgestellten Auswertungsverfahren, die auf den aggregierten In-situ-Variablen beruhen, sind der einfachste Weg, Forschungsfragen zu beantworten, die sich ausschließlich auf die Personenebene beziehen. Auch Auswertungen auf der Situationsebene bieten die Möglichkeit, Forschungsfragen auf der Personenebene (mit) zu beantworten. Bei Forschungsfragen auf beiden Ebenen empfiehlt sich auf jeden Fall das im Folgenden beschriebene Vorgehen.

9.5 Unterschiede zwischen Situationen: Fragen nach der intraindividuellen Varianz

Die große Stärke von In-situ-Designs besteht darin, Fragen zur intraindividuellen Varianz zu beantworten. Zunächst gehen wir auf deskriptive Auswertungen auf der Situationsebene ein. Anschließend stellen wir die Grundlagen von Unterschieds‑ und Zusammenhangsauswertungen auf der Situationsebene vor, denn aufgrund der besonderen Datenstruktur benötigen wir andere statistische Verfahren als bei üblichen querschnittlichen Befragungen. Der Schwerpunkt liegt auf der häufigsten Auswertungsmethode, die zur Analyse von In-situ-Daten eingesetzt wird: der Mehrebenenmodellierung. Die grundlegende Logik von Mehrebenenmodellen lässt sich auf viele andere Auswertungsmethoden im Kontext von In-situ-Daten übertragen. Dies gilt sowohl für die in Abschnitt 9.5.3 vorgestellte Methode zur Einteilung in Klassen/Typen als auch für weitere (fortgeschrittene) Auswertungsmethoden (siehe Exkurs in Abschnitt 9.5.3).

9.5.1 Deskriptive Auswertungen

Auf der Situationsebene können wir uns für deskriptive Auswertungen interessieren. So können wir per Häufigkeitsauszählung auswerten, wie oft bestimmte Kontexte, z. B. bestimmte Orte oder Tätigkeiten, vorkommen. Von Interesse kann auch die situative Variation von Konstrukten sein. Für jede:n Teilnehmer:in können wir etwa explorieren, wie die Nutzungsdauer einzelner Podcastnutzungsepisoden im Tagesverlauf variiert, um festzustellen, ob sie sich gleichmäßig über den Tag verteilt oder zu bestimmten Tages‑ oder Wochenzeiten verstärkt Podcasts gehört werden (zu weiteren Auswertungsmöglichkeiten zeitlicher Dynamiken siehe Abschnitt 9.5.2.7). Einige Beispiele für deskriptive Auswertungen auf Situationsebene finden sich in Abschnitt D.3.1).

In vielen Fällen interessieren wir uns (zusätzlich) für die Zusammenhänge zwischen den Konstrukten. Hierfür bieten sich vor allem mehrebenenanalytische Verfahren an, die wir im Folgenden vorstellen.

Liegt der Schwerpunkt ausschließlich auf Within-Person-Zusammenhängen, können wir auch sogenannte Fixed-Effects-Modelle schätzen, wie sie z. B. in der Politikwissenschaft und den Wirtschaftswissenschaften für Paneldaten üblich sind. Es gibt zwei Ansätze: Das sog. De-Meaning, das der Zentrierung am Personenmittelwert entspricht (siehe Abschnitt 9.5.2.3) und das Least Squares Dummy Variable Model (LSDVM), bei dem die Personen-ID als Kovariate ins Modell aufgenommen wird. Damit werden automatisch alle beobachteten und unbeobachteten Unterschiede zwischen Personen herausgerechnet, um den reinen Within-Person-Zusammenhang zu berechnen. Allerdings haben diese Modelle den Nachteil, dass wir keine Personenvariablen mehr hinzufügen können, weil diese Varianz schon herausgerechnet worden ist (siehe Abschnitt 9.5.2.4 und 9.5.2.6). Weiterführende Hinweise zu Fixed-Effects-Modellen finden sich z. B. bei Allison (2009).

9.5.2 Mehrebenenanalysen zur Auswertung von In-situ-Daten

9.5.2.1 Grundlagen

Die Daten aus In-situ-Studien haben eine Mehrebenenstruktur. Die einzelnen Messzeitpunkte sind nicht unabhängig voneinander, sondern in Personen geschachtelt, d. h., mehrere Messzeitpunkte stammen von derselben Person (siehe Kapitel 2 und Abschnitt 9.1). Diese Datenstruktur verletzt die Annahme vieler gängiger statistischer Auswertungsverfahren, nach der Messungen unabhängig voneinander sein müssen. Damit gehen falsche Parameterschätzungen und unzuverlässige Ergebnisse einher (siehe z. B. Gelman & Hill, 2006; Langer, 2009). Ignorieren wir, dass die Daten von denselben Personen stammen, dann kann es zu einer Variante des sog. ökologischen Fehlschlusses kommen (z. B. im Extremfall zum Simpson-Paradoxon): Zusammenhänge, die zwischen Personen gefunden werden, gelten nicht zwingend auch innerhalb von Personen. Abbildung 9.2 verdeutlicht diesen Zusammenhang an einem fiktiven Beispiel. Die orangene Linie auf der linken Seite bildet die Regressionsgerade ab, die wir schätzen würden, wenn wir nicht beachten, dass die Messungen in Personen geschachtelt sind. Alle Messzeitpunkte haben die gleiche Farbe, unabhängig davon, dass sie von verschiedenen Personen stammen. Es sieht nach einem positiven Zusammenhang zwischen Stimmung und Mediennutzung aus. Beachten wir aber, dass die Messungen in Personen geschachtelt sind – nun haben alle zur selben Person gehörenden Messungen eine eigene Farbe – dann erkennen wir, dass dieser Eindruck falsch ist. Während im Aggregat also der Eindruck entsteht, dass eine bessere Stimmung mit höherer Mediennutzung einhergeht, gilt auf der Ebene einzelner Personen tatsächlich, dass eine bessere Stimmung mit weniger Mediennutzung einhergeht. Jede farbige Linie steht für die Regressionsgerade einer einzelnen Person.

WichtigMerke

Die Daten aus In-situ-Studien weisen eine Mehrebenenstruktur auf, weil mehrere Messzeitpunkte von denselben Personen stammen. Diese Bedingung verletzt die Annahme der Unabhängigkeit der Messwerte voneinander, die für herkömmliche statistische Verfahren gilt und deren Verletzung dort zu verzerrten Ergebnissen führen kann.

Zudem besteht eine Besonderheit von In-situ-Daten darin, dass selten alle Teilnehmer:innen dieselbe Anzahl an Messzeitpunkten beisteuern – aus unterschiedlichen Gründen, von Non-Compliance bis hin zu inhaltlich relevanten Gründen. Diese Aussage gilt z. B. für ereignisabhängige In-situ-Designs, wenn das Ereignis bei mehreren Personen unterschiedlich oft auftritt (siehe Abschnitt 6.3.1.4). Gängige Auswertungsverfahren für wiederholte Messungen (z. B. Varianzanalyse mit Messwiederholung) können damit nicht umgehen.

Mehrebenenmodelle (in der Literatur bezeichnet als multilevel model, z. B. Gelman & Hill (2006), mixed effect model, z. B. Viechtbauer (2022a), oder hierarchical linear model, z. B. Raudenbush & Bryk (2002)) berücksichtigen bei der Auswertung ebendiese hierarchische Struktur der Daten, also die Schachtelung von Situationen (Ebene 1) in Personen (Ebene 2), und können damit umgehen, dass nicht jede:r Teilnehmer:in gleichviele Messzeitpunkte beisteuert.

In der Literatur werden Mehrebenenmodelle oft im Kontext anderer geschachtelter Datenstrukturen diskutiert, in denen Personen die Ebene 1 bilden und übergeordnete Einheiten die Ebene 2, z. B. Schüler:innen (Ebene 1) geschachtelt in Schulklassen (Ebene 2). Dementsprechend wird teilweise von der Ebene 1 als Personenebene gesprochen und von Ebene 2 als Kontext‑ oder Gruppenebene. Im Fall von In-situ-Daten bilden aber die Situationen die unterste Ebene, die wiederum in Personen geschachtelt sind. Diese Zuordnung sollte uns beim Lesen von Methodenliteratur zur Mehrebenenanalyse also nicht verwirren.

Mehrebenenmodelle können auch drei oder mehr Ebenen umfassen, z. B. könnten wir – je nach Forschungsfrage – annehmen, dass Situationen (Ebene 1) in Personen (Ebene 2) und diese wiederum in Schulklassen (Ebene 3) geschachtelt sind. Weiterhin gibt es kreuzklassifizierte Modelle, in denen die Ebenen nicht hierarchisch ineinander geschachtelt sind. Bei Schnauber-Stockmann & Mangold (2020) sind die Messzeitpunkte in Personen und gleichzeitig in Zeitabschnitten am Tag geschachtelt. Ein Messzeitpunkt kann zum einen dem Tagesabschnitt, aus dem er stammt, und zum anderen der Person, von der er stammt, zugeordnet werden. Die Tagesabschnitte sind aber nicht in den Personen geschachtelt – sie gelten für alle Personen gleichermaßen. Die beiden oberen Ebenen liegen also quer zueinander. In diesem Lehrbuch fokussieren wir uns allerdings auf den üblichen Fall, die Schachtelung von Situationen (Ebene 1) in Personen (Ebene 2).

Mehrebenenmodelle können für lineare und nicht lineare Zusammenhänge und mit metrischen, ordinalen und nominalen abhängigen Variablen geschätzt werden. Im Folgenden gehen wir auf die zentralen Aspekte von Mehrebenenmodellen ein, die zum grundlegenden Verständnis beitragen und Möglichkeiten von mehrebenenanalytischen Auswertungen von In-situ-Daten aufzeigen sollen. Wichtig ist zu betonen, dass wir keine umfassende Einführung in die Mehrebenenanalyse geben – empfehlenswerte Lehrbücher mit sozialwissenschaftlichem Fokus sind z. B. Gelman und Hill (2006), Hox et al. (2017), Langer (2009), Raudenbush und Bryk (2002), Sand und Braun (2025) sowie Snijders und Bosker (2012).

Die Parameter in Mehrebenenmodellen (Regressionskoeffizienten, Varianzkomponenten) können mit verschiedenen Verfahren geschätzt werden. Am häufigsten wird die Maximum-Likelihood-Methode eingesetzt, auf der auch die Modelle basieren, die im Anhang geschätzt werden. Es ist aber ebenso möglich, andere Methoden zu verwenden, vor allem bayesianische Methoden. Eine Einführung geben z. B. Hox et al. (2017) sowie Raudenbush & Bryk (2002). Ein Anwendungsbeispiel findet sich bei Link (2026).

Im Folgenden geht es zunächst um die grundlegende Frage, wie viel Varianz in einer Variable überhaupt durch die Situations‑ und Personenebene erklärbar ist. Im nächsten Schritt folgt die Aufbereitung der Variablen für die Auswertung in Mehrebenenmodellen – genauer: die Zentrierung. Anschließend befassen wir uns mit den Zusammenhängen zwischen zeitlich variierenden und stabilen Faktoren (interindividuelle Unterschiede) sowie zwischen mehreren zeitlich Faktoren (intraindividuelle Unterschiede). Abschließend schauen wir auf das Zusammenspiel von Personen‑ und Situationsmerkmalen.

Mehrebenenmodelle können in einigen Statistikprogrammen geschätzt werden – so verfügen z. B. SPSS, Mplus oder Stata über entsprechende Funktionen. Weiterhin gibt es spezielle, jedoch kostenpflichtige Software, z. B. HLM (Raudenbush et al., 2019). Im Anhang zum Auswertungskapitel verwenden wir eines der gängigsten Pakete lme4 (Bates et al., 2015) in R (R Core Team, 2025) zur Schätzung der Mehrebenenmodelle.

9.5.2.2 Zerlegung in Personen- und Situationsvarianz

Bei der Auswertung von In-situ-Daten stellt sich zunächst die Frage: Variiert das Merkmal, für das wir uns interessieren, überhaupt auf der Situationsebene oder ist es lediglich bei verschiedenen Personen unterschiedlich ausgeprägt? Im Kontext der Beispielstudie geht es etwa darum, ob die narrative Transportation vor allem deshalb variiert, weil die Teilnehmer:innen generell unterschiedlich narrativ transportiert werden – die einen neigen eher dazu, sich in Geschichten hineinzuversetzen, die anderen weniger (wir sprechen dann von Transportabilität) – oder ob die narrative Transportation vor allem deshalb variiert, weil jede:r Teilnehmer:in je nach Situation mal stärker, mal schwächer involviert ist.

Das Verhältnis der unterschiedlichen Varianzquellen wird in Mehrebenenmodellen durch den Intraklassenkorrelationskoeffizienten (Intraclass Correlation Coefficient, ICC= Ebene-2-Varianz/Gesamtvarianz) ausgedrückt. Ein hoher ICC bedeutet, dass die Variable vor allem zwischen Personen variiert und die Situationsebene weniger relevant ist. Ein niedriger ICC deutet hingegen darauf hin, dass vor allem die Situation (und Interaktionen zwischen Situation und Person) relevant ist und nur eine geringe interindividuelle Varianz vorliegt. Ein ICC von 0 zeigt an, dass die Schachtelung der Situationen (Ebene-1-Einheiten) in Personen (Ebene-2-Einheiten), also die hierarchische Datenstruktur, (statistisch) irrelevant ist. In diesem Fall könnten klassische Auswertungsverfahren eingesetzt werden (z. B. die Regressionsanalyse). Dies wird bei In-situ-Daten aber vermutlich nie der Fall sein (für ICCs in Studien zur Mediennutzung siehe Schnauber-Stockmann et al., 2025). In der Literatur ist nicht einheitlich festgelegt, ab welchem ICC eine Mehrebenenanalyse zwingend notwendig ist. Generell lautet die Empfehlung, bei einem von 0 abweichenden ICC – auch wenn dieser verhältnismäßig klein ist – eine Mehrebenenanalyse durchzuführen, weil die Berücksichtigung der Mehrebenenstruktur nie zu schlechteren Schätzungen führt (z. B. Hox et al., 2017; Langer, 2009; Viechtbauer, 2022a). Der ICC wird für das sogenannte Nullmodell berechnet – ein Mehrebenenmodell ohne Einbeziehung von Prädiktorvariablen. In Abschnitt D.3.2.1 berechnen wir den ICC für unsere Beispielstudie.

Es muss berücksichtigt werden, dass der ICC lediglich angibt, welcher Anteil der Varianz einer Variablen sich maximal durch situative oder Personenfaktoren erklären lässt. Die Kennzahl macht keine Aussage darüber, ob dies durch die im späteren Verlauf einbezogenen Variablen (siehe Abschnitte 9.5.2.4 bis 9.5.2.6) tatsächlich (vollständig) gelingt.

WichtigMerke

Der ICC gibt an, wie viel Varianz einer Variable auf der Personenebene und im Umkehrschluss also nicht auf der Situationsebene liegt. Er sagt aber nichts darüber aus, ob diese Varianzanteile auf den beiden Ebenen durch die zur Erklärung herangezogenen Variablen erklärt werden können.

9.5.2.3 Zentrierung

Wollen wir In-situ-Daten mehrebenenanalytisch auswerten, also Variablen zur Erklärung der abhängigen Variablen in das Modell mit aufnehmen, müssen wir uns in den meisten Fällen mit dem Thema Zentrierung auseinandersetzen (siehe z. B. Enders & Tofighi, 2007; Hox et al., 2017; Langer, 2009; Raudenbush & Bryk, 2002; Snijders & Bosker, 2012). Dieses Thema ist aus der klassischen Regressionsanalyse bekannt. Die Zentrierung dient dazu, den Intercept und die Interaktionsterme interpretierbar zu machen. In der klassischen Regressionsanalyse zentrieren wir, indem wir den Gesamtmittelwert einer Variable über alle Personen berechnen und diesen vom Wert jeder Person abziehen. Ein positiver Wert bedeutet, dass eine Person über dem Durchschnitt aller Personen liegt, ein negativer, dass sie darunter liegt. Die Zusammenhänge zwischen den Variablen bleiben jedoch unverändert.

Bei Mehrebenenanalysen gibt es dazu ein Pendant: die Zentrierung am Gesamtmittelwert über alle Personen und Messzeitpunkte hinweg (Zentrierung am grand mean). Für Situationsvariablen bedeutet ein positiver Wert, dass eine Person zu einem Messzeitpunkt über dem Durchschnitt aller Personen an allen Messzeitpunkten liegt, ein negativer, dass sie darunter liegt. Für Personenvariablen ist nur die Zentrierung am Gesamtmittelwert möglich, denn diese Variablen variieren nicht zwischen den Messzeitpunkten. Ein positiver Wert bedeutet, dass die Person über dem Durchschnitt aller Teilnehmer:innen liegt, ein negativer darunter. Auch hier gilt: Die grundlegenden Zusammenhänge bleiben unverändert.

Die zweite Form ist die Zentrierung am Personenmittelwert (Zentrierung am person mean). Für jede Person wird gesondert ein individueller Mittelwert über alle Messzeitpunkte hinweg errechnet und dieser Mittelwert von jedem einzelnen Messzeitpunkt derselben Person abgezogen. Dann liegt der Wert bei 0, wenn die Person z. B. so gelaunt ist, wie sie es im Durchschnitt ist. Der Wert hat ein positives Vorzeichen, wenn die Person besser als ihr Durchschnitt gelaunt ist, und ein negatives Vorzeichen, wenn sie schlechter als ihr Durchschnitt gelaunt ist. Die Referenzgröße ist also nicht mehr, ob eine Person zu einem Messzeitpunkt besser oder schlechter als alle anderen Personen im Durchschnitt gelaunt ist, sondern referenziert auf die Person selbst als Bezugsgröße. Diese Form der Zentrierung verändert auch die Interpretation der Zusammenhänge in den Analysen, denn sie separiert die Between-Person-Varianz und enthält allein die Within-Person-Varianz. Sie repräsentiert also Veränderungen innerhalb des Individuums, alle Unterschiede zwischen Personen sind herausgerechnet. Oft ist diese Form der Zentrierung sinnvoll, wenn wir uns für intraindividuelle Zusammenhänge interessieren, also Zusammenhänge zwischen den Variablen auf der Situationsebene. Diese können wir so in ihrer Reinform anschauen (Enders & Tofighi (2007); Viechtbauer (2022a) siehe auch Abschnitt 9.5.2.5).

Diese Form wird in der Literatur oft Zentrierung am Gruppenmittelwert (group mean) genannt, weil Mehrebenenanalysen häufig für die Auswertung von Personen geschachtelt in Gruppen (z. B. Schüler:innen in Klassen) verwendet werden. Die Personenebene ist bei In-situ-Daten die obere Ebene, weshalb wir vom Personen‑ und nicht vom Gruppenmittelwert sprechen.

In Abschnitt D.3.2.2 zeigen wir anhand unserer Beispielstudie, wie Variablen zentriert werden.

WichtigMerke

Es stehen zwei Formen der Zentrierung zur Verfügung: die Zentrierung am Gesamtmittelwert (grand mean) und am Personenmittelwert (person mean). Die zuletzt genannte Form ermöglicht eine Fokussierung auf die bei In-situ-Studien im Vordergrund stehenden intraindividuellen Veränderungen und ist deshalb häufig die sinnvolle Wahl.

In Kombination mit der Zentrierung am Personenmittelwert kommt auch dem Personenmittelwert selbst eine Bedeutung zu. Während die am Personenmittelwert zentrierte Variable die intraindividuelle Veränderung auf der Situationsebene anzeigt, kann der Personenmittelwert selbst als Trait-Komponente aufgefasst werden und zeigt interindividuelle Unterschiede in der Variable an. Deshalb wird dieser Personenmittelwert häufig als eigenständiger Prädiktor in Analysen einbezogen. Weitere Erläuterungen hierzu und ein konkretes Beispiel für Within-Between-Modelle finden sich in Abschnitt 9.5.2.5.

9.5.2.4 Zusammenhänge zwischen stabilen und situativ variierenden Konstrukten

Die Mehrebenenanalyse ermöglicht es, Personenunterschiede aufzuzeigen, indem wir Personenmerkmale als unabhängige Variablen in die Auswertung einbeziehen. Die berücksichtigten Variablen auf Personenebene sollten am Gesamtmittelwert zentriert sein (siehe Abschnitt 9.5.2.3). So können wir z. B. feststellen, ob ein Zusammenhang zwischen dem Alter (einmalig gemessen) oder der Transportabilität (einmalig gemessen) und der narrativen Transportation (in situ gemessen) besteht. Einbezogene Personenmerkmale werden in Mehrebenenanalysen den fixen Effekten (fixed effects) zugeordnet (siehe Abschnitt 9.5.2.5) und gelten für alle Personen gleichermaßen – was auch gar nicht anders möglich ist, weil sie nicht innerhalb von Personen variieren.

Ein Vorteil gegenüber der Aggregation der In-situ-Variablen und der anschließenden Auswertung von Zusammenhängen auf der Personenebene (siehe Abschnitt 9.4) ist, dass die Mehrebenenanalyse berücksichtigt, wie viele Messzeitpunkte von einer Person vorliegen und in die Analyse einbezogen werden. Personen, von denen wir mehr Messzeitpunkte haben, erhalten ein höheres Gewicht, weil sie für die Ergebnisse wichtiger sind als die Personen, von denen weniger Messzeitpunkte vorliegen. Dieses Vorgehen ist plausibel, weil wir bei mehr Fällen i. d. R. von einer genaueren Messung ausgehen können.

Aber nicht nur einmalig gemessene Personenmerkmale können berücksichtigt werden; auch auf der Personenebene aggregierte, vorher in situ gemessene Werte können sinnvoll sein. So ist z. B. die Frage von Interesse, ob Personen, die generell häufig Podcasts hören (aggregierte Nutzungshäufigkeit, z.B. durch Summenbildung über alle Nutzungsepisoden einer Person) eher narrativ transportiert werden als solche, die seltener Podcasts hören. Wie an anderer Stelle ausgeführt (siehe Abschnitt 3.1), ist es sinnvoll, die Nutzungshäufigkeit in situ zu erheben und anschließend zu aggregieren. Durch die Aggregation wird die Variable zur Personenvariable und wir können sie – wie die anderen Personenvariablen auch – als fixen Effekt in die Mehrebenenanalyse einbeziehen.

In Abschnitt D.3.2.3 zeigen wir entsprechende Auswertungen anhand unserer Beispielstudie.

9.5.2.5 Zusammenhänge zwischen mehreren situativ variierenden Konstrukten

Weiterhin können wir Zusammenhänge zwischen Variablen auf der Situationsebene untersuchen, z. B. ob es einen Zusammenhang zwischen narrativer Transportation und Paralleltätigkeit gibt. Eine zentrale Besonderheit von Mehrebenenanalysen ist die Unterscheidung zwischen fixen Effekten (fixed effects) und Varianzkomponenten (random effects oder random slopes). Der fixe Effekt der Paralleltätigkeit ist über alle Personen (also Ebene-2-Einheiten) hinweg gleich, d. h., dass die Paralleltätigkeit für alle Personen denselben Effekt auf die narrative Transportation hat – für alle Teilnehmer:innen gilt etwa: Wenn sie keiner Paralleltätigkeit nachgehen, sind sie stärker narrativ transportiert. Es unterscheiden sich zwischen den Personen also nur die Intercepts, nicht aber die Steigung der Geraden. Personen gehen im Schnitt mehr oder weniger häufig einer Paralleltätigkeit nach (random intercept), aber Veränderungen der Paralleltätigkeit haben für alle denselben Einfluss auf die narrative Transportation (die Steigung der Geraden ist gleich; Random-Intercept-Modell siehe Abbildung 9.3 links).

In Abschnitt D.3.2.4.1 zeigen wir entsprechende Auswertungen anhand unserer Beispielstudie.

Doch diese Annahme ist nicht immer realistisch. Es ist möglich, dass einige Personen stärker narrativ transportiert werden, wenn sie einer Paralleltätigkeit nachgehen, etwa einer kognitiv wenig anspruchsvollen Hausarbeit, bei anderen dieser Effekt eintritt, wenn sie keiner Paralleltätigkeit nachgehen, und bei wieder anderen Personen kein Zusammenhang besteht. Der Zusammenhang zwischen Paralleltätigkeit und narrativer Transportation kann von Person zu Person variieren. Die Mehrebenenanalyse kann dies durch Varianzkomponenten abbilden (siehe hierzu Neubauer & Schmiedek, 2020). Wir können also zulassen, dass die unabhängige Variable auf der Situationsebene bei verschiedenen Personen einen unterschiedlichen Einfluss auf die abhängige Variable hat. Die Slopes, also die Steigerung der Geraden, können sich unter diesen Bedingungen auch unterscheiden (Random-Intercept- & Random-Slope-Modell, siehe Abbildung 9.3 rechts).

WichtigMerke

Wir können in Mehrebenenmodellen fixe Effekte und Varianzkomponenten schätzen. Fixe Effekte modellieren, dass die unabhängige Variable die abhängige Variable über alle Personen hinweg gleich beeinflusst. Varianzkomponenten modellieren, dass die unabhängige Variable einen personenspezifisch unterschiedlichen Einfluss auf die abhängige Variable ausübt.

Doch was bedeutet es nun, wenn sich der Zusammenhang zwischen zwei Variablen zwischen Personen unterscheidet, die Geradensteigungen also variieren? Hilfreich kann es sein, die Form der variierenden Slopes zu explorieren, indem wir z. B. den Anteil der Slopes über 0 (also mit positiver Steigung) und unter 0 (also mit negativer Steigung) oder das Intervall analysieren, in dem 90 oder 95 % der Slopes liegen (für ein Beispiel siehe Schnauber, 2017). Die Befunde vermitteln einen Eindruck davon, ob vor allem die Stärke des Zusammenhangs variiert, wenn z. B. die meisten Slopes positiv sind. Es können auch entgegengesetzte Zusammenhänge vorliegen, wenn es sowohl positive als auch negative Slopes gibt.

In Abschnitt D.3.2.4.2 zeigen wir entsprechende Auswertungen anhand unserer Beispielstudie.

Wie in Abschnitt 9.5.2.3 eingeführt, ist es sinnvoll, die unabhängigen Variablen auf der Situationsebene zu zentrieren. Die abhängige Variable wird dagegen nicht zentriert. Während die Zentrierung am Gesamtmittelwert die Interpretation der Zusammenhänge nicht verändert, ist dies für die Zentrierung am Personenmittelwert (also der Abweichung jedes Messzeitpunkts einer Person von ihrem individuellen Durchschnittswert über alle Situationen hinweg) der Fall. Denn diese Form der Zentrierung separiert die Between-Person-Varianz und enthält allein die Within-Person-Varianz. Sie bereinigt die Variable darum, dass es Personen gibt, die z. B. generell aufmerksamer sind als andere, und fokussiert allein auf die Frage, ob eine Person gerade aufmerksamer oder unaufmerksamer ist als sonst. Sie repräsentiert also allein Veränderungen innerhalb des Individuums, indem alle Unterschiede zwischen den Personen herausgerechnet werden. Es hängt auch von der Forschungsfrage ab, welche der beiden Zentrierungsformen hilfreich ist (Enders & Tofighi, 2007; Viechtbauer, 2022a, 2022b). Die Zentrierung am Personenmittelwert ist sinnvoller, wenn intraindividuelle Zusammenhänge von Interesse sind. Die Interpretation lautet in diesem Fall: Wenn eine Person aktuell aufmerksamer ist als sonst (als ihr eigener Durchschnitt), dann erlebt sie ein höheres Maß an narrativer Transportation.

Möglich ist auch, dass wir uns für beides gleichzeitig interessieren: Wir können z. B auswerten, ob zum einen ein intraindividueller Zusammenhang zwischen der Podcastnutzungsdauer und der narrativen Transportation besteht und ob sich zum anderen Personen, die generell unterschiedlich lange Podcasts hören, in ihrer narrativen Transportation unterscheiden. Diese Befunde lassen sich mit der Mehrebenenanalyse ebenfalls abbilden, indem wir den Personenmittelwert selbst als eigene Variable zusätzlich zur am Personenmittelwert zentrierten Variable in die Auswertung einführen. Der Koeffizient der zentrierten Variablen zeigt den intraindividuellen Zusammenang an: Wenn eine Person aktuell länger Podcast hört als im eigenen Durchschnitt, dann ist sie in dieser Situation stärker narrativ transportiert. Den interindividuellen Zusammenhang erhalten wir hingegen durch den Koeffizienten des Personenmittelwerts: Personen, die generell länger Podcast hören als andere, sind in dieser Situation stärker narrativ transportiert. Solche Within-Between-Modelle sind wirkmächtige Auswertungsmöglichkeiten von In-situ-Daten. Sie erlauben die klare Trennung und gleichzeitige Betrachtung von Between‑ und Within-Person-Zusammenhängen.

In Abschnitt D.3.2.4.3 zeigen wir eine entsprechende Auswertung anhand unserer Beispielstudie.

Neben den im Mittelpunkt des Forschungsinteresses stehenden Zusammenhängen beziehen wir häufig auch Kontrollvariablen in unsere Modelle ein. Neben inhaltlich-theoretischen Kontrollvariablen kann es sinnvoll sein, auch methodische Kontrollvariablen wie z. B. den Studientag, die Tageszeit oder die Response Latency einzubeziehen (z. B. Naab et al. (2019), siehe Studiensteckbrief). Welche Kontrollvariablen wir einbeziehen, sollte theoretisch oder methodisch begründet und idealerweise im Vorfeld festgelegt sein, weil das Einbeziehen von Kontrollvariablen die Ergebnisse verändern kann.

Mehrebenenanalysen erlauben, Moderations‑ und Mediationsannahmen zu testen. Vorsicht ist jedoch im Hinblick auf Mediationsannahmen geboten, da diese an einige Voraussetzungen gebunden sind, u. a. an eine klare zeitliche Reihenfolge (unabhängige Variable – Mediator – abhängige Variable), die in In-situ-Studien nicht immer gegeben ist (für eine Diskussion über die Angemessenheit von Mediationsanalysen allgemein siehe z. B. Coenen, 2022; Kline, 2015; Pieters, 2017). Moderationsanalysen können sowohl innerhalb einer Ebene als auch zwischen den Ebenen durchgeführt werden (siehe auch Abschnitt 9.5.2.6). So könnten wir annehmen, dass die Nutzungsdauer nur die narrative Transportation beeinflusst, wenn die Person zu Hause ist, nicht aber, wenn sie unterwegs ist. Zur Prüfung dieser Annahme nehmen wir in unser Modell den Interaktionsterm zwischen Nutzungsdauer und Ort auf, indem wir die beiden Variablen multiplizieren.

9.5.2.6 Zusammenspiel von Personen‑ und Situationsmerkmalen

Schließlich können wir uns für das Zusammenspiel von Personen‑ und Situationsmerkmalen interessieren. Haben wir z. B. festgestellt, dass für verschiedene Personen die Ausübung von Paralleltätigkeiten unterschiedlich mit narrativer Transportation zusammenhängt (Random Slopes, siehe Abschnitt 9.5.2.5), können wir nach Personenmerkmalen suchen, die dies erklären. Es liegt z. B. die Annahme nahe, dass bei Personen mit einer höheren Transportabilität (Personenmerkmal) das Hören eines Podcasts ohne eine Paralleltätigkeit mit höherer narrativer Transportation zusammenhängt. Bei Personen mit einer niedrigeren Transportabilität könnte der Zusammenhang umgekehrt sein: Sie könnten stärker narrativ transportiert sein, wenn sie während der Podcastnutzung nebenher einer anderen Tätigkeit nachgehen. Technisch handelt es sich hierbei um Interaktionen zwischen Variablen in Form einer Moderation (siehe Exkurs in Abschnitt 9.5.2.5). Da wir uns hier für die Interaktion einer Variable auf Personen‑ mit einer auf Situationsebene interessieren, spricht man von einer Cross-Level-Interaktion. Da Cross-Level-Interaktionen für alle Personen gleichermaßen gelten, handelt es sich hierbei wieder um fixe Effekte. In Abschnitt D.3.2.4.5 zeigen wir eine entsprechende Auswertung anhand unserer Beispielstudie.

9.5.2.7 Zeitliche Dynamiken, zeitversetzte Zusammenhänge und Autokorrelationen

In diesem Kapitel befassen wir uns mit der Zeit als Variable im Mehrebenenmodell und mit zeitversetzten Zusammenhängen zwischen Variablen. Schließlich betrachten wir noch das Thema Autokorrelation, also die Frage, inwieweit die Ausprägung einer Variable durch ihre Ausprägung zu einem vorherigen Zeitpunkt (mit-)bestimmt wird.

In Abschnitt D.3.2.4.4 finden sich entsprechende Auswertungen anhand unserer Beispielstudie.

Zunächst ist die Frage von Interesse, wie zeitliche Veränderungen eines situativ variierenden Merkmals untersucht werden können. Da Zeit ebenfalls nichts anderes als ein situativ variierendes Merkmal ist, können wir eine Variable, die die Zeit misst (siehe Abschnitt 9.5.2.5), in ein Mehrebenenmodell einführen und z. B. das Zusammenspiel mit Personenvariablen testen. Es kann z. B. die Annahme zugrunde liegen, dass sich zeitliche Nutzungsmuster zwischen Berufstätigen und Nichtberufstätigen unterscheiden. Im Folgenden werden einige Beispiele vorgestellt, was solche Variablen beinhalten können.

Wir könnten annehmen, dass die Stimmung im Studienverlauf schlechter wird, weil die Teilnehmer:innen durch die Studie angestrengt sind. Dieser Befund würde sich in einem negativen Zusammenhang zwischen Stimmung und Studientag zeigen. Oder wir könnten prüfen, ob die Podcastnutzungsdauer am Wochenende länger ist als unter der Woche. Für diesen Zweck würden wir eine Zeitvariable konzipieren, die jedem Messzeitpunkt zuweist, ob er am Wochenende oder unter der Woche liegt.

Neben linearen Zusammenhängen ist denkbar, dass andere zeitliche Muster zu erwarten sind. Wir könnten z. B. für die Nutzungsdauer im Tagesverlauf (unabhängig vom jeweiligen Wochentag) annehmen, dass sie nachts gering ist, in den Morgenstunden ansteigt und am Mittag am längsten ist, bevor sie wieder abfällt, also dem Verlauf einer umkehrten U-Form entspricht. Eine sinnvolle Zeitvariable könnte z. B. von 0 bis 23 (Stunden des Tages) verlaufen und mit einer polynomialen Transformation der Zeitvariable modelliert werden (z. B. Bortz & Schuster, 2010, S. 199–200; für eine Anwendung mit RTR-Daten, die in ihrer Struktur In-situ-Daten ähnlich sind, siehe Bachl, 2014).

WichtigMerke

Zeit kann als situativ variierende Variable in einem Mehrebenenmodell betrachtet werden.

Kommen wir nun zu zeitversetzten Zusammenhängen zwischen Variablen: Der Zusammenhang zwischen zwei Situationsvariablen, die zum selben Messzeitpunkt erhoben wurden, sagt statistisch nichts über die Kausalität des Zusammenhangs aus. Für Aussagen über die Wirkrichtung (zur Kausalitätsthematik allgemein siehe aber z. B. Rohrer & Murayama, 2023) müssen wir Ursache und Wirkung in eine zeitliche Reihenfolge bringen, die das Ergebnis theoretischer Überlegungen ist. Als Beispiel sei der Zusammenhang zwischen Stimmung und Nutzungsdauer genannt. Für die Untersuchung stimmungsabhängiger Medienauswahlprozesse können wir z. B. die Frage prüfen, ob Personen, die zu einem bestimmten Zeitpunkt schlecht gelaunt waren, zu einem späteren Zeitpunkt länger Podcasts hören. Dieses Verhalten könnte ein Zeichen für Mood-Management sein. Bei einer Untersuchung über die Wirkung von Podcasts auf die Stimmung stellt sich die Frage, ob sich die Stimmung zum nächsten Zeitpunkt nach der Podcastnutzung verändert hat.

Die Auswertung folgt dem in Abschnitt 9.5.2.5 beschriebenen Schema. Der Unterschied liegt in der Datenaufbereitung, in der wir die zeitversetzten Variablen anspielen – wie z. B. den Stimmungswert vom vorherigen Messzeitpunkt. Der Messzeitpunkt muss im Datensatz in derselben Zeile stehen wie die Werte des folgenden Messzeitpunkts. Dabei stellen sich einige Fragen:

  • Wie lange dauern die Intervalle zwischen den Protokollen? Der Abstand zwischen den beiden Messzeitpunkten sollte nicht zu lang sein, wenn wir von einem Zusammenhang zwischen Stimmung und Podcastnutzungsdauer im Sinne des Mood-Managements ausgehen. Die schlechte Laune am Morgen erklärt vermutlich nicht die Podcastnutzung am Nachmittag. Bereits während der Planung der Studie sollte bedacht werden, welcher (maximale) zeitliche Abstand zwischen den Protokollen angemessen und sinnvoll ist (siehe Abschnitt 6.1).

  • Umgekehrt sind auch Fragestellungen möglich, die einen eher größeren Abstand vorsehen. Dann ist zu überlegen, ob wir z. B. nicht den Wert des vorherigen Protokolls anspielen, sondern eines noch früheren.

  • Was ist, wenn der Wert, den wir anspielen wollen, fehlt? Es wird in etlichen Fällen fehlende Werte geben, weil nicht alle Teilnehmer:innen die Protokolle lückenlos beantworten (siehe Abschnitt 6.3.2.2). Für diese Fälle sollte gut begründet werden, ob ein anderer Wert angespielt werden kann (z. B. vom vorherigen oder folgenden Protokoll) oder ob eine Imputation sinnvoll ist (siehe Abschnitt 9.2.2.2). Alternativ fehlt dieser Fall für die Analyse.

  • Ist es plausibel, dass sich über Nacht Effekte zeigen, indem z. B. die Stimmung am Vorabend die Podcastnutzung am nächsten Tag erklärt? In Studien zu Mood-Management und auch in vielen anderen Fällen ist diese Plausibilität vermutlich nicht gegeben. Es ist daher sinnvoll, für zeitversetzte Zusammenhänge den ersten Messzeitpunkt des Tages auszuschließen.

In allen Fällen geht es um Fragen des theoretisch plausiblen und empirisch erfassbaren oder erfassten Zeitabstands, der eine Wirkungsannahme plausibel macht (siehe hierzu Fritz et al., 2024; Neubauer & Schmiedek, 2020; Viechtbauer, 2022a). Wir müssen also theoretische Argumente abwägen sowie konzeptuelle und methodische Entscheidungen idealerweise im Rahmen einer Präregistrierung festhalten (siehe Abschnitt 10.2).

WichtigMerke

Bei einer Modellierung zeitversetzter Zusammenhänge zwischen Variablen müssen wir bei der Planung der Studie sowie der Datenaufbereitung auf theoretisch plausible Zeitabstände zwischen den Messzeitpunkten achten.

Neben zeitversetzten Zusammenhängen zwischen verschiedenen Variablen kann es sinnvoll sein, den Zusammenhang einer Variable mit sich selbst einzubeziehen. Es ist jedoch statistisch problematisch, diese Autokorrelation, d. h. die Korrelation einer Variable mit sich selbst zu einem anderen Zeitpunkt, in Mehrebenenmodelle zu integrieren (siehe hierzu z. B. Allison, 2015). In diesem Fall sind andere Formen der Modellierung sinnvoll (siehe Exkurs in Abschnitt 9.5.3).

9.5.3 Klassen-/Typenbildung von Situationen und Personen

Bisher standen vor allem Auswertungsverfahren im Mittelpunkt, die einer Regressionslogik folgen, also auf die Aufdeckung von Zusammenhängen zwischen einzelnen Variablen ausgelegt sind. Die Klassen-/Typenbildung auf Basis von In-situ-Daten gehören statistisch zu den fortgeschrittenen Auswertungsverfahren. Bei Fragestellungen, die darauf abzielen, Situationen sinnvoll zusammenzufassen, kann es hilfreich sein, sich mit der Multilevel Latent Class Analysis (MLCA) zu befassen. Die MLCA basiert ebenfalls auf der Logik von Mehrebenenanalysen. Allerdings sind die abhängigen Variablen latent, d. h., sie werden nicht gemessen, sondern aus den vorhandenen Daten geschätzt. Sie geben die Anzahl und Zugehörigkeit zu verschiedenen Klassen an. Die MLCA ermöglicht es, gleichzeitig Situationen und Personen einzuteilen bzw. bei der Identifikation der Situationsklassen die Mehrebenenstruktur der Daten zu berücksichtigen. Es wird davon ausgegangen, dass Situationen auf der Situationsebene zu Klassen zusammengefasst werden können und es auf der Personenebene Personenklassen gibt, die sich in der Verteilung der Situationsklassen unterscheiden (Lukočienė et al., 2010). Hilfreiche Einstiege in die MLCA bieten z. B. Lukočienė et al. (2010), Vermunt (2008) sowie Vermunt & Magidson (2004). Lyrvall et al. (o. J.) stellen das R-Paket multilevLCA vor, mit dem MLCAs in R durchgeführt werden können (siehe auch die Auswertung anhand unserer Beispielstudie im Anhang Kapitel D.3.3).

In Abschnitt D.3.3 zeigen wir eine MLCA anhand unserer Beispielstudie.

Karnowski et al. (2024) identifizieren etwa mithilfe einer MLCA mobile Nachrichtenrepertoires. Die Teilnehmer:innen berichteten über ihre mobile Nachrichtennutzung und gaben in den ESM-Protokollen an, über welchen Zugang (z. B. Nachrichtenapp, soziale Medien) und in welchem Modus (z. B. lesen, schauen, hören) sie Nachrichten konsumierten. Es zeigten sich fünf Situationsklassen: Direct App Access, Listening and Watching, Social Media/Textual, Social Media/Visual und Direct Website Access (siehe Studiensteckbrief). Ein weiteres Anwendungsbeispiel in der KMW findet sich bei Ernst & Schnauber-Stockmann (2026). Die Teilnehmer:innen berichteten in einer ereignisabhängigen ESM-Studie jeweils nach dem Schließen von Instagram oder TikTok, warum sie – mit Vorgabe verschiedener Schließgründe – die Nutzungsepisode beendet hatten. Die Autorinnen identifizierten fünf Situationstypen: Non-selfdetermined Disengagement, Self-determined Disengagement, Priority Shift Disengagement, Temporary Disengagement und „Mindless“ Disengagement (siehe Studiensteckbrief).

In-situ-Designs sind zwar keine neuen Erhebungsmethoden (siehe Abschnitt 1.2), ihre Anwendung nimmt aber seit einiger Zeit in der KMW und auch in anderen Fächern wie der Psychologie oder Medizin einen immer höheren Stellenwert ein. Immer mehr und teilweise auch immer komplexere Fragestellungen sollen mit In-situ-Daten beantwortet werden. Die Anforderungen an Validität und Reliabilität sowie deren Prüfbarkeit wachsen ebenfalls. Deshalb werden fortlaufend neue Auswertungsverfahren entwickelt bzw. für In-situ-Daten adaptiert. Im Folgenden soll ein kurzer Überblick – ohne Anspruch auf Vollständigkeit – über solche fortgeschrittenen Auswertungsverfahren gegeben werden. Ziel ist es, den Leser:innen weitere Anwendungsbeispiele und Ansatzpunkte für eine eigenständige Recherche zu liefern. Der Schwerpunkt liegt auf Verfahren, die Möglichkeiten zur dynamischen Modellierung geben, also berücksichtigen, dass die erhobenen In-situ-Daten in zeitlichem Bezug zueinander stehen und sich gegenseitig beeinflussen.

Ein auch in der KMW etwas häufiger eingesetztes Auswertungsverfahren ist das Dynamic Structural Equation Modelling (z. B. McNeish & Hamaker, 2020). Diese besondere Form von Strukturgleichungsmodellen berücksichtigt die Mehrebenenstruktur der Daten und ermöglicht somit die gleichzeitige Auswertung von Zusammenhängen auf Personen‑ und Situationsebene, kombiniert mit Zeitreihenmodellierung. Anwendungsbeispiele finden sich z.B. bei Aalbers et al. (2022) (siehe Studiensteckbrief), Verbeij et al. (2022) und Valkenburg et al. (2021) (siehe Studiensteckbrief).

Weiterentwicklungen wie Hierarchical Continuous Time Dynamic Structural Equation Models (z. B. Driver & Voelkle, 2018) sind für In-situ-Daten geeigneter, weil sie mit ungleichen Abständen zwischen den einzelnen Messzeitpunkten – wie bei In-situ-Studien üblich – besser umgehen können. Hier liegen erste Anwendungsbeispiele mit einem kommunikationswissenschaftlichen Bezug vor (Klingelhoefer et al., 2026; Marciano et al., 2022). Weiterhin gibt es über die in diesem Buch vorgestellten Möglichkeiten der Untersuchung von zeitlichen Zusammenhängen hinausgehende komplexere Modellierungsverfahren, die ebenfalls die Möglichkeit bieten, die Mehrebenenstruktur der Daten zu berücksichtigen. Beispiele sind latente Wachstumskurvenmodelle (Muthén, 2002), vektorautoregressive Modelle (Lafit, 2022; Schuurman & Hamaker, 2019; Tuerlinckx et al., 2026) oder latente Markov-Modelle (Bartolucci et al., 2012; Vermunt et al., 1999).