7 Konstruktion der Erhebungsinstrumente
Im Hinblick auf die Konstruktion der Erhebungsinstrumente geht es darum, Validität und Reliabilität bei der Messung der Konstrukte sicherzustellen. Wir gehen zweistufig vor und beschreiben zunächst in Abschnitt 7.1, wie wir idealerweise vorgehen sollten, um maximale Validität und Reliabilität sicherzustellen. Anschließend geht es in Abschnitt 7.2 um mögliche Herausforderungen bei der konkreten Umsetzung.
7.1 Grundlagen der Fragebogenkonstruktion
Eine durchdachte Fragebogenkonstruktion ist zentral, um die Validität und Reliabilität des Instruments sicherzustellen. Dazu gehört sowohl die Formulierung der Fragen als auch deren Anordnung im Fragebogen (die sog. Dramaturgie, Möhring & Schlütz, 2025). Der strategische Aufbau ist wichtig, um die Teilnahmebereitschaft über einen gelingenden Einstieg sicherzustellen, die Motivation mit einem geeigneten Spannungsbogen zu erhalten und unerwünschte Wechselwirkungen zwischen den Fragen wie z. B. Kontexteffekte zu vermeiden. Die Konstruktion von Fragebögen für die Personenebene (also für die Vorab- und Nachbefragung, siehe Abschnitt 5.1) unterscheidet sich nicht von herkömmlichen Querschnittsbefragungen. Wir gehen daher nur kurz auf relevante Punkte ein, bevor wir uns mit In-situ-Protokollen und ihren Besonderheiten ausführlicher befassen. Es sei im Wesentlichen auf einschlägige Publikationen zur Befragung verwiesen, die in Buchform (z. B. Faulbaum, 2019; Möhring & Schlütz, 2025; Porst, 2014; Scholl, 2018) und als Aufsätze mit unterschiedlichen Foki vorliegen (etwa Möhring & Schlütz, 2013a; Möhring & Schlütz, 2013b; Taddicken, 2013; Wagner-Schelewsky & Hering, 2019; Weiß et al., 2019).
Eine ESM-Studie kombiniert häufig herkömmliche Querschnittsbefragungen mit wiederholten situativen Erhebungen (siehe Abschnitt 5.1). In der querschnittlich angelegten Vorabbefragung werden Informationen auf der Personenebene gesammelt, also etwa allgemeine, d. h. situationsübergreifende Nutzungsgewohnheiten, Einstellungen, Persönlichkeitsmerkmale oder soziodemografische Merkmale. Diese Daten werden für die Beschreibung der Stichprobe genutzt, können aber auch als unabhängige Variablen oder Kontrollvariablen in die Analyse eingehen (siehe Kapitel 9). Den Abschluss einer In-situ-Studie bildet häufig eine Nachbefragung, die zur Erhebung von Personenvariablen, zum Debriefing oder für die Ermittlung methodischer Aspekte genutzt werden kann. Für die Podcastingstudie gab es zum Beispiel drei Erhebungsinstrumente (abrufbar im Studiensteckbrief): Im Rahmen der Vorabbefragung wurden Nutzungsgewohnheiten, -motive und -vorlieben sowie Bewertungen von True-Crime-Podcasts auf der Personenebene erhoben. Zusätzlich wurden Informationen über übliche Hörsituationen wie Kontextvariablen und Transportationserleben im Allgemeinen für den Vergleich mit den situativen Daten erfasst. In den ESM-Protokollen wurden das situative Nutzungserleben – inklusive Transportation als State-Variable – und der Hörkontext erhoben. In der Nachbefragung wurden methodische Merkmale (vor allem in Bezug auf die Reaktivität) erfragt und Transportabilität als Trait-Variable gemessen.
7.1.1 Allgemeine Prinzipien der Operationalisierung
Wenn wir einen Fragebogen oder ein Protokoll konstruieren, ist es hilfreich, uns zu vergegenwärtigen, dass nicht einfach Merkmale abgerufen werden, sondern die befragte Person auf Basis der situativ verfügbaren Informationen zielorientiert handelt. Die Person durchläuft einen kognitiven Prozess, der aus mehreren Schritten besteht (Schwarz & Oyserman, 2001): Zunächst muss die Frage nachvollzogen und ihre Bedeutung entschlüsselt werden. Wenn wir also fragen „Wie häufig hören Sie Podcasts im Allgemeinen?“, überlegt die befragte Person zunächst, was unter den Begriff Podcast fällt (Geht es z. B. auch um Hörbücher, wenn sie auf einer Podcastingplattform erscheinen?) und wie „im Allgemeinen“ auszulegen ist. Im zweiten Schritt muss sie verfügbare relevante Wissensbestände zum nachgefragten Objekt abrufen, sich also an konkrete Ereignisse erinnern. Auf dieser Basis werden im dritten Schritt Inferenzschlüsse und Schätzungen vorgenommen, weil die erfragte Häufigkeit, Dauer oder Intensität des Fragegegenstands häufig nicht ohne Weiteres abrufbar ist oder keine exakte Quantifizierung vorgenommen werden kann. Für eine standardisierte Befragung muss diese innere Antwort viertens auf ein vorgegebenes Antwortformat (z. B. eine Skala oder Antwortitems) zugeschnitten werden. Zum Beispiel können wir abgestufte Antwortmöglichkeiten vorgeben, etwa „unter einer Stunde/Woche“, „1 bis unter 2 Std./Woche“, „2 bis unter 3 Std./Woche“, „3 bis unter 5 Std./Woche“ und „5 Std./Woche und mehr“ sowie „Ich weiß es nicht“. Die Antwort muss dann in die jeweilige Kategorie eingepasst werden. Schließlich können fünftens weitere Anpassungen notwendig sein, etwa um sich mit der eigenen Antwort einem vermeintlich sozial erwünschten Antwortverhalten anzunähern (Krumpal, 2013).
Entscheidend für die Formulierung geeigneter Testfragen und den dazugehörigen Antwortvorgaben ist, den Bezugsrahmen der Forschenden – d. h. die relevanten Dimensionen der Forschungsfrage – in Indikatoren zu überführen, so dass Befragte den o. g. kognitiven Antwortprozess möglichst störungsfrei durchlaufen können. Zu diesem Zweck müssen die als Konstruktindikatoren dienenden Testfragen zunächst systematisch aus den Dimensionen der Forschungsfrage hergeleitet werden, um die Konstruktvalidität sicherzustellen. Mit Blick auf die Standardisierung ist es wichtig, dass der Bezugsrahmen jeder Frage eindeutig ist, d. h., dass die Befragten die Fragen gleich im Sinne des dahinterstehenden Konstrukts verstehen. Nur dann können die Daten der individuellen Befragten sinnvoll zusammengefasst und verallgemeinert werden. Konkret sind bei der Formulierung der Testfragen neben der Berücksichtigung der Befragungssituation und dem Vorwissen der Befragten drei grundlegende Aspekte zu beachten: Verständlichkeit, Auskunftsfähigkeit und Auskunftswilligkeit.
Neben den Fragen müssen auch die Antwortvorgaben bestimmten Kriterien genügen, weil auch sie den kognitiven Antwortprozess beeinflussen. Empirische Erkenntnisse lassen darauf schließen, dass Befragte aus den Vorgaben auf die Bedeutung der Frage schließen und sie als Informationsquelle für ein übliches Verhalten nutzen, an dem sie ihr Verhalten messen (Möhring & Schlütz, 2025). Daher ist es entscheidend, dass die Antwortalternativen das mögliche Spektrum abdecken, den Bezugsrahmen verdeutlichen, trennscharf und eindeutig sind und nicht zuletzt auf die Formulierung der Frage abgestimmt werden. Es ist jedoch zu beachten, dass unterschiedliche Arten von Fragen bzw. Skalen sich sowohl auf die Datengüte als auch auf die Benutzungsfreundlichkeit auswirken können (vgl. z. B. Couper et al., 2006 zum Unterschied von Slidern und Radio-Buttons). Inhaltlich ist es wichtig, die Formulierungen nicht zu extrem zu wählen bzw. eine entsprechende Bandbreite an Antwortvorgaben vorzusehen, damit ausreichend Raum für Variabilität bleibt und Boden- bzw. Deckeneffekte vermieden werden (Eisele, Vachon, et al., 2022). Mit einem Pretest sollte geprüft werden, ob diese Anforderungen erfüllt sind (siehe Abschnitt 8.1).
Ziel der Operationalisierung ist es, eine Forschungsfrage anhand einzelner Testfragen valide und reliabel umzusetzen. Dazu muss der kognitive Antwortprozess – Verstehen, Erinnern/Urteilen, Schätzen und Anpassen – optimal unterstützt werden, damit die befragte Person ihn möglichst störungsfrei durchlaufen kann.
Im Rahmen standardisierter Befragungen finden verschiedene Fragetypen Anwendung. Offene Fragen ohne vorgegebene Antwortoptionen sind möglich, sollten aber sparsam eingesetzt werden, weil sie sowohl für die Befragten in der Beantwortung als auch für die Forschenden in der Auswertung vergleichsweise aufwändig sind. In erster Linie werden daher geschlossene Fragen verwendet, denn sie sind valider und reliabler und lassen Vergleiche zwischen Befragten zu. Geschlossene Fragen lassen sich anhand ihres Datenniveaus klassifizieren in Auswahlfragen auf Nominalniveau, Rangordnungsfragen auf Ordinalniveau und Fragen der Intensitätsmessung/Skalen auf (quasi-)metrischem Niveau. Alle Datenniveaus finden eine Verwendung in In-situ-Studien. Es empfiehlt sich, bereits bei der Erstellung des Erhebungsinstruments zu überlegen, welche Analyseverfahren zur Beantwortung der Forschungsfragen herangezogen werden, um das erforderliche Datenniveau der einzelnen Testfragen sicherzustellen.
Häufig werden Skalen eingesetzt, mit deren Hilfe latente Konstrukte wie etwa Transportation und Transportabilität in unserer Beispielstudie messbar gemacht werden (Appel et al., 2015; Dal Cin et al., 2004). Im Allgemeinen bestehen Skalen aus einer Reihe von Items, die im Fragebogen in einer sog. Itembatterie präsentiert und bei der Datenanalyse zu einem Index verrechnet werden. Auf diese Weise lassen sich komplexe Konstrukte oder Phänomene i. d. R. valider abbilden als mit Einzelitems. Bei Skalen kann jedes Item einer Batterie als Messwiederholung verstanden werden, die in ihrer Summe zu einer zuverlässigeren Messung eines Konstrukts führt (Hartmann & Reinecke, 2013). Auf diese Weise wird das Konstrukt erschöpfender repräsentiert und die Abbildungstreue steigt. Konstruktion und Validierung solcher Skalen sind allerdings sehr aufwändig. Es empfiehlt sich daher, nach Möglichkeit auf bestehende Skalen zurückzugreifen.
Die einzelnen Items einer Skala werden mithilfe einer Messskala mit verbalisierten Ankerpunkten (z. B. von 1 „stimme überhaupt nicht zu“ bis 5 „stimme voll und ganz zu“) von den Befragten bewertet. Mit Blick auf eine optimale Messgüte sollte die Anzahl der Skalenpunkte zwischen 4 und 7 liegen (Lozano et al., 2008). Die Einstufung anhand solcher Skalen ist absolut, die resultierenden Daten können daher als quasimetrisch betrachtet und in der Analyse entsprechend verwendet werden, obschon sie streng genommen lediglich ordinales Datenniveau aufweisen (vgl. aber Larroulet Philippi, 2021).
7.1.2 Spezifika des In-situ-Protokolls
Für die Erfassung der Situationsmerkmale in In-situ-Studien wird ein Kurzfragebogen verwendet, der in frühen Experience-Sampling-Studien als Experience Sampling Formular (ESF) bezeichnet wurde (Kubey & Csikszentmihalyi, 1990). Wir nutzen den Begriff Protokoll.
Wir bezeichnen den in In-situ-Studien verwendeten Kurzfragebogen als Protokoll. Im Protokoll werden die für das Forschungsprojekt relevanten situativen Aspekte erfasst.
Je nach Forschungsinteresse werden auf der Situationsebene beispielweise folgende Dimensionen erhoben (Hektner et al., 2007; für ein Beispiel siehe Hektner et al., 2007, S. 294–297):
räumlicher und sozialer Kontext (Wo? Mit wem?),
Aktivitäten (Was? Z. B. Mediennutzung),
innere Verfasstheit (Gedanken, Emotionen, Motive etc.) sowie
weitere individuelle, situativ variable Merkmale
In den Protokollen sind sowohl offene als auch geschlossene Fragen unterschiedlicher Standardisierungsgrade und Datenniveaus möglich. Aus Reliabilitätsgesichtspunkten und um die Befragten nicht zu sehr zu belasten, sind standardisierte, geschlossene Abfrageformen im Allgemeinen sinnvoller. Neben diesen Selbstauskünften können automatisiert weitere Paradaten erfasst werden, wie z. B. der Zeitpunkt des Ausfüllens, um die Response Latency, also die Zeit zwischen Signal und Ausfüllen zu berechnen (siehe Abschnitt 9.2.1). Für die Formulierung von Fragen und Antwortvorgaben im Protokoll müssen die in Abschnitt 7.1.1 vorgestellten Prinzipien der Operationalisierung beachtet werden. Zentral ist vor allem die präzise und knappe Formulierung der Fragen und Antwortvorgaben, damit sie schnell erfasst und auch auf dem Smartphone ohne Probleme bearbeitet werden können (für Beispiele siehe Berkel et al., 2017; siehe auch Eisele et al., 2025).
Je nach In-situ-Design bzw. Samplingstrategie (siehe Kapitel 2 und Abschnitt 6.3) ergeben sich unterschiedliche zeitliche Bezüge für die im Protokoll erfassten Merkmale, die gleichzeitig die Untersuchungseinheiten bilden. Wir haben in Abschnitt 6.3.1.1 Momente, Episoden und Segmente differenziert, die jeweils unterschiedliche zeitliche Bezüge variierender Dauer definieren. Es kann z. B. um die momentane Verfasstheit, eine spezifische Mediennutzung in der letzten Stunde bzw. im Verlauf des vergangenen Tages oder die Beschreibung eines längeren Zeitabschnitts gehen. Dieser zeitliche Bezug wird im Rahmen des kognitiven Antwortprozesses berücksichtigt: Je größer der Zeitrahmen ist, umso intensiver muss das Erlebte sein, um als relevant eingestuft und berichtet zu werden (Schwarz, 2007). Fragen wir also z. B. nach Stress in diesem Moment, in der letzten halben Stunde oder am gesamten heutigen Tag, wird die Antwort jeweils anders ausfallen. Echte ESM-Studien („Wie gestresst fühlen Sie sich jetzt?“) sind am besten geeignet, auch geringere Intensitäten zu erfassen. Wichtig für die Formulierung der Protokollfragen ist, dass der Zeitrahmen explizit in der Frage genannt wird (z. B. „jetzt“, „momentan“, „in der letzten halben Stunde“, „seit dem letzten Protokoll“ etc., siehe auch Eisele et al., 2025).
Neben Aspekten der Fragenformulierung spielt für die Konstruktion der Protokolle deren Länge eine entscheidende Rolle. In der Literatur werden zwar sehr unterschiedliche Umfänge von bis zu 100 Items genannt (Eisele, Vachon, et al., 2022), es ist aber plausibel, dass sich eine übermäßige Länge tendenziell negativ auf diverse Qualitätsindikatoren von In-situ-Studien auswirkt (Morren et al., 2009, siehe Abschnitt 6.3.2.2). Weiterhin kann sich eine übermäßige Ausfülldauer auf die Sorgfalt auswirken, mit der die Teilnehmer:innen das Protokoll ausfüllen (siehe Abschnitt 7.2.2). Die Protokolllänge ist somit ein entscheidender Parameter für die Studienqualität von In-situ-Studien.
Wir müssen nicht nur entscheiden, welche Konstrukte in den Protokollen enthalten sein müssen, sondern auch, wie diese konkret gemessen werden sollen. Die in Abschnitt 7.1.1 beschriebene Verwendung von Skalen mit umfangreichen Itembatterien widerspricht dem Ziel, das Protokoll möglichst kurz zu halten. So lässt sich beispielsweise das Spannungserleben postrezeptiv mit zwölf Items valide messen (Wünsch et al., 2023). Für eine Messung der Spannung während der Nutzung ist eine kürzere Skala sinnvoller, um die Unterbrechung der Mediennutzung kurz und die Belastung der Teilnehmer:innen gering zu halten und so Fehler durch Abbrüche oder Auslassungen zu reduzieren. Eine reduzierte Anzahl von Items bildet ein Phänomen allerdings häufig weniger gut ab. Trotzdem ist es für In-situ-Protokolle i. d. R. unerlässlich, auf gekürzte Skalen, oft auch auf Single-Item-Messungen zurückzugreifen, um das Protokoll kurz zu halten. Es gibt allerdings nur wenige validierte Instrumente speziell für In-situ-Studien. Ausnahmen bilden das Experience Sampling Method Item Repository (Kirtley et al., 2021), das online verfügbar ist sowie die Sammlung von Wolfers & Baumgartner (2025), die für zentrale kommunikationswissenschaftliche Konstrukte Single-Item-Messungen validiert haben. Deshalb ist es häufig notwendig und sinnvoll, herkömmliche Kurzskalen zu nutzen (siehe z. B. das Open Access Repositorium für sozial- und verhaltenswissenschaftliche Messinstrumente ZIS von GESIS, das hier abrufbar ist) oder selbst bestehende Skalen zu kürzen.
Fällt die Entscheidung auf Kurzskalen, dann empfehlen Shrout und Lane (2012), Skalen aus nicht weniger als drei Items zu konstruieren, um die Validität und Reliabilität sicherzustellen. Sehr häufig werden wir in In-situ-Protokollen allerdings auf Single-Item-Messungen zurückgreifen (müssen), die in der Kritik stehen, weil ihre Validität und Reliabilität als geringer gilt im Vergleich zu Skalen mit mehreren Items (siehe Abschnitt 9.2.2.1.2, Diamantopoulos et al., 2012; Stone et al., 2023; siehe aber Song et al., 2023 für gegenteilige Ergebnisse). Die Festlegung auf Einzelitems erfordert deshalb eine besondere Sorgfalt vonseiten der Forschenden und ist eine zentrale Herausforderung für die Konstruktion von In-situ-Protokollen.
Mangelnde Sorgfalt beim Ausfüllen kann die Datenqualität von In-situ-Studien beeinträchtigen: Mit steigender empfundener Belastung, etwa aufgrund langer Protokolle, nimmt die Sorgfalt der Teilnehmer:innen ab. Diese Problem muss gegen die nötige Detailliertheit der Erhebung abgewogen werden. Dafür ist meist der Einsatz von Kurzskalen und Single-Item-Messungen notwendig, um Protokolle in der Länge zu beschränken.
Empfehlenswert sind die Beiträge von Eisele et al. (2025), die das Evaluationsinstrument ESM-Q vorstellen, und von Wolfers & Baumgartner (2025), die Single-Item-Messungen für zentrale kommunikationswissenschaftliche Konstrukte validieren. Beide geben konkrete Handlungsempfehlungen für die Konstruktion und Auswahl von Single-Item-Messungen für In-situ-Studien (siehe auch Tuerlinckx et al., 2026). Wir fassen im Folgenden die Kernaspekte zusammen.
Orientierung an bereits bestehenden Messinstrumenten: Es bietet sich an, bereits vorhandene validierte Langskalen als Grundlage zu nehmen. Es sollte ein Item ausgewählt werden, das hinreichend stark mit der Gesamtskala korreliert. Allerdings ist zu beachten, dass die meisten Langskalen und damit auch die darin enthaltenen Items für die Messung auf der Personenebene entwickelt wurden. Anhand der folgenden Schritte sollte kritisch geprüft werden, ob sie sich auch für den Einsatz in In-situ-Protokollen eignen. Unter Umständen sind Adaptionen der Items notwendig.
Definitionsgeleitete Auswahl des Items: Das Item soll bestmöglich zur Definition des theoretischen Konstrukts passen, also dessen Kern messen. Die Auswahl kann – wenn die Ressourcen vorhanden sind – im Rahmen einer eigenen Vorstudie stattfinden. In diesem Fall können wir Teilnehmer:innen z. B. bestehende Langskalen sowie die Konstruktdefinition vorlegen und sie bitten, die Passung der Items zur Definition zu beurteilen (Colquitt et al., 2019; Matthews et al., 2022; Wolfers & Baumgartner, 2025). Forschende können die Beurteilung aber auch selbst durchführen. Es empfiehlt sich, dass mehrere Forschende zunächst getrennt auswählen und dann über eventuelle Abweichungen diskutieren.
Eignung zur Messung von intraindividuellen Schwankungen: Wir müssen sorgfältig abwägen, ob das zugrunde liegende Konstrukt situativ schwankt. Auf Basis theoretischer Überlegungen ist der empirische Test auf die situative Variation empfehlenswert, um die situative Sensitivität des Items sicherzustellen. Wir können diesen Test im Rahmen eines Pretests des In-situ-Designs (siehe Abschnitt 8.1) oder im Vorfeld im Rahmen einer Vignettenstudie durchführen. Wolfers & Baumgartner (2025) präsentieren ihren Teilnehmer:innen z. B. verschiedene Vignetten, in denen sie zentrale Situationsmerkmale (z. B. das Stresslevel) manipulieren und testen, ob die Items annahmenkonform beantwortet werden (z. B. höherer Stress in der stressigsten Situation).
Kürze, Verständlichkeit und klarer zeitlicher Bezug: Aufgrund der begrenzten Länge des Protokolls und des mehrmaligen (täglichen) Ausfüllens ist es im In-situ-Kontext entscheidend, auf Kürze, Verständlichkeit und Klarheit (z. B. keine doppelten Verneinungen) der Items zu achten. Am Beispiel von Emotionsmessungen zeigt sich z. B., dass es sinnvoller ist, nur Adjektive (z. B. „fröhlich“) anstelle von Aussagesätzen zu präsentieren (z. B. „Ich bin fröhlich“). Zudem muss – wie bereits in Abschnitt 7.1.2 erläutert – der zeitliche Bezug eindeutig sein. Soll das Item z. B. für „jetzt gerade“ oder die vergangene halbe Stunde beantwortet werden?
Zusammenhänge mit verwandten Konstrukten: Wie auch bei der Validierung von Langskalen müssen wir bei der Auswahl und Validierung von Single-Item-Messungen auf deren annahmekonformen Korrelationen mit verwandten Konstrukten achten. Eine Prüfung ist im Rahmen eines Pretests möglich, in dem idealerweise nicht nur das Single-Item, sondern – wenn vorhanden – die Langskala, aus der es entstammt, erhoben und mit anderen Konstrukten korreliert werden. In diesem Fall sollte das Single-Item nicht (deutlich) schlechter abschneiden als die Langskala (siehe zu empirischen Ergebnissen Song et al., 2023; Wolfers & Baumgartner, 2025).
Wenn keine bereits validierten Single-Item-Messungen vorliegen – was aktuell noch häufig der Fall ist –, testen und entwickeln Forschende ihre Messinstrumente idealerweise im Rahmen von Vorstudien (zum Einsatz qualitativer Verfahren für die Validitätssicherung im In-situ-Kontext siehe Schorrlepp et al., 2025). Ist diese Möglichkeit aufgrund von knappen Ressourcen nicht gegeben, sollte dennoch bei der Auswahl auf zentrale Aspekte wie die Passung zur Kerndefinition, die Orientierung an bereits etablierten Langskalen und die Itemformulierung (Kürze, Verständlichkeit, zeitlicher Bezug) geachtet werden.
Die Auswahl von Kurzskalen und Single-Item-Messungen bedarf großer Sorgfalt. Idealerweise testen und entwickeln Forschende ihre Messinstrumente im Rahmen von Vorstudien.
7.2 Herausforderungen für die praktische Umsetzung
Auch wenn wir unser Protokoll für die Erhebung der Situationsvariablen bestmöglich erstellt haben, kann es zu Einschränkungen der Datenqualität kommen (Bolger et al., 2003; Eisele, Kasanova, et al., 2022). Die Gründe hierfür teilen sich in zwei Gruppen: Reaktivität der Methode und mangelnde Sorgfalt vonseiten der Teilnehmer:innen. Es ist wichtig, die dahinter liegenden Mechanismen zu verstehen, um anhand von Designentscheidungen nach Möglichkeit gegensteuern zu können, das verbleibende Verzerrungspotenzial zu erkennen und daraus ggf. Entscheidungen für die Datenaufbereitung und ‑auswertung abzuleiten (siehe Kapitel 9).
7.2.1 Reaktivität
Reaktivität ist ein unerwünschter Effekt empirischer Forschung, der die Validität von Studien einschränkt. Es geht um das Phänomen, dass ein Messvorgang die soziale Realität beeinflusst, statt sie lediglich zu dokumentieren (Barta et al., 2012; König et al., 2022; Scholl, 2013). Damit kann die Erfassung des zu messenden Konstrukts beeinträchtigt oder sogar verfälscht werden. Reaktivität ist bei nahezu jedem Erhebungsverfahren gegeben, dessen sich die Teilnehmer:innen bewusst sind. Die Frage ist daher eher, wie ausgeprägt die Reaktivität bei In-situ-Studien im Vergleich zu anderen Verfahren ist.
Reaktivität (in In-situ-Studien) bedeutet, dass Befragte aufgrund ihrer Studienteilnahme ihr (Antwort-)Verhalten ändern.
Wenn eine Person etwa mit fortschreitender Feldzeit einer In-situ-Studie angibt, weniger Podcasts zu hören, könnte es sein, dass sie wirklich weniger hört, z. B. weil ihr durch die wiederkehrende Befragung klar wurde, wie viel Zeit sie dafür aufgewendet hat. Bei einem entsprechend veränderten Verhalten greifen Mechanismen wie Sensibilisierung für das Thema der Studie, Steigerung der Salienz und eine daran anschließende intensivere Selbstbeobachtung. Konkret werden sich Nutzer:innen des eigenen Verhaltens durch die wiederholte Abfrage bewusst und reagieren mit einer Anpassung, die ohne die Messung vermutlich nicht eingetreten wäre (Barta et al., 2012; Conner & Reid, 2012; Reynolds et al., 2016). Bei Interventionsstudien ist dieser Effekt sogar beabsichtigt, um diese stetige Selbstbeobachtung zu initiieren (vgl. etwa Korotitsch & Nelson-Gray, 1999; Kuppens & Myin-Germeys, 2022; May et al., 2018, siehe Abschnitt 5.3).
Es gibt empirische Hinweise, dass Reaktivität in In-situ-Studien zwar auftritt (im Überblick für gesundheitsbezogene Verhaltensweisen siehe König et al., 2022), aber eher schwach ausgeprägt ist und insbesondere sensible Themen und Verhaltensweisen (z. B. suchtartiges oder gesundheitsschädliches Verhalten), außergewöhnliche Lebenslagen (z. B. stressige Phasen) oder spezielle Zielgruppen (z. B. Menschen mit Depression) betrifft (Barta et al., 2012; Conner & Reid, 2012; McCarthy et al., 2015; Merrilees et al., 2008; Myin-Germeys & Kuppens, 2022; Reynolds et al., 2016). Zudem deuten einige Studien darauf hin, dass die Art der Stichprobenziehung auf der Situationsebene einen Einfluss ausübt: Reaktivität ist bei planbar auftretenden Protokollen (z. B. Intervalltagebüchern, siehe Kapitel 2) höher als bei zufälligen Samplingplänen (Barta et al., 2012; Myin-Germeys & Kuppens, 2022).
Neben diesem Effekt erhöhter Selbstwahrnehmung kann sich Reaktivität auch dahingehend äußern, dass sich das individuelle Antwortverhalten im Laufe der Studie verändert. Bestimmte Verhaltensweisen werden vielleicht noch ausgeführt, aber nicht mehr berichtet. Ein Grund hierfür ist sozial erwünschtes Antwortverhalten der Teilnehmer:innen, um ein positives Bild von sich selbst zu präsentieren (Bäckström & Björklund, 2021; Barta et al., 2012), indem vermeintlich negativ zu bewertende Angaben vermieden (underreporting) oder umgekehrt wünschenswerte Angaben stärker betont werden (overreporting). Ein weiterer Grund für die Anpassung des Antwortverhaltens basiert auf einem Lerneffekt: Teilnehmer:innen stellen im Laufe der Zeit vielleicht fest, dass das Ausfüllen der Protokolle deutlich länger dauert, wenn ein relevantes Verhalten aufgetreten ist. Sie merken, dass es sich lohnt, ausweichend zu antworten, um Folgefragen zu vermeiden und die Erhebung abzukürzen. Dieser Effekt lässt sich vermeiden, wenn alle Protokollversionen in etwa gleich lang sind. In diesem Fall besteht jedoch ggf. das Risiko, dass das Protokoll von den Teilnehmer:innen als unnötig lang wahrgenommen wird, weil sie kein interessierendes Ereignis berichten können.
Eine weitere Form von Reaktivität zeigt sich in sog. Skalenverankerungen bzw. Response Shifts (Barta et al., 2012; Csikszentmihalyi & Larson, 1987; Moskowitz et al., 2009; Schwartz et al., 2006; Stone et al., 2023). Dieses Phänomen bezieht sich vor allem auf Abfragen anhand von Antwortskalen (z. B. von 1 „trifft überhaupt nicht zu“ bis 5 „trifft voll und ganz zu“). Der Effekt zeigt sich in einer Kalibrierung des Antwortverhaltens: Nach einigen Antworten verändert sich die Bedeutung, die die Teilnehmer:innen den Skalenabstufungen zuschreiben. Eine Teilnehmerin schätzt z. B. die eigene Stimmung („Ich bin gut gelaunt“) in einem der ersten Protokolle als sehr gut ein und vergibt eine 5. Danach tritt aber eine Situation ein, in der sie noch besser gelaunt ist. Dadurch wird ihr bewusst, dass ihre Stimmung, die sie zuvor mit 5 bewertet hatte, eher eine 3 oder 4 war. Tritt zukünftig also eine der ersten Bewertung vergleichbare Situation ein, wird sie keine 5, sondern eine 3 oder 4 vergeben, was aus der rekalibrierten Sicht einer realistischeren Einschätzung entspricht (initial elevation bias, Shrout et al., 2018). Im besten Fall werden die Antworten über die Zeit genauer und verlässlicher (Csikszentmihalyi & Larson, 1987; Reynolds et al., 2016). Problematisch sind lediglich die ersten Messungen, bevor die Kalibrierung stattgefunden hat. Aus Studienplanungssicht kann sinnvoll sein, eine Trainingsphase zur Messkalibrierung einzuplanen, die anschließend nicht in die eigentliche Auswertung eingeht. Die Folge ist allerdings eine längere Feldzeit, was aus Belastungsgründen wiederum nur eingeschränkt zu empfehlen ist. Hier muss je nach Thema abgewogen werden, ob eine Trainingsphase notwendig und möglich ist. Eine intensive Schulung der Teilnehmer:innen im Vorfeld ist aber auf jeden Fall vorteilhaft (siehe Abschnitt 8.3).
7.2.2 Mangelnde Qualität einzelner Antworten
Aufgrund der hohen empfundenen Belastung durch In-situ-Studien kann es passieren, dass Teilnehmer:innen nicht in allen Situationen mit der gebotenen Sorgfalt antworten und einzelne Testfragen oder Items, die nicht als Pflichtfelder gekennzeichnet sind, im Protokoll auslassen. Dieses Thema ist unter dem Stichwort Item Nonresponse für Befragungsstudien allgemein umfassend erforscht (z. B. Roßmann, 2017; Yan & Curtin, 2010). Tendenziell entscheiden sich Teilnehmer:innen allerdings eher komplett gegen eine Teilnahme, brechen die Studie ganz ab oder füllen nicht alle Protokolle aus (Unit Nonresponse), als dass sie mangelnde Sorgfalt walten lassen (Fuller-Tyszkiewicz et al., 2013). Zur Korrektur von Item Nonresponse stehen – falls notwendig und gewünscht – statistische Methoden zur Imputation zur Verfügung (siehe Abschnitt 9.2.2.2). Es kann jedoch auch der Fall eintreten, dass die Teilnehmer:innen den in Abschnitt 7.1.1 beschrieben kognitiven Antwortprozess abkürzen, um möglichst zügig zu einer aus ihrer Sicht ausreichend passenden Antwort zu kommen. Diese Heuristik wird als ‘Satisficing’ bezeichnet (Krosnick, 1999; Roberts et al., 2019). Andere Befragte antworten schlicht nachlässig, etwa weil sie abgelenkt oder grundsätzlich unmotiviert sind (sog. Careless Responding, Barta et al., 2012; Jaso et al., 2022).
Die mangelhafte Qualität einzelner Antworten kann auf einer Heuristik beruhen, die den kognitiven Antwortprozess abkürzt (Satisficing), oder schlicht auf Nachlässigkeit und Desinteresse zurückzuführen sein (Careless Responding).
Prinzipiell wird Satisficing durch eine eingeschränkte oder im Verlauf der Feldphase nachlassende Motivation, mangelnde kognitive Fähigkeiten oder eine zu hohe Schwierigkeit der Aufgabe begünstigt (Roßmann, 2017; Sturgis & Brunton-Smith, 2023). Ebenso wie beim Careless Responding sind die Daten fehlerhaft und bestehende Zusammenhänge bleiben ggf. unerkannt. Es gibt im Kontext von Querschnittsbefragungen Empfehlungen für den Umgang mit diesen Phänomenen (siehe z. B. Meade & Craig, 2012; Roberts et al., 2019; Roßmann, 2017). In In-situ-Studien kann insbesondere Careless Responding verschiedene Formen annehmen (Berkel et al., 2019; Eisele, Kasanova, et al., 2022; Fuller-Tyszkiewicz et al., 2013; Reynolds et al., 2016). Zum einen kann es sich darin zeigen, dass eine Person zufällig antwortet oder immer die gleichen Antworten auswählt (zu ähnlichen Phänomenen wie response sets oder straightlining siehe Kim et al., 2019). Anders als bei Querschnittsbefragungen kann sich dieses Verhalten über die Feldzeit hinweg verändern. Am Anfang ist die Sorgfalt groß, aufgrund der Belastung sinkt jedoch im Laufe der Zeit die Kooperationsbereitschaft. Entsprechende Hinweise finden Berkel et al. (2019) für Feldzeiten von über zwei Wochen. Eisele, Kasanova, et al. (2022) konnten hingegen keine veränderte Kooperationsbereitschaft während der Feldzeit nachweisen.
Ein häufig verwendeter Indikator, um solches Antwortverhalten zu identifizieren, ist die Ausfülldauer. Ausgangspunkt ist die Annahme, dass eine kürzere Antwortzeit mit geringerer Datenqualität einhergeht, weil die Teilnehmer:innen nicht sorgfältig lesen bzw. antworten (Roßmann, 2017). Es ist umstritten, ob diese Annahme gleichermaßen für In-situ-Studien gilt. Die Protokolle sind ohnehin überwiegend sehr kurz, sodass nur eine geringe Varianz in der Ausfülldauer besteht und damit besonders kurze Antwortzeiten schwer zu identifizieren sind. Zudem gibt es im In-situ-Kontext Hinweise, dass lange Antwortzeiten bei bestimmten Fragetypen (speziell Erinnerungsaufgaben/Recall) zu einer geringeren Datenqualität führen, weil Befragte während des Antwortens abgelenkt waren und anderen Tätigkeiten nachgegangen sind (Berkel et al., 2019; siehe aber auch Jaso et al., 2022).
Schließlich kann sich Careless Responding auch in einem längeren zeitlichen Abstand zwischen dem Signal und dem Ausfüllen des Protokolls ausdrücken (Reynolds et al., 2016). Mit steigender Response Latency steigt auch die Gefahr einer verzerrten Situationsstichprobe (siehe Abschnitt 6.3.2.2).