Meaning multiplicity and valid disagreement in textual measurement: A plea for a revised notion of reliability

Abstract

Reliabilität, operationalisiert als Übereinstimmung zwischen Codie- rern, ist gemeinhin akzeptiert als eine notwendige Voraussetzung für Validität in der quan- titativen Inhaltsanalyse. Diese Sichtweise beruht auf der Annahme, dass für jedes Vorkom- men einer gemessenen Variable exakt eine korrekte Klassifizierung bestimmt werden kann. Entgegen dieser Annahme argumentieren wir hier, dass divergierende Klassifizierungen auch aufgrund von im Text verankerten Mehrdeutigkeiten entstehen können, welche nicht als Messfehler zu verstehen sind, sondern vielmehr relevante Eigenschaften des analysier- ten Materials widerspiegeln. Entsprechend entwerfen wir einen Begriff valider Nichtüber- einstimmung im Klassifizierungsprozess, welcher es erlaubt zwischen textuell verankerten, replizierbaren Mehrdeutigkeiten und Replikationsfehlern, welche die Reliabilität der Mes- sung unterminieren, zu unterscheiden. Wir unterscheiden drei in der Textanalyse weit ver- breitete Formen von Mehrdeutigkeiten – begründet in Unter-Spezifizierung, Informations- überschuss, sowie der Austauschbarkeit von Klassifizierungsmöglichkeiten – welche valide Nichtübereinstimmung zur Folge haben, aber bislang keine hinreichende Beachtung im inhaltsanalytischen Methodenkanon gefunden haben. Aufgrund einer Diskussion mögli- cher Implikationen dieser Auslassung skizzieren wir geeignete Strategien für den Umgang mit valider Nichtübereinstimmung in der inhaltsanalytischen Forschung.