Die Interraterreliabilität bezeichnet die Reliabilität (Übereinstimmung / Wiederholbarkeit) von Messungen oder Bewertungen zwischen verschiedenen Ratern (Beurteilern / Beobachtern). Die Rater sind meist Personen, es wäre aber auch denkbar, eine Interraterreliabilität zwischen verschiedenen Messinstrumenten zu bestimmen, entscheidend ist, dass ein und dieselbe Stichprobe von verschiedenen Personen oder Instrumenten bewertet wird.
Im Vergleich dazu gibt die Intraraterreliabilität Auskunft über die Übereinstimmung oder Wiederholbarkeit von Messungen ein und desselben Raters (oder Instruments), hier wird ein und dieselbe Stichprobe mehrfach von einer Person (oder eines Instrument) bewertet.
Je nach Skalierung der Messung oder Beobachtung stehen verschiedene Verfahren zur Bewertung der Interraterreliabilität (und auch der Intraraterreliabilität) zur Verfügung.
Handelt es sich um kategorielle Daten, so kann Cohen's Kappa berechnet werden, um die Übereinstimmung zwischen den Ratern oder die Übereinstimmung der wiederholten Beobachtung eines Raters zu bewerten.
Liegt eine quantitative Messgröße vor, so lässt sich die Übereinstimmung zwischen Ratern oder Messwiederholungen mittels Bland-Altman-Verfahren oder auch dem ICC (Intraklassenkorrelation) beurteilen.
