Der Kappa-Koeffizient nach Cohen ist ein Maß für die Übereinstimmung zweier verbundener kategorialer Stichproben. Dabei kann es sich um die zweifache Bewertung eines Beurteilers handeln oder um die jeweils einfache Bewertung zweier verschiedener Beurteiler. Kappa quantifiziert in beiden Fällen den Grad der Übereinstimmung. Bei der Bewertung durch zwei Beurteiler misst Kappa (κ) die Interraterreliabilität bei der wiederholten Bewertung eines Beurteilers misst Kappa (κ) die Intraraterreliabilität.
Die Ergebnisse der Bewertungen werden zunächst in einer Kontingenztafel dargestellt, wie zum Beispiel:
oder allgemein für eine 3×3-Felder-Tafel:
Kappa lässt sich für jede symmetrische n×n-Felder-Tafel mit n≥2 wie folgt berechnen:
$$ \kappa = \dfrac{p_0 - p_e}{1 - p_e} $$
wobei:
$$ p_0 = \dfrac{\sum_{i=1}^k n_{ii}}{N} $$
die Summe der Häufigkeiten der Diagonalelemente (links oben nach rechts unten) geteilt durch die Gesamtzahl aller Beobachtungen (bzw. der Anteil der beobachteten Übereinstimmungen) ist und
$$ p_e = \dfrac{\sum_{i=1}^k n_{i \cdot} \cdot n_{\cdot i}}{N^2} $$
die Summe der erwarteten Häufigkeiten der Diagonalelemente (links oben nach rechts unten) geteilt durch die Gesamtzahl aller Beobachtungen (bzw. der Anteil der erwarteten Übereinstimmungen) ist. Die erwarteten Häufigkeiten werden aus dem Produkt aus Zeilensumme und Spaltensumme geteilt durch die Gesamtzahl berechnet.
Kappa drückt ein Verhältnis zwischen der zufällig zu erwartenden Übereinstimmung [latex]p_e[/latex] und der tatsächlich beobachteten Übereinstimmung [latex]p_0[/latex] aus und wird auch als Bewertung der "zufallskorrigierten Übereinstimmung" bezeichnet.
Für obiges Beispiel ergibt sich somit folender κ-Koeffizient:
$$ k = \dfrac{\frac{1}{23} (3 + 5 + 8) - \frac{1}{23^2} (6 \cdot 4 + 5 \cdot 9 + 12 \cdot 10)}{1 - \frac{1}{23^2}(6 \cdot 4 + 5 \cdot 9 + 12 \cdot 10)} \approx 0,526 $$
Der Grad der Übereinstimmung lässt sich wie folgt bewerten:
κ=0 bedeutet, dass die beobachtete und (zufallsbedingte) erwartete Übereinstimmung gleich sind, bei κ=1 liegt eine vollständige Übereinstimmung vor. Theoretisch kann κ auch negative Werte annehmen, die jeoch nicht sinnvoll interpretierbar sind. Da κ durch die Verteilung der Randsummen beeinflusst wird, ist ein Vergleich zwischen verschiedenen Populationen in der Regel nicht möglich.
