96 von 100 Fällen gleich beurteilt und trotzdem Kappa .31, warum Cohens Kappa bei seltenen Befunden einbricht
In einem erfundenen Beispiel beurteilen zwei Ärztinnen 100 Röntgenbilder und stimmen bei 96 überein, Cohens Kappa liegt trotzdem bei .31. Nach den üblichen Faustregeln wäre das eine schwache Übereinstimmung, obwohl beide fast immer gleich urteilen. Wer in der medizinischen Doktorarbeit oder einer Beobachtungsstudie zwei Beurteiler einsetzt, stößt früher oder später auf diesen Widerspruch.
Was Cohens Kappa misst
Cohens Kappa bereinigt die beobachtete Übereinstimmung um die Übereinstimmung, die schon durch Zufall zu erwarten wäre. Die Formel lautet:
κ = (pₒ − pₑ) / (1 − pₑ)
Dabei ist pₒ der Anteil übereinstimmender Urteile. pₑ ist der Anteil, der sich aus den Randhäufigkeiten beider Beurteilerinnen ergibt. Kappa ist 1 bei perfekter Übereinstimmung und 0, wenn beide nur so oft übereinstimmen wie per Zufall erwartet.
Kappa misst die Übereinstimmung zwischen Beurteilern. Die interne Konsistenz einer Skala beschreiben dagegen Cronbachs Alpha oder McDonald’s Omega.
Das Beispiel als Vierfeldertafel
Die Tabelle 1 zeigt die erfundenen Urteile der beiden Ärztinnen A und B:
Urteile | B auffällig | B unauffällig | Summe |
A auffällig | 1 | 2 | 3 |
A unauffällig | 2 | 95 | 97 |
Summe | 3 | 97 | 100 |
Übereinstimmend urteilen beide bei 96 Bildern, pₒ ist also .96. Weil beide nur in 3 von 100 Fällen einen Befund sehen, liegt die erwartete Zufallsübereinstimmung bei pₑ = .03 × .03 + .97 × .97 = .9418. Daraus ergibt sich κ = (.96 − .9418) / (1 − .9418) = .31.
Warum seltene Befunde Kappa drücken
Der Grund liegt in der Prävalenz. Ist ein Befund selten, stimmen zwei Beurteilerinnen schon deshalb meistens überein, weil fast alle Bilder unauffällig sind. Die erwartete Übereinstimmung pₑ steigt dann nahe an 1. Der Nenner der Formel wird winzig, jede einzelne Abweichung wiegt schwer. Im Beispiel entscheiden vier abweichende Urteile über ein Kappa von .31.
Feinstein und Cicchetti haben dieses Muster 1990 als erstes von zwei Paradoxa beschrieben, hohe Übereinstimmung bei niedrigem Kappa. Das zweite betrifft ungleiche Randverteilungen der beiden Beurteiler, die Kappa höher ausfallen lassen können als ausgeglichene. Bei sehr seltenen oder sehr häufigen Befunden ist Kappa allein deshalb ein unvollständiges Bild.
Manche Arbeiten ergänzen deshalb das prävalenz- und biasbereinigte Kappa (PABAK) nach Byrt und Kollegen (1993). Bei zwei Kategorien entspricht es 2 × pₒ − 1, im Beispiel also .92. Es ersetzt Kappa nicht, zeigt aber, wie stark die Prävalenz den Wert drückt.
Was die Faustregeln leisten
Viele Arbeiten ordnen Kappa nach Landis und Koch (1977) ein. Die Tabelle 2 zeigt diese Einteilung:
Kappa | Bezeichnung bei Landis und Koch |
unter 0 | poor |
0 bis .20 | slight |
.21 bis .40 | fair |
.41 bis .60 | moderate |
.61 bis .80 | substantial |
.81 bis 1 | almost perfect |
Die Autoren nannten ihre Grenzen selbst willkürlich und sahen sie als Orientierung für die Diskussion ihres Beispiels. Im Röntgenbeispiel landet .31 im Bereich fair, obwohl die Ärztinnen bei 96 von 100 Bildern gleich urteilen. Die Einteilung hilft beim Vergleich ähnlicher Studien. Eine Einordnung der Prävalenz ersetzt sie nicht.
Für die eigene Arbeit hilft eine einfache Regel. Steht neben Kappa die Prävalenz, kann jede Leserin selbst einschätzen, ob ein niedriger Wert an der Übereinstimmung oder an der Seltenheit des Befunds liegt. Wer zusätzlich die Häufigkeiten aller vier Zellen der Vierfeldertafel nennt, macht die Rechnung vollständig nachvollziehbar. In der Diskussion lässt sich der Wert dann mit Blick auf die niedrige Prävalenz einordnen.
Wie berichte ich Cohens Kappa?
Neben Kappa gehören die prozentuale Übereinstimmung, die Zahl der Fälle und die Prävalenz in den Ergebnisteil. So könnte der Satz für das erfundene Beispiel lauten:
Die beiden Beurteilerinnen stimmten bei 96 von 100 Röntgenbildern überein (96.00 %). Bei einer Prävalenz auffälliger Befunde von 3.00 % ergab sich ein Cohens Kappa von κ = .31.
Bei nur drei auffälligen Urteilen je Ärztin fällt ein Konfidenzintervall für Kappa sehr breit aus. Auch das gehört in den Ergebnisteil, weil es zeigt, wie unsicher der Wert ist. Welches Maß überhaupt zu deiner Arbeit passt, hängt vom Skalenniveau und der Zahl der Beurteiler ab. Bei geordneten Kategorien kommt gewichtetes Kappa infrage, bei mehr als zwei Beurteilern Fleiss-Kappa, bei metrischen Messungen die Intraklassenkorrelation.
Wenn du für deine Studie das passende Übereinstimmungsmaß wählen oder ein überraschend niedriges Kappa einordnen willst, übernehmen wir die statistische Auswertung oder klären die Wahl mit dir im 1:1-Coaching.
Wer eine Diagnose nicht mit einer zweiten Beurteilerin, sondern mit einem Referenzstandard vergleicht, braucht andere Kennwerte, etwa die ROC-Kurve und die AUC.
Was du über Cohens Kappa wissen solltest
Ab welchem Kappa ist die Übereinstimmung gut genug?
Eine feste Grenze gibt es nicht. Viele Fachgebiete orientieren sich an Landis und Koch, für klinische Entscheidungen werden oft strengere Werte genannt. Das hängt von Fach und Betreuung ab. Wer seine Einordnung mit Prävalenz und Konfidenzintervall begründet, ist auf der sicheren Seite.
Wie gebe ich das Konfidenzintervall für Kappa an?
Die meisten Programme geben Standardfehler oder Intervall für Kappa direkt aus. Wie du ein Intervall schreibst, zeigt der Artikel Konfidenzintervall angeben. Kappa hat wie p keine führende Null.
Was mache ich bei drei Beurteilern?
Cohens Kappa ist für genau zwei Beurteiler gedacht. Für mehr Beurteiler wird häufig Fleiss-Kappa berichtet, bei metrischen Urteilen die Intraklassenkorrelation. Welche Variante passt, hängt auch davon ab, ob immer dieselben Personen beurteilen.
Wie viel Aufwand steckt in einer Analyse der Übereinstimmung?
Für ein einzelnes Kappa ist der Aufwand gering. Mit mehreren Kategorien, Beurteilern oder Messzeitpunkten wächst er. Eine Einordnung nach Umfang findest du im Artikel Was kostet eine statistische Auswertung.
Wenn dein Kappa niedriger ausfällt als die Übereinstimmung vermuten lässt Dann braucht der Ergebnisteil mehr als eine Zahl. Wir übernehmen die Auswertung deiner Übereinstimmungsdaten samt Einordnung oder gehen sie im Statistik-Coaching gemeinsam mit dir durch.


