ICC .63 oder .89 aus denselben Ratings, welche Intraklassenkorrelation du für die Interrater-Reliabilität berichtest
Aus denselben zehn Fällen und den Urteilen von drei Beurteilenden liefert psych::ICC() in R sechs Werte zwischen .61 und .89. Die Software rechnet in jeder Zeile richtig, nur passt lediglich eine davon zu deinem Design. Wer einfach die höchste nimmt, hat bei der nächsten Nachfrage ein Problem. Der Weg zur passenden Form ähnelt dem bei der Reliabilität von Skalen, beantwortet aber eine andere Frage.
Was die ICC misst
Die Intraklassenkorrelation beschreibt, welcher Anteil der Unterschiede in den Urteilen auf echte Unterschiede zwischen den beurteilten Fällen zurückgeht. Der Rest stammt von den Beurteilenden und vom Messfehler. Eine ICC von 1 hieße, dass alle Unterschiede in den Urteilen zwischen den Fällen liegen. Dieselbe Logik begegnet dir beim Mehrebenenmodell, dort beschreibt die ICC, wie ähnlich sich Personen innerhalb einer Gruppe sind.
Die drei Entscheidungen hinter dem Wert
Die Formen unterscheiden sich in drei Punkten. Koo und Li (2016) führen sie als Leitfaden auf:
Das Modell. Beurteilen dieselben Personen alle Fälle oder wechseln die Beurteilenden von Fall zu Fall? Wechseln sie, passt das einfaktorielle Modell. Sollen die Beurteilenden für eine größere Gruppe stehen, passt das zweifaktorielle Modell mit Zufallseffekten. Interessieren nur genau diese Personen, nimmst du das Modell mit festen Effekten.
Der Typ. Zählt die absolute Übereinstimmung oder reicht die gleiche Rangfolge? Eine strenge Beurteilerin, die alle Fälle zwei Punkte niedriger einstuft, stört nur die absolute Übereinstimmung.
Die Einheit. Wird später ein einzelnes Urteil verwendet oder der Mittelwert aller Beurteilenden? Mittelwerte sind verlässlicher, deshalb fällt der Wert höher aus.
In R reicht dafür eine Zeile, die alle sechs Formen ausgibt:
psych::ICC(ratings)Die Tabelle 1 zeigt die Werte für einen erfundenen Datensatz mit zehn Fällen und drei Beurteilenden. Eine der drei Personen vergibt durchweg höhere Werte.
Form in psych | Modell | Typ | Einheit | ICC |
ICC1 | einfaktoriell | absolut | einzeln | .61 |
ICC2 | zweifaktoriell, zufällig | absolut | einzeln | .63 |
ICC3 | zweifaktoriell, fest | Konsistenz | einzeln | .73 |
ICC1k | einfaktoriell | absolut | Mittelwert | .82 |
ICC2k | zweifaktoriell, zufällig | absolut | Mittelwert | .83 |
ICC3k | zweifaktoriell, fest | Konsistenz | Mittelwert | .89 |
Der Abstand zwischen .63 und .73 entsteht allein durch die strengere und die mildere Person. Der Abstand zwischen .63 und .83 entsteht allein durch die Mittelung. Inhaltlich hat sich an den Daten nichts geändert. Genau deshalb reicht es nicht, im Text nur „ICC = .83“ zu schreiben. Ohne die Angabe der Form kann niemand beurteilen, ob der Wert für einzelne Urteile gilt oder für den Mittelwert aller drei Personen. Bei Abschlussarbeiten fällt das spätestens auf, wenn in der Analyse dann doch nur die Urteile einer Person verwendet werden.
Warum die Untergrenze des Intervalls zählt
Koo und Li schlagen vor, Werte unter .50 als schlecht einzustufen, von .50 bis .75 als moderat, von .75 bis .90 als gut und darüber als ausgezeichnet. Dabei sehen sie ausdrücklich auf das 95 %-Konfidenzintervall und nicht nur auf den Punktwert. In älteren Quellen wie Cicchetti (1994) findest du andere Grenzen, deshalb nennst du deine Quelle mit. Vermische die Einteilungen nicht, nur weil eine davon für deinen Wert günstiger ausfällt. Wer Punktwert und Intervall zusammen angibt, lässt die Lesenden selbst sehen, wie sicher die Einschätzung ist.
Für ICC2 ergibt das Beispiel ein Konfidenzintervall von [.22, .88]. Der Wert kann also schlecht oder gut sein, die Daten geben das nicht her. Bei zehn Fällen ist das normal. Koo und Li empfehlen mindestens 30 möglichst unterschiedliche Fälle und mindestens drei Beurteilende.
Welche ICC berichte ich?
Du berichtest die Form, die aus deinem Design folgt, mit Modell, Typ, Einheit und Konfidenzintervall. Mit den erfundenen Werten könnte das so aussehen:
Die Interrater-Reliabilität wurde mit der Intraklassenkorrelation für ein zweifaktorielles Zufallsmodell, absolute Übereinstimmung und Einzelurteile bestimmt, ICC(2,1) = .63, 95 %-KI [.22, .88].
Die Wahl der Form folgt aus dem Design und nicht aus der Höhe des Werts. Lege sie deshalb fest, bevor du die Ergebnisse siehst.
Ob ein Einzelurteil oder ein Mittelwert in deine Analyse eingeht, ändert die passende Form. Wir können die Reliabilität für deine Auswertung gemeinsam mit dir klären.
Wann du etwas anderes brauchst
Die ICC passt zu metrischen Urteilen. Bei Kategorien wie vorhanden oder nicht vorhanden ist Cohens Kappa die übliche Wahl. Vergleichst du zwei Messmethoden, zeigt der Bland-Altman-Plot, wie weit sie im Einzelfall auseinanderliegen. Geht es um die Items eines Fragebogens statt um Beurteilende, helfen Cronbachs Alpha oder McDonald’s Omega. Eine Übersicht über typische Verfahren in der Medizin bietet der Artikel zur medizinischen Doktorarbeit.
Was du über die ICC wissen solltest
Wie viele Beurteilende brauche ich?
Das hängt von der Frage und vom Aufwand ab. Koo und Li raten zu mindestens drei. Bei zwei Personen lässt sich die ICC ebenfalls berechnen, das Intervall fällt dann aber meist breiter aus.
Kann meine ICC negativ sein?
Ja, bei manchen Formen ist das möglich. Das passiert, wenn sich die Fälle kaum unterscheiden oder die Urteile stark streuen. Sieh dir dann zuerst die Daten an, bevor du den Wert berichtest.
Was mache ich, wenn SPSS nur eine Tabelle zeigt?
Dort wählst du Modell und Typ selbst aus, die Einheit steht als einzelne und durchschnittliche Maße untereinander. Übernimm die Zeile, die zu deinem Design passt. Die Auswahl nennst du im Methodenteil.
Lohnt sich Unterstützung bei nur einem Reliabilitätswert?
Das kommt darauf an, wie viel an dem Wert hängt. Für einen einzelnen Wert ist der Aufwand überschaubar, bei mehreren Skalen und Zeitpunkten steigt er. Orientierung geben Preise und Ablauf.
Wenn drei Beurteilende sechs Werte liefern Wir übernehmen die statistische Auswertung mit der passenden Form und begründen die Wahl im Methodenteil. Wenn du selbst rechnen möchtest, gehen wir dein Design im Statistik-Coaching durch. Was das für dein Projekt bedeutet, klären Preise und Ablauf. Beurteilen in deiner Studie dieselben Personen wirklich alle Fälle?


