Eine AUC von .82 sagt noch nicht, wo dein Cut-off liegt, so liest du die ROC-Kurve
Ein Risikoscore kommt in deiner Studie mit 400 Patientinnen und Patienten auf eine AUC von .82. Das klingt nach einem brauchbaren Test, über den Cut-off für deine Patientengruppe sagt die Zahl aber noch nichts. In der medizinischen Doktorarbeit gehört die ROC-Analyse neben Überlebenszeit und Regression zu den häufigen Verfahren, wie auch der Überblick über die Statistik in der medizinischen Doktorarbeit zeigt. Die folgenden Abschnitte erklären an einem erfundenen Beispiel, wie du von der Kurve zu einer begründeten Entscheidung kommst.
Sensitivität und Spezifität an der Vierfeldertafel
Jede ROC-Kurve beginnt mit zwei einfachen Fragen. Wie viele Erkrankte erkennt der Test bei einem bestimmten Grenzwert? Wie viele Gesunde stuft er richtig als gesund ein? Im erfundenen Beispiel sind 80 der 400 Personen erkrankt, die Prävalenz liegt also bei 20 %. Die Tabelle 1 zeigt das Ergebnis für einen Cut-off von 12 Punkten.
Score | Erkrankt | Nicht erkrankt | Summe |
12 Punkte oder mehr | 63 | 80 | 143 |
unter 12 Punkten | 17 | 240 | 257 |
Summe | 80 | 320 | 400 |
Die Sensitivität liegt bei 63 von 80, also 78.75 %. Die Spezifität liegt bei 240 von 320, also 75.00 %. Von den 143 Personen mit auffälligem Score sind aber nur 63 tatsächlich erkrankt. Der positive Vorhersagewert beträgt damit 44.06 %. Dieser Wert hängt stark von der Prävalenz ab. Warum das so ist, zeigt das Rechenbeispiel im Artikel zur Basisrate bei KI-Detektoren, denn die Logik ist dieselbe.
Wie die ROC-Kurve entsteht
Die Vierfeldertafel gilt nur für einen einzigen Cut-off. Die ROC-Kurve rechnet dieselbe Tafel für jeden möglichen Grenzwert und trägt das Ergebnis als Punkt ein. Auf der senkrechten Achse steht die Sensitivität, auf der waagerechten die Falsch-Positiv-Rate, also 1 minus Spezifität. Ein Test ohne Aussagekraft liegt auf der Diagonalen.
Die Fläche unter der Kurve, kurz AUC, fasst alle Grenzwerte in einer Zahl zusammen. Eine AUC von .82 bedeutet, dass eine zufällig gezogene erkrankte Person mit einer Wahrscheinlichkeit von 82 % einen höheren Score hat als eine zufällig gezogene gesunde Person. Der Wert .50 entspricht dem Zufall. Zur AUC gehört immer ein Konfidenzintervall, im Beispiel reicht es von .76 bis .88. Wie du Intervalle angibst, steht im Artikel zum Konfidenzintervall nach APA.
Der Youden-Index und warum der klinische Cut-off davon abweichen darf
Häufig wird der Cut-off gewählt, an dem Sensitivität und Spezifität zusammen am größten sind. Das misst der Youden-Index J = Sensitivität + Spezifität − 1. Im Beispiel ist er bei 12 Punkten am höchsten, mit J = .54.
Der Youden-Index gewichtet beide Fehlerarten gleich. In der Praxis ist das oft nicht sinnvoll. Für ein Screening wiegt ein übersehener Fall meist schwerer als ein falscher Alarm, der später abgeklärt wird. Senkst du den Cut-off im Beispiel auf 9 Punkte, steigt die Sensitivität auf 92.50 %, die Spezifität fällt auf 55.00 %. Von den auffälligen Befunden sind dann nur noch 33.94 % richtig. Ob das akzeptabel ist, ist eine fachliche Entscheidung und keine statistische.
Du sollst AUC, Cut-off und Vorhersagewerte für deine Promotion berichten und willst sicher sein, dass alle Zahlen zusammenpassen? Wir übernehmen die ROC-Analyse für deine Doktorarbeit und erklären dir jede berichtete Zahl.
Der Bericht mit erfundenen Werten
Im Ergebnisteil könnte der Bericht so aussehen:
Der Risikoscore unterschied Erkrankte und Nicht-Erkrankte mit einer AUC von .82, 95 %-KI [.76, .88]. Beim Cut-off von 12 Punkten, der den Youden-Index maximierte (J = .54), betrugen die Sensitivität 78.75 % und die Spezifität 75.00 %.
Vor diesem Satz steht die eigentliche Entscheidung, nämlich welcher Cut-off für deine Fragestellung sinnvoll ist. Ob ein übersehener Fall oder ein falscher Alarm schwerer wiegt, sagt dir keine Software. Wenn du dir unsicher bist, kannst du den Cut-off für die eigene Studie besprechen.
Was außerdem in den Bericht gehört
Die Prävalenz in der Stichprobe. Ohne sie lassen sich die Vorhersagewerte nicht einordnen.
Die Herkunft des Cut-offs. Wurde der Grenzwert vorab festgelegt oder aus denselben Daten bestimmt? Im zweiten Fall überschätzt die Studie die Güte des Tests, weshalb eine Prüfung an neuen Daten hilft.
Die Vierfeldertafel. Sie macht nachvollziehbar, wie Sensitivität und Spezifität zustande kommen.
Die Berichtsleitlinie. Für Studien zur diagnostischen Genauigkeit gibt es die Leitlinie STARD. Ob deine Fakultät ihre Anwendung erwartet, klärst du mit der Betreuung.
Stammt der Score aus einem Modell, etwa einer logistischen Regression, gehören auch dessen Kennwerte in die Arbeit. Wie du sie berichtest, steht im Artikel zur logistischen Regression nach APA. Für Maße wie Odds Ratio und relatives Risiko gibt es einen eigenen Artikel zu Odds Ratio und relativem Risiko.
Wann die ROC-Kurve nicht passt
Die ROC-Analyse beantwortet, wie gut ein Wert zwischen zwei Gruppen trennt. Willst du dagegen wissen, ob zwei Messverfahren dasselbe messen, brauchst du andere Werkzeuge. Für stetige Messwerte ist das meist das Bland-Altman-Diagramm, für Einstufungen durch zwei Beurteilende Cohens Kappa. Geht es um die Zeit bis zu einem Ereignis, ist die Kaplan-Meier-Analyse der übliche Einstieg.
Was du über ROC-Kurve und AUC wissen solltest
Ab welcher AUC gilt ein Test als gut?
Es gibt verbreitete Faustwerte, nach denen Werte ab etwa .80 als gut gelten. Wichtiger ist aber, wofür der Test eingesetzt wird. Für ein Screening kann eine niedrigere AUC ausreichen, für eine Diagnose ohne weitere Abklärung reicht selbst eine hohe AUC manchmal nicht.
Muss ich die ROC-Kurve als Abbildung zeigen?
In vielen Doktorarbeiten wird die Kurve gezeigt, weil sie auf einen Blick vermittelt, wie sich Sensitivität und Spezifität gegeneinander verschieben. Eine feste Pflicht gibt es nicht. Das hängt von Fakultät und Betreuung ab.
Was kostet es, wenn ihr die ROC-Analyse für meine Doktorarbeit übernehmt?
Der Aufwand hängt davon ab, wie viele Scores oder Tests verglichen werden und ob zusätzlich ein Modell gerechnet werden muss. Eine erste Orientierung gibt der Artikel was eine statistische Auswertung kostet.
Kann ich zwei ROC-Kurven miteinander vergleichen?
Ja, dafür gibt es eigene Tests, die berücksichtigen, ob beide Scores an denselben Personen erhoben wurden. Ein einfacher Blick auf die Konfidenzintervalle reicht dafür nicht aus. Welches Verfahren passt, hängt von deinem Design ab.
Vom Score zum begründeten Cut-off Wenn wir die ROC-Analyse für deine Doktorarbeit übernehmen, bekommst du die Kurve als Abbildung, eine Tabelle mit AUC, Konfidenzintervall, Sensitivität, Spezifität und Vorhersagewerten sowie eine Erklärung, wie der Cut-off zustande kommt. Im Abschlussgespräch gehen wir die Zahlen gemeinsam durch, damit du sie vor deiner Betreuung vertreten kannst. Mehr dazu steht auf unserer Seite zur Statistik-Hilfe für Promovierende.
