KI-Detektor schlägt an? Warum ein hoher Wert noch keinen Betrug beweist
In den Niederlanden hat ein Fernsehsender Masterarbeiten von zwölf Universitäten mit einem KI-Detektor prüfen lassen. Bei etwa einem Fünftel lag der vom Detektor geschätzte KI-Anteil über dem eigenen Anteil. Die Bildungsministerin sprach von Betrug, der Hochschulverband warnte, dass Detektorwerte allein nichts beweisen (Times Higher Education, 15.10.2026).
Wer recht hat, ist zunächst eine statistische Frage. Ein Detektor ist ein diagnostischer Test und für diagnostische Tests gibt es eine gut bekannte Falle. Sie heißt Basisrate. Sie lässt sich mit einer einfachen Vierfeldertafel nachrechnen, wie man sie vom Chi-Quadrat-Test kennt.
Was ein Detektor misst
Ein KI-Detektor schätzt, wie wahrscheinlich ein Text von einer KI stammt. Wie jeder diagnostische Test kann er auf zwei Arten danebenliegen. Er kann einen KI-Text übersehen oder einen selbst geschriebenen Text als KI-Text markieren.
Zwei Kennzahlen beschreiben das.
Die Sensitivität gibt an, welcher Anteil der KI-Texte erkannt wird.
Die Spezifität gibt an, welcher Anteil der selbst geschriebenen Texte richtig als unauffällig gilt.
Beide Werte klingen bei vielen Anbietern hoch. Für die Frage, wie oft eine Markierung stimmt, reichen sie aber nicht aus.
Das Rechenbeispiel
Angenommen, eine Hochschule prüft 2000 Abschlussarbeiten. 100 davon enthalten tatsächlich größere KI-Anteile, 1900 nicht. Der Detektor hat eine Sensitivität von 90 % und eine Spezifität von 95 %.
Von den 100 Arbeiten mit KI-Text erkennt der Detektor 90.
Von den 1900 selbst geschriebenen Arbeiten markiert er 5 %, also 95, fälschlich als KI-Text.
Insgesamt markiert er damit 185 Arbeiten.
Von diesen 185 markierten Arbeiten enthalten nur 90 tatsächlich KI-Text. Das sind 48.65 %. Mehr als jede zweite Markierung trifft also eine Person, die selbst geschrieben hat.
Die Tabelle 1 zeigt dieselben Zahlen als Vierfeldertafel.
Detektor markiert | Detektor markiert nicht | Summe | |
Arbeit mit KI-Anteil | 90 | 10 | 100 |
Arbeit ohne KI-Anteil | 95 | 1805 | 1900 |
Summe | 185 | 1815 | 2000 |
Der Anteil richtiger Markierungen heißt positiver Vorhersagewert. Er beantwortet die Frage, die eine Prüfungskommission eigentlich stellt, also wie wahrscheinlich eine markierte Arbeit tatsächlich KI-Text enthält. Anders als Sensitivität und Spezifität lässt er sich nur mit einer Annahme zur Basisrate angeben.
Sensitivität, Spezifität und Vorhersagewerte sind auch in vielen medizinischen Doktorarbeiten zentral, etwa wenn ein Fragebogen oder ein Laborwert als Screening bewertet wird. Solche Auswertungen übernehmen wir im Rahmen der statistischen Auswertung und erklären dir jeden Kennwert so, dass du ihn selbst vertreten kannst.
Warum die Basisrate entscheidet
Der Anteil der richtigen Markierungen hängt stark davon ab, wie häufig KI-Texte überhaupt sind. Mit demselben Detektor ergibt sich je nach Ausgangslage ein ganz anderes Bild.
Bei 500 KI-Arbeiten unter 2000 sind 450 von 525 Markierungen richtig, also 85.71 %.
Bei 20 KI-Arbeiten unter 2000 sind nur 18 von 117 Markierungen richtig, also 15.38 %.
Je seltener ein Verhalten ist, desto mehr Markierungen sind falsch. Dieses Muster kennt man aus der Medizin bei Screenings auf seltene Krankheiten. Es ist auch der Grund, warum ein p-Wert nicht die Wahrscheinlichkeit angibt, dass eine Hypothese stimmt. Mehr dazu steht im Beitrag p-Wert richtig interpretieren.
Die Basisrate ist an einer Hochschule in aller Regel nicht bekannt. Genau das macht es so schwierig, einen einzelnen Detektorwert zu bewerten.
Selbst eine Spezifität von 99 % löst das Problem nicht vollständig. Bei 100 KI-Arbeiten unter 2000 wären dann 90 von 109 Markierungen richtig, also immer noch fast jede fünfte falsch.
Für Hochschulen folgt daraus, dass ein Detektorwert höchstens der Anlass für ein Gespräch sein kann. Wer prüft, braucht weitere Hinweise, etwa Widersprüche zwischen Text und Daten, fehlende Zwischenstände oder Quellen, die sich nicht finden lassen. Mit einer sauberen Dokumentation kannst du solche Zweifel früh ausräumen.
Was das für deine Arbeit bedeutet
Ein hoher Detektorwert ist ein Hinweis, kein Beweis. Ob eine Hochschule ihn als Anlass für eine Prüfung nimmt, regeln ihre Ordnungen. Für dich zählt vor allem eines. Du solltest zeigen können, wie deine Arbeit entstanden ist.
Speichere Zwischenstände deiner Arbeit mit Datum, etwa als Versionen in Word oder in einem Cloud-Ordner.
Bewahre Notizen, Gliederungen und Rohfassungen auf.
Gib eine erlaubte KI-Nutzung so an, wie es deine Hochschule verlangt, etwa mit Werkzeug, Prompts und Stelle in der Arbeit.
Halte bei der Auswertung Syntax, Ausgabe und Datensatz zusammen, damit jeder Wert nachvollziehbar ist.
Was bei der Angabe der KI-Nutzung gilt, steht im Beitrag Statistik im Methodenteil.
Was du über KI-Detektoren wissen solltest
Wie zuverlässig sind KI-Detektoren?
Das hängt vom Werkzeug, vom Text und vor allem von der Basisrate ab. Selbst gute Werte für Sensitivität und Spezifität können zu vielen falschen Markierungen führen, wenn KI-Texte selten sind.
Was ist der positive Vorhersagewert?
Er gibt an, welcher Anteil der markierten Arbeiten tatsächlich KI-Text enthält. Anders als Sensitivität und Spezifität hängt er stark von der Basisrate ab. Im Rechenbeispiel liegt er bei 48.65 %.
Kann ein Detektor meine Arbeit fälschlich markieren?
Ja. Das zeigt das Rechenbeispiel. Deshalb lohnt es sich, Zwischenstände und Notizen aufzubewahren. Bei der Auswertung gehören Syntax, Ausgabe und Datensatz dazu.
Rechnet ihr auch Screening-Kennwerte für meine Arbeit?
Ja, im Rahmen der statistischen Auswertung. Der Aufwand hängt davon ab, wie viele Tests oder Grenzwerte du vergleichen willst. Mehr dazu steht im Beitrag Was kostet eine statistische Auswertung.
Ist dieser Beitrag eine rechtliche Beratung?
Nein. Er erklärt die Statistik hinter Detektoren. Für rechtliche Fragen wende dich an die Studienberatung oder eine Rechtsberatung.
Screening-Daten in deiner eigenen Arbeit Wenn du selbst einen Test, einen Fragebogen oder einen Laborwert als Screening bewertest, stellen sich dieselben Fragen wie beim KI-Detektor. Wir berechnen Sensitivität, Spezifität und Vorhersagewerte und zeigen dir, wie du sie im Ergebnisteil einordnest. Mehr zu unserer statistischen Auswertung.
