ChatGPT hat deine Statistik gerechnet? So prüfst du das Ergebnis in fünf Schritten
Du hast deinen Datensatz in ChatGPT geladen oder den KI-Assistenten in SPSS gefragt und nach wenigen Sekunden steht da ein Ergebnis mit Teststatistik, p-Wert und fertigem Satz für den Ergebnisteil. Die Frage ist nur, ob du den Zahlen trauen kannst.
KI-Werkzeuge rechnen schnell und meist richtig, wenn das Verfahren stimmt. Der häufige Fehler liegt einen Schritt davor. Die KI wählt ein Verfahren, das nicht zu deinem Design passt, oder deutet ein Ergebnis zu weit. Beides lässt sich mit wenigen Prüfschritten erkennen. Viele dieser Fehler tauchen auch in der Liste der häufigsten APA-7-Fehler im Ergebnisteil auf.
Welche Werkzeuge gerade genutzt werden
Neben ChatGPT mit Datenanalyse gibt es KI inzwischen direkt in der Statistiksoftware. IBM hat in SPSS Statistics ab Version 31.0.1 einen KI-Assistenten eingebaut, dem man Fragen zur Ausgabe stellen kann (IBM, 25.09.2025). JASP bietet seit Version 0.98 vom 01.07.2026 einen Chat-Assistenten namens JASP AI an (JASP-Versionshinweise). Google hat am 14.10.2026 das kostenlose Werkzeug Deep Review vorgestellt, das Manuskripte auf Fehler und Logiklücken prüft (R&D World).
Eine Studie der Universität Kiel, die drei Studien mit ChatGPT nachgerechnet hat, kam zu einem klaren Ergebnis. Bei einfachen Analysen kam das Werkzeug gut zurecht, bei komplexeren stieß es an Grenzen. Die Autoren raten, alles zu prüfen (Uni Kiel).
Fünf Prüfschritte
1. Passt das Verfahren zum Design?
Mit diesem Schritt fängst du an. Sind die Gruppen unabhängig oder wurden dieselben Personen mehrfach gemessen? Ist die abhängige Variable metrisch, ordinal oder kategorial? Wenn das Verfahren nicht zum Design passt, sind alle weiteren Zahlen wertlos. Eine Übersicht bietet der Beitrag Welcher statistische Test passt?.
2. Stimmen N und Freiheitsgrade?
Die Freiheitsgrade verraten viel über das gerechnete Verfahren. Beim t-Test für unabhängige Stichproben sind es N minus 2, beim t-Test für abhängige Stichproben die Zahl der Paare minus 1. Passen die Freiheitsgrade nicht zu deiner Stichprobe, wurde etwas anderes gerechnet als geplant. Mehr dazu steht im Beitrag Freiheitsgrade verstehen.
3. Passt der p-Wert zur Teststatistik?
Ein t-Wert von 1.2 bei 50 Freiheitsgraden kann nicht signifikant sein. Ein t-Wert von 4.0 kann nicht zu p = .40 gehören. Solche Widersprüche entstehen, wenn Zahlen beim Übertragen vertauscht oder von der KI frei formuliert werden. Rechne im Zweifel nach oder lass die Software den Test noch einmal selbst ausgeben.
4. Wurden die Voraussetzungen geprüft?
Viele KI-Antworten nennen das Ergebnis ohne jede Voraussetzungsprüfung. Frag gezielt nach Ausreißern, nach der Verteilung und bei Gruppenvergleichen nach den Varianzen.
5. Ist die Deutung vorsichtig genug?
KI-Texte neigen zu glatten Formulierungen wie „X beeinflusst Y deutlich“. Prüfe, ob das Design eine kausale Aussage erlaubt und ob die Effektstärke das Wort „deutlich“ trägt. Eine Hilfe dazu bietet der Beitrag p-Wert richtig interpretieren.
Die Tabelle 1 zeigt die fünf Prüfschritte mit den Warnzeichen, auf die du achten solltest.
Prüfschritt | Worauf du achtest | Warnzeichen |
Verfahren und Design | Unabhängige oder abhängige Messung, Skalenniveau | Der Test passt nicht zur Datenerhebung |
N und Freiheitsgrade | Freiheitsgrade passend zur Stichprobe | Deutlich mehr oder weniger Freiheitsgrade als erwartet |
p-Wert und Teststatistik | Beide Werte passen zusammen | Großer t-Wert mit großem p-Wert |
Voraussetzungen | Ausreißer, Verteilung, Varianzen | Ergebnis ohne jede Prüfung |
Deutung | Design und Effektstärke | Kausale Sprache bei Querschnittsdaten |
Ein Beispiel
Eine Bachelorarbeit misst bei 30 Personen das Wohlbefinden vor und nach einem Achtsamkeitstraining. Die Studentin bittet die KI, „den Unterschied zu testen“. Die Antwort der KI sieht so aus.
Das Wohlbefinden unterschied sich nicht signifikant zwischen den Messzeitpunkten, t(58) = 1.21, p = .231.
Prüfschritt 2 zeigt den Fehler sofort. 58 Freiheitsgrade passen zu zwei unabhängigen Gruppen mit je 30 Personen, nicht zu 30 Personen mit zwei Messungen. Die KI hat einen t-Test für unabhängige Stichproben gerechnet und damit ignoriert, dass dieselben Personen zweimal befragt wurden. Mit dem passenden t-Test für abhängige Stichproben ergibt sich ein anderes Bild.
Das Wohlbefinden war nach dem Training höher als davor, t(29) = 3.05, p = .005, dz = 0.56.
Der Unterschied entsteht, weil der abhängige Test die Unterschiede zwischen den Personen herausrechnet und nur die Veränderung innerhalb jeder Person betrachtet. Wie du diesen Test berichtest, steht im Beitrag t-Test für abhängige Stichproben nach APA 7. Welcher t-Test wann passt, zeigt der Beitrag Welcher t-Test passt?.
In diesem Beispiel war der Fehler leicht zu sehen, weil das Design einfach ist. In einer echten Arbeit mit mehreren Skalen, fehlenden Werten und Kovariaten fällt er oft erst im Kolloquium auf. Eine zweite fachliche Prüfung vor der Abgabe kostet weniger Zeit als eine Nachbesserung danach. Auswertung prüfen lassen.
Datenschutz und Hochschulregeln
Personenbezogene Daten gehören nicht in öffentliche KI-Werkzeuge. Das betrifft auch scheinbar harmlose Angaben wie Alter, Studiengang und Freitextantworten, die zusammen eine Person erkennbar machen können. Laut Bericht speichert Google Deep Review hochgeladene Dateien ein Jahr lang. Prüfe vor dem Hochladen deiner Arbeit, ob das mit den Regeln deiner Hochschule vereinbar ist.
Viele Hochschulen verlangen inzwischen, dass du die KI-Nutzung in der Arbeit angibst. Der Leitfaden der FH Wedel nennt dafür Werkzeug mit Version, Zweck und Stelle in der Arbeit und schreibt vor, KI-Code nur nach eigener Prüfung zu verwenden (FH Wedel). Was bei dir gilt, regeln deine Prüfungsordnung und deine Betreuung.
Fragen zu ChatGPT und Statistik
Darf ich ChatGPT für meine Auswertung nutzen?
Das regelt deine Hochschule. Viele erlauben es, verlangen aber eine Angabe der Nutzung und eine eigene Prüfung der Ergebnisse. Klär das früh mit deiner Betreuung.
Woran erkenne ich am schnellsten, dass ein falscher Test gerechnet wurde?
Meist an den Freiheitsgraden. Sie müssen zu deiner Stichprobe und zum Design passen. Wie du sie liest, erklärt der Beitrag Freiheitsgrade verstehen.
Lohnt sich eine Prüfung, wenn die KI schon alles gerechnet hat?
Oft ist eine Prüfung schneller erledigt als eine neue Auswertung, weil die Daten bereits aufbereitet sind. Wie sich der Aufwand zusammensetzt, erklärt der Beitrag Was kostet eine statistische Auswertung.
Reicht es, die KI das Ergebnis selbst prüfen zu lassen?
Nein. Wenn die KI das Verfahren falsch gewählt hat, prüft sie oft im selben Rahmen weiter. Die Prüfung des Designs musst du selbst übernehmen.
Wo gebe ich die KI-Nutzung an?
Je nach Hochschule in einem eigenen Verzeichnis, in einer Erklärung oder gar nicht. Was üblicherweise hineingehört, steht im Beitrag Statistik im Methodenteil.
Selbst prüfen oder prüfen lassen Wenn du die fünf Schritte sicher selbst anwenden willst, gehen wir sie im 1:1-Coaching an deinem eigenen Datensatz durch. Soll es schneller gehen, rechnen wir deine Ergebnisse im Rahmen der statistischen Auswertung nach. Im Abschlussgespräch erfährst du dann, was wir geändert haben und warum.
