Mehrere KI-Analysten, ein Datensatz und verschiedene Ergebnisse, was die Studie von Bertran, Fogliato und Wu für deine Auswertung heißt
Mehrere KI-Analysten bekamen denselben Datensatz und dieselbe Forschungsfrage und kamen zu verschiedenen Effektstärken und Schlüssen. Das zeigt eine aktuelle Studie, die für alle wichtig ist, die ihre Auswertung mit einem Chatbot rechnen oder ein KI-Ergebnis selbst prüfen wollen. Ein einzelner Lauf ist danach nur eine von vielen möglichen Antworten.
Was die Studie gemacht hat
Martin Bertran, Riccardo Fogliato und Zhiwei Steven Wu haben im Februar 2026 die Arbeit Many AI Analysts, One Dataset als Preprint veröffentlicht. Darin führen vollständig autonome KI-Analysten auf Basis großer Sprachmodelle jeweils eine komplette Auswertung durch, mit festem Datensatz und fester Hypothese. Ein separater KI-Prüfer kontrolliert jeden Lauf auf methodische Fehler.
Das Ergebnis beschreiben die Autoren als deutliche Streuung der Effektstärken, der p-Werte und der Schlussfolgerungen. Schon ein anderes Sprachmodell oder eine andere Rolle im Prompt verschiebt die Verteilung der Ergebnisse. Das gilt ausdrücklich auch für Läufe, die methodisch einwandfrei waren.
Warum liefert ChatGPT bei denselben Daten verschiedene Ergebnisse?
Weil eine Auswertung aus vielen kleinen Entscheidungen besteht, die alle vertretbar sein können. Welche Fälle schließt du aus? Welche Kontrollvariablen nimmst du auf? Welchen Test wählst du bei verletzten Voraussetzungen? Ein Mensch trifft diese Entscheidungen bewusst und begründet sie im Methodenteil. Ein Sprachmodell trifft sie oft stillschweigend und bei jedem Lauf möglicherweise anders.
Aus Studien mit menschlichen Analystenteams ist das Phänomen seit Jahren bekannt. Man spricht vom Multiversum der Analysen. Eine Multiverse-Analyse rechnet alle vertretbaren Auswertungswege durch und zeigt, wie stark das Ergebnis von diesen Entscheidungen abhängt. Neu ist, dass ein Chatbot dieses Multiversum in Sekunden erzeugt, ohne dass du es bemerkst.
Drei Entscheidungen, die eine KI unbemerkt trifft
Die Tabelle 1 zeigt drei typische Stellen, an denen sich Läufe unterscheiden. Die Beispiele sind erfunden und sollen nur zeigen, wie leicht sich ein Ergebnis verschiebt.
Entscheidung | Erfundenes Beispiel | Mögliche Folge |
Ausschlüsse | Ein Lauf entfernt Antworten mit mehr als 3 SD Abstand zum Mittelwert, ein anderer behält sie. | Der p-Wert rutscht über oder unter .05. |
Kontrollvariablen | Ein Lauf nimmt Alter und Geschlecht auf, ein anderer nur das Alter. | Der Effekt des Prädiktors wird kleiner oder größer. |
Verfahren | Ein Lauf rechnet einen t-Test, ein anderer bei schiefer Verteilung einen Mann-Whitney-U-Test. | Effektmaß und Signifikanz sind nicht mehr vergleichbar. |
Keine dieser Entscheidungen ist für sich falsch. Problematisch wird es erst, wenn du nicht weißt, welche Entscheidung in deinem Ergebnis steckt. Dann kannst du sie im Kolloquium auch nicht begründen.
Ob die Entscheidungen in deiner KI-gestützten Auswertung tragfähig sind, prüfen wir im Auswertungs-Check, bevor du den Ergebnisteil abgibst.
Was die Autoren empfehlen
Die Studie empfiehlt Berichte im Stil einer Multiverse-Analyse und die vollständige Offenlegung der verwendeten Prompts, gleichrangig mit Code und Daten. Für eine Abschlussarbeit lässt sich das auf drei Gewohnheiten herunterbrechen.
Den Analyseplan vor der ersten Rechnung festhalten. Wer vorher notiert, welche Hypothesen, Ausschlusskriterien und Verfahren gelten, kann eine KI nicht unbemerkt davon abweichen lassen. Wie das mit einer Präregistrierung funktioniert, steht in einem eigenen Beitrag.
Prompts und Versionen dokumentieren. Notiere, welches Modell du wann mit welchem Prompt genutzt hast. Das gehört genauso zur Nachvollziehbarkeit wie die Syntax.
Jede Entscheidung selbst begründen können. Was im Methodenteil steht, musst du erklären können, egal wer gerechnet hat.
Was du aus der Studie nicht ableiten solltest
Die Arbeit ist ein Preprint, also noch nicht in jedem Fall begutachtet. Sie zeigt außerdem nicht, dass KI für die Auswertung unbrauchbar wäre. Auch menschliche Analystenteams kommen bei denselben Daten zu verschiedenen Ergebnissen, wenn sie unterschiedliche vertretbare Wege wählen. Der Unterschied liegt in der Sichtbarkeit. Ein Mensch kann seine Entscheidungen benennen, ein Chatbot verschweigt sie oft.
Die Studie ist deshalb vor allem ein Argument für Sorgfalt. Wer eine KI nutzt, sollte das Ergebnis nicht als feste Größe behandeln, sondern als einen von mehreren möglichen Wegen. Prüfe, an welchen Stellen dein Weg von anderen abweichen könnte. Halte dann fest, warum du dich so entschieden hast.
Was das für die Offenlegung in der Abschlussarbeit heißt
Viele Hochschulen erlauben KI als Werkzeug, verlangen aber eine Offenlegung. Was die neuen Regeln von LMU, FU Berlin und Bamberg konkret vorsehen, fasst der Beitrag zu den KI-Regeln für die Auswertung zusammen. Die Studie liefert dafür ein sachliches Argument. Wenn ein anderer Lauf ein anderes Ergebnis bringen kann, reicht der Satz „ausgewertet mit KI“ nicht aus.
Auch Werkzeuge mit eingebauter KI sind davon betroffen. Seit JASP auf Zuruf rechnet, stellt sich dieselbe Frage. Welche drei Punkte du dort selbst kontrollierst, beschreibt der Beitrag zu JASP 0.98. Und wer befürchtet, dass ein KI-Detektor anschlägt, findet im Beitrag zur Basisrate von KI-Detektoren eine nüchterne Einordnung.
Noch offene Fragen zur KI-Statistik
Darf ich meine Auswertung überhaupt mit KI rechnen?
Das regelt deine Hochschule. Viele erlauben KI als Hilfsmittel, solange du die Nutzung offenlegst und die Ergebnisse selbst verantwortest. Wer die Regeln seiner Prüfungsordnung kennt und jede Entscheidung begründen kann, ist auf der sicheren Seite.
Hilft es, die KI mehrmals rechnen zu lassen und das häufigste Ergebnis zu nehmen?
Das zeigt dir, wie stabil das Ergebnis ist, ersetzt aber keine begründete Entscheidung. Wenn sich die Läufe unterscheiden, musst du herausfinden, an welcher Stelle. Genau diese Stelle gehört dann in den Methodenteil.
Lohnt sich eine Prüfung, wenn die KI nur einen einfachen Test gerechnet hat?
Auch bei einem einfachen Test stecken Entscheidungen zu Ausschlüssen und Voraussetzungen im Ergebnis. Wie viel Aufwand eine Prüfung macht, hängt vom Umfang deines Ergebnisteils ab. Einen Überblick gibt die Seite Preise und Ablauf.
Muss ich die Prompts im Anhang abdrucken?
Das hängt von Hochschule und Betreuung ab. Die Autoren der Studie empfehlen die vollständige Offenlegung. Wer die wichtigsten Prompts im Anhang dokumentiert, macht seine Arbeit nachvollziehbar.
Wenn eine KI deine Zahlen gerechnet hat Du kannst die Auswertung im Statistik-Coaching gemeinsam mit uns nachvollziehen und jede Entscheidung selbst begründen lernen. Oder du lässt sie im Auswertungs-Check prüfen und bekommst zurück, welche Entscheidungen tragfähig sind und wo du nachbessern solltest. Würde deine Auswertung bei einem zweiten Lauf dasselbe Ergebnis liefern?


