Nach der KI-Schulung 0.40 Punkte höher, warum ein Vorher-nachher-Vergleich noch keine Wirkung belegt
Nach einer KI-Schulung bewerten 40 Beschäftigte ihre Sicherheit im Umgang mit KI im Mittel 0.40 Punkte höher als vorher. Der t-Test für abhängige Stichproben ist signifikant. Im Bericht steht dann schnell der Satz, die Schulung habe gewirkt. Dieser Satz geht weiter, als die Daten erlauben. Viele Betriebe stellen sich die Frage gerade, denn laut IW-Kurzbericht nutzen 29.10 % der beruflichen KI-Nutzenden Werkzeuge, die der Arbeitgeber nicht bereitstellt.
Vier Gründe, warum Vorher-nachher täuschen kann
Ohne Vergleichsgruppe bleibt offen, was ohne Schulung passiert wäre. Dorothy Bishop beschreibt mehrere dieser Verzerrungen in Evaluating What Works. Für Schulungen sind vor allem vier wichtig:
Regression zur Mitte. Wer bei der ersten Messung besonders niedrig liegt, liegt bei der zweiten im Mittel näher am Durchschnitt, auch ohne jede Maßnahme. Das betrifft alle Gruppen, die wegen niedriger Werte ausgewählt wurden.
Testeffekte. Schon die erste Befragung lenkt den Blick auf das Thema. Beim zweiten Mal antworten Menschen oft sicherer, weil ihnen die Fragen vertraut sind.
Veränderungen in der Zwischenzeit. Zwischen zwei Messungen liegen Wochen. In dieser Zeit können neue Werkzeuge kommen oder Teams einfach mehr Übung sammeln.
Auswahl der Teilnehmenden. Wer freiwillig kommt, ist oft motivierter als die übrigen. Ein Anstieg in dieser Gruppe lässt sich nicht auf alle übertragen.
Wie groß die Regression zur Mitte sein kann
Angenommen, in einem erfundenen Betrieb liegt die Selbsteinschätzung im Mittel bei 4.00 Punkten, die Standardabweichung bei 0.80. Geschult werden die 40 Personen mit den niedrigsten Werten, ihr Mittelwert beträgt 3.20. Die Werte korrelieren über die Zeit zu r = .70. Ohne Schulung erwartest du dann bei der zweiten Messung 4.00 − .70 × 0.80 = 3.44 Punkte.
Das sind 0.24 Punkte Anstieg ohne jede Wirkung, also 60.00 % der gemessenen 0.40 Punkte. Der Rest kann auf die Schulung zurückgehen, muss es aber nicht. Der Effekt schrumpft bei dieser Annahme deutlich. Wie stark genau, lässt sich ohne Vergleichsgruppe nur schätzen. Die Rechnung setzt voraus, dass tatsächlich nach niedrigen Ausgangswerten ausgewählt wurde. Melden sich dagegen alle Beschäftigten an, fällt dieser Teil weg, die anderen drei Verzerrungen bleiben bestehen.
Drei Designs im Vergleich
Die Tabelle 1 zeigt, was die üblichen Designs leisten:
Design | Aufwand | Was du aussagen kannst |
Nur vorher und nachher | gering | Veränderung beschreiben, keine Wirkung belegen |
Wartekontrollgruppe | mittel | Veränderung mit einer später geschulten Gruppe vergleichen |
Zufällige Zuteilung | hoch | Wirkung am besten absichern, wenn die Gruppen getrennt bleiben |
Die Wartekontrollgruppe passt in vielen Betrieben gut. Oft lässt sich ohnehin nicht das ganze Haus gleichzeitig schulen. Außerdem verzichtet so niemand dauerhaft auf die Maßnahme. Wer zuerst dran ist, sollte nach Möglichkeit nicht von der Führungskraft bestimmt werden. Sonst landen in der ersten Gruppe vielleicht genau die Motivierten. Der Vergleich verliert dadurch an Wert. Ein Losverfahren innerhalb von Abteilungen ist oft leichter umzusetzen, als viele zunächst denken. Dann erfüllt auch die Wartekontrollgruppe viele Eigenschaften einer zufälligen Zuteilung.
Wie werte ich eine Schulung mit Vorher-nachher-Messung aus?
Ohne Kontrollgruppe rechnest du einen t-Test für abhängige Stichproben und beschreibst das Ergebnis als Veränderung. Mit Kontrollgruppe prüfst du in einer Mixed ANOVA die Wechselwirkung von Gruppe und Zeitpunkt, denn sie zeigt, ob die geschulte Gruppe stärker zulegt. Die Deutung bleibt in beiden Fällen an das gewählte Design gebunden.
Das Design muss vor der ersten Befragung feststehen. Nach der Schulung lässt sich eine fehlende Vergleichsgruppe nicht mehr nachholen. Auch die Frage, wie die Antworten anonym über beide Zeitpunkte verknüpft werden, klärst du vorher. Ohne einen Code, den die Beschäftigten selbst erzeugen, lassen sich die Messungen später oft nicht mehr einander zuordnen. Dann fällt der t-Test für abhängige Stichproben weg, obwohl alle zweimal geantwortet haben.
Wenn ihr eine Schulung plant und später belastbare Zahlen braucht, können wir die Evaluation für euer Team von Anfang an mit euch aufsetzen.
Wie du ein Ergebnis ohne Kontrollgruppe berichtest
Bleibt es beim einfachen Design, formuliert der Bericht vorsichtig. Mit den erfundenen Werten könnte das so aussehen:
Die Selbsteinschätzung lag nach der Schulung höher (M = 3.60, SD = 0.85) als davor (M = 3.20, SD = 0.80), t(39) = 2.81, p = .008, d = 0.44.
Für die Größe des Effekts steht hier die Differenz geteilt durch die Streuung der Differenzen. Dass das Design keine Vergleichsgruppe enthält, nennst du offen, auch im Methodenteil einer Masterarbeit. Wie Befragungen im Betrieb sonst ausgewertet werden, zeigt der Artikel zur Mitarbeiterbefragung.
Noch offene Fragen zur Schulungsevaluation
Reicht eine Zufriedenheitsabfrage am Ende der Schulung?
Sie zeigt, wie die Schulung ankam. Ob sich Wissen oder Verhalten verändert haben, zeigt sie nicht. Dafür brauchst du eine Messung, die sich auf diese Ziele bezieht.
Wie viele Personen braucht eine Wartekontrollgruppe?
Das hängt vom erwarteten Effekt und von der Zahl der Messungen ab. Mit sehr kleinen Gruppen bleiben auch ordentliche Effekte oft unsicher. Eine grobe Planung vor dem Start spart hier viel Ärger.
Welcher Aufwand entsteht für eine externe Auswertung?
Das richtet sich nach Zahl der Skalen, Gruppen und Zeitpunkte. Ein Projekt für Unternehmen kalkulieren wir einzeln, einen ersten Überblick geben Preise und Ablauf.
Darf ich in meiner Masterarbeit ohne Kontrollgruppe arbeiten?
Das hängt von Hochschule und Betreuung ab, in der Praxis kommt es häufig vor. Wichtig ist, dass du die Grenzen des Designs in der Diskussion benennst und keine Wirkung behauptest.
Bevor die erste Befragung rausgeht Für Unternehmen planen und werten wir Evaluationen aus, damit am Ende eine belastbare Aussage steht. Wenn du für deine Masterarbeit selbst rechnest, begleiten wir dich im Statistik-Coaching. Eine erste Orientierung bieten Preise und Ablauf. Gibt es in deiner Maßnahme eine Gruppe, die erst später geschult wird?


