top of page

Nach der KI-Schulung 0.40 Punkte höher, warum ein Vorher-nachher-Vergleich noch keine Wirkung belegt

3. Nov.
4 Min. Lesezeit

Nach einer KI-Schulung bewerten 40 Beschäftigte ihre Sicherheit im Umgang mit KI im Mittel 0.40 Punkte höher als vorher. Der t-Test für abhängige Stichproben ist signifikant. Im Bericht steht dann schnell der Satz, die Schulung habe gewirkt. Dieser Satz geht weiter, als die Daten erlauben. Viele Betriebe stellen sich die Frage gerade, denn laut IW-Kurzbericht nutzen 29.10 % der beruflichen KI-Nutzenden Werkzeuge, die der Arbeitgeber nicht bereitstellt.


Vier Gründe, warum Vorher-nachher täuschen kann

Ohne Vergleichsgruppe bleibt offen, was ohne Schulung passiert wäre. Dorothy Bishop beschreibt mehrere dieser Verzerrungen in Evaluating What Works. Für Schulungen sind vor allem vier wichtig:

  • Regression zur Mitte. Wer bei der ersten Messung besonders niedrig liegt, liegt bei der zweiten im Mittel näher am Durchschnitt, auch ohne jede Maßnahme. Das betrifft alle Gruppen, die wegen niedriger Werte ausgewählt wurden.

  • Testeffekte. Schon die erste Befragung lenkt den Blick auf das Thema. Beim zweiten Mal antworten Menschen oft sicherer, weil ihnen die Fragen vertraut sind.

  • Veränderungen in der Zwischenzeit. Zwischen zwei Messungen liegen Wochen. In dieser Zeit können neue Werkzeuge kommen oder Teams einfach mehr Übung sammeln.

  • Auswahl der Teilnehmenden. Wer freiwillig kommt, ist oft motivierter als die übrigen. Ein Anstieg in dieser Gruppe lässt sich nicht auf alle übertragen.


Wie groß die Regression zur Mitte sein kann

Angenommen, in einem erfundenen Betrieb liegt die Selbsteinschätzung im Mittel bei 4.00 Punkten, die Standardabweichung bei 0.80. Geschult werden die 40 Personen mit den niedrigsten Werten, ihr Mittelwert beträgt 3.20. Die Werte korrelieren über die Zeit zu r = .70. Ohne Schulung erwartest du dann bei der zweiten Messung 4.00 − .70 × 0.80 = 3.44 Punkte.


Das sind 0.24 Punkte Anstieg ohne jede Wirkung, also 60.00 % der gemessenen 0.40 Punkte. Der Rest kann auf die Schulung zurückgehen, muss es aber nicht. Der Effekt schrumpft bei dieser Annahme deutlich. Wie stark genau, lässt sich ohne Vergleichsgruppe nur schätzen. Die Rechnung setzt voraus, dass tatsächlich nach niedrigen Ausgangswerten ausgewählt wurde. Melden sich dagegen alle Beschäftigten an, fällt dieser Teil weg, die anderen drei Verzerrungen bleiben bestehen.


Drei Designs im Vergleich

Die Tabelle 1 zeigt, was die üblichen Designs leisten:

Design

Aufwand

Was du aussagen kannst

Nur vorher und nachher

gering

Veränderung beschreiben, keine Wirkung belegen

Wartekontrollgruppe

mittel

Veränderung mit einer später geschulten Gruppe vergleichen

Zufällige Zuteilung

hoch

Wirkung am besten absichern, wenn die Gruppen getrennt bleiben


Die Wartekontrollgruppe passt in vielen Betrieben gut. Oft lässt sich ohnehin nicht das ganze Haus gleichzeitig schulen. Außerdem verzichtet so niemand dauerhaft auf die Maßnahme. Wer zuerst dran ist, sollte nach Möglichkeit nicht von der Führungskraft bestimmt werden. Sonst landen in der ersten Gruppe vielleicht genau die Motivierten. Der Vergleich verliert dadurch an Wert. Ein Losverfahren innerhalb von Abteilungen ist oft leichter umzusetzen, als viele zunächst denken. Dann erfüllt auch die Wartekontrollgruppe viele Eigenschaften einer zufälligen Zuteilung.


Wie werte ich eine Schulung mit Vorher-nachher-Messung aus?

Ohne Kontrollgruppe rechnest du einen t-Test für abhängige Stichproben und beschreibst das Ergebnis als Veränderung. Mit Kontrollgruppe prüfst du in einer Mixed ANOVA die Wechselwirkung von Gruppe und Zeitpunkt, denn sie zeigt, ob die geschulte Gruppe stärker zulegt. Die Deutung bleibt in beiden Fällen an das gewählte Design gebunden.


Das Design muss vor der ersten Befragung feststehen. Nach der Schulung lässt sich eine fehlende Vergleichsgruppe nicht mehr nachholen. Auch die Frage, wie die Antworten anonym über beide Zeitpunkte verknüpft werden, klärst du vorher. Ohne einen Code, den die Beschäftigten selbst erzeugen, lassen sich die Messungen später oft nicht mehr einander zuordnen. Dann fällt der t-Test für abhängige Stichproben weg, obwohl alle zweimal geantwortet haben.


Wenn ihr eine Schulung plant und später belastbare Zahlen braucht, können wir die Evaluation für euer Team von Anfang an mit euch aufsetzen.

Wie du ein Ergebnis ohne Kontrollgruppe berichtest

Bleibt es beim einfachen Design, formuliert der Bericht vorsichtig. Mit den erfundenen Werten könnte das so aussehen:

Die Selbsteinschätzung lag nach der Schulung höher (M = 3.60, SD = 0.85) als davor (M = 3.20, SD = 0.80), t(39) = 2.81, p = .008, d = 0.44.

Für die Größe des Effekts steht hier die Differenz geteilt durch die Streuung der Differenzen. Dass das Design keine Vergleichsgruppe enthält, nennst du offen, auch im Methodenteil einer Masterarbeit. Wie Befragungen im Betrieb sonst ausgewertet werden, zeigt der Artikel zur Mitarbeiterbefragung.


Noch offene Fragen zur Schulungsevaluation

Sie zeigt, wie die Schulung ankam. Ob sich Wissen oder Verhalten verändert haben, zeigt sie nicht. Dafür brauchst du eine Messung, die sich auf diese Ziele bezieht.

Das hängt vom erwarteten Effekt und von der Zahl der Messungen ab. Mit sehr kleinen Gruppen bleiben auch ordentliche Effekte oft unsicher. Eine grobe Planung vor dem Start spart hier viel Ärger.

Das richtet sich nach Zahl der Skalen, Gruppen und Zeitpunkte. Ein Projekt für Unternehmen kalkulieren wir einzeln, einen ersten Überblick geben Preise und Ablauf.

Das hängt von Hochschule und Betreuung ab, in der Praxis kommt es häufig vor. Wichtig ist, dass du die Grenzen des Designs in der Diskussion benennst und keine Wirkung behauptest.


Bevor die erste Befragung rausgeht Für Unternehmen planen und werten wir Evaluationen aus, damit am Ende eine belastbare Aussage steht. Wenn du für deine Masterarbeit selbst rechnest, begleiten wir dich im Statistik-Coaching. Eine erste Orientierung bieten Preise und Ablauf. Gibt es in deiner Maßnahme eine Gruppe, die erst später geschult wird?


NEWSLETTER MIT GRATIS-PRÜFLISTE

​

Statistik-Tipps per E-Mail

​

Melde dich für unseren Newsletter an und du bekommst als Dankeschön sofort unsere Prüfliste „Stimmt deine Auswertung?“. Zwölf Punkte, die du vor der Abgabe selbst prüfen kannst.

​

Danach schreiben wir dir etwa zweimal im Monat mit neuen Blogartikeln, Anleitungen zu SPSS und R sowie Hinweisen auf unsere Angebote. Abmelden kannst du dich jederzeit mit einem Klick.

​

Die Prüfliste kommt als PDF direkt in dein Postfach.

Prüfliste und Newsletter

Mit deiner Anmeldung bekommst du die Prüfliste direkt in dein Postfach. Danach schicke ich dir etwa zweimal im Monat unseren Newsletter mit Tipps zu Auswertung, Ergebnisteil und APA 7.

Die Prüfliste kommt gleich per Mail. Für den Newsletter bekommst du zusätzlich einen Bestätigungslink.

bottom of page