p = .41 heißt noch nicht „kein Unterschied“, so prüfst du mit dem Äquivalenztest in JASP, ob ein Effekt praktisch null ist
Ein t-Test mit p = .41 zeigt, dass ein Unterschied nicht nachweisbar war. Ob es keinen Unterschied gibt, beantwortet er nicht. Trotzdem möchten viele genau diesen Satz in ihren Ergebnisteil schreiben, wenn ein Test nicht signifikant ausfällt. Der Äquivalenztest stellt die Frage anders herum und kann sie tatsächlich beantworten.
Warum ein nicht signifikantes Ergebnis keine Gleichheit belegt
Ein p-Wert sagt, wie gut die Daten zur Annahme ohne Effekt passen. Ist er groß, fehlt ein Beleg für einen Unterschied. Das kann an einem kleinen Effekt liegen oder an einer kleinen Stichprobe. Darauf weisen auch Eisner, Tomek und Caldwell in ihrem Beitrag in PNAS hin, die den Äquivalenztest für solche Fälle empfehlen.
Die Idee dahinter stammt aus der Pharmaforschung und heißt TOST, kurz für zwei einseitige Tests. Du legst vorab zwei Grenzen fest, zwischen denen ein Effekt für dein Thema keine Rolle spielt. Dann prüfst du, ob der Effekt signifikant über der unteren und signifikant unter der oberen Grenze liegt. Nur wenn beides gelingt, sprichst du von Äquivalenz.
Äquivalenzgrenzen sind die eigentliche Entscheidung
Die Grenzen beschreiben den kleinsten Effekt, der inhaltlich zählt. Du begründest sie mit Vorarbeiten, mit einem Wert, ab dem ein Unterschied praktisch relevant wäre, oder mit dem, was deine Stichprobe überhaupt auflösen kann. Sie sollten vor der Auswertung feststehen. Grenzen, die nach einem Blick auf die Daten gewählt wurden, belegen wenig.
Weil auch ein kleiner signifikanter Effekt praktisch bedeutungslos sein kann, schließen sich beide Fragen nicht aus. Die Tabelle 1 stellt die möglichen Ausgänge gegenüber:
t-Test | Äquivalenztest | Was du sagen kannst |
signifikant | nicht äquivalent | Es gibt einen Unterschied von relevanter Größe. |
signifikant | äquivalent | Es gibt einen Unterschied, er ist aber praktisch unbedeutend. |
nicht signifikant | äquivalent | Ein relevanter Unterschied lässt sich ausschließen. |
nicht signifikant | nicht äquivalent | Die Daten lassen die Frage offen. |
Zweimal p = .41 mit zwei verschiedenen Aussagen
Das folgende Beispiel ist erfunden. Zwei Lernformate werden verglichen, die Standardabweichung beträgt in beiden Gruppen 10 Punkte. Als Grenzen wurden vorab d = ±0.30 festgelegt, das entspricht ±3 Punkten. Die Tabelle 2 zeigt zwei Studien, die im t-Test fast dieselbe Zahl liefern:
Kennwert | 60 pro Gruppe | 250 pro Gruppe |
Mittelwertsdifferenz | 1.50 | 0.74 |
t-Test | t(118) = 0.82, p = .413 | t(498) = 0.83, p = .408 |
Test gegen untere Grenze | t(118) = 2.46, p = .008 | t(498) = 4.18, p < .001 |
Test gegen obere Grenze | t(118) = −0.82, p = .206 | t(498) = −2.53, p = .006 |
90 %-KI der Differenz | [−1.53, 4.53] | [−0.73, 2.21] |
Aussage | offen | äquivalent |
Bei 60 Personen pro Gruppe reicht das Intervall über die obere Grenze von 3 Punkten hinaus. Ein relevanter Vorteil lässt sich nicht ausschließen. Bei 250 Personen pro Gruppe liegt es vollständig innerhalb der Grenzen. Hier zeigt sich auch der Preis des Verfahrens, denn ein Nachweis von Gleichwertigkeit braucht meist deutlich mehr Personen als der Nachweis eines mittleren Unterschieds. Das gehört schon in die Planung der Stichprobe.
Dass hier ein 90 %-Intervall steht, ist kein Versehen. Zwei einseitige Tests mit α = .05 entsprechen der Frage, ob dieses Intervall innerhalb der Grenzen liegt. Wie du Intervalle sonst angibst, bleibt davon unberührt.
Wie berichte ich einen Äquivalenztest?
Du nennst die Grenzen mit Begründung, beide einseitigen Tests und das 90 %-Konfidenzintervall. Mit den erfundenen Werten der größeren Studie könnte das so aussehen:
Der Unterschied zwischen den Lernformaten war nicht signifikant, t(498) = 0.83, p = .408. Der Äquivalenztest mit den vorab festgelegten Grenzen von d = ±0.30 war signifikant, untere Grenze t(498) = 4.18, p < .001, obere Grenze t(498) = −2.53, p = .006, 90 %-KI [−0.73, 2.21].
Die Einordnung, was das inhaltlich für deine Fragestellung bedeutet, folgt dann in der Diskussion. Ob dein Betreuer das Verfahren kennt, ist nicht selbstverständlich. Sprich das am besten früh an.
Welche Grenzen in deinem Fach begründbar sind, lässt sich nicht aus einer Tabelle ablesen. Wir können die Äquivalenzgrenzen für deine JASP-Auswertung gemeinsam mit dir festlegen.
Was JASP dafür mitbringt
JASP bietet ein eigenes Modul für Äquivalenztests an, das du zuerst im Programm aktivierst. Es nutzt für den klassischen Weg das Verfahren aus dem R-Paket TOSTER und bietet zusätzlich eine bayesianische Variante an. Die Grenzen trägst du im JASP-Beispiel als Werte von Cohens d ein, die Grafik zeigt das Intervall vor dem Äquivalenzbereich. Prüfe die Optionen in deiner Version, denn die Oberfläche ändert sich regelmäßig. Wer schon mit dem Bayes-Faktor in JASP gearbeitet hat, findet die Darstellung der bayesianischen Variante vertraut. Kontrolliere Ergebnisse aus JASP wie immer anhand der Einstellungen im Protokoll.
Noch offene Fragen zum Äquivalenztest
Kann ich einen Äquivalenztest nachträglich rechnen?
Technisch geht das. Glaubwürdig ist es nur, wenn du die Grenzen unabhängig von deinem Ergebnis begründen kannst. Nenne im Methodenteil offen, dass die Analyse nicht von Anfang an geplant war.
Mit welchem Aufwand muss ich rechnen, wenn ihr mich dabei unterstützt?
Das hängt davon ab, wie viele Vergleiche anstehen und ob die Grenzen schon begründet sind. Einen Überblick über den Ablauf findest du unter Preise und Ablauf.
Reicht ein Bayes-Faktor statt TOST?
Auch ein Bayes-Faktor kann Belege für eine Nullhypothese liefern. Er beantwortet aber eine andere Frage. Seine Größe hängt zudem von der gewählten Prior-Verteilung ab. Welcher Weg passt, entscheidet die Fragestellung.
Darf ich „kein Unterschied“ schreiben, wenn der Test äquivalent ausfällt?
Genauer ist die Aussage, dass ein Unterschied von der festgelegten Größe ausgeschlossen werden kann. Ein Effekt innerhalb der Grenzen bleibt möglich.
Wenn die Rückfrage kommt, warum du „kein Unterschied“ schreibst Wir übernehmen die Auswertung in JASP samt Äquivalenztest und erklären dir jede Zahl. Wenn du lieber selbst rechnest, begleiten wir dich im Statistik-Coaching. Die Details stehen bei Preise und Ablauf. Welcher Effekt würde in deiner Arbeit noch als praktisch null gelten?


