Post-hoc-Tests nach der ANOVA: Tukey, Bonferroni oder Games-Howell?
Deine einfaktorielle ANOVA ist signifikant und nun stellt sich die Frage, welche Gruppen sich eigentlich unterscheiden. Der F-Test sagt nur, dass es irgendwo zwischen den Gruppen einen Unterschied gibt. Welche Paare dafür verantwortlich sind, zeigen erst die Post-hoc-Tests.
Warum mehrere t-Tests keine gute Idee sind
Bei drei Gruppen liegt es nahe, einfach drei t-Tests zu rechnen. Das Problem dabei ist die Alphafehler-Kumulierung. Jeder einzelne Test hat ein Risiko von 5 %, einen Unterschied zu finden, den es in der Population nicht gibt. Bei drei Vergleichen steigt die Wahrscheinlichkeit für mindestens einen solchen Fehler auf bis zu rund 14 %, bei sechs Vergleichen auf bis zu rund 26 %.
Post-hoc-Tests begrenzen diese Fehlerwahrscheinlichkeit über alle Paarvergleiche hinweg auf das gewählte Niveau. Der Preis dafür ist eine etwas geringere Teststärke im einzelnen Vergleich. Deshalb lohnt es sich, das Verfahren passend zur Datenlage zu wählen.
Welcher Post-hoc-Test passt zu deinen Daten?
Die Entscheidung hängt vor allem an zwei Fragen. Sind die Varianzen in den Gruppen ähnlich und sind die Gruppen ungefähr gleich groß? Die erste Frage beantwortet der Levene-Test. Was ein signifikantes Ergebnis dort bedeutet, erklärt der Beitrag Levene-Test in SPSS. Die Tabelle 1 ordnet die gängigen Verfahren den typischen Situationen zu.
Situation | Post-hoc-Test | Begründung |
Varianzen homogen, Gruppen etwa gleich groß | Tukey-HSD | Hält die Fehlerwahrscheinlichkeit über alle Paarvergleiche ein und hat dabei eine gute Teststärke. |
Varianzen homogen, Gruppengrößen deutlich verschieden | Gabriel oder Hochberg GT2 | Beide sind für ungleiche Gruppen entwickelt. Gabriel eignet sich bei leichten, GT2 bei starken Unterschieden. |
Varianzen nicht homogen | Games-Howell | Rechnet mit getrennten Varianzen und angepassten Freiheitsgraden und bleibt so auch bei ungleichen Gruppen verlässlich. |
Nur wenige, vorab geplante Vergleiche | Bonferroni oder Bonferroni-Holm | Bei wenigen Vergleichen gut geeignet, bei vielen Vergleichen sehr konservativ. |
Alle Gruppen gegen eine Kontrollgruppe | Dunnett | Prüft nur die Vergleiche mit der Kontrollgruppe und verliert dadurch weniger Teststärke. |
Den Scheffé-Test findest du in älteren Lehrbüchern häufig. Für reine Paarvergleiche ist er unnötig streng und übersieht Unterschiede eher als Tukey. Sind die Varianzen ungleich, betrifft das außerdem schon die ANOVA selbst. Dann bietet sich statt der klassischen ANOVA der Welch-Test an, zu dem Games-Howell als Post-hoc-Test passt.
Entscheidend ist, dass du das Verfahren festlegst, bevor du die Ergebnisse ansiehst. Die Wahl begründest du im Methodenteil kurz. Wer mehrere Verfahren ausprobiert und das mit den meisten signifikanten Paaren berichtet, hebt die Fehlerkontrolle wieder auf.
Du bist unsicher, ob Tukey oder Games-Howell zu deinen Daten passt? Bei der statistischen Auswertung übernehmen wir die Verfahrenswahl und erklären dir, warum welcher Vergleich so berichtet wird.
Ein Beispiel mit SPSS-Ausgabe
So könnte das mit erfundenen Werten aussehen. Untersucht wird die Prüfungsangst von Studierenden in drei Lernbedingungen mit je n = 30 Personen, gemessen auf einer Skala von 1 bis 5. Die Mittelwerte liegen bei M = 3.10 (SD = 0.82) in Bedingung A, M = 3.40 (SD = 0.88) in Bedingung B und M = 3.85 (SD = 0.79) in Bedingung C. Der Levene-Test ist nicht signifikant und die Gruppen sind gleich groß, Tukey-HSD passt also.
Die ANOVA ergibt F(2, 87) = 6.19, p = .003, η² = .12. Wie dieser Wert einzuordnen ist, erklärt der Beitrag zu Eta-Quadrat und partiellem Eta-Quadrat. SPSS gibt die Paarvergleiche in der Tabelle Mehrfachvergleiche aus. Dort steht jede Kombination doppelt, einmal als A gegen B und einmal als B gegen A. In der Arbeit berichtest du jeden Vergleich nur einmal. Die Tabelle 2 zeigt die drei Paarvergleiche aus dem Beispiel.
Vergleich | Mittelwertdifferenz | 95 % KI | p |
B gegen A | 0.30 | [−0.21, 0.81] | .346 |
C gegen A | 0.75 | [0.24, 1.26] | .002 |
C gegen B | 0.45 | [−0.06, 0.96] | .096 |
Der p-Wert in dieser Tabelle ist bereits korrigiert und muss nicht zusätzlich mit der Zahl der Vergleiche multipliziert werden. Bedeutsam ist im Beispiel nur der Unterschied zwischen A und C. Für diesen Vergleich lässt sich zusätzlich Cohens d angeben, hier d = 0.90, berechnet mit der gepoolten Standardabweichung aus der ANOVA. Welche Maße zu welchem Verfahren passen, zeigt die Übersicht Welche Effektstärke gehört zu welchem Verfahren?
So berichtest du Post-hoc-Tests nach APA 7
Im Ergebnisteil nennst du zuerst die ANOVA und danach die Paarvergleiche. Dabei muss immer erkennbar sein, welches Korrekturverfahren verwendet wurde. Für das erfundene Beispiel könnte der Bericht so aussehen:
Die Lernbedingung hatte einen signifikanten Effekt auf die Prüfungsangst, F(2, 87) = 6.19, p = .003, η² = .12. Post-hoc-Vergleiche nach Tukey zeigten, dass die Prüfungsangst in Bedingung C höher war als in Bedingung A (Mittelwertdifferenz = 0.75, 95 % KI [0.24, 1.26], p = .002, d = 0.90). Die Unterschiede zwischen A und B (p = .346) sowie zwischen B und C (p = .096) waren nicht signifikant.
Bei vier oder mehr Gruppen wird ein solcher Text schnell unübersichtlich. Dann ist eine Tabelle mit allen Paarvergleichen die bessere Lösung, auf die du im Text verweist. Die Tabelle „Homogene Untergruppen“ aus SPSS hilft beim Überblick, gehört aber in der Regel nicht in die Arbeit.
Welche Fehler bei Post-hoc-Tests häufig vorkommen
Die folgenden Fehler fallen in Gutachten immer wieder auf.
Post-hoc-Tests nach nicht signifikanter ANOVA. Wer trotzdem nach Paarunterschieden sucht, braucht dafür eine vorab formulierte Hypothese, sonst wirkt das Ergebnis wie nachträgliches Suchen.
Das Verfahren wird nicht genannt. Lesende müssen wissen, welche Korrektur verwendet wurde.
Tukey trotz ungleicher Varianzen. Ist der Levene-Test auffällig, passt Games-Howell besser zu den Daten.
Unterschiede ohne Richtung. Der Satz, dass sich A und C unterscheiden, sagt noch nicht, welche Gruppe die höheren Werte hat.
p = .000 aus SPSS übernommen. Nach APA 7 schreibst du stattdessen p < .001.
Häufige Fragen zu Post-hoc-Tests
Brauche ich Post-hoc-Tests bei nur zwei Gruppen?
Nein. Bei zwei Gruppen gibt es nur einen einzigen Vergleich, eine Korrektur ist also nicht nötig. Die ANOVA entspricht in diesem Fall einem t-Test für unabhängige Stichproben und zeigt bereits, welche Gruppe höhere Werte hat.
Was ist der Unterschied zwischen Post-hoc-Tests und geplanten Kontrasten?
Geplante Kontraste legst du vor der Auswertung auf Basis deiner Hypothesen fest, zum Beispiel den Vergleich von Bedingung C mit A und B zusammen. Post-hoc-Tests vergleichen dagegen ohne Vorannahme alle Paare. Kontraste haben meist mehr Teststärke, setzen aber eine klare Hypothese voraus.
Muss ich für jeden Paarvergleich eine Effektstärke angeben?
APA 7 empfiehlt Effektstärken für die zentralen Ergebnisse. Für signifikante und inhaltlich wichtige Vergleiche ist Cohens d sinnvoll. In einer Tabelle kannst du es für alle Paare ergänzen.
Wie gehe ich bei einer Mixed ANOVA vor?
Bei einer Mixed ANOVA hängt das Vorgehen davon ab, ob die Interaktion signifikant ist. Ist sie bedeutsam, rechnest du in der Regel Analysen der einfachen Effekte statt Post-hoc-Tests auf den Haupteffekt. Die Korrektur für mehrere Vergleiche gilt dort ebenso.
Was kostet es, die ANOVA mit Post-hoc-Tests auswerten zu lassen?
Das hängt vom Umfang deiner Arbeit ab, also davon, wie viele Gruppenvergleiche und weitere Verfahren dazukommen. Eine Übersicht mit typischen Stundenzahlen findest du im Beitrag Was kostet eine statistische Auswertung?
Post-hoc-Tests rechnen und erklären lassen Wir übernehmen Voraussetzungsprüfung, die Wahl des passenden Post-hoc-Verfahrens und die Ergebnisdarstellung nach APA 7 als Teil der statistischen Auswertung, inklusive Abschlussgespräch, in dem wir die Paarvergleiche so durchgehen, dass du sie selbst erklären kannst. Wenn du lieber selbst rechnest, gehen wir deine SPSS-Ausgabe im 1:1-Coaching gemeinsam durch, bis du sie selbst sicher berichten kannst.
