5 Hypothesen, 5 Tests und 22.62 % Risiko, wann du für Mehrfachtestung korrigieren musst
Fünf Hypothesen, fünf t-Tests und bei einer davon liegt p bei .041. Dann kommt die Rückfrage der Betreuerin, ob du für die Mehrfachtestung korrigiert hast. Was ein p-Wert aussagt, ist meist klar. Weniger klar ist, wann mehrere Tests zusammen betrachtet werden müssen und welche Korrektur dann passt.
Warum das Risiko mit jedem Test steigt
Jeder einzelne Test hat bei α = .05 eine Wahrscheinlichkeit von 5 %, einen Effekt zu finden, den es in der Population gar nicht gibt. Rechnest du mehrere Tests, addieren sich diese Chancen nicht einfach, aber sie wachsen. Die Wahrscheinlichkeit für mindestens einen Zufallstreffer in einer Gruppe von Tests heißt familienweise Fehlerrate. Bei voneinander unabhängigen Tests lässt sie sich mit 1 − (1 − α) hoch k berechnen, wobei k die Zahl der Tests ist.
Die Tabelle 1 zeigt, wie schnell das Risiko bei α = .05 wächst. Bei korrelierten Tests, etwa mehreren Skalen desselben Fragebogens, liegt der wahre Wert etwas darunter. Die Größenordnung bleibt aber dieselbe.
Zahl der Tests | Risiko für mindestens einen Zufallstreffer | Bonferroni-Grenze je Test |
1 | 5.00 % | .050 |
3 | 14.26 % | .017 |
5 | 22.62 % | .010 |
10 | 40.13 % | .005 |
Schon bei fünf Tests ist also fast jede vierte Arbeit ohne Korrektur betroffen, selbst wenn keiner der Effekte existiert. Genau das ist der Hintergrund der Rückfrage aus dem Einstieg.
Wann eine Korrektur nötig ist und wann nicht
Nicht jede Arbeit mit mehreren Tests braucht automatisch eine Korrektur. Entscheidend ist, ob die Tests eine gemeinsame Aussage tragen. Ob du korrigieren musst, hängt deshalb auch von Hochschule und Betreuung ab. Wer seine Entscheidung im Methodenteil begründet, ist auf der sicheren Seite. Diese Situationen kommen in Abschlussarbeiten häufig vor:
Mehrere Tests zu einer Fragestellung. Prüfst du etwa, ob sich zwei Gruppen in irgendeiner von fünf Skalen unterscheiden, bilden die fünf Tests eine Familie. Eine Korrektur ist dann der Normalfall.
Getrennt begründete Hypothesen. Hat jede Hypothese ihre eigene theoretische Herleitung und eine eigene Aussage, verzichten viele Betreuende auf eine Korrektur. Das solltest du vorher absprechen.
Paarvergleiche nach einer ANOVA. Eine Korrektur ist hier üblich. Welche Verfahren dafür infrage kommen, steht im Beitrag zu den Post-hoc-Tests nach der ANOVA.
Explorative Zusatzanalysen. Werden sie klar als explorativ gekennzeichnet, ist eine Korrektur weniger wichtig als eine vorsichtige Formulierung in der Diskussion.
Welche deiner Tests zu einer Familie gehören, klären wir im Rahmen der statistischen Auswertung mit dir anhand deiner Hypothesen, bevor gerechnet wird.
Bonferroni und Holm im Vergleich
Die Bonferroni-Korrektur teilt α durch die Zahl der Tests. Bei fünf Tests wird ein Ergebnis nur noch bei p < .010 als signifikant gewertet. Das ist einfach, aber streng, weil die Power jedes einzelnen Tests sinkt.
Die Holm-Korrektur schützt die familienweise Fehlerrate genauso, verliert aber weniger Power. Du sortierst die p-Werte aufsteigend und vergleichst den kleinsten mit α/5, den zweitkleinsten mit α/4 und so weiter. Sobald ein Wert seine Grenze überschreitet, gelten er und alle größeren als nicht signifikant. Die Tabelle 2 zeigt beide Wege mit erfundenen Werten.
Rang | p | Bonferroni-Grenze | Holm-Grenze | Signifikant nach Bonferroni | Signifikant nach Holm |
1 | .004 | .010 | .010 | ja | ja |
2 | .011 | .010 | .013 | nein | ja |
3 | .020 | .010 | .017 | nein | nein |
4 | .041 | .010 | .025 | nein | nein |
5 | .300 | .010 | .050 | nein | nein |
Nach Bonferroni bleibt nur ein Ergebnis signifikant, nach Holm sind es zwei. Der Wert von .041 aus dem Einstieg hält keiner der beiden Korrekturen stand. Weil Holm nie weniger findet als Bonferroni, wird es in vielen Fächern bevorzugt. Viele Programme geben statt korrigierter Grenzen adjustierte p-Werte aus, die du direkt mit .05 vergleichst. Beide Darstellungen sind gleichwertig, solange du einheitlich bleibst.
Was in den Methodenteil gehört
Gutachtende wollen nachvollziehen können, welche Tests du als Familie betrachtet hast und warum. Nenne deshalb die Zahl der Tests, das gewählte Verfahren und ob du korrigierte Grenzen oder adjustierte p-Werte berichtest. Wie so ein Absatz insgesamt aufgebaut ist, zeigt der Beitrag zur Statistik im Methodenteil.
Am stärksten wirkt die Entscheidung, wenn sie vor der Auswertung feststand. Wer seine Hypothesen und die geplante Korrektur vorab festhält, etwa über eine Präregistrierung, muss sie später nicht verteidigen. Besonders schnell wächst die Zahl der Tests übrigens bei Moderationsanalysen mit vielen Interaktionen, wie das Beispiel zur Moderationsanalyse in jamovi zeigt.
Offen bleibt dabei meist eine Frage, die keine Tabelle beantwortet. Welche deiner Hypothesen gehören inhaltlich zusammen? Das hängt von deiner Fragestellung ab und ist der Punkt, an dem ein zweiter Blick von außen am meisten bringt.
Eine gute Vorbereitung auf diese Frage ist eine einfache Liste. Schreib jede Hypothese mit dem zugehörigen Test auf und markiere, welche davon dieselbe Fragestellung prüfen.
Was Studierende zur Bonferroni-Korrektur oft fragen
Muss ich auch bei einer Korrelationstabelle korrigieren?
Das hängt davon ab, ob du alle Korrelationen als Test deiner Fragestellung interpretierst. Dienen sie nur der Beschreibung, wird oft darauf verzichtet. Testest du gezielt einzelne Zusammenhänge, gilt die gleiche Logik wie bei anderen Tests. Hinweise zur Darstellung findest du im Beitrag zur Korrelationstabelle nach APA 7.
Ist Holm immer besser als Bonferroni?
Holm findet nie weniger signifikante Ergebnisse und schützt die Fehlerrate genauso. Bonferroni ist leichter zu erklären und in manchen Fächern üblicher. Wenn deine Betreuung ein bestimmtes Verfahren erwartet, hat das Vorrang.
Was mache ich, wenn nach der Korrektur nichts mehr signifikant ist?
Dann berichtest du die Ergebnisse trotzdem vollständig mit Effektstärken. Ein nicht signifikantes Ergebnis ist kein Fehler der Arbeit. Wie du es einordnest, erklärt der Beitrag Ergebnisse nicht signifikant.
Mit welchem Aufwand muss ich rechnen, wenn ihr meine Tests durchgeht?
Das hängt davon ab, wie viele Hypothesen und Verfahren deine Arbeit enthält und ob schon gerechnet wurde. Eine Prüfung der Teststrategie ist meist deutlich kürzer als eine vollständige Auswertung. Wie wir abrechnen, steht unter Preise und Ablauf.
Wenn deine Betreuung nach der Korrektur fragt Wir legen mit dir fest, welche Tests eine Familie bilden. Danach rechnen wir sie in einer statistischen Auswertung mit passender Korrektur. Möchtest du selbst rechnen, begleiten wir dich im 1:1-Statistik-Coaching durch genau diese Entscheidung.


