top of page

5 Hypothesen, 5 Tests und 22.62 % Risiko, wann du für Mehrfachtestung korrigieren musst

vor 6 Tagen
4 Min. Lesezeit

Fünf Hypothesen, fünf t-Tests und bei einer davon liegt p bei .041. Dann kommt die Rückfrage der Betreuerin, ob du für die Mehrfachtestung korrigiert hast. Was ein p-Wert aussagt, ist meist klar. Weniger klar ist, wann mehrere Tests zusammen betrachtet werden müssen und welche Korrektur dann passt.


Warum das Risiko mit jedem Test steigt

Jeder einzelne Test hat bei α = .05 eine Wahrscheinlichkeit von 5 %, einen Effekt zu finden, den es in der Population gar nicht gibt. Rechnest du mehrere Tests, addieren sich diese Chancen nicht einfach, aber sie wachsen. Die Wahrscheinlichkeit für mindestens einen Zufallstreffer in einer Gruppe von Tests heißt familienweise Fehlerrate. Bei voneinander unabhängigen Tests lässt sie sich mit 1 − (1 − α) hoch k berechnen, wobei k die Zahl der Tests ist.


Die Tabelle 1 zeigt, wie schnell das Risiko bei α = .05 wächst. Bei korrelierten Tests, etwa mehreren Skalen desselben Fragebogens, liegt der wahre Wert etwas darunter. Die Größenordnung bleibt aber dieselbe.


Zahl der Tests

Risiko für mindestens einen Zufallstreffer

Bonferroni-Grenze je Test

1

5.00 %

.050

3

14.26 %

.017

5

22.62 %

.010

10

40.13 %

.005


Schon bei fünf Tests ist also fast jede vierte Arbeit ohne Korrektur betroffen, selbst wenn keiner der Effekte existiert. Genau das ist der Hintergrund der Rückfrage aus dem Einstieg.


Wann eine Korrektur nötig ist und wann nicht

Nicht jede Arbeit mit mehreren Tests braucht automatisch eine Korrektur. Entscheidend ist, ob die Tests eine gemeinsame Aussage tragen. Ob du korrigieren musst, hängt deshalb auch von Hochschule und Betreuung ab. Wer seine Entscheidung im Methodenteil begründet, ist auf der sicheren Seite. Diese Situationen kommen in Abschlussarbeiten häufig vor:

  • Mehrere Tests zu einer Fragestellung. Prüfst du etwa, ob sich zwei Gruppen in irgendeiner von fünf Skalen unterscheiden, bilden die fünf Tests eine Familie. Eine Korrektur ist dann der Normalfall.

  • Getrennt begründete Hypothesen. Hat jede Hypothese ihre eigene theoretische Herleitung und eine eigene Aussage, verzichten viele Betreuende auf eine Korrektur. Das solltest du vorher absprechen.

  • Paarvergleiche nach einer ANOVA. Eine Korrektur ist hier üblich. Welche Verfahren dafür infrage kommen, steht im Beitrag zu den Post-hoc-Tests nach der ANOVA.

  • Explorative Zusatzanalysen. Werden sie klar als explorativ gekennzeichnet, ist eine Korrektur weniger wichtig als eine vorsichtige Formulierung in der Diskussion.


Welche deiner Tests zu einer Familie gehören, klären wir im Rahmen der statistischen Auswertung mit dir anhand deiner Hypothesen, bevor gerechnet wird.

Bonferroni und Holm im Vergleich

Die Bonferroni-Korrektur teilt α durch die Zahl der Tests. Bei fünf Tests wird ein Ergebnis nur noch bei p < .010 als signifikant gewertet. Das ist einfach, aber streng, weil die Power jedes einzelnen Tests sinkt.


Die Holm-Korrektur schützt die familienweise Fehlerrate genauso, verliert aber weniger Power. Du sortierst die p-Werte aufsteigend und vergleichst den kleinsten mit α/5, den zweitkleinsten mit α/4 und so weiter. Sobald ein Wert seine Grenze überschreitet, gelten er und alle größeren als nicht signifikant. Die Tabelle 2 zeigt beide Wege mit erfundenen Werten.


Rang

p

Bonferroni-Grenze

Holm-Grenze

Signifikant nach Bonferroni

Signifikant nach Holm

1

.004

.010

.010

ja

ja

2

.011

.010

.013

nein

ja

3

.020

.010

.017

nein

nein

4

.041

.010

.025

nein

nein

5

.300

.010

.050

nein

nein


Nach Bonferroni bleibt nur ein Ergebnis signifikant, nach Holm sind es zwei. Der Wert von .041 aus dem Einstieg hält keiner der beiden Korrekturen stand. Weil Holm nie weniger findet als Bonferroni, wird es in vielen Fächern bevorzugt. Viele Programme geben statt korrigierter Grenzen adjustierte p-Werte aus, die du direkt mit .05 vergleichst. Beide Darstellungen sind gleichwertig, solange du einheitlich bleibst.


Was in den Methodenteil gehört

Gutachtende wollen nachvollziehen können, welche Tests du als Familie betrachtet hast und warum. Nenne deshalb die Zahl der Tests, das gewählte Verfahren und ob du korrigierte Grenzen oder adjustierte p-Werte berichtest. Wie so ein Absatz insgesamt aufgebaut ist, zeigt der Beitrag zur Statistik im Methodenteil.


Am stärksten wirkt die Entscheidung, wenn sie vor der Auswertung feststand. Wer seine Hypothesen und die geplante Korrektur vorab festhält, etwa über eine Präregistrierung, muss sie später nicht verteidigen. Besonders schnell wächst die Zahl der Tests übrigens bei Moderationsanalysen mit vielen Interaktionen, wie das Beispiel zur Moderationsanalyse in jamovi zeigt.


Offen bleibt dabei meist eine Frage, die keine Tabelle beantwortet. Welche deiner Hypothesen gehören inhaltlich zusammen? Das hängt von deiner Fragestellung ab und ist der Punkt, an dem ein zweiter Blick von außen am meisten bringt.


Eine gute Vorbereitung auf diese Frage ist eine einfache Liste. Schreib jede Hypothese mit dem zugehörigen Test auf und markiere, welche davon dieselbe Fragestellung prüfen.


Was Studierende zur Bonferroni-Korrektur oft fragen

Das hängt davon ab, ob du alle Korrelationen als Test deiner Fragestellung interpretierst. Dienen sie nur der Beschreibung, wird oft darauf verzichtet. Testest du gezielt einzelne Zusammenhänge, gilt die gleiche Logik wie bei anderen Tests. Hinweise zur Darstellung findest du im Beitrag zur Korrelationstabelle nach APA 7.

Holm findet nie weniger signifikante Ergebnisse und schützt die Fehlerrate genauso. Bonferroni ist leichter zu erklären und in manchen Fächern üblicher. Wenn deine Betreuung ein bestimmtes Verfahren erwartet, hat das Vorrang.

Dann berichtest du die Ergebnisse trotzdem vollständig mit Effektstärken. Ein nicht signifikantes Ergebnis ist kein Fehler der Arbeit. Wie du es einordnest, erklärt der Beitrag Ergebnisse nicht signifikant.

Das hängt davon ab, wie viele Hypothesen und Verfahren deine Arbeit enthält und ob schon gerechnet wurde. Eine Prüfung der Teststrategie ist meist deutlich kürzer als eine vollständige Auswertung. Wie wir abrechnen, steht unter Preise und Ablauf.


Wenn deine Betreuung nach der Korrektur fragt Wir legen mit dir fest, welche Tests eine Familie bilden. Danach rechnen wir sie in einer statistischen Auswertung mit passender Korrektur. Möchtest du selbst rechnen, begleiten wir dich im 1:1-Statistik-Coaching durch genau diese Entscheidung.


NEWSLETTER MIT GRATIS-PRÜFLISTE

​

Statistik-Tipps per E-Mail

​

Melde dich für unseren Newsletter an und du bekommst als Dankeschön sofort unsere Prüfliste „Stimmt deine Auswertung?“. Zwölf Punkte, die du vor der Abgabe selbst prüfen kannst.

​

Danach schreiben wir dir etwa zweimal im Monat mit neuen Blogartikeln, Anleitungen zu SPSS und R sowie Hinweisen auf unsere Angebote. Abmelden kannst du dich jederzeit mit einem Klick.

​

Die Prüfliste kommt als PDF direkt in dein Postfach.

Prüfliste und Newsletter

Mit deiner Anmeldung bekommst du die Prüfliste direkt in dein Postfach. Danach schicke ich dir etwa zweimal im Monat unseren Newsletter mit Tipps zu Auswertung, Ergebnisteil und APA 7.

Die Prüfliste kommt gleich per Mail. Für den Newsletter bekommst du zusätzlich einen Bestätigungslink.

bottom of page