Post-hoc-Power berechnen? Warum sie wenig aussagt und was du stattdessen berichtest
Deine Hypothese wurde nicht bestätigt und deine Betreuung möchte nun eine Poweranalyse sehen, obwohl die Daten längst erhoben sind. Viele greifen dann zur sogenannten Post-hoc-Power in G*Power. Bevor du das tust, lohnt sich ein Blick darauf, was dieser Wert wirklich aussagt und wie er mit deinem Ergebnis zusammenhängt. Was ein nicht signifikantes Ergebnis grundsätzlich bedeutet, erklärt der Beitrag Ergebnisse nicht signifikant.
Was die beobachtete Power berechnet
Bei der Post-hoc-Power wird die Teststärke mit dem Effekt berechnet, der in der eigenen Stichprobe beobachtet wurde. Das klingt plausibel, hat aber einen Haken. Der beobachtete Effekt lässt sich bei gegebener Stichprobe direkt aus dem p-Wert ableiten. Die beobachtete Power ist damit nur eine andere Darstellung des p-Werts und enthält keine zusätzliche Information.
Daraus folgt ein fester Zusammenhang. Liegt der p-Wert genau bei .05, beträgt die beobachtete Power bei zweiseitiger Testung etwa .50. Ist das Ergebnis nicht signifikant, ist die beobachtete Power fast immer niedrig. Die Aussage, das Ergebnis sei wegen zu geringer Power nicht signifikant, ist deshalb zirkulär. Hoenig und Heisey haben das bereits 2001 in The American Statistician ausführlich beschrieben.
Ein Rechenbeispiel
So könnte das mit erfundenen Werten aussehen. Zwei Gruppen mit je 32 Personen werden verglichen. Der t-Test ergibt t(62) = 1.20, p = .235, d = 0.30. Setzt du d = 0.30 in G*Power ein, erhältst du eine beobachtete Power von etwa .22. Dieser Wert bestätigt nur, was der p-Wert schon gezeigt hat.
Die Tabelle 1 zeigt für dasselbe Design, wie eng die beobachtete Power am p-Wert hängt:
p-Wert (zweiseitig) | Beobachtete Power |
.500 | .10 |
.235 | .22 |
.100 | .38 |
.050 | .50 |
.010 | .74 |
.001 | .93 |
Wer die Spalten vergleicht, sieht, dass die beobachtete Power nichts Neues hinzufügt. Sie sinkt mit steigendem p-Wert und ist bei jedem nicht signifikanten Ergebnis zwangsläufig kleiner als .50. Mit einer größeren Stichprobe würde sich an diesem Muster nichts ändern.
Warum die Frage trotzdem berechtigt ist
Die Frage nach der Power ist berechtigt, nur die Rechnung mit dem beobachteten Effekt beantwortet sie nicht. Hinter der Bitte steckt meist die Sorge, dass die Stichprobe zu klein war, um einen relevanten Effekt zu finden. Diese Sorge lässt sich sachlich prüfen, wenn du festlegst, welcher Effekt inhaltlich relevant wäre. Hilfreich sind dabei Effektstärken aus früheren Studien oder aus einer Metaanalyse zum Thema. Mit diesem Effekt kannst du berechnen, welche Power deine Stichprobe dafür hatte. Das ist keine Post-hoc-Power im engeren Sinn, weil der Effekt nicht aus den eigenen Daten stammt.
In unserer Beratung kam der Wunsch nach einer Post-hoc-Power früher regelmäßig vor. Manche Betreuende sahen darin eine besonders gründliche Ergänzung zur A-priori-Poweranalyse, die eine Arbeit aufwertet. Die Absicht ist nachvollziehbar, nur liefert die beobachtete Power aus den genannten Gründen keine neue Information. Wünscht deine Betreuung sie ausdrücklich, ist ein sachlicher Vorschlag für eine Sensitivitätsanalyse meist hilfreicher als eine Grundsatzdiskussion.
Was du stattdessen berichtest
Aussagekräftiger sind zwei andere Angaben, die nicht vom beobachteten Effekt abhängen:
Sensitivitätsanalyse. In G*Power kannst du berechnen, welchen Effekt deine Stichprobe bei gegebenem α und gewünschter Power mindestens zuverlässig hätte entdecken können. Mit je 32 Personen, α = .05 zweiseitig und einer Power von .80 sind das d = 0.71. Kleinere Effekte konnte die Studie also nicht zuverlässig nachweisen.
Konfidenzintervall der Effektstärke. Das Intervall zeigt, welche Effekte mit den Daten vereinbar sind. Im Beispiel reicht das 95-%-Konfidenzintervall für d etwa von −0.19 bis 0.79. Ein mittlerer Effekt ist damit ebenso wenig ausgeschlossen wie ein Effekt nahe null.
Eine A-priori-Poweranalyse vor der Erhebung ist der übliche Weg, die Stichprobengröße zu begründen. Wie du sie aufsetzt, zeigt der Beitrag Stichprobengröße mit G*Power berechnen. Gab es keine, kannst du die Sensitivitätsanalyse nachträglich ergänzen, ohne dass sie vom Ergebnis abhängt.
Deine Betreuung verlangt nachträglich eine Poweranalyse? Bei der statistischen Auswertung rechnen wir eine passende Sensitivitätsanalyse und erklären dir, wie du sie gegenüber der Betreuung begründest.
So formulierst du es in der Arbeit
Im Methodenteil beschreibst du die Sensitivitätsanalyse mit α, Power, Testverfahren und Stichprobengröße. In der Diskussion ordnest du ein, welche Effekte deine Studie entdecken konnte. Mit den erfundenen Werten könnte das so lauten:
Eine Sensitivitätsanalyse mit G*Power ergab, dass mit n = 32 pro Gruppe bei α = .05 (zweiseitig) und einer Power von .80 Effekte ab d = 0.71 nachweisbar waren. Der beobachtete Unterschied war nicht signifikant, t(62) = 1.20, p = .235, d = 0.30, 95 % KI [−0.19, 0.79].
Falls deine Betreuung ausdrücklich auf der beobachteten Power besteht, kannst du sie ergänzend angeben und in einem Satz erläutern, warum sie dem p-Wert entspricht. Wie du die Effektstärke dabei einordnest, erklärt der Beitrag Welche Effektstärke gehört zu welchem Verfahren? Für die formale Darstellung von Intervallen hilft der Artikel Konfidenzintervall angeben.
Häufige Fragen zur Post-hoc-Power
Ist eine Post-hoc-Poweranalyse falsch?
Rechnerisch nicht, aber sie beantwortet keine sinnvolle Frage, wenn sie mit dem beobachteten Effekt gerechnet wird. Anders ist es, wenn du die Power für einen vorab begründeten Effekt berechnest. Das entspricht dann einer Sensitivitäts- oder Kompromissanalyse.
Welchen Effekt setze ich in die Sensitivitätsanalyse ein?
Gar keinen. Die Sensitivitätsanalyse gibt dir den kleinsten zuverlässig nachweisbaren Effekt aus. Du gibst nur α, die gewünschte Power und deine Stichprobengröße vor.
Geht die Sensitivitätsanalyse auch für ANOVA oder Korrelation?
Ja, G*Power bietet die Sensitivitätsanalyse für viele Testfamilien an, darunter F-Tests, Korrelationen und χ²-Tests. Du wählst dafür jeweils den Analysetyp, der den kleinsten nachweisbaren Effekt berechnet.
Was bedeutet ein nicht signifikantes Ergebnis bei hoher Sensitivität?
Konnte deine Studie schon kleine Effekte zuverlässig entdecken, spricht ein nicht signifikantes Ergebnis eher dafür, dass ein relevanter Effekt fehlt. Wie du p-Werte dabei sauber interpretierst, steht im Beitrag p-Wert richtig interpretieren.
Was kostet eine nachträgliche Poweranalyse?
Der Aufwand hängt vom Umfang ab, etwa von der Zahl der Hypothesen und Verfahren. Wovon die Kosten im Einzelnen abhängen, erklärt der Beitrag Was kostet eine statistische Auswertung?
Poweranalyse rechnen und erklären lassen Wir rechnen Sensitivitätsanalysen oder A-priori-Poweranalysen für dein Design und erklären dir im Abschlussgespräch, wie du die Teststärke deiner Studie gegenüber Betreuung und Kommission begründest. Mehr dazu findest du bei der Statistik-Hilfe für Studierende und Promovierende.
