Signifikant, aber kleiner Effekt? So formulierst du das Ergebnis richtig
Deine Online-Befragung hat 1500 Teilnehmende und die Korrelation zwischen täglicher Bildschirmzeit und Erschöpfung ist signifikant, p = .002. Der Korrelationskoeffizient liegt aber nur bei r = .08. Ist das jetzt ein Befund oder nicht?
Beides stimmt gleichzeitig. Signifikanz und Bedeutsamkeit beantworten zwei verschiedene Fragen. Die Signifikanz sagt, ob der Zusammenhang wahrscheinlich nicht nur Zufall ist. Die Effektstärke sagt, wie groß er ist. Ein guter Ergebnisteil berichtet beides und vermischt es nicht. Was eine Effektstärke genau ausdrückt, erklärt der Beitrag Cohens d berechnen und interpretieren.
Warum große Stichproben kleine Effekte signifikant machen
Der p-Wert hängt nicht nur von der Größe des Effekts ab, sondern auch von der Stichprobengröße. Je mehr Personen du befragst, desto genauer wird die Schätzung und desto kleiner der Standardfehler. Bei 1500 Personen reicht deshalb schon ein sehr kleiner Zusammenhang für p < .05.
Im Beispiel erklärt r = .08 nur 0.64 % der Varianz (r² = .0064). Bei 60 Personen wäre derselbe Zusammenhang weit von der Signifikanz entfernt. Warum ein p-Wert allein so wenig sagt, erklärt auch der Beitrag p-Wert richtig interpretieren.
Die Tabelle 1 zeigt, ab welcher Korrelation ein Zusammenhang bei zweiseitiger Prüfung mit α = .05 signifikant wird.
Stichprobengröße N | Signifikant ab etwa r = | Erklärte Varianz |
30 | .36 | 13.03 % |
60 | .25 | 6.46 % |
100 | .20 | 3.86 % |
300 | .11 | 1.28 % |
1500 | .05 | 0.26 % |
Daran lässt sich auch die Kehrseite ablesen. Bei 30 Personen muss ein Zusammenhang schon recht deutlich sein, damit er signifikant wird. Bei 1500 Personen genügt ein Zusammenhang, der nur rund ein Viertelprozent der Varianz erklärt. Die Signifikanz sagt dann vor allem etwas über die Stichprobengröße aus.
Welche Effektstärke du berichtest
Bei der Korrelation ist r selbst schon die Effektstärke. Beim t-Test berichtest du meist Cohens d, bei der ANOVA das partielle Eta-Quadrat. Welche Kennzahl zu welchem Verfahren gehört, steht im Beitrag Welche Effektstärke gehört zu welchem Verfahren?.
Die bekannten Grenzwerte nach Cohen (etwa r = .10 als klein) sind eine Notlösung für den Fall, dass es keine Vergleichswerte gibt. Cohen selbst hat davor gewarnt, sie mechanisch anzuwenden. Ob ein Effekt klein ist, hängt vom Fach und von früheren Studien ab.
So sieht der Ergebnissatz aus
Für das Beispiel lautet ein vollständiger Ergebnissatz nach APA 7 so.
Die tägliche Bildschirmzeit hing positiv mit der berichteten Erschöpfung zusammen, r(1498) = .08, p = .002.
Im Ergebnisteil stehen nur Richtung und Zahlen. Wertende Wörter wie „schwach“ oder „deutlich“ gehören nicht hinein. Die Einordnung folgt in der Diskussion.
Ob ein Effekt in deinem Fach als klein gilt, hängt von früheren Studien und von der Frage ab, was er in der Praxis bedeutet. Genau diese Einordnung für die Diskussion prüfen wir im statistischen Lektorat. Ergebnisteil prüfen lassen.
Für einen Gruppenvergleich mit je 800 Personen sähe der Satz so aus.
Teilnehmende mit Homeoffice berichteten eine höhere Zufriedenheit als Teilnehmende ohne Homeoffice, t(1598) = 2.40, p = .017, d = 0.12.
Wie du den kleinen Effekt in der Diskussion einordnest
In der Diskussion geht es nicht darum, den Effekt kleinzureden oder aufzublähen. Zahlen wiederholst du hier nicht, du ordnest den Befund in Worten ein. Drei Fragen helfen dabei.
Wie groß waren vergleichbare Effekte in früheren Studien? Liegt dein Effekt im üblichen Bereich, ist er erwartbar und kein Schwachpunkt.
Was bedeutet der Effekt in der Praxis? Ein kleiner Effekt kann bedeutsam sein, wenn er viele Menschen betrifft oder sich über die Zeit summiert.
Welche Grenzen hat die Messung? Wenig reliable Skalen dämpfen Zusammenhänge, der wahre Effekt kann also größer sein.
Wenn der Gutachter „nur signifikant wegen N“ schreibt
Diese Rückfrage ist berechtigt, aber kein Grund zur Sorge. Du antwortest sachlich in drei Schritten. Du nennst die Effektstärke, du ordnest sie anhand früherer Studien ein und du formulierst die Schlussfolgerung so vorsichtig, wie es der Effekt erlaubt.
Was du nicht tun solltest, ist eine nachträglich berechnete Teststärke als Argument zu nutzen. Warum das wenig aussagt, steht im Beitrag Post-hoc-Power berechnen?. Weitere typische Einwände und Antworten findest du unter Reviewer-Kommentare zur Statistik beantworten.
Formulierungen, die du vermeiden solltest
„hochsignifikant“ oder „sehr signifikant“, denn ein kleiner p-Wert sagt nichts über die Größe des Effekts.
„Die Hypothese wurde eindeutig bestätigt“, wenn der Effekt nur knapp über null liegt.
Kausale Wörter wie „führt zu“ oder „beeinflusst“ bei korrelativen Daten.
Häufige Fragen zu kleinen Effekten
Ist mein Ergebnis wertlos, wenn der Effekt klein ist?
Nein. Ein kleiner, genau geschätzter Effekt ist ein klarer Befund. Er zeigt, wie viel ein Merkmal erklärt und wie viel nicht.
Darf ich die Effektstärke weglassen, wenn sie klein ist?
Nein. APA 7 empfiehlt, Effektstärken zu den zentralen Ergebnissen zu berichten. Gerade ein kleiner Effekt zeigt, wie ein signifikantes Ergebnis einzuordnen ist.
Darf ich im Ergebnisteil schreiben, dass der Effekt klein ist?
Im Ergebnisteil stehen Richtung und Zahlen. Die Einordnung als klein oder bedeutsam gehört in die Diskussion, wo du sie mit früheren Studien begründen kannst. Wie streng das gehandhabt wird, hängt von Hochschule und Betreuung ab.
Was kostet es, Ergebnisteil und Diskussion prüfen zu lassen?
Weil nichts neu gerechnet werden muss, ist ein Lektorat meist deutlich kleiner als eine vollständige Auswertung. Die Faktoren im Überblick zeigt der Beitrag Was kostet eine statistische Auswertung.
Sollte ich vorher eine Fallzahlplanung machen?
Ja, wenn du die Arbeit noch planst. Die Planung zeigt, welche Effekte du überhaupt finden kannst. Wie das geht, steht im Beitrag G*Power: Stichprobengröße berechnen.
Wenn die Rückfrage kommt Notiert dein Gutachter „nur signifikant wegen N“, brauchst du eine Antwort, die hält. Im statistischen Lektorat prüfen wir, ob Ergebnisteil und Diskussion Signifikanz und Effektstärke sauber trennen. Für die Stellen, die noch wackeln, schlagen wir dir Formulierungen vor, die du im Kolloquium vertreten kannst.
