Ergebnisse nicht signifikant – was das bedeutet und wie du weiterarbeitest
Du hast Monate in Fragebogen, Erhebung und Datenaufbereitung gesteckt, drückst in SPSS auf OK und da steht p = .380. Kein Effekt. Der erste Gedanke ist bei fast allen derselbe: Die ganze Arbeit war umsonst.
Das ist sie nicht. Aber der Umgang mit einem nicht signifikanten Ergebnis entscheidet darüber, ob dein Ergebnis- und Diskussionsteil dennoch gut wird oder angreifbar. Dieser Beitrag zeigt dir, was ein p-Wert über .05 tatsächlich aussagt, welche vier Ursachen du technisch prüfen solltest, welche vermeintlichen Rettungsversuche dir schaden und wie du das Ergebnis formulierst.
Was ein nicht signifikantes Ergebnis wirklich bedeutet
Ein p-Wert über deinem Signifikanzniveau bedeutet: Die Daten liefern nicht genug Evidenz, um die Nullhypothese zu verwerfen. Mehr nicht.
Er bedeutet ausdrücklich nicht, dass es keinen Effekt gibt. Und er bedeutet nicht, dass die Nullhypothese "bewiesen" oder "angenommen" wurde. Ein klassischer Signifikanztest ist so konstruiert, dass er nur in eine Richtung Auskunft gibt: Er kann die Nullhypothese verwerfen oder eben nicht. Ein Nicht-Verwerfen ist kein Beleg für Gleichheit. Der Unterschied klingt akademisch, ist aber genau der Punkt, an dem in Bachelor- und Masterarbeiten die meisten Formulierungsfehler passieren. Sätze wie "Es besteht kein Zusammenhang zwischen X und Y" sind streng genommen falsch. Richtig ist: "Es konnte kein signifikanter Zusammenhang nachgewiesen werden." Diese Unterscheidung ist einer der Punkte, auf die im Kolloquium regelmäßig nachgefragt wird.
Bewertet wird dein Vorgehen, nicht dein p-Wert
Eine empirische Abschlussarbeit ist ein Nachweis darüber, dass du eine Fragestellung sauber operationalisieren, ein angemessenes Design wählen, korrekt auswerten und ehrlich interpretieren kannst. Alle vier Schritte kannst du vollständig erfüllen, ohne dass ein einziger Test signifikant wird.
Hinzu kommt: Nicht signifikante Befunde sind in der Forschung systematisch unterrepräsentiert, weil sie seltener veröffentlicht werden. Dieser Publikationsbias ist ein bekanntes methodisches Problem. Eine Arbeit, die ein Nullergebnis transparent berichtet und methodisch einordnet, macht damit fachlich das Richtige. Verbindlich ist am Ende natürlich, was in deiner Prüfungsordnung steht und was dein Betreuer erwartet. Wenn du unsicher bist, wie stark ein Nullergebnis in deinem Fach gewichtet wird, frag dort nach, bevor du anfängst, an den Analysen zu drehen.
Vier Ursachen, die du prüfen solltest
Bevor du das Ergebnis als inhaltliches Ergebnis interpretierst, lohnt sich ein Blick darauf, ob es überhaupt eines ist. Es gibt vier typische technische Ursachen.
1. Die Stichprobe ist zu klein
Der häufigste Grund. Ein realer, aber kleiner Effekt bleibt in einer kleinen Stichprobe unentdeckt – die Teststärke reicht schlicht nicht aus. Bei einem kleinen Effekt (d = 0.2) brauchst du für zwei unabhängige Gruppen mehrere hundert Personen, um ihn mit üblicher Teststärke zu finden. Mit 60 Teilnehmenden findest du ihn fast sicher nicht.
2. Voraussetzungen sind verletzt oder der Test passt nicht
Ein verletzter Test verliert an Teststärke oder liefert schlicht das falsche Ergebnis. Prüf konkret:
Varianzhomogenität --> siehe Levene-Test in SPSS
Verteilungsform und Ausreißerempfindlichkeit
Skalenniveau: Ordinaldaten in einem parametrischen Verfahren
Unabhängigkeit der Beobachtungen bei Messwiederholung
Eine Checkliste dazu findest du unter Voraussetzungen des t-Tests prüfen.
3. Das Messinstrument misst nicht sauber
Eine Skala mit niedriger Reliabilität dämpft jeden Zusammenhang, den es tatsächlich gibt. Typische Auslöser: vergessene Umkodierung invertierter Items, zu wenige Items oder ein Deckeneffekt, weil fast alle Befragten den Höchstwert angekreuzt haben. Ein guter erster Test ist die interne Konsistenz, siehe Cronbachs Alpha berechnen und interpretieren.
4. Die Datenaufbereitung ist fehlerhaft
Falsch kodierte Variablen, fehlende Werte als 99 in die Berechnung eingegangen, Gruppenvariablen vertauscht. Klingt banal, kommt aber häufig vor – und produziert Nullergebnisse besonders zuverlässig. Mehr dazu unter Fehlende Werte und Ausreißer. Wenn diese vier Punkte sauber sind, ist dein Nullergebnis ein echtes Ergebnis. Dann darfst du es auch als solches vertreten.
Was du nicht tun solltest
An dieser Stelle setzt der Druck ein, und es gibt eine Reihe von Auswegen, die auf den ersten Blick harmlos wirken. Sie sind es nicht, Betreuende erkennen sie und methodisch machen sie deine Arbeit angreifbar.
Hypothesen nachträglich an die Ergebnisse anpassen. Aus einem explorativen Fund im Nachhinein eine vorab formulierte Hypothese zu machen, verändert die Fehlerwahrscheinlichkeit deines Tests grundlegend. Auffällig wird es, wenn die Hypothesen im Theorieteil kaum hergeleitet sind, im Ergebnisteil aber perfekt passen.
Ausreißer entfernen, bis es passt. Ausreißerausschluss ist zulässig, wenn er inhaltlich begründet und vorab festgelegt ist. Nicht zulässig ist es, Fälle so lange zu entfernen, bis p unter .05 fällt.
Nacherheben, bis Signifikanz eintritt. Wer die Stichprobe schrittweise vergrößert und nach jedem Schwung neu testet, treibt die Rate falsch positiver Ergebnisse deutlich nach oben. Wenn du nacherhebst, dann auf eine vorab festgelegte Fallzahl.
Nachträglich einseitig testen. Der p-Wert halbiert sich, die Begründung fehlt. Eine gerichtete Hypothese muss vor der Analyse aus der Theorie hergeleitet sein.
Viele Tests rechnen und nur die signifikanten berichten. Bei 20 Tests auf dem 5-Prozent-Niveau ist im Schnitt einer signifikant, auch wenn nichts dahintersteckt. Wenn du multipel testest, korrigiere und berichte alle Tests.
"Tendenziell signifikant" schreiben. Für p = .060 gibt es keinen Zwischenstatus. Entweder du hast dein Kriterium vorab festgelegt und hältst dich daran, oder es war keines. Du kannst den Wert als Hinweis für künftige Studien einordnen, aber nicht als abgeschwächte Signifikanz verkaufen.
Was du stattdessen tun kannst
Effektstärke und Konfidenzintervall berichten. Das ist der wichtigste Punkt. Ein d von 0.42 mit einem Konfidenzintervall von [-0.05, 0.89] erzählt eine völlig andere Geschichte als ein d von 0.02 mit [-0.18, 0.22]. Im ersten Fall ist ein mittlerer Effekt mit deinen Daten gut vereinbar, du kannst ihn nur nicht absichern. Im zweiten Fall kannst du zeigen, dass ein bedeutsamer Effekt eher unwahrscheinlich ist. Nach APA 7 gehören Effektstärken ohnehin zu jedem Test dazu, siehe Statistische Ergebnisse korrekt nach APA darstellen.
Die deskriptive Ebene ernst nehmen. Mittelwerte, Streuungen, Verteilungen und Gruppenprofile sind eigenständige Ergebnisse. Oft steckt dort das inhaltlich Interessante.
Explorative Analysen kennzeichnen. Du darfst weiterrechnen und Zusatzanalysen berichten. Du musst sie nur klar als explorativ ausweisen und als hypothesengenerierend statt hypothesenprüfend interpretieren. Das ist sauber und wird in der Regel positiv bewertet.
Post-hoc-Power weglassen. Die nachträglich aus dem beobachteten Effekt berechnete Teststärke ist eine direkte Umrechnung des p-Werts und liefert keine neue Information. Bei nicht signifikanten Ergebnissen kommt zwangsläufig eine niedrige Power heraus. Wenn du über Teststärke argumentieren willst, dann darüber, welcher Effekt mit deiner Fallzahl überhaupt auffindbar gewesen wäre.
Äquivalenztest, wenn du Abwesenheit zeigen willst. Wenn deine Fragestellung tatsächlich lautet "die Gruppen unterscheiden sich nicht", ist der klassische Test das falsche Werkzeug. Verfahren wie der TOST-Ansatz prüfen gegen einen vorab definierten Bereich praktischer Äquivalenz. Für Bachelorarbeiten ist das meist über das Ziel hinaus, für Masterarbeiten und Dissertationen kann es ein starkes Argument sein. Alternativ liefert ein Bayes-Faktor eine Aussage darüber, wie stark die Daten für die Nullhypothese sprechen – in JASP ist das mit wenigen Klicks möglich.
Wie du es formulierst
Drei Bausteine für den Ergebnisteil, APA-konform. Zahlen jeweils durch deine eigenen ersetzen.
t-Test, kein signifikanter Unterschied
Der t-Test für unabhängige Stichproben ergab keinen signifikanten Unterschied in der Lebenszufriedenheit zwischen der Interventions- und der Kontrollgruppe, t(98) = 1.24, p = .218, d = 0.25, 95 % CI [-0.15, 0.64].
Korrelation, kein signifikanter Zusammenhang
Zwischen Arbeitsbelastung und Schlafqualität zeigte sich kein signifikanter Zusammenhang, r = -.11, p = .276, 95 % CI [-.30, .09].
Einordnung in der Diskussion
Die Hypothese konnte anhand der vorliegenden Daten nicht bestätigt werden. Bei einem Stichprobenumfang von N = 100 hätten mit einer Teststärke von .80 nur Effekte ab d = 0.57 zuverlässig entdeckt werden können. Kleinere, inhaltlich dennoch bedeutsame Unterschiede bleiben damit möglich.
Für Limitationen gilt: konkret statt floskelhaft. "Die Stichprobe war klein" sagt wenig. "Die Stichprobe bestand zu 82 Prozent aus Psychologiestudierenden im ersten Studienjahr, wodurch die Varianz in der beruflichen Belastung eingeschränkt war" ist eine echte methodische Einordnung.
Häufige Fragen
Ist eine Abschlussarbeit mit nicht signifikanten Ergebnissen weniger wert? Bewertet wird in der Regel das methodische Vorgehen, nicht das Ergebnis. Ein sauber begründetes, transparent berichtetes Nullergebnis ist fachlich unproblematisch. Maßgeblich sind die Kriterien deiner Prüfungsordnung und deines Betreuers.
Darf ich p = .060 als tendenziell signifikant bezeichnen? Nein. Du kannst den Wert im Kontext von Effektstärke und Konfidenzintervall einordnen und als Ansatzpunkt für weitere Forschung benennen.
Kann ich meine Hypothese nachträglich ändern? Nicht stillschweigend. Du kannst zusätzliche Analysen durchführen und sie als explorativ kennzeichnen. Eine im Nachhinein an die Daten angepasste Hypothese als vorab formuliert darzustellen, ist methodisch nicht vertretbar.
Soll ich einfach mehr Daten erheben? Nur mit vorab festgelegter Zielfallzahl. Schrittweises Nacherheben mit Zwischentests erhöht die Rate falsch positiver Befunde erheblich.
Muss ich alle nicht signifikanten Tests berichten? Ja. Selektives Berichten verzerrt das Bild deiner Ergebnisse und fällt bei genauem Lesen auf.
Wenn du dir bei der Einordnung unsicher bist
Ob ein Nullergebnis inhaltlich belastbar ist oder auf einem technischen Problem beruht, lässt sich nur an den Daten selbst beurteilen. Genau das prüfen wir, wenn wir eine statistische Auswertung für deine Abschlussarbeit übernehmen: Voraussetzungen, Testwahl, Aufbereitung, Effektstärken – und eine Interpretation, die du im Kolloquium auch vertreten kannst.
Wir arbeiten mit SPSS, R, JASP und Jamovi, rechnen 95 € pro Stunde im 15-Minuten-Takt ab und brauchen regulär etwa sieben Kalendertage. Zu jeder Auswertung gehört ein Abschlussgespräch, in dem wir die Ergebnisse gemeinsam durchgehen.
Wir werten aus und erklären. Geschrieben wird deine Arbeit von dir.
