top of page

Egger-Test p = .03 bei 8 Studien, warum dein schiefer Funnel-Plot in JASP noch keinen Publikationsbias belegt

11. Nov.
4 Min. Lesezeit

Acht Studien, ein schiefer Funnel-Plot und ein Egger-Test mit p = .03, im Entwurf steht schon „Hinweis auf Publikationsbias“. Wer gerade eine Metaanalyse für die Masterarbeit oder die Promotion rechnet und dazu bereits eine Sensitivitätsanalyse angelegt hat, stößt in JASP früher oder später auf diese Grafik. Der Satz im Entwurf ist bei acht Studien allerdings zu stark.


Was der Funnel-Plot zeigt

Der Funnel-Plot trägt für jede Studie die Effektgröße gegen ihren Standardfehler ab. Große Studien mit kleinem Standardfehler liegen oben eng beieinander, kleine Studien streuen unten breiter. Ohne systematische Verzerrung ergibt sich das Bild eines umgedrehten Trichters, der um den gepoolten Effekt herum symmetrisch ist.


Asymmetrisch wird der Trichter, wenn zum Beispiel unten rechts viele kleine Studien mit großen Effekten liegen und unten links eine Lücke klafft. Das sieht nach fehlenden, nicht veröffentlichten Studien aus. Es ist aber nur eine von mehreren Erklärungen. Das Cochrane Handbook, Kapitel 13 betont ausdrücklich, dass nicht berichtete Studien nur eine mögliche Ursache unter mehreren sind.


Warum ein schiefer Trichter noch kein Publikationsbias ist

Hinter einer Asymmetrie stecken oft Unterschiede zwischen kleinen und großen Studien, die mit dem Publikationsverhalten nichts zu tun haben. Man spricht deshalb neutraler von Small-Study-Effekten. Die Tabelle 1 zeigt die häufigsten Ursachen.


Ursache

Was dahintersteckt

Was du prüfen kannst

Publikationsbias

Kleine Studien ohne signifikantes Ergebnis wurden nicht veröffentlicht.

Registrierte, aber unveröffentlichte Studien, graue Literatur

Andere Stichproben

Kleine Studien untersuchen oft schwerer betroffene oder speziellere Gruppen.

Merkmale der Stichproben in kleinen und großen Studien vergleichen

Heterogenität

Die Studien messen nicht denselben wahren Effekt.

I² und das Prognoseintervall, Moderatoren

Methodische Qualität

Kleine Studien sind häufiger schlechter verblindet oder randomisiert.

Risk-of-Bias-Bewertung je Studie

Zufall

Bei wenigen Studien entsteht Asymmetrie schon durch Streuung.

Zahl der Studien, Breite der Intervalle


Wenn du die Studienauswahl nach PRISMA 2020 dokumentiert hast, liegen viele dieser Informationen schon vor. Sie helfen dir, die Grafik inhaltlich einzuordnen, statt nur auf den Test zu schauen.


Was der Egger-Test prüft

Der Egger-Test ist ein Regressionstest auf Asymmetrie. Vereinfacht gesagt prüft er, ob kleine Studien systematisch andere Effekte liefern als große. Ein signifikantes Ergebnis heißt also nur, dass der Trichter schief ist. Warum er schief ist, beantwortet der Test nicht.


Hinzu kommt ein Punkt, den viele übersehen. Für Odds Ratios und standardisierte Mittelwertdifferenzen wird der ursprüngliche Egger-Test laut Cochrane nicht empfohlen, weil Effekt und Standardfehler dort rechnerisch zusammenhängen. Für binäre Ergebnisse nennt das Handbuch stattdessen Tests nach Harbord oder Peters.


Bei einer Metaanalyse mit Promotionsbezug besprechen wir mit dir in der JASP-Auswertung, welcher Asymmetrietest zu deinem Effektmaß passt und wie du das Ergebnis im Ergebnisteil formulierst.

Ab wie vielen Studien ist der Egger-Test sinnvoll?

Das Cochrane Handbook empfiehlt Tests auf Funnel-Plot-Asymmetrie erst ab mindestens 10 Studien. Darunter hat der Test so wenig Power, dass er echte Asymmetrie oft übersieht und zufällige Muster kaum von systematischen trennt. Auch mit 10 Studien bleibt die Power gering, wenn die Studien ähnlich groß sind.


Bei acht Studien kannst du den Test trotzdem berichten, wenn deine Betreuung oder das Präregistrierungsprotokoll das vorsieht. Entscheidend ist die Einordnung. So könnte ein vorsichtiger Bericht mit erfundenen Werten aussehen:

Der Regressionstest nach Egger deutete auf eine Asymmetrie des Funnel-Plots hin, z = 2.17, p = .030. Da die Metaanalyse nur acht Studien umfasst, hat der Test eine geringe Teststärke. Das Ergebnis wird daher nicht als Nachweis eines Publikationsbias gewertet.

Die Interpretation, was die Asymmetrie für deine Fragestellung bedeutet, gehört anschließend in die Diskussion. Dort ist auch Platz für die Frage, ob kleine Studien in deinem Feld andere Gruppen untersuchen.


Trim-and-Fill als Sensitivitätsanalyse

JASP bietet neben dem Regressionstest auch Trim-and-Fill an. Das Verfahren ergänzt rechnerisch die Studien, die auf der leeren Seite des Trichters fehlen könnten. Anschließend schätzt es einen korrigierten Effekt. Es setzt allerdings voraus, dass die Asymmetrie tatsächlich durch fehlende Studien entsteht.


Trim-and-Fill ist deshalb keine Korrektur, sondern eine Sensitivitätsanalyse. Bleibt der gepoolte Effekt nach dem Auffüllen ähnlich, spricht das für ein robustes Ergebnis. Schrumpft er stark, solltest du das offen berichten, ohne den korrigierten Wert als den wahren Effekt auszugeben. Wer den Bayes-Weg kennt, findet im Beitrag zum Bayes-Faktor in JASP eine weitere Möglichkeit, die Stärke der Evidenz einzuordnen.


JASP und andere Programme

Viele Studierende sind erst kürzlich von SPSS auf jamovi oder JASP umgestiegen. Im Metaanalyse-Modul von JASP findest du Funnel-Plot, Regressionstest und Trim-and-Fill nebeneinander. Bevor du Ergebnisse aus verschiedenen Programmen vergleichst, lohnt ein Blick auf die Einstellungen. Schätzer für die Heterogenität und die Variante des Asymmetrietests unterscheiden sich je nach Voreinstellung, deshalb können zwei Programme bei denselben Daten leicht abweichende p-Werte liefern.


Wenn du vor der eigentlichen Metaanalyse planst, wie viele Studien du für eine belastbare Aussage brauchst, hilft der Beitrag zu Literatur-Effekten und Fallzahl bei der Einordnung.


Was Promovierende zum Funnel-Plot oft fragen

Das hängt von Hochschule, Fach und Betreuung ab. In medizinischen und psychologischen Reviews ist die Grafik üblich, sobald genügend Studien vorliegen. Wer sie zeigt und die Grenzen bei wenigen Studien benennt, ist auf der sicheren Seite.

Dann verweist du auf die Empfehlung von mindestens 10 Studien und zeigst, welche anderen Ursachen der Asymmetrie du geprüft hast. Bei Promotionsprojekten unterstützen wir solche Antworten im Rahmen der Auswertung für Forschungsprojekte.

Das hängt davon ab, wie viele Studien und Effektmaße du hast und ob nur die Einordnung oder die ganze Analyse geprüft werden soll. Einen Überblick gibt die Seite Preise und Ablauf.

Nein. Gerade bei wenigen Studien bleibt eine vorhandene Verzerrung häufig unentdeckt. Ein nicht signifikantes Ergebnis heißt nur, dass der Test keine Asymmetrie nachweisen konnte.


Wenn der schiefe Trichter in deiner Metaanalyse steht Du kannst die Einordnung selbst erarbeiten und dich dabei im Statistik-Coaching begleiten lassen. Oder du gibst die Analyse an uns ab und wir rechnen sie in der JASP-Auswertung so, dass du jeden Wert erklären kannst. Wie viele Studien enthält deine Metaanalyse? Und wird ein Gutachter nach dem Publikationsbias fragen?


NEWSLETTER MIT GRATIS-PRÜFLISTE

​

Statistik-Tipps per E-Mail

​

Melde dich für unseren Newsletter an und du bekommst als Dankeschön sofort unsere Prüfliste „Stimmt deine Auswertung?“. Zwölf Punkte, die du vor der Abgabe selbst prüfen kannst.

​

Danach schreiben wir dir etwa zweimal im Monat mit neuen Blogartikeln, Anleitungen zu SPSS und R sowie Hinweisen auf unsere Angebote. Abmelden kannst du dich jederzeit mit einem Klick.

​

Die Prüfliste kommt als PDF direkt in dein Postfach.

Prüfliste und Newsletter

Mit deiner Anmeldung bekommst du die Prüfliste direkt in dein Postfach. Danach schicke ich dir etwa zweimal im Monat unseren Newsletter mit Tipps zu Auswertung, Ergebnisteil und APA 7.

Die Prüfliste kommt gleich per Mail. Für den Newsletter bekommst du zusätzlich einen Bestätigungslink.

bottom of page