Interaktion p = .004 und sechs Paarvergleiche, wie du mit emmeans in R herausfindest, welche Gruppen sich unterscheiden
Im erfundenen Beispiel mit drei Lernmethoden und zwei Altersgruppen ist die Interaktion mit p = .004 signifikant. Erst emmeans zeigt aber, dass nur zwei der sechs Vergleiche nach der Tukey-Korrektur bestehen bleiben. Die ANOVA-Tabelle sagt dir nur, dass sich irgendwo etwas unterscheidet. Welche Post-hoc-Tests nach einer ANOVA es grundsätzlich gibt, steht in unserer Übersicht. Hier geht es um den Weg in R.
Was emmeans rechnet
Das Paket emmeans bildet aus einem fertigen Modell geschätzte Randmittel, auf Englisch estimated marginal means. Daraus rechnet es Paarvergleiche und korrigiert die p-Werte für die Zahl der Vergleiche. Ein Randmittel ist der Mittelwert, den das Modell für eine Zelle oder Gruppe vorhersagt. In einem ausgewogenen Design mit gleich großen Gruppen stimmt er mit dem einfachen Gruppenmittel überein. Sind die Zellen unterschiedlich groß oder enthält das Modell Kovariaten, weichen beide voneinander ab. Dann sind die Randmittel die fairere Grundlage für den Vergleich, weil jede Zelle gleich gewichtet wird.
Im Beispiel haben 120 Studierende eine von drei Lernmethoden genutzt, je 20 pro Zelle. Die Tabelle zeigt die erfundenen Randmittel der Punktzahl im Abschlusstest:
Lernmethode | unter 25 Jahre | ab 25 Jahre |
Karteikarten | 68.20 | 71.00 |
Zusammenfassung | 66.50 | 70.40 |
Übungsaufgaben | 74.90 | 70.80 |
Bei den Jüngeren liegen die Übungsaufgaben vorn. Bei den Älteren liegen alle drei Methoden fast gleichauf. Genau dieses Muster meint die Interaktion, F(2, 114) = 5.81, p = .004. Welche Unterschiede innerhalb der Altersgruppen tragen, sagt sie noch nicht.
Drei Zeilen Code statt eines Skripts
In R brauchst du dafür nur wenige Aufrufe. Zuerst kommt das Modell, dann die Randmittel getrennt nach Altersgruppe, dann die Paarvergleiche:
modell <- lm(punkte ~ methode * alter, data = daten)
em <- emmeans(modell, ~ methode | alter)
pairs(em, adjust = "tukey")Der senkrechte Strich in der zweiten Zeile sorgt dafür, dass die Methoden innerhalb jeder Altersgruppe verglichen werden. So entstehen drei Vergleiche je Gruppe, zusammen sechs. Ohne ihn würde emmeans über die Altersgruppen mitteln, was bei einer Interaktion wenig sinnvoll ist. Meldet R dabei eine Warnung, hilft oft der Artikel zu Fehlermeldungen in R. Wie das Modell selbst zu lesen ist, zeigt der Beitrag zur Ausgabe von summary(lm).
Die Ausgabe von pairs() zeigt für jeden Vergleich die Differenz der Randmittel, ihren Standardfehler, die Freiheitsgrade, den t-Wert und den korrigierten p-Wert. Im Beispiel liegt der Standardfehler jeder Differenz bei 2.40. Unter der Tabelle nennt R die Korrektur und die Zahl der Vergleiche, auf die sie sich bezieht. Diese Angabe brauchst du später für den Methodenteil.
Tukey, Bonferroni oder Holm
Die Funktion pairs() korrigiert bei Paarvergleichen standardmäßig nach Tukey. Das ist für alle Paarvergleiche innerhalb einer Familie eine gute Wahl. Andere Korrekturen wählst du über das Argument adjust. Die Tabelle fasst die drei üblichen zusammen:
Korrektur | Wann sie passt | Was du bedenken solltest |
Tukey | alle Paarvergleiche einer Familie | bei wenigen gezielten Vergleichen strenger als nötig |
Bonferroni | wenige, vorab festgelegte Vergleiche | wird bei vielen Vergleichen schnell sehr streng |
Holm | wie Bonferroni, aber schrittweise | gleiche Fehlerkontrolle bei etwas mehr Teststärke |
Die wichtigere Frage liegt vor der Korrektur. Willst du wirklich alle sechs Vergleiche sehen oder nur die zwei, die deine Fragestellung betreffen? Wer vorab gezielte Kontraste festlegt, testet weniger und verliert weniger Teststärke. Wer alle Paare rechnet und danach die interessanten auswählt, hat ein Problem mit der Mehrfachtestung, das keine Korrektur ganz auffängt.
Welche Vergleiche zu deinen Hypothesen gehören, entscheidest du vor der Rechnung. Bei der Auswertung in R legen wir die Vergleiche gemeinsam mit dir fest und begründen sie für den Methodenteil.
So könnte der Ergebnisteil aussehen
Berichtet werden die Differenzen der Randmittel, die korrigierten p-Werte und die Art der Korrektur. Mit den erfundenen Werten aus dem Beispiel könnte das so klingen:
In der Gruppe unter 25 Jahren erzielten Studierende mit Übungsaufgaben höhere Werte als mit Karteikarten (Differenz = 6.70, p = .017) und als mit Zusammenfassungen (Differenz = 8.40, p = .002), beide Tukey-korrigiert. In der Gruppe ab 25 Jahren unterschieden sich die Methoden nicht (alle p > .90).
Ob dieses Muster zu deiner Erwartung passt, ordnest du erst in der Diskussion ein. Wenn du die Vergleiche lieber mit Konfidenzintervallen als nur mit p-Werten berichtest, hilft der Artikel zum Konfidenzintervall nach APA. Wer die Grundlagen der Varianzanalyse in R noch einmal braucht, findet sie in der Anleitung zur einfaktoriellen ANOVA in RStudio.
Noch offene Fragen zu emmeans in R
Was ist der Unterschied zu TukeyHSD()?
TukeyHSD() arbeitet mit einem aov-Objekt und vergleicht einfache Gruppenmittel. emmeans funktioniert mit vielen Modellarten und vergleicht Randmittel. Bei ungleich großen Gruppen oder Kovariaten können sich die Ergebnisse deshalb unterscheiden.
Funktioniert emmeans auch bei gemischten Modellen?
Ja, emmeans arbeitet auch mit Modellen aus lme4. Die Freiheitsgrade werden dort näherungsweise geschätzt, deshalb nennt die Ausgabe die verwendete Methode. Wie die zufälligen Effekte in solchen Modellen zu lesen sind, steht im Artikel zur Ausgabe von lmer.
Muss ich alle sechs Vergleiche berichten?
Das hängt von Hochschule und Betreuung ab. Wer alle gerechneten Vergleiche zumindest in einer Tabelle nennt, ist auf der sicheren Seite. Im Text reichen meist die Vergleiche, die zur Fragestellung gehören.
Mit welchem Aufwand muss ich rechnen, wenn ihr meine Paarvergleiche übernehmt?
Das hängt davon ab, ob das Modell schon steht oder erst aufgebaut werden muss und wie viele Faktoren es hat. Den Ablauf und die Abrechnung findest du unter Preise und Ablauf.
Wenn die Interaktion signifikant ist und die Frage nach dem Wo bleibt Du kannst die Paarvergleiche selbst in R rechnen und dir im Statistik-Coaching zeigen lassen, welche Vergleiche zu deiner Fragestellung passen. Oder du gibst sie ab, dann übernehmen wir sie im Rahmen der R-Auswertung und erklären dir jede Zahl. Welche zwei Vergleiche würdest du in deinem Design vorab festlegen?


