Brauche ich ein Mehrebenenmodell? Verschachtelte Daten mit ICC und Designeffekt prüfen
Du hast 312 Schülerinnen und Schüler aus 14 Klassen befragt oder 60 Personen zehn Tage lang ein kurzes Tagebuch ausfüllen lassen. Spätestens bei der Frage, welcher statistische Test zu deinen Daten passt, fällt auf, dass deine Beobachtungen nicht unabhängig voneinander sind, obwohl t-Test, ANOVA und gewöhnliche Regression genau das voraussetzen.
Woran du verschachtelte Daten erkennst
Daten sind verschachtelt, wenn Beobachtungen in Gruppen gebündelt sind und sich innerhalb einer Gruppe ähnlicher sind als zwischen Gruppen. Die untere Ebene heißt Ebene 1, die Gruppe darüber Ebene 2. Bei Messwiederholungen sind die einzelnen Messungen Ebene 1 und die Personen Ebene 2. Die Tabelle 1 zeigt typische Fälle aus Abschlussarbeiten:
Situation | Ebene 1 | Ebene 2 | Mehrebenenmodell naheliegend? |
Befragung in Schulklassen | Schülerinnen und Schüler | Klassen | ja, wenn genug Klassen vorliegen |
Patientendaten aus mehreren Kliniken | Patientinnen und Patienten | Kliniken | ja, oft mit der Klinik als Ebene 2 |
Tagebuchstudie über zehn Tage | tägliche Messungen | Personen | ja, typischer Anwendungsfall |
Mitarbeiterbefragung in Teams | Mitarbeitende | Teams | ja, wenn Teamunterschiede eine Rolle spielen |
Online-Befragung mit einer Person pro Haushalt | Personen | keine | nein |
Der ICC zeigt, wie stark sich Gruppen unterscheiden
Die Intraklassenkorrelation (ICC) gibt an, welcher Anteil der Gesamtvarianz auf Unterschiede zwischen den Gruppen entfällt. Sie wird aus einem leeren Modell ohne Prädiktoren geschätzt. Wer R noch nicht kennt, findet den Einstieg in der Einführung in RStudio. Mit dem Paket lme4 sieht das leere Modell etwa so aus:
modell0 <- lmer(zufriedenheit ~ 1 + (1 | klasse), data = daten)So könnte das mit erfundenen Werten aussehen. Die Varianz zwischen den Klassen beträgt 0.12, die Varianz innerhalb der Klassen 0.68. Der ICC ist dann 0.12 / (0.12 + 0.68) = .15. Rund 15 % der Unterschiede in der Zufriedenheit gehen also auf die Klassenzugehörigkeit zurück.
Der Designeffekt übersetzt den ICC in Folgen
Wie stark die Verschachtelung deine Ergebnisse verzerrt, hängt auch von der Gruppengröße ab. Der Designeffekt fasst beides zusammen:
Designeffekt = 1 + (m − 1) × ICC
Dabei ist m die mittlere Gruppengröße. Im Beispiel mit 312 Personen in 14 Klassen liegt m bei 22.29. Der Designeffekt beträgt damit 1 + 21.29 × .15 = 4.19. Deine effektive Stichprobe schrumpft rechnerisch von 312 auf etwa 74 unabhängige Beobachtungen.
Rechnest du trotzdem eine gewöhnliche Regression, fallen die Standardfehler zu klein aus. Die p-Werte werden dadurch zu optimistisch. Manche Effekte erscheinen dann signifikant, obwohl sie es bei korrekter Rechnung nicht wären.
In der Literatur wird oft ein Designeffekt über 2 als Hinweis genannt, dass sich ein Mehrebenenmodell lohnt. Diese Grenze ist eine grobe Orientierung. Ob das Modell nötig ist, hängt auch von deiner Fragestellung ab, etwa davon, ob dich Unterschiede zwischen den Gruppen selbst interessieren.
Ein Fall aus der Beratung
Wie schnell eine solche Struktur entsteht, zeigt eine aktuelle Masterarbeit aus unserer Beratung. Rund 50 Führungskräfte wurden jeweils von zwei bis drei Mitarbeitenden eingeschätzt. Mitarbeitende desselben Teams beurteilen dieselbe Person und antworten deshalb vermutlich ähnlicher als Mitarbeitende verschiedener Teams.
Der erste Schritt wäre hier der ICC, um zu sehen, wie stark die Teamzugehörigkeit die Antworten prägt. In Absprache mit dem Betreuer fiel die Entscheidung gegen ein vollständiges Mehrebenenmodell, weil es den Rahmen der Masterarbeit überschritten hätte. Stattdessen geht die Teamzugehörigkeit als Dummy-Variablen in die Regression ein.
Diese Lösung ist ein pragmatischer Mittelweg mit eigenen Grenzen. Bei 50 Teams kosten die Dummy-Variablen viele Freiheitsgrade. Merkmale, die für alle Mitglieder eines Teams gleich sind, lassen sich daneben nicht mehr schätzen. Welcher Weg passt, hängt deshalb von den Hypothesen ab und sollte vor der Auswertung mit der Betreuung geklärt sein.
Du bist unsicher, ob deine Daten ein Mehrebenenmodell brauchen? Bei der statistischen Auswertung prüfen wir die Struktur deiner Daten, wählen das passende Modell und erklären dir, warum.
Was im Ergebnisteil stehen sollte
Für ein Modell mit zufälligem Achsenabschnitt berichtest du den ICC aus dem leeren Modell, die festen Effekte mit Schätzer, Standardfehler, Teststatistik und Konfidenzintervall sowie die Varianzkomponenten. In den Methodenteil gehören Software, Paket, Schätzmethode und das Verfahren für die Freiheitsgrade. So könnte ein Satz mit erfundenen Werten lauten:
Die Intraklassenkorrelation betrug .15. Im Modell mit zufälligem Achsenabschnitt für die Klassen sagte das wahrgenommene Klassenklima die Zufriedenheit vorher, b = 0.32, SE = 0.06, t(298.40) = 5.33, p < .001, 95 % KI [0.20, 0.44].
Die Freiheitsgrade mit Nachkommastellen entstehen durch Näherungsverfahren wie die Satterthwaite-Methode. Warum das kein Fehler ist, erklärt der Beitrag Freiheitsgrade verstehen. Für das Konfidenzintervall nach APA 7 gelten dieselben Regeln wie bei anderen Verfahren.
Typische Fehler bei verschachtelten Daten
In Abschlussarbeiten fallen bei verschachtelten Daten vor allem diese Punkte auf:
Verschachtelung übersehen. Die Daten werden wie unabhängige Beobachtungen ausgewertet, obwohl die Personen aus denselben Gruppen stammen.
Gruppenmittelwerte statt Einzelwerte. Wer pro Klasse mittelt und dann mit 14 Werten rechnet, verliert Information und überträgt Zusammenhänge zwischen Gruppen leicht fälschlich auf Personen.
Zu wenige Gruppen. Bei sehr wenigen Gruppen lässt sich die Varianz zwischen ihnen nur ungenau schätzen. Dann sind andere Lösungen wie robuste Standardfehler zu prüfen.
Zentrierung nicht angegeben. Ob Prädiktoren am Gesamtmittelwert oder am Gruppenmittelwert zentriert wurden, verändert die Deutung der Koeffizienten.
Messwiederholung im falschen Format. Für Tagebuch- und Längsschnittdaten braucht das Modell eine Zeile pro Messung. Wie sich das von der Mixed ANOVA in SPSS unterscheidet, lohnt einen Vergleich schon bei der Planung.
Häufige Fragen zum Mehrebenenmodell
Ab wie vielen Gruppen lohnt sich ein Mehrebenenmodell?
Eine feste Zahl gibt es nicht. Mit sehr wenigen Gruppen werden die Varianzschätzungen unsicher, mit mehr Gruppen stabiler. Wie viele für deine Fragestellung nötig sind, klärst du am besten vor der Datenerhebung.
Kann ich ein Mehrebenenmodell in SPSS rechnen?
Ja, SPSS bietet dafür gemischte lineare Modelle an. In R wird häufig das Paket lme4 verwendet. Wichtig ist, dass du im Methodenteil Programm, Schätzmethode und Modellaufbau angibst.
Was mache ich, wenn der ICC sehr klein ist?
Ein kleiner ICC spricht dafür, dass sich die Gruppen kaum unterscheiden. Bei großen Gruppen kann der Designeffekt trotzdem spürbar sein. Berichte den ICC in jedem Fall und begründe deine Modellwahl.
Was kostet die Auswertung eines Mehrebenenmodells?
Der Aufwand hängt von der Zahl der Ebenen, den Prädiktoren und dem Zustand deiner Daten ab. Wovon die Kosten abhängen, erklärt der Beitrag Was kostet eine statistische Auswertung.
Muss ich meine Fallzahlplanung anpassen?
Ja, bei verschachtelten Daten reicht eine gewöhnliche Poweranalyse nicht aus, weil der Designeffekt die effektive Stichprobe verkleinert. Die Grundlagen der Planung zeigt der Beitrag Stichprobengröße mit G*Power berechnen.
Mehrebenenmodell rechnen und erklären lassen Bei der statistischen Auswertung prüfen wir, ob deine Daten ein Mehrebenenmodell brauchen, rechnen das passende Modell und erklären dir im Abschlussgespräch jede Zahl in deinem Ergebnisteil.
