Hypothese und Fragebogen passen nicht zusammen: typische Fehler und was du tun kannst
Deine Hypothesen stehen, der Fragebogen ist zusammengestellt, die Erhebung läuft. Erst bei der Auswertung stellt sich heraus, dass der Fragebogen gar nicht misst, was die Hypothese behauptet. Dieses Problem sehe ich in der Praxis erstaunlich oft und es lässt sich fast immer vermeiden, wenn man es früh genug erkennt.
Dahinter stecken meist dieselben fünf Fehler. Wer sie kennt, weiß, wo er geeignete Fragebögen und Manuale findet, und hat auch dann noch Möglichkeiten, wenn die Daten schon erhoben sind.
Wie du Hypothesen grundsätzlich so formulierst, dass sie sich statistisch prüfen lassen, erkläre ich im Beitrag Warum deine Hypothesen nicht testbar sind. Hier geht es um die Frage, ob Hypothese und Messinstrument zusammenpassen. Die fünf Fehler im Überblick:
Fehler | Woran du ihn erkennst | Was hilft |
Hypothese allgemeiner als der Fragebogen | Das Instrument hat nur Subskalen, aber keinen Gesamtwert | Hypothesen je Subskala formulieren oder ein passendes Instrument wählen |
Hypothese behauptet nicht Erhobenes | Zu einem Konstrukt der Hypothese gibt es keine Variable im Fragebogen | Jede Hypothese mit den Variablen abgleichen |
Selbst gebaute Items | Für die Items liegt keine Validierung vor | Validierten Fragebogen nutzen oder Prüfanforderungen klären |
Items aus mehreren Fragebögen | Einzelne Items stammen aus verschiedenen Instrumenten | Vollständige Skalen eines Instruments übernehmen |
Falsch gekürzte Skalen | Innerhalb einer Skala fehlen einzelne Items | Nur ganze Subskalen weglassen, wenn das Manual es erlaubt |
Die Hypothese ist allgemeiner als der Fragebogen
In der Hypothese steht ein großes Konstrukt, etwa „Wohlbefinden“. Der gewählte Fragebogen misst aber gar kein Wohlbefinden als Ganzes, sondern mehrere Facetten davon, jeweils als eigene Subskala, und sieht laut Manual keinen Gesamtwert vor.
Dann gibt es zwei Möglichkeiten. Du formulierst die Hypothese für die einzelnen Subskalen, oder du suchst ein Instrument, das tatsächlich einen Gesamtwert liefert. Nicht zulässig ist es, alle Items zu einem Mittelwert zusammenzufassen, obwohl das Instrument dafür nicht gemacht ist. Im schlimmsten Fall rechnest du dann mit einer Skala, die es so nicht gibt, und sämtliche Analysen müssen später neu gerechnet werden.
Die Hypothese behauptet etwas, das die Studie nicht erhebt
Manchmal enthalten Hypothesen Aussagen, die mit der eigentlichen Untersuchung nichts zu tun haben. Etwa eine Aussage über eine Ursache, obwohl nur Zusammenhänge erhoben wurden, oder über eine Variable, die im Fragebogen gar nicht vorkommt. Solche Hypothesen lassen sich mit deinen Daten nicht prüfen, egal wie sorgfältig du auswertest.
Ein einfacher Check hilft. Geh jede Hypothese durch und schreib daneben, mit welcher Variable aus deinem Fragebogen du jedes darin genannte Konstrukt misst. Wo dir keine Variable einfällt, hast du ein Problem.
Selbst gebaute Items
Selbst formulierte Items sind nicht grundsätzlich falsch. Streng genommen bräuchte ein neues Messinstrument aber eine eigene Validierung, also den Nachweis, dass es tatsächlich misst, was es messen soll.
In Abschlussarbeiten sehen das viele Betreuende pragmatisch. Oft reicht es, die interne Konsistenz mit Cronbachs Alpha zu prüfen, was du bei Skalen ohnehin tun solltest. Manche erwarten allerdings eine tiefergehende Prüfung, etwa eine Faktorenanalyse. Kläre das vorab. Die sicherere Wahl ist, wann immer möglich, ein bereits validierter Fragebogen.
Items aus mehreren Fragebögen zusammensuchen
Dieses Muster sehe ich häufig. Es gibt mehrere etablierte Fragebögen zum selben Thema, etwa zur Arbeitszufriedenheit, und aus jedem werden die Items übernommen, die am besten passen. Das Ergebnis ist ein neues Instrument, für das keine der Validierungen mehr gilt. Du stehst damit vor demselben Problem wie bei selbst gebauten Items.
Fragebögen falsch kürzen
Kürzen ist nicht per se verboten. Wenn ein Fragebogen aus mehreren Subskalen besteht, kannst du oft einzelne Subskalen vollständig übernehmen und andere weglassen, sofern Manual oder Testautoren nichts anderes vorgeben.
Problematisch wird es, wenn du innerhalb einer Skala einzelne Items streichst. Die Skala ist als Ganzes validiert. Fehlen Teile davon, ist unklar, ob sie noch dasselbe misst. Das ist im Grunde dasselbe Problem wie bei selbst gebauten Items.
Du möchtest sichergehen, dass Hypothesen und Fragebogen zusammenpassen, bevor du erhebst? In der Statistik-Hilfe für Studierende prüft StatistikWunder deine Hypothesen, Instrumente und geplanten Analysen gemeinsam mit dir.
Wo du validierte Fragebögen und Manuale findest
Für die Suche nach geeigneten Instrumenten gibt es mehrere verlässliche Anlaufstellen:
Die Testothek deiner Hochschule. Viele Universitäten, besonders Institute für Psychologie, verleihen auch kostenpflichtige Verfahren samt Manual an Studierende.
Das Open Test Archive des ZPID. Das Leibniz-Institut für Psychologie stellt kostenfrei nutzbare Testverfahren für die Forschung bereit, meist mit Dokumentation, unter testarchiv.eu.
ZIS von GESIS. Die frei zugängliche Sammlung sozialwissenschaftlicher Skalen enthält Angaben zu Entwicklung und Gütekriterien, zu finden unter zis.gesis.org.
PSYNDEX Tests. Die Datenbank beschreibt psychologische Testverfahren, auch kostenpflichtige. So erfährst du zumindest, welche Skalen ein Verfahren hat und wo es veröffentlicht wurde, unter psyndex.de/tests.
Die Originalpublikation. Viele Fragebögen wurden in Fachzeitschriften veröffentlicht. Dort steht meist, wie die Skalen gebildet werden.
Wann das Problem auffällt
Wer sich vor der Erhebung beraten lässt, entdeckt solche Unstimmigkeiten in aller Regel rechtzeitig. Wer erst mit fertigen Daten kommt, erfährt oft erst bei der Auswertung davon und dann lässt sich am Fragebogen nichts mehr ändern.
Deshalb empfehle ich, Hypothesen und Fragebogen prüfen zu lassen, bevor die Erhebung startet. Das kostet wenig Zeit und erspart im Zweifel eine Menge Ärger.
Was du tun kannst, wenn die Daten schon erhoben sind
Sprich mit deiner Betreuung. Das ist mein wichtigster Rat, besonders wenn deine Hypothesen bereits in einem Exposé oder einer Präregistrierung festgehalten sind. Wie streng das gehandhabt wird, unterscheidet sich stark zwischen Hochschulen. Manche erlauben es ohne Weiteres, Hypothesen anzupassen, andere sehen das sehr kritisch.
Dokumentiere Änderungen nachvollziehbar. Wenn du deine Hypothesen anpassen musst und keine Rücksprache möglich ist, beschreibe im Methodenteil offen, was das Problem war und wie du damit umgegangen bist. Davon zu unterscheiden ist ein Vorgehen, bei dem Hypothesen nachträglich an die Ergebnisse angepasst und so dargestellt werden, als hätten sie von Anfang an so gelautet. Das gilt als wissenschaftliches Fehlverhalten und ist unter dem Begriff HARKing bekannt. Eine offen begründete Anpassung wegen eines Messproblems ist etwas völlig anderes.
Ein Fehler in der Planung ist ärgerlich. Wer ihn aber erkennt, sauber begründet und offen damit umgeht, zeigt genau die methodische Sorgfalt, die in einer wissenschaftlichen Arbeit bewertet wird.
Häufige Fragen zu Hypothese und Fragebogen
Darf ich einen Fragebogen kürzen?
Ganze Subskalen kannst du oft weglassen, sofern Manual oder Testautoren nichts anderes vorgeben. Einzelne Items innerhalb einer Skala zu streichen, ist dagegen problematisch, weil die Validierung für die vollständige Skala gilt. Im Zweifel klärst du das mit deiner Betreuung.
Darf ich alle Items eines Fragebogens zu einem Gesamtwert mitteln?
Nur wenn das Manual einen Gesamtwert vorsieht. Besteht das Instrument aus mehreren Subskalen ohne Gesamtwert, bildest du die Subskalen einzeln. Ob Likert-Items überhaupt gemittelt werden dürfen, beschreibt der Beitrag Darf man Likert-Daten mitteln?
Wie prüfe ich selbst entwickelte Items?
Mindestens prüfst du die interne Konsistenz, meist mit Cronbachs Alpha. Manche Betreuende erwarten zusätzlich eine Faktorenanalyse, um die Struktur der Items zu belegen. Was genau verlangt wird, klärst du am besten vor der Erhebung.
Darf ich meine Hypothesen nach der Erhebung ändern?
Das hängt stark von deiner Hochschule und deiner Betreuung ab. Entscheidend ist, dass jede Änderung offen dokumentiert und begründet wird. Hypothesen nachträglich an die Ergebnisse anzupassen und das zu verschweigen, gilt als wissenschaftliches Fehlverhalten.
Was mache ich, wenn meine Ergebnisse durch das Messproblem nicht signifikant sind?
Ein nicht signifikantes Ergebnis berichtest du korrekt und ordnest es in der Diskussion ein, auch mit Blick auf die Messung. Wie das gelingt, zeigt der Beitrag Ergebnisse nicht signifikant.
Passt dein Fragebogen zu deinen Hypothesen? Das prüfen wir am besten vor der Erhebung. Sind die Daten schon da, übernehmen wir Skalenbildung nach Manual, Reliabilitätsprüfung und Hypothesentests als Teil der statistischen Auswertung und besprechen im Abschlussgespräch, welche Einschränkungen in die Diskussion gehören.
