M2B Forschungsmethoden - Messen und Beschreiben

Messung als Homomorphismus

• Zuordnung von Objekten zu Zahlen

• Voraussetzung: homomorphe (strukturerhaltende) Abbildung eines empirischen Relativs in ein numerisches Relativ

Typologie 1: Skalenniveau

• Skalenniveau von Variable beschreibt, welche Relationen im numerischen Relativ sinnvoll sind

• Nominalskala: Gleichheit sinnvoll

• Ordinalskala: Gleichheit + Ordnung sinnvoll

• Intervallskala: Gleichheit + Ordnung + Abstand sinnvoll

→ mehr Information

Typologie 2: Inferenzniveau

• Inferenzniveau einer Variable beschreibt Ausmaß der Abstraktion/Schlussfolgerung einer Messung

• niedriginferente Variablen: mehr oder weniger direkt beobachtbar

• hochinferente Variablen: nicht direkt beobachtbar → brauchen Indikatoren

Typologie 3: Theoretischer Kausalzusammenhang

• abhängige Variable (AV): beeinflusste Variable

• unabhängige Variable (UV): unbeeinflusste Variable

• Mediatorvariable (MeV): zugleich AV & UV

• moderierende Variable (MoV): beeinflusst Wirkung

Gütekriterien einer Messung - Objektivität

• Unabhängigkeit der Ergebnisses der Messung/des Tests von der durchführenden, auswertenden bzw. interpretierenden Person

• Durchführungsobjektivität, Auswertungsobjektivität, Interpretationsobjektivität

Gütekriterien einer Messung - Reliabilität

• Ausmaß an Messfehlerfreiheit

• Voraussetzung: Objektivität

Gütekriterien einer Messung - Validität

• Kriteriumsvalidität: wenn von Verhalten innerhalb Testsituation auf Verhalten außerhalb Testsituation geschlossen werden kann → Kriterium

• Konstruktvalidität: Ausmaß theoretischer & empirischer Belege für Angemessenheit der Interpretation von Testwerten

• abhängig von Reliabilität

Erhebungsverfahren - (Externe) Beobachtung

• systematische & regelgeleitete Registrierung des Auftretens & Ausprägung von ausgewählten, psychologisch relevanten Merkmalen/Ereignissen

• folgt Beobachtungsplan: Was wird beobachtet? Welche Aspekte sind weniger/nicht relevant? Welchen Interpretationsspielraum hat Beobachter? Wann, wie lange & wo erfolgt Beobachtung? Auf welche Weise wird registriert & protokolliert?

• Vorteile: potentielle Vermeidung von Reaktanz → teilweise höhere Reliabilität

• Nachteile: oft nicht ökonomisch; kognitive & psychische Variablen schwer zugänglich

Erhebungsverfahren - Selbstauskünfte

• Interviews, Fragebögen & Tests

• Vorteile: kognitive & psychische Variablen zugänglich; teilweise sehr ökonomisch

• Nachteile: Reaktanz höher; Entwicklung sehr aufwendig

Erhebungsverfahren - Physiologische Messung

• Messung der Hautleitfährigkeit & Blickbewegungen

• Vorteile: teilweise schwer verfälschbar; unbewusste Prozesse werden zugänglich

• Nachteile: meist nicht verdeckt durchführbar; oft Laborbedingungen erforderlich

Erhebungsverfahren - Dokumentenanalyse

• bereits existierende schriftliche Artefakte untersucht; sowohl in hoch- wie in niedrigstrukturierten Prozessen gesammelt, transformiert & analysiert werden

• Vorteile: keine Genese von Daten notwendig; teilweise sehr ökonomisch

• Nachteile: beschränkte Auswahl an Variablen; Artefakte müssen präexistieren

Konstruktvalidität von Noten

• Lehrer können hochgradig objektiv und reliabel Leistungen ranken, aber nicht objektiv auf Skala verorten

• wenn Noten für Selektions- und Allokationszwecke genutzt werden, ist Anlegen von kriterialen Bezugsnorm, die vorher festlegt, was gute Leistung ist → Voraussetzung

• wenn Noten motivieren sollen, sind formative Rückmeldungen & Verwendung individueller Bezugsnorm, welche Leistungsentwicklung unabhängig von absoluten bewerten, günstig

• Lehrkräfte legen zur Benotung soziale Bezugsnorm an

Verbesserung Konstruktvalidität

• Objektivität: vorher definierter Korrekturschlüssel, geeignete Aufgabenformate, Mehrfachkorrektur, Verblindung, Automatisierte Auswertung, Abgleich mit vorher standardisierter Messung

• Reliabilität: hinreichende Länge Aufgabenzahl je Thema, Mehrfachkorrektur, Abgleich mit standardisierter Messung

• Konstruktvalidität: Constructive Alignment, Explizite Kommunikation der Bezugsnorm, Abgleich mit standardisierter Messung

Maße der zentralen Tendenz

• bei intervallskalierten Variablen wird als “Durchschnitt” (arithmetisches Mittel) angegeben (alle Daten aufsummieren & Summe durch Anzahl Datenpunkte teilen)

• bei ordinalen Daten wird als Median angegeben (alle Datenpunkte nach Daten ordnen & Wert in der Mitte nehmen; wenn Anzahl gerade ist, arithmetisches Mittel der beiden mittleren Werte)

• bei nominalen Daten wird als Modus (Ausprägung, die am häufigsten vorkommt) angegeben

Maße der zentralen Tendenz - Definitionen

Maße der Streuung

• Mean Average Deviation: mittlere Abweichung vom arithmetischen Mittel

• Varianz & Standardabweichung:

  • Varianz = s²= Abstände²/ Anzahl Datenpunkte -1

  • Standardabweichung = Wurzel s²

Maße der Streuung - Streuungsmaße: Definitionen

Maße der Streuung - Streuung ordinaler Variablen

• Definitionen des Range, de Quartile & des IQR auch auf ordinale Variablen anwendbar, aber nicht informativ bei Variablen mit wenigen Ausprägungen; graphische Abschätzung sinnvoll

Maße der Streuung - Modalität

• Vielgipflichkeit einer Verteilung

• Modi entsprechen Subgruppen in Daten

Maße der Streuung - Schiefe

Verteilung von (unimodalen) intervallskalierten Variable ist Schief, wenn Streuung der oberen/unteren Hälfte unterschiedliche sind