Kapitel 6: Experimentelle Designs

Vokabel-Lernkarten zum Vorlesungskapitel 6 'Experimentelle Designs' von Prof. Andreas Voß.

Eigenschaften „echter“ Experimente

Experimentelle Manipulation

Bedingungszuweisung

Weitreichende Standardisierung des Ablaufs.

Gruppendesign (between-subject-design)

Gruppe 1: Bedingung A,

Gruppe 2: Bedingung B

Messwiederholungsdesign (within-subject-design)

Ein experimentelles Design, bei dem dieselben Versuchspersonen nacheinander mehrere bzw. alle experimentellen Bedingungen durchlaufen

Bedingung A → Bedingung B

Gemischtes Design (mixed design)

Kombi Gruppenfaktoren (between-subjects) + Messwiederholungsfaktoren (within-subjects)

Gruppe 1: Bed. 1 → Bed. 2

Gruppe 2: Bed. 1 → Bed. 2

Experimentelle Manipulation allgemein

• Manipulation der UV → zwei / mehr Ausprägungen der M.

• sicherstellen, dass Gruppenunterschiede bezüglich der (AV) kausal durch die UV verursacht wurden

→ hohe interne Validität

• Konfundierungen vermeiden (Merkmal kovariiert mit UV und AV)

• M. mit „Manipulation Check“ prüfen

Konfundierung Definition

Drittvariable (konfundierende Variable) kovariiert mit UV und AV

→ kausale Schlüsse auf UV unmöglich

→ Bedrohung interne Validität

Arten der Konfundierung

• Personenbezogene Konfundierung

• Situative Konfundierung

Personenbezogene Konfundierung

• stabile Merkmale der VPN variieren zw. Bedingungen (Alter, Geschlecht, Persönlichkeit)

• Lösung: Randomisierung

• → bei ausreichender Stichprobengröße mitteln sich diese Konfundierungen über Bedingung aus

Situative Konfundierung

• Aspekte der Untersuchungssituation variieren mit UV (Tageszeit, Raum, Versuchsleiter)

• Können unabsichtlich durch Manipulation erzeugt werden

• xx Randomisierung

• Lösung: Standardisierung

• → Ablauf + Setting zw. Bedingungen konstant

Manipulation Check

• empirische Überprüfung der Veränderung einer UV (z. B. durch Stimmungsfragebögen)

• (ob die gezielte Veränderung einer (latenten) unabhängigen Variable erfolgreich war)

Randomisierte Bedingungszuweisung

echt zufällige Zuweisung von Vpn zu experimentellen Bedingungen oder Sequenzen, sodass alle Personen die gleiche Zuordnungswahrscheinlichkeit zu allen Gruppen haben

Warum randomisierte Bedingungszuweisung

• bei Selbstselektion / willkürlichen Zuordnung der Vpn durch Versuchsleiter → systematische Unterschiede zw. Vpn Gruppen

Problem Randomisierung

Führt zu ungleichen Gruppengrößen

Quasiexperimentelles Design

Untersuchungsdesign ohne echte zufällige Bedingungszuweisung, z.B. bei Vergleichen bestehender Gruppen (Geschlecht, Alter) oder wenn Probanden ihre Intervention selbst aussuchen.

Block-Randomisierung

• immer eine zufällige Reihenfolge für nächsten k Vpn festgelegt

• Bsp: 𝑘 = 3 Gruppen (C1, C2, C3)

  - Block 1 (Vpn 1-3): C1, C3, C2

  - Block 2 (Vpn 4-6): C1, C3, C2

  - Block 3 (Vpn 7-9): C3, C1, C2

Vorteile Block-Randomisierung

• alle Gruppen gleich groß

• Keinen langen Sequenzen, in denen nur eine Bedingung realisiert wird

• Zufällige Konfundierungen mit Tageszeit, Wetter, Versuchsleiter… minimiert

Wodurch kann eine Block-Randomisierung erweitert werden?

Matching-Prozedur

Matching-Prozedur

• Erweitert Block-Randomisierung

• Identifikation Persönlichkeitsvariablen, die AV beeinflussen könnten (Geschlecht, ALter)

• Bildung von Personenpaaren oder -tripeln mit maximaler Ähnlichkeit innerhalb Paare

• randomisierter Bedingungszuweisung innerhalb jedes Paares

• Auswertung mit Verfahren für Messwdh

• Vorteile

  • Minimierung personenbezogener Konfundierung

  • Höhere Power durch Messwdh

Vorteile Matching Prozedur

• Minimierung personenbezogene Konfundierung

• Höhere Power durch Messwdh

Standardisierung

• Konstanthalten Ablauf + Setting (außer UV) über alle Bedingungen hinweg

• Kleine systematische Konfundierung der UV mit Setting (Tageszeit, Versuchsleiterverhalten)

• Schriftliche Instruktionen erleichtern Standardisierung

• Ziele:

  • Minimierung situative Konfundierung

  • Reduktion (Fehler-)Varianz der AV → höhere Power

Pretests in Gruppendesign

• auch bei Randomisierung bei kleinen Gruppen substantielle Unterschiede möglich

• Untersucht mit Pretest

  • Messung AV vor M.

  • Messung AV nach M.

• Als neue AV kann individuelle Veränderung der AV verwendet werden

• Nachteil: Pretest-Effekte

Kann es bei kleinen Gruppen trotz Randomisierung zu Unterschieden zwischen Gruppen kommen?

Ja

Pretest-Effekte

Unerwünschte Einflüsse einer Prä-Messung auf die nachfolgende Post-Messung (z. B. Lerneffekte, Ermüdungseffekte oder Antwortendenzen).

• Überprüfung mit Solomon-4-Gruppen-Plan

Wie kann man überprüfen, ob es einen Pretest-Effket gab

Mit Solomon-4-Gruppen-Plan

Solomon 4-Gruppen-Plan

Ein Versuchsexperiment von Solomon (1949) mit vier Gruppen (zwei mit Pretest, zwei ohne), mit dem überprüft werden kann, ob der Effekt der experimentellen Bedingungen durch die Durchführung eines Pretests beeinflusst wird.

Mehrfaktorielle Designs

• mehrere UVs gleichzeitig manipuliert, 2×2, 2×3, 2×2×2 Design (Alkoholmenge + Stimmung)

Welche Vorteile hat ein Mehrfaktorielles Design ggü mehreren Einzelstudien ?

• Untersuchung Interaktionen

• Bessere externe Validität:

  • Effekt der UV wir über verschiedene Bedingungen der anderen UVs geprüft

• Effizientere Datenerhebung

Welche zwei Arten von Effekten gibt es bei Mehrfaktoriellen Designs

• Haupteffekt einer UV

• Interaktion

Haupteffekt einer UV

Effekt gemittelt über alle Stufen der anderen UVs

Interaktion

• Eine Wechselwirkung zwischen Faktoren

• Effekt einer UV hängt von Ausprägung einer anderen UV ab

Interaktionsplot

AV auf y-Achse

UV1 auf x-Achse

UV2 als getrennte Linien

• parallele Linien → keine Interaktion

• Nicht-parallele Linien → Interaktion

Welche zwei Typen von Interaktion gibt es ?

• ordinale Interaktion

• Disordinale Interaktion

Ordinale Interaktion

Effekt geht in beiden Bedingungen in dieselbe Richtung

Disordinale Interaktion (Cross-over)

Effekt kehrt sich um (Linien kreuzen sich)

Konsequenzen für Interpretation von Interaktionen

• bei signifikanter Interaktion sind Haupteffekte nur eingeschränkt interpretierbar

• Folgeanalyse: einfache Haupteffekte (simple effects)

  • Effekt einer UV separat in jeder Stufe der anderen UV prüfen

Einfache Haupteffekte (simple effects)

Statistische Folgeanalysen bei signifikanter Interaktion, bei denen der Effekt einer unabhängigen Variable separat für jede einzelne Stufe der anderen unabhängigen Variable geprüft wird.

Vorteil Messwiederholung

Hohe Power

Nachteil Messwiederholung

Sequenzeffekte

Sequenzeffekte

Störeinflüsse in Messwiederholungsdesigns

• z. B. Übungs-, Ermüdungs-Effekte)

• Lösung: Ausbalacierung der Reihenfolge

• Sequenz AB vs BA ist dann zusätzlicher Faktor UV

Lateinisches Quadrat

• Reihenfolge von Bedingungen ausbalancieren

• Nicht alle möglichen Reihenfolgen realisiert → weniger Gruppen

• Anzahl Gruppen = Anzahl ex. Bedingungen

• Jede Bedingung (A,B,C) wird in genau einer Gruppe als 1,2,3 Aufgabe durchgeführt

• Konfundierungen von Bedingung + Sequenzposition wird vermieden

Varianten der Messwiederholung

• sequenzielle Messwdh

• Parallele / verschaltete Bedingungen

• Vergleich verschiedener AV an derselben Person

Sequenzielle Messwiederholung

• verschiedene experimentelle Bedingungen nacheinander präsentiert

• Problem: Sequenzeffekte

• Lösung: Ausbalancierung (z.B. lateinisches Quadrat)

Parallele / verschachtelte Bedingungen (Messwdh)

• Bedingungen trial-weise randomisiert (z. B. Stroop -, Flanker-, semantisches Priming)

• Vorteil: Sequenzeffekte auf Trial-Ebene durch Randomisierung minimiert

• Restproblem: Carry-Over auf Trial-Ebene (z.B. Priming des Vor-Trials)

Vergleich verschiedener AVs an derselben Person (Messwdh)

• sinnvoll, wenn AVs auf vergleichbaren Skala liegen (z.B. Einstellung zu Produkt A / B)

• Problematisch, wenn unterschiedliche Konstrukte verglichen (Extraversion vs. Offenheit)

  • Differenz ist nicht interpretierbar

Sozialpsychologie des psychologischen Laborexperiments

• Experimente = soziales Setting

• Gefährdung interne Validität durch

  • Placebo-Effekte

  • Versuchsleiter-Effekte

  • Demand-Effekte

Placeboeffekt

• Wirkung eines Treatments, weil Vp an Treatment glauben (z.B. Auswirkungen Alkohol auf Risikobereitschaft)

• Lösung: zusätzliche Placebogruppe „Scheintreatment“

Placebogruppe

Eine Versuchsbedingung mit einem Scheintreatment (z. B. alkoholfreies Bier), mit deren Hilfe Erwartungseffekte von der tatsächlichen physiologischen Treatmentwirkung getrennt werden können.

Versuchsleitereffekte

• Verhalten Versuchsleiter beeinflusst Verhalten Vp

• Bsp.:

  • Kluger-Hans-Effekt

  • Rosenthal-Effekt: Erwartung eines Lehrers über unterschiedliche Leistungsfähigkeit von Schülern führt zu unterschiedlichem Verhalten (→ Self-Fullfilling Prophecy)

• Versuchsleiter machen systematische Fehler bei Datenaufzeichnung, die ihre Hypothese stützen → motivated Reasoning (p-hacking)

• Gegenmaßnahmen:

  • Doppelblind-Studien: beide wissen nicht, welche Bedingung durchgeführt

  • Beachtung Objektivität bei Operationalisierung der Variablen

Was sind Gegenmaßnahmen für den versuchsleitereffekt

• Doppelblind-Studien

• Beachtung Objektivität bei Operationalisierung der Variablen

Rosenthal-Effekt

Erwartung eines Lehrers über unterschiedliche Leistungsfähigkeit von Schülern führt zu unterschiedlichem Verhalten → Self fullfilling prophecy

Kluger Hans-Effekt

Ein Phänomen unbewusster Versuchsleiter-Signale (1895–1916), bei dem das Verhalten des Probanden fälschlicherweise einer höheren kognitiven Leistung zugeschrieben wird, obwohl er nur auf minimale Verhaltenshinweise der Versuchsleitung reagiert.

Lösung Demand-Effekte

• Cover Story

• Nachbefragung von Vp → Reanalyse der Daten ohne Vp, die H. Erraten haben

Demand-Effekte (Aufforderungscharakter)

• viele Vp wollen helfen, dass Experiment gelingt

• Ex. Situation erlaubt oft Rückschlüsse auf Hypothese

• Probanden verhalten sich so, wie sie glauben, dass es von ihnen erwartet wird

• Lösung:

  • gute Cover-Story (Ethik!)

  • Nachbefragung von Vp → Re-Analyse der Daten ohne Vp, die dei Hypothese erraten haben