11. Vergleich von zwei unabhängigen Mittelwert (t-Wert)

Welche Test nutzt man wann ? Überprüfung von Mittelwertsunterschieden

• Einstichprobentestsd

  • Einstichproben Gauss Test

  • Einstichproben-t-Test

• Vergleich von zwei Gruppen: Zweistichprobentests

• Vergleich von mehr als zwei Gruppen: Varianzanalyse

Erkläre den Einstichprobentest im Überblick:

Vergleich eines empirischen Mittelwerts mit einem fixen Wert (dem bekannten Erwartungswert u0 unter der H0)

• Bekannte Populationsvarianz: Einstichproben-Gauss- Test (basierend auf z-Verteilung)

• Unbekannte (geschätzte) Populationsvarianz: EInstichproben-t Test

Erkläre den Zweistichprobentest im Überblick

Die empirischen Mittelwerte eines Merkmals X in zwei Stichproben und werden daraufhin getestet, ob sie signifikant voneinander abweichen

• Bekannte Populationsvarianzen: Zweistichproben Gauss Test ( nicht Gegenstand der Vorlesung)

• Unbekannte (geschätzte Populationsvarianz: t-Test (welch Test) für unabhängige Stichproben und t-Test für abhängige Stichproben

Was macht man wenn man mehr als zwei Gruppen vergleichen will?

Varianzanalyse

Wie ist das Hypothesenpaar beim Vergleich zweier Stichprobenmittelwerte? Gebe auch die Ausgangssituation an!

Ausgangssituation: Das gleiche Merkmal X wurde in 2 Stichproben (Gruppen, Bedingungen) erhoben

Zweistichprobentest für den Vergleich von zwei Mittelwerten:

• Nullhypothese: Zwei Stichprobenmittelwerte x1 und x2 stammen aus zwei Populationen mit den Mittelwerten u1 und u2, die nicht voneinander abweichen

• Alternativhypothese: Zwei Stichprobenmittelwerte x1 und x2 stammen aus zwei Populationen mit den Mittelwerten u1 und u2, die voneinander abweichen

Erkläre den t-Test für unabhängige Stichprobe:

Beim t-Test für unabhängige STichprobe wird die Differenz der beiden STichprobenmittelwerte e=x1-x2 auf Abweichung vom Wert 0 getestet

→ Die Standatdabweichung von X in beiden Populationen (o1 und o2) ist unbekannt

erkläre die Signal Noise Ration im Kontext der Intuition hinter t

Die Formel für t hat dieselbe Sturktur wie viele ander Prüfgrössen - ein Verhältnis aus Signal und Rauschen :

t= beobachtete Mittelwertsdifferenz / geschätzter Standardfehler dieser Differenz

→ Signal (Zähler): wie weit weichen die beobachteten Mittelwerte voneinadner ab??

→ Rauschen (Nenner) wie viel Variation zwischen Stichprobenmittwelwerten würden wir allein durch Zufall erwaten, wenn H0 stimmt?

grosser t-Wert= SIgnal sticht aus dem Rauschen heraus

t nahe Null= wir können das, was wir sehen, nicht vom Zufall unterscheiden

auf was basiert der t-Test für unabhängige Stichproben?

Auf einer t-Verteilten Prüfgrösse

• geschätzter Standardfehler→ normierte Streuung der Stichprobenkennwerteverteilung der Mittelwertsdifferenz

• wie bereits häufiger gesehen, wird hier also die beobachtete Differenz an der Streuung der STichprobenkennwerteverteilung der Mittelwertsdifferenz nomiert

  • signal-to-noise ratio!

Der t-Test als Spezialfall des ALM

Wir können dasselbe Modell auch als Regression mit einem dichotomen Prädiktor schreiben:

Yi=b0+b1*Gruppei +ei

Bei DUmmy Codierung (0=Referenzgruppe, 1=Vergleichsgruppe)

→ b0= Mittelwert der Referenzgruppe

→ b1=Mittelwertsdifferenz zwischen beiden Gruppen

→ Der t-Test auf b1=0 IST der t-Test der Mittelwertsdifferenz

Was bedeutet unabhängige STichproben?

Merkmalsausprägungen einer Person in STichprobe 1 darf nicht von der Merkmalsausprägung einer Person in Stichprobe 2 abhängen

Was bedeutet abhängige Stichproben?

Wenn ein Messwert in Stichprobe 1 von einem bestimmten Messwert in Stichprobe 1 beeinflusst wird (und umgekehrt)

→ “Messwertpaare”

Wann kommen abhängige STichproben vor?

Dies kommt in drei Fällen vor:

Messwerte stammen von…

• derselben Person (Design mit Messwiederholung/Design mit intraindivisueller Bedingungsvariation )

• verschieden Personen, die zusammengehören (“natürliche Paare”)

• verschieden Personen, die versuchsplanerisch einader zugeordnet wurden (z.B. Parallelisierung)

Nenne die Annahmen beim t-Test für unabhängige STichproben

1. Unabhängigkeit der beiden STichproben

2. Normalverteilung des Merkmals X in beiden Populationen

• bei grossen Stichproben ist der t-Test für unabhöngige STichproben relativ robust gegenüber Verletzung der Normalverteilungsannahme

  • sind die STichproben hinreichend gross, wird meist auf die Prüfung der Annahme verzichtet

  • bei kleine STichproben kann Bootstrapping oder ein Test zur Überprüfung der Normalverteilungsannahme verwendet werden

3. Varianzhomogenität (Homoskedastizität)

• bei gleich grossen Stichproben ist der t-Test für unabhängige Stichproebn relativ robust gegenüber Verletzung der Varianzhomogenitätsannahme

  • bei ungleich grossen STichproben kann vorab ein Levene-Test zur Überprüfung der Vrainzhomogenität verwendet werden (alte Empfehlung) oder man verwendet direkt den robusten t-Test (Welch-Test, neue Empfehlung)

Erkläre den Levene-Test

Beim Levene Test werden zwei oder mehrere Stichprobenvarianzen auf ihre Gleichheit getestet

Im Unterschied zum F-Test werden jedoch nicht direkt die Varianz für jede Gruppe, sondern die Beträge der Abweichungen vom Mittelwert berechnet

Auch hier wird das Signifikanzniveau dabei häufig “liberal” auf alpha=0.1 pder alpha = 0.2 gesetzt, weil die Nullhypothese die “Wunschhypothese” ist. Dadurh wird die Teststärke 1- betha zur Entdeckung eines Varainzunterschiedes erhöht und es wird “konversativer” getestet.

Wie ist die Prüfgrösse w beim Levene Test verteilt?

ist F-verteilt mit df1=1 und df2 = (n1+n2-2) Freiheitsgraden

was sind die beiden Fälle beim Leven Test?

Fall1: Lebene Test ist nicht signifikant

H0 : o1² = o2² wird nicht verworfen → Annahme der Varianzhomogenität muss nicht verworfen werden

Fall 2: Levene Test ist signifikant

H0: o1² = o2² wird verworfen → Varianzhomogenität ist verletzt

Was sind die Probleme mit der Interpretation der vorgestellten Tests( Levene-Test, KS-Anpassungstest, Shapiro-Wilk-Test)

bei den vorgestellten Tests (Levene-Test, KS-Anpassungstest, Shapiro-Wilk-Test) ist die Nullhypothese die “Wunschypothese”.

→ gewünscht ist jeweils ein nicht signifikantes Ergebnis, damit die Nullhyothese (z.B. von gleichen Varianzen oder Annahmen der Normalverteilung) nicht verworfen werden muss

Fall1: Stichprobe ist gross→ auch geringfügige Verletzungen der Annahme können signifkant werden

→ die Nullhypothese muss verworfen werden

• → in grossen Stichporben ist aber eine Verletzung von z.B. Normalverteilungsannahme weniger problematisch

Fall2: Stichprobe ist klein→ der jeweilige Test hat nicht ausreichend Power → das Ergebnis wird tendenziell nicht signifikant obwohl möglicherweise tatsächlich Verletzungen vorliegen

→ ohnehin besser einen robusten Test zu verwenden

Konsequenz für die Durchführung eines t-Test

“Alte” Empfehlung war ein zweistufiges Vorgehen:

1. vorgeschalteter Levene Test zur Überprüfung der Varianzhomogenität

2. a. wenn Varianz homogen (Levene-Test n.s.) → “normaler” t-Test

3. 2.b. wenn Varianz nicht homogen (Levene-Test signifikant) → “Welch Test”

“Neue” Empfehlung:

Direkt Welch Test durchführen (Voreinstellng für t-Test in R).

erkläre den Welch Test als “robuster “ t-Test. Was passiert dabei?

Welch-test als “robuster” t-Test

Welcher Test (t-Test mit welch Korrektur; unequal variance t-test ist die Voreinstelung der Funktion t.test()

1. Der Standardfehler der Mittelwertsdifferenz wird etwas anders berechnet

→ statt ”gepoolte” Varianz werden nun die Gruppenvarianzen herangezogen

→ ist “logisch”, wenn man nicht davon ausgeht, dass die Varianz in beiden Gruppen gleich ist

2. Freiheitsgarade der t-Verteilung werden korrigiert (verringert)

→ Formel ist kompliziert (“wir erspare sie uns”)

→ Test wird konservativer

→ dfcorr statt df

Wann lohnt sich die Erweiterung von Cohen’s d?

• Hedges’g - Cohen’s d ist in kleinen Stichproben leicht aufwärts verzerrt. Hedges’g korrigiert das mit einem Schrumpfungsfaktor

• Glass’ Delta: verwendet nur die Standardabweichung der Referenzgruppe im Nenner statt der gepoolten SD

  • Sinnvoll wenn die Gruppe SDs stark unterschiedlich sind oder die experimentelle Manipulation auch die Streuung beeinflusst hat

Erkläre das berechnen der Effektgrössen in R

Das Paket effectsize (Teil von easystats) berechnet alle drei Varianten direkt aus der Formelnotation

Was liefert und was ersetzt der comand describe_ distribution()?<

→ liefert pro Gruppe Mittelwert, SD, IQR, 95%-KI, Range, Schiefe, Kurtosis und n - in einer übersichtlichen Tabelle.

→ ersetzt: die einzelnen Aufrufe von mean(),sd() var() usw. in einer Zeile

Gebe Informationen zu Welch Test vs. t-Test

• Prüfgrösse unterschied sich leicht (wegen abweichender Berechnung des Standardfehlers)

• Welch Test nutz eine t-Verteilung mit einer korrigierten Anzahl von Freiheitsgraden (dfcorr)

• Deshalb eine konservativere Schätzung (p-Wert ist grösser

  • geringeres Risiko falsch positiver (zu progressiver) Entscheidungen

Was ist die Konsequenz eines Konfidenzintervalls bei gerichteten Hypothesen?

• Liegt eine gerichtete Alternativhypothese vor, wir auch das Konfidenzintervall einseitig bestimmt.

• Das bedeutet: es gibt nur eine bestimmbare Grenze und die andere Grenze wird als “unendlich” ausgedrückt

Was tun bei vielen Ausreissern?

Eine mögliche Alternative ist ein t-Test, der mit getrimmten Mittelwerten arbeiten: Yuen-Test

erkläre das prüfen der Normalverteilung mit check_model()

Wenn wir den t-Test als Spezialfall des ALM vertshen, können wir die Normalverteilungs-Annahme auch noch über die Residuen prüfen: das ist eleganter als zwei separate Histogramme