VL 08: Multiple Regression

Wann benötigen wir die multiple Regression?

bei mehr als einer Prädiktorvariable

Welches Skalenniveau müssen Prädiktor (X) und Kriterium (Y) mindestens haben, um eine lineare Regression sinnvoll durchzuführen?

Intervallskalenniveau

Warum ist ein linearer Zusammenhang zwischen Prädiktor (X) und Kriterium (Y) eine zentrale Voraussetzung für die lineare Regression?

weil das Modell sonst systematisch fehlerhafte Vorhersagen produziert

Was bedeutet es, wenn ein Datenpunkt eine hohe Hebelwirkung hat?

Er beeinflusst die Lage der Regressionsgeraden stark

Warum sollten Residuen in einer linearen Regression normalverteilt sein?

für die Gültigkeit von Konfidenzintervallen und Signifikanztests

Was bedeutet Homoskedastizität in der Regression?

Die Varianz der Residuen ist über alle Werte von X hinweg konstant

Welche Voraussetzung kommt bei der multiplen Regression hinzu?

keine Multikollinearität (d.h. keine hohe Korrelation von Prädiktoren untereinander)

Wie werden die Prädiktoren für die Regression a priori festgelegt?

Durch Vorwissen und theoretische Überlegungen

Was sind Eigenschaften der a priori Auswahl?

Vorteile: keine Probleme mit Alpha-Fehler-Kumulierung
Nachteile: evtl. Aufnahme von Prädiktoren, die keinen statistisch bedeutsamen Beitrag liefern
evtl. Prädiktoren übersehen

Wie werden die Prädiktoren für die Regression a posteriori festgelegt?

aus Menge der verfügbaren Prädiktoren alle möglichen Untermengen von Prädiktoren gezogen
für Untermengen: jeweils eine Regressionsanalyse durchgeführt und erklärbare Varianz bestimmt

Was sind Eigenschaften des a posteriori Auswahlverfahrens (alle möglichen Untermengen)?

Vorteile: optimale Kombination von Prädiktoren
Nachteile: Alpha-Fehler-Kumulierung, Rechenaufwand

Was sind Eigenschaften des a-posteriori Auswahlverfahren (Vorwärtsselektion)?

Vorteile: ökonomisch
Nachteile: optimales Modell nur in Ausnahmefällen erreicht, bereits ausgewählte Prädiktoren können an Bedeutung verlieren

Wie funktioniert das a-posteriori-Auswahlverfahren (Vorwärtsselektion)?

Aufnahme von Prädiktoren in die Regressionsgleichung (nacheinander)

beginnen mit dem Prädiktor mit der größten Verbesserung der Vorhersage, dann absteigend

Was ist die a-posteriori-Auswahl (Rückwärtselimination)?

quasi Umkehrung der Vorwärtsselektion
zunächst: alle vorgeschlagenen Prädiktoren in die Regressionsanalyse aufgenommen, anschließend nacheinander alle Variablen eliminiert, die am wenigsten inkrementelle Validität besitzen

Was sind Eigenschaften der a-posteriori-Auswahl (Rückwärtselimination)?

Vorteile: alle nicht bedeutsamen Prädiktoren werden entfernt
Nachteile: evtl. Aufnahme von Variablen mit sehr geringem Erklärungsanteil

Was ist die a-posteriori-Auswahl (kombiniert schrittweise Methode)?

vereint Vorwärtsselektion und Rückwärtselimination

Regression stoppt, falls in einer Runde weder ein neuer Prädiktor aufgenommen, noch entfernt wird

Was sind Eigenschaften der a-posteriori-Auswahl (kombiniert schrittweise Methode)?

Vorteile: mathematisch gute Vorhersagemodelle
Nachteile: häufig keine Bestätigung der gefundenen Koeffizienten
theoretisch weniger gut begründbare Modelle

Wie kann ich ablesen, wie sehr die Modellgleichung mit dem Kriterium korreliert?

R-Wert

Wie kann ich ablesen, wie viel der Varianz erklärt werden kann?

R²

Welche Werte kann der Tolerance-Wert annehmen?

zwischen 0 und 1

Was bedeuten gefundene Tolerance-Werte nahe 1?

dass die Prädiktoren nicht problematisch miteinander korrelieren

Bei welchen Tolerance-Werten ist Vorsicht geboten?

.20 bis .10

Wann ist Multikollinearität wahrscheinlich?

< .10

Was ist Estimate?

Unstandardisierter Regressionskoeffizient b

Was ist Stand. Estimate?

Standardisierter Regressionskoeffizient ß

Was ist der zentrale Unterschied zwischen dem Regressionskoeffizienten b (Estimate) und dem ß (Stand. Estimate)?

ß ist unabhängig von der Skalierung der Variablen, b nicht

Wann ist es sinnvoll, ß statt b zu interpretieren?

Wenn die Einheiten der Prädiktoren sehr unterschiedlich sind

Wann können Nominaldaten als Prädiktoren genutzt werden?

wenn Prädiktoren binär sind (mit 0 und 1 kodiert)
Dummy-Kodierung

Wie bereitet man eine Dummy-Kodierung vor?

Festlegen der Anzahl der benötigten Dummy-Variablen (p-1 Dummy-Variablen für p-Gruppen)

Eine Gruppe als Referenz festgelegt

erste Gruppe erhält für die erste Dummy Variable eine 1 und für alle weiteren Dummy-Variablen eine 0