Econometrics 2.0 OLS en Model fit

Wat betekent OLS?

Ordinary Least Squares.

Wat doet OLS?

OLS kiest de regressielijn waarvoor de som van de gekwadrateerde residuen minimaal is.

Univariaat populatiemodel

Yᵢ = β₀ + β₁Xᵢ + uᵢ.

Wat is Yᵢ?

De geobserveerde uitkomst van observatie i.

Wat is Xᵢ?

De verklarende variabele of regressor van observatie i.

Wat is β₀?

Het intercept: de verwachte waarde van Y wanneer X = 0.

Wat is β₁?

De slope coefficient: de verandering in gemiddelde Y bij één eenheid meer X.

Wat is uᵢ?

De error term met alle niet-opgenomen factoren die Y beïnvloeden.

Wat is β̂₀?

De met de steekproef geschatte waarde van het intercept β₀.

Wat is β̂₁?

De met de steekproef geschatte waarde van de slope coefficient β₁.

Formule voorspelde waarde

Ŷᵢ = β̂₀ + β̂₁Xᵢ.

Wat is Ŷᵢ?

De door het regressiemodel voorspelde waarde van Y voor observatie i.

Formule residu

ûᵢ = Yᵢ - Ŷᵢ.

Wat is een residu?

Het verschil tussen de geobserveerde en de voorspelde waarde van Y.

Waarom kwadrateert OLS de residuen?

Dan heffen positieve en negatieve fouten elkaar niet op en worden grote fouten extra zwaar bestraft.

OLS-doelfunctie

Minimaliseer Σûᵢ² over β̂₀ en β̂₁.

Formule OLS-slope

β̂₁ = Σ[(Xᵢ-X̄)(Yᵢ-Ȳ)] / Σ(Xᵢ-X̄)².

Intuïtie OLS-slope

De teller meet hoe X en Y samen bewegen; de noemer schaalt dit met de variatie in X.

Formule OLS-intercept

β̂₀ = Ȳ - β̂₁X̄.

Key identifying assumption van OLS

Zero conditional mean: E[uᵢ | Xᵢ] = 0.

Wat betekent zero conditional mean?

Voor iedere waarde van X is de gemiddelde error term nul; niet-geobserveerde factoren hangen niet systematisch samen met X.

Welke variation identificeert β₁ bij OLS?

Cross-sectional variation in X die ongecorreleerd is met u.

Wanneer heeft OLS een causale interpretatie?

Wanneer zero conditional mean en de overige noodzakelijke aannames gelden.

Wat betekent OLS zonder zero conditional mean?

β̂ beschrijft meestal alleen association en niet het causale effect.

Multivariaat OLS-model

Yᵢ = β₀ + β₁X₁ᵢ + β₂X₂ᵢ + … + uᵢ.

Hoe interpreteer je β₁ in multivariate OLS?

Als het ceteris-paribus effect van X₁ op Y, terwijl de overige regressoren constant blijven.

Wat betekent ceteris paribus?

Al het overige gelijk gehouden.

Wat zijn control variables?

Opgenomen regressoren die andere relevante verschillen tussen observaties controleren.

Wat is perfect multicollinearity?

Een regressor is een exacte lineaire combinatie van andere regressoren.

Waarom is perfect multicollinearity een probleem?

OLS kan de afzonderlijke effecten van de perfect samenhangende regressoren niet bepalen.

Voorbeeld perfect multicollinearity

Leeftijd in jaren en leeftijd in maanden tegelijk opnemen.

Wat is de dummy-variable trap?

Perfect multicollinearity door met een intercept alle G categorie-dummies op te nemen.

Hoe voorkom je de dummy-variable trap?

Neem bij G categorieën en een intercept slechts G-1 dummies op.

Wat is TSS?

Total Sum of Squares: totale variatie van Y rond Ȳ.

Formule TSS

TSS = Σ(Yᵢ-Ȳ)².

Wat is ESS?

Explained Sum of Squares: variatie van de voorspelde waarden rond Ȳ.

Formule ESS

ESS = Σ(Ŷᵢ-Ȳ)².

Wat is SSR?

Sum of Squared Residuals: niet door het model verklaarde gekwadrateerde fouten.

Formule SSR

SSR = Σûᵢ² = Σ(Yᵢ-Ŷᵢ)².

Relatie TSS, ESS en SSR

TSS = ESS + SSR.

Formule R²

R² = ESS/TSS = 1 - SSR/TSS.

Wat meet R²?

Het aandeel van de steekproefvariatie in Y dat door het model wordt voorspeld.

Bewijst een hoog R² causaliteit?

Nee. Model fit zegt niets over de geldigheid van de identifying assumption.

Wat gebeurt met R² wanneer regressoren worden toegevoegd?

R² daalt nooit, ook niet wanneer de nieuwe regressoren nutteloos zijn.

Wat doet adjusted R²?

Het corrigeert R² voor het aantal opgenomen regressoren.

Formule SER

SER = √[SSR/(n-k-1)].

Wat meet SER?

De typische grootte van de regressiefout in dezelfde eenheid als Y.

Wat meet SE(β̂₁)?

De sampling uncertainty en precisie van de geschatte slope coefficient.

Verschil SER en SE(β̂₁)

SER meet de grootte van residuen; SE(β̂₁) meet de onzekerheid van de coëfficiënt.

Hoe interpreteer je R² bij log(Y)?

Als het aandeel verklaarde variatie in log(Y), ongeveer procentuele variatie.

Hoe interpreteer je SER bij log(Y)?

Als een fout in logpunten, ongeveer een procentuele voorspelfout.

Kun je R² of SER tussen level-Y en log-Y vergelijken?

Niet rechtstreeks, omdat de afhankelijke variabele op een andere schaal staat.

Levels-levels interpretatie

Eén eenheid meer X hangt samen met β̂₁ eenheden verandering in Y.

Dummy Y in een Linear Probability Model

β̂₁ x 100 is de verandering in de kans op Y=1 in percentagepunten.

Dummy X interpretatie

β̂₁ is het verschil in voorspelde Y tussen X=1 en de referentiegroep X=0.

Log-level interpretatie

Eén eenheid meer X hangt samen met ongeveer 100 x β̂₁ procent verandering in Y.

Log-log interpretatie

Eén procent meer X hangt samen met β̂₁ procent verandering in Y.

Wat is homoskedasticity?

De conditional error variance is constant: Var(uᵢ | Xᵢ) = σ².

Wat is heteroskedasticity?

De conditional error variance verschilt tussen observaties.

Verandert heteroskedasticity de OLS point estimates?

Nee, niet de berekening van β̂, maar wel de geldigheid van klassieke standard errors.

Oplossing voor heteroskedasticity

Gebruik heteroskedasticity-robust standard errors.

Wat corrigeren robust standard errors?

De inference: standard errors, t-values, p-values en confidence intervals.