H9: Meervoudige lineaire regressie

wanneer gebruik maken van meervoudige lineaire regressie?

Dit doen we wanneer we het verband tussen een afhankelijke variabele en meerdere predictoren wensen te analyseren.

➢ Je kan hiervoor natuurlijk ook 2 enkelvoudige lineaire regressie modellen gebruiken

nadeel 2 enkelvoudige lineaire regressie gebruiken?

1. Je moet 2 toetsen uitvoeren elk met een kans 𝛼 op een fout van de eerste soort. De totale kans op een fout van de eerste fout is dus groter dan 𝛼 2. Je weet niets van het globaal verband tussen de 3 variabelen

geef de algemene formule van een meervoudig lineair regressiemodel

=𝑌𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝛽3𝑥𝑖3 + ⋯ + 𝜀i

Dit is moeilijker te toetsen dat het lineair model. De uitkomst van de toets is niet meer binair. Het heeft minstens vier mogelijke uitkomsten:

1. Het model geldt, met 2 predictoren 2. Het model geldt met 𝑥𝑖1als predictor 3. Het model geldt met 𝑥𝑖2 als predictor 4. Het model geldt helemaal niet

wat hebben we nodig om dit visueel te kunnen analyseren en welke R input geven we

Hiervoor hebben we een 3D-spreidingsdiagram nodig, we verkrijgen die via de functie scatterplot3d(mydata$..., mydata$..., mydata$...)

Hier zie je niet zo goed of er een verband is tussen leeftijd en uitgaven, om dit beter te kunnen zien moet je de grafiek roteren, 2 manieren om dit te doen:

1. Volgorde van de argumenten aanpassen 2. De functie plot3d uit het package rgl² gebruiken

VISUALISATIE VAN MEER DAN 2 PREDICTOREN: Waarom kan je bij meervoudige lineaire regressie met meer dan twee predictoren niet zomaar een spreidingsdiagram maken? Welke functie biedt een oplossing in R?

Bij meer dan twee predictoren kun je niet alle relaties in één spreidingsdiagram visualiseren, omdat je dan meer dan drie dimensies nodig hebt. In R kun je hiervoor de functie `pairs()` gebruiken, die alle paarsgewijze spreidingsdiagrammen tekent tussen de variabelen.

Wat gebeurt er als je nominale variabelen opneemt in de `pairs()`-functie in R?

Als je nominale (categorische) variabelen opneemt in `pairs()`, zal R een foutmelding (error) geven. Daarom mogen nominale variabelen niet in deze functie worden opgenomen.

Wat is een nadeel van de standaard output van de `pairs()`-functie in R?

De standaard output bevat veel redundante informatie, omdat het diagram symmetrisch is: dezelfde informatie staat zowel boven als onder de diagonaal.

Hoe kun je redundante informatie vermijden in de output van `pairs()` in R?

Je kunt redundantie vermijden door het argument `lower.panel = NULL` toe te voegen aan de `pairs()`-functie. Zo verwijder je de onderste helft van het paarsgewijs spreidingsdiagram.

Kan je de `pairs()`-functie ook gebruiken als je slechts twee predictoren hebt?

Ja, de `pairs()`-functie werkt ook als je slechts twee predictoren hebt. Het levert dan één spreidingsdiagram op van die twee variabelen.

Wat is het meervoudig lineair regressiemodel vanuit het standpunt van kansrekenen?

Het meervoudig lineair regressiemodel is een wiskundig model waarin de afhankelijke variabele Y wordt voorspeld op basis van p onafhankelijke variabelen (predictoren). De foutterm ε blijft een toevalsvariabele die het toeval en onverklaarde variantie in Y voorstelt. Elke predictor Xj heeft een bijhorende coëfficiënt βj, en de totale formule is: Yᵢ = β₀ + β₁xᵢ₁ + ⋯ + βₚxᵢₚ + εᵢ.

Welke assumpties gelden er bij het meervoudig lineair model in kansrekenen?

De Gauss-Markov assumpties uit hoofdstuk 8 blijven van toepassing: lineair verband tussen X en Y, onafhankelijkheid van fouten, homoscedasticiteit (gelijke variantie van fouten), en geen multicollineariteit.

Wat betekent de voorwaardelijke verwachting in het meervoudig lineair model?

De voorwaardelijke verwachting van Y gegeven de waarden van alle predictoren is de verwachte waarde van Y als we bepaalde waarden voor de X-variabelen vastleggen. Formeel: E(Yᵢ | Xᵢ₁ = xᵢ₁, ..., Xᵢₚ = xᵢₚ) = β₀ + β₁xᵢ₁ + ⋯ + βₚxᵢₚ. Deze formule is deterministisch en stelt de gemiddelde uitkomst voor als we de X-waarden vastleggen.

Waarom is de vergelijking voor de voorwaardelijke verwachting deterministisch?

omdat het gaat om het gemiddelde gedrag van Y gegeven vaste waarden voor de X-variabelen, niet om één specifieke waarneming. Er zit geen toeval meer in deze verwachting, enkel in individuele Yᵢ-waarnemingen.

Wat betekent de coëfficiënt βⱼ in het meervoudig lineair model concreet?

De coëfficiënt βⱼ drukt uit hoeveel de verwachte waarde van Y verandert als de predictor Xⱼ met 1 eenheid stijgt, terwijl alle andere predictoren constant gehouden worden. Dit betekent dat βⱼ de unieke bijdrage van Xⱼ aan Y weergeeft.

Waarom kan een voorspelling met het regressiemodel fout zijn, en waarom is het toch nuttig?

Eén enkele voorspelling met het model bevat fout (de residu εᵢ), maar als het model herhaaldelijk gebruikt wordt over vele waarnemingen, zullen de schattingen gemiddeld juist zijn omdat de fouten gemiddeld nul zijn.

Wat is de formule voor het verschil tussen geobserveerde en voorspelde waarde van Yᵢ?

Het verschil (de residu) is: Yᵢ − β₀ − β₁xᵢ₁ − ⋯ − βₚxᵢₚ. Dit verschil wordt verklaard door de foutterm εᵢ, en we gaan er bij correcte assumpties vanuit dat deze gemiddeld nul is met variantie σ²ε.

Wat is de voorwaardelijke variantie van Yᵢ in het meervoudig lineair model?

De voorwaardelijke variantie is Var(Yᵢ | Xᵢ₁ = xᵢ₁,..., Xᵢₚ = xᵢₚ) = Var(β₀ + β₁xᵢ₁ + ⋯ + βₚxᵢₚ + εᵢ). Omdat de β's en x-waarden constant zijn, blijft enkel de variantie van εᵢ over. Dus: Var(Yᵢ | X) = σ²ε.

Wat is het verschil tussen de correlatiecoëfficiënt en de regressiecoëfficiënt in het enkelvoudige model?

In enkelvoudige regressie (slechts 1 predictor) geldt: β₁ = ρₓᵧ * (σᵧ / σₓ). Dit verband bestaat omdat beide coëfficiënten het lineaire verband tussen 2 variabelen beschrijven.

Waarom is er geen eenvoudige relatie tussen βⱼ en de correlatie ρⱼ in het meervoudige model?

In meervoudige regressie houdt βⱼ rekening met de invloed van andere predictoren, terwijl de correlatie ρⱼ enkel kijkt naar het verband tussen Y en Xⱼ. Daarom bestaat er geen eenvoudig verband tussen ρⱼ en βⱼ zoals in enkelvoudige regressie.

Wat betekent het model vanuit het perspectief van kansrekenen?

Vanuit kansrekenen is het meervoudig lineair model een beschrijving van het verwachte gedrag van een toevalsvariabele Y op basis van andere toevalsvariabelen X₁, ..., Xₚ. Het bevat p + 2 parameters: β₀, β₁ tot βₚ, en de variantie σ²ε. Deze zijn bijna altijd onbekend en worden geschat op basis van steekproefdata.

Wat is het doel van puntschatting binnen het meervoudig lineair model?

Het doel is het schatten van de onbekende populatieparameters β₀, β₁, ..., βₚ en σ²ε, op basis van een steekproef. We zoeken naar de beste benaderingen van deze parameters in de populatie.

Welke methode gebruiken we om puntschattingen te bekomen in meervoudige regressie?

We gebruiken de kleinste-kwadratenmethode (least squares), net zoals bij enkelvoudige regressie. Deze methode zoekt het vlak dat het beste past bij de waarnemingen door de kwadraten van de residuen te minimaliseren.

Hoe specifieer je een meervoudig regressiemodel in R met de lm()-functie?

Je gebruikt de formulevorm: `lm(formula = afhankelijke_variabele ~ predictor1 + predictor2, data = dataset)`. Bijvoorbeeld: `lm(formula = uitgaven ~ duur + leeftijd, data = gezondheid)`.

Wat stelt de output van de lm()-functie in R voor bij meervoudige regressie?

De output toont de geschatte coëfficiënten b₀, b₁, ..., bₚ. Deze zijn de puntschattingen van de parameters β₀, β₁, ..., βₚ en vormen het best passende regressievlak (hypervlak) bij de data.

Wat is de puntschatting van βⱼ in meervoudige regressie?

De puntschatting van βⱼ is de bijbehorende schatter bⱼ uit de steekproef. Dit getal geeft aan hoeveel Y toeneemt per eenheid toename in Xⱼ, bij constante waarden van de andere predictoren.

Hoe kunnen we de variantie van een schatter Bⱼ beperken?

Er zijn drie principes om de variantie van Bⱼ zo klein mogelijk te houden: (1) een kleine foutvariantie σ²ε, (2) een zo groot mogelijke steekproef n, en (3) een hoge spreiding in predictor Xⱼ (grote S²Xⱼ).

Wat is de puntschatting van β₀ in meervoudige regressie?

De puntschatting van β₀ is b₀, de intercept of constante term in het model. Ook deze wordt met de kleinste-kwadratenmethode berekend en geldt als schatting van de populatiewaarde β₀.

Hoe maak je een predictie in het meervoudig lineair model op basis van de schatters?

Je maakt een predictie door de geschatte waarden van de coëfficiënten te gebruiken: Ŷᵢ = b₀ + b₁xᵢ₁ + ... + bₚxᵢₚ. Dit is de geschatte waarde van Y voor waarneming i, ook wel de schatter van de voorspelling.

Wat is het verschil tussen een predictie en een puntschatting van de predictie?

Een predictie op basis van onbekende parameters βⱼ is theoretisch, terwijl een puntschatting van de predictie (Ŷᵢ) gebruik maakt van geschatte waarden bⱼ uit de steekproef. Die laatste kunnen we in de praktijk berekenen.

Wat is de beste schatter van σ²ε, de variantie van de fouttermen?

De beste schatter is S²ε = (1 / (n - p - 1)) * ∑(Yᵢ - Ŷᵢ)². Dit is de gemiddelde gekwadrateerde fout tussen de geobserveerde en voorspelde Y-waarden, gecorrigeerd voor het aantal geschatte parameters.

Hoe bereken je het aantal vrijheidsgraden bij het schatten van σ²ε?

Het aantal vrijheidsgraden is n - p - 1, waarbij n het aantal waarnemingen is en p het aantal predictoren. Bij enkelvoudige regressie (p = 1) wordt dit n - 2.

Hoe raadpleeg je de residuen in R om S²ε te berekenen?

Na het uitvoeren van `lm()`, kun je de residuen opvragen met de functie `residuals(modelnaam)`. Deze residuen zijn de verschillen Yᵢ - Ŷᵢ en worden gebruikt in de berekening van S²ε.

Wat is collineariteit?

Collineariteit betekent dat twee of meer predictoren sterk met elkaar correleren. Dit maakt het moeilijk of onmogelijk om de afzonderlijke effecten van deze predictoren op de afhankelijke variabele Y correct te schatten.

Wat is het probleem als twee predictoren sterk correleren?

Het wordt moeilijk om te bepalen hoeveel elke predictor afzonderlijk bijdraagt aan Y. Bij perfecte collineariteit (correlatie = 1) is het mathematisch onmogelijk om de coëfficiënten van beide predictoren betrouwbaar te schatten.

Geef een concreet voorbeeld van collineariteit.

Bijvoorbeeld: je wil voorspellen hoe goed iemand is in voetbal met als predictoren (1) aantal uren training en (2) aantal wedstrijden gespeeld. Deze zijn sterk gecorreleerd, wat het moeilijk maakt om hun afzonderlijke impact op voetbalprestatie te onderscheiden.

Wat gebeurt er als je in de steekproef geen individuen hebt met verschillende combinaties van twee sterk gecorreleerde predictoren?

Je hebt dan geen informatie om voorspellingen te maken voor combinaties die niet in de steekproef voorkomen (zoals hoog-laag of laag-hoog), waardoor je model onbetrouwbare voorspellingen maakt buiten het waargenomen bereik.

Wat is de variance inflation factor (VIF)?

De VIF meet hoeveel de variantie van een regressiecoëfficiënt toeneemt door collineariteit. Een VIF van 1 betekent geen collineariteit; hogere waarden wijzen op mogelijke problemen.

Wanneer is er een ernstig probleem met collineariteit volgens de VIF?

Als een VIF groter is dan 10, is er sprake van ernstige collineariteit en mag het lineaire model eigenlijk niet gebruikt worden. Waarden onder 2 à 3 zijn meestal veilig.

Welke functie in R berekent de VIF?

De functie `vif()` uit de `car`-package wordt gebruikt om de VIF voor elke predictor te berekenen.

Wat is een mogelijke oplossing bij hoge collineariteit?

Eén van de sterk gecorreleerde predictoren uit het model verwijderen, zodat het model stabieler wordt en de schattingen betrouwbaarder.

Wat is intervalschatting in regressie?

Intervalschatting geeft een betrouwbaarheidsinterval voor een regressiecoëfficiënt. Het geeft een bereik aan waarbinnen de werkelijke waarde van βⱼ met een bepaalde zekerheid ligt.

Welke functie gebruik je in R voor intervalschatting?

De functie `confint(model)` geeft betrouwbaarheidsintervallen voor de regressiecoëfficiënten van een `lm`-model.

Welke assumpties zijn nodig voor hypothesetoetsing in regressie?

(1) De Gauss-Markov-assumpties, (2) normaal verdeelde fouten εᵢ, of een voldoende grote steekproef. X- en Y-variabelen moeten van interval of ratiomeetniveau zijn (of 0/1 voor X).

Wat is de nulhypothese bij regressiecoëfficiënten?

De nulhypothese stelt dat βⱼ = 0, wat betekent dat predictor Xⱼ géén lineaire relatie heeft met Y. De alternatieve hypothese is dat βⱼ ≠ 0.

Wat betekent het als de p-waarde van βⱼ kleiner is dan 0.05?

We verwerpen dan de nulhypothese H₀: βⱼ = 0 en concluderen dat Xⱼ een significante voorspeller is van Y (op 5% significantieniveau).

Wat is het verschil tussen toetsing in enkelvoudige en meervoudige regressie?

In enkelvoudige regressie bekijk je het verband tussen Xⱼ en Y zonder andere predictoren. In meervoudige regressie wordt het effect van Xⱼ getoetst rekening houdend met de andere predictoren in het model.

Geef een voorbeeld van een verschil in conclusie tussen enkelvoudige en meervoudige regressie.

In enkelvoudige regressie is leeftijd een significante voorspeller van uitgaven (p < 0.05), maar in meervoudige regressie - rekening houdend met duur - is de p-waarde > 0.05. De conclusie over significantie kan dus veranderen.

Welke regressie-analyse gebruik je als je meerdere predictoren hebt?

Je gebruikt het meervoudig lineair model, zeker als je vermoedt dat er meerdere variabelen zijn die samen Y beïnvloeden en je data hebt over al die predictoren.

Wat is de nulhypothese bij de F-toets in meervoudige regressie?

De nulhypothese stelt dat alle regressiecoëfficiënten gelijk zijn aan nul: β₁ = β₂ = ... = βₚ = 0. De alternatieve hypothese is dat minstens één βⱼ ≠ 0.

Welk model gebruik je om de nulhypothese βⱼ = 0 voor alle j te toetsen?

Je vergelijkt het volledige regressiemodel met een nulmodel. Het nulmodel bevat enkel het intercept: Yᵢ = β₀ + εᵢ.

Hoe toets je of het volledige model beter is dan het nulmodel?

Je gebruikt de F-toets. In R gebruik je `summary(lm(...))` om de F-waarde en p-waarde op te vragen.

Wat betekent een p-waarde < 0.05 bij de F-toets?

Er is voldoende evidentie dat het meervoudig regressiemodel minstens één significante predictor bevat en dus beter is dan het nulmodel.

Waarom moet je bij een hoge p-waarde ook visueel analyseren?

Een hoge p-waarde kan het gevolg zijn van collineariteit: predictoren overlappen te veel waardoor hun individuele bijdrage niet goed zichtbaar is, ook al voorspellen ze samen Y goed.

Hoe kan je collineariteit opsporen na een F-toets?

Voer aparte regressieanalyses uit met individuele predictoren en bekijk hun t-toets en p-waarde afzonderlijk.

Wat betekent 'Model A is genest in model B'?

Alle predictoren van model A komen ook voor in model B. Model A is dus een vereenvoudigde versie van model B.

Hoe vergelijk je twee geneste regressiemodellen?

Bereken het verschil in residuele som van kwadraten (SSR): SSRₐ - SSRᵦ. Bij een groot verschil is er evidentie dat model B beter past.

Welke formule gebruik je bij modelvergelijking via F-verhouding?

F = ((SSRₐ - SSRᵦ) / (dfₐ - dfᵦ)) / (SSRᵦ / dfᵦ)

Wat betekenen dfₐ en dfᵦ in modelvergelijking?

dfₐ = vrijheidsgraden van model A = n - k - 1; dfᵦ = vrijheidsgraden van model B = n - p - 1

Welke functie gebruik je in R om modellen te vergelijken?

De functie `anova(modelA, modelB)` vergelijkt twee modellen en geeft de F-verhouding en p-waarde.

Hoe interpreteer je de output van `anova()` in R?

Als de p-waarde < 0.05, dan biedt model B (met meer predictoren) een significante verbetering t.o.v. model A.

Hoe toets je via anova of alle regressiecoëfficiënten 0 zijn?

Je vergelijkt een leeg model (`lm(Y ~ NULL)`) met het volledige model (`lm(Y ~ X₁ + ... + Xₚ)`) via `anova()`.

Wat doe je bij variabele selectie als je geen specifiek model hebt?

Je gebruikt selectieprocedures zoals achterwaartse selectie om tot een optimaal predictormodel te komen.

Wat is achterwaartse selectie?

Een procedure waarbij je start met alle predictoren en bij elke stap de minst significante predictor (hoogste p-waarde > α) uit het model verwijdert.

Welke stappen volg je bij achterwaartse selectie?

(1) Start met alle predictoren, (2) verwijder predictor met hoogste p-waarde > α, (3) herfit model, (4) herhaal tot alle p-waarden < α.

Welke toets gebruik je bij elke stap van achterwaartse selectie?

Bij elke stap gebruik je een t-toets om te bepalen of een predictor uit het model verwijderd kan worden.

Wat is een aanbevolen grenswaarde α bij achterwaartse selectie?

Gebruik een iets hogere grens zoals 0.06. Bij veel predictoren wordt vaak α = 0.01 aangeraden om te streng selecteren.

Wat is het doel van achterwaartse selectie?

Een zo eenvoudig mogelijk model vinden met alleen significante predictoren, zonder onnodige complexiteit of redundantie.

Hoe wordt de totale variantie van Y opgesplitst in regressieanalyse?

In verklaarde variantie (SSmod / (n−1)) en onverklaarde variantie (SSres / (n−1)); deze opsplitsing geldt ook voor meervoudige regressie.

Wat is de determinatiecoëfficiënt R²?

Het aandeel van de variantie in Y dat verklaard wordt door de predictoren; R² = SSmod / SStot.

Welke waarde heeft R² als geen enkele predictor bijdraagt tot de verklaring?

R² = 0; het model verklaart dan geen variantie in Y.

Wat betekent R² = 1?

Het model verklaart de volledige variantie van Y; alle residuen zijn nul.

Waarvoor wordt R² gebruikt bij poweranalyse?

Om de effectgrootte f² te berekenen bij modelvergelijking: f² = (R²_B - R²_A) / (1 - R²_B).

Wat is f² in het kader van poweranalyse?

Een maat voor het effect van extra predictoren; hoe groter f², hoe krachtiger het model B t.o.v. model A.

Welke functie in R gebruik je voor poweranalyse bij regressie?

`pwr.f2.test()` uit het pwr-pakket.

Wat zijn de vereiste argumenten voor `pwr.f2.test()`?

(1) Vrijheidsgraden in de teller (u = p - k), (2) vrijheidsgraden in de noemer (v = n - p - 1), en (3) effectgrootte f².

Hoe bereken je de effectgrootte f²?

f² = (R²_B - R²_A) / (1 - R²_B), waarbij R²_A en R²_B de determinatiecoëfficiënten zijn van de twee modellen.

Wat is R²_A bij het nulmodel?

R²_A = 0, want het nulmodel bevat geen predictoren en verklaart dus niets.

Wat test je als je wil weten of alle regressiecoëfficiënten 0 zijn?

Je vergelijkt een nulmodel (zonder predictoren) met een volledig model (met p predictoren) via F-toets of `pwr.f2.test()`.

Wat test je als je wil weten of βⱼ = 0 voor een specifieke predictor?

Je vergelijkt een model met p - 1 predictoren met een model met p predictoren (waarbij model B die extra predictor bevat).

Waarom gebruik je f² bij poweranalyse en niet R² zelf?

F² is specifiek ontworpen voor powerberekening in F-toetsen; het vertaalt verschillen in R² naar een gestandaardiseerde effectgrootte.

Hoe bereken je de steekproefgrootte n voor gewenste power?

Bereken eerst v = n - p - 1, en los dan n op uit deze vergelijking met de gewenste power en effectgrootte f².

Hoe controleer je de modelassumpties van regressie in R?

Gebruik `plot(myLM)` om vier standaard diagnostische grafieken op te roepen.

Wat toont het diagram 'Residuals vs Fitted'?

De relatie tussen residuen en voorspelde waarden; een horizontaal patroon ondersteunt de Gauss-Markov assumptie (E[εᵢ|X] = 0).

Wat betekent een patroon in 'Residuals vs Fitted'?

Een niet-horizontaal patroon wijst op schending van de assumptie van lineaire verwachting van de fouten.

Wat is het doel van de Q-Q plot?

Controleren of de residuen normaal verdeeld zijn; residuen moeten op een rechte lijn liggen.

Wat bekijk je in het 'Scale-Location'-diagram?

De geschatte standaardafwijking van Y als functie van de voorspellingen; een horizontale rode lijn wijst op homoscedasticiteit (gelijke variantie).

Wat betekent een kromme rode lijn in het 'Scale-Location'-plot?

Onregelmatige spreiding → schending van de homoscedasticiteitsassumptie.

Wat doet R bij detectie van outliers in diagnostische plots?

R geeft automatisch observatienummers aan die verdacht zijn (bv. te grote residuen of invloedrijke waarden); controleer deze altijd.