MD 08 (1): correlatie en lineaire regressie

H4

scatterplot

visualiseren van de relatie tussen 2 kwantitatieve variabelen

richting : pos of negatief of geen van beide

vorm : rechte lijn, gebogen lijn, geen patroon

sterkte : hoe varieren de punten rond de lijn

uitschieters : ongewone observaties, clusters

x variabele in een scatterplot

verklarende variabele : explanatory of predictor variable

= onafhankelijke variabele

Y varaibele in een scatterplot

responsvariabele = afhankelijke vraiabele

correlatiecoefficient

meet de sterkte van de lineaire associatie tussen 2 kwantitatieve variabelen.

condities voor correlatie

• kwantitatieve variabele conditie : alleen van toepassing op kwantitatieve variabelen

• lineariteit conditie : correlatie meet alleen de sterkte van de lineaire associatie, als de associatie niet lineair is, werkt het niet

• ongewone waarnemingen kunnen de correlatie verstoren, correlatiecoefficient rapporteren met en zonder uitschieter

correlatie : eigenschappen

• het teken geeft de richting van de associatie aan

• ligt tussen -1 en 1

• behandelt x en y symmetrisch

• heeft geen eenheden

• wordt niet beînvloed door veranderingen in hte centrum of de schaal van beide variabelen

lurking / loerende variabele / verstorende variabele / cofounder

een derde variabele die zowel x als y variabel beinvloedt

beinvloedt zowel de verklarende variabele x als de responsvariabele y waardoor er een sterke correlatie kan optreden tussen x en y (terwijl er geen causaal verband is tussen x en y )

een lineair model

is een vergelijking van een rechte lijn door de gegevens

line of best fit

least squares line

elke voorspelde y heeft de neiging …. dan de overeenkomstige x is

dichter bij zijn gemiddelde te liggen dan de overeenkomstige x → regressie naar het gemiddelde

regressie naar het gemiddelde

elke voorspelde y heeft de neiging dichter bij zijn gemiddelde te liggen dan de overeenkomstige x is

lineaire regressie condities

kwantitatieve variabelen conditie :

• lineaire modellen hebben alleen zin voor kwantitatieve (respons)variabelen

lineariteit conditie

• de 2 kwantitatieve variabelen moeten een lineair verband hebben, anders betekent een lineair model niets

uitschieter conditie

• uitschieters kunnen een regressiemodel ingrijpend veranderen ; b0 en of b1 kunnen sterk beinvloed worden door een uitschieter

onafhankelijkheid van residuen

• de residuen moeten onafhankelik zijn van elkaar, controleer de residuplot

gelijke spreiding conditie

• we gaan ervan uit dat de spreiding van de datapunten rond de regressielijn gelijk is voor alle x-waarden

bijna-normale verdeling van de residuen

• de residuen zijn unimodaal en symmetrisch verdeeld

wat geeft de standaard deviatie van de residuen se ons

een maat voor hoeveel de punten varieren rond de regressielijn

→ deze moet overal hetzelfde zijn

als de correlatie 1 is

dan voorspelt het model y perfect, de residuen zouden allemaal nul zijn en geen variatie hebben

als de correlatie 0 is

zou het model het gemiddelde van y voor alle x-waarden voorspellen

de residuen zouden dezelfde variabiliteit hebben als de oorspronkelijke gegevens

wat doen de residuen minder dan de oorspronkelijke waarden

varieren

r² of R²

geeft de fractie van de variatie in y die door het model wordt verklaard

en 1-r² is de fractie van de oorspronkelijke vraiatie die overblijft in de residuen

link tussen R² en Se

hoe groter R², hoe kleiner se

totale variantie in y bestaat uit de variantie verklaard door het model en de variantie die overblijft in de residuen

spearman-rangcorrelatie

werkt met de rangorde in plaats van hun waarden

stelt ons in staat om de sterkte van de associatie tussen de veriabelen samen te vatten, zelfs als we geen lineaire relatie hebben

transformeren van variabelen

benadering van een niet lineaire relatie, door een of beide variabelen te transformeren en opnieuw uit te drukken via een functie zoals de vkw of log

hierdoor kunnen we lineaire regressiemodellen gebruiken

nadeel : we moeten onze resultaten interpreteren in termen van de opnieuw uitgedrukte gegevens

waar gaat de regressielijn (best fit) wel en niet door

niet door alle punten

wel door het gemiddelde van x en y