Kaarten: H10 (ASS): Verschillen tussen populaties - Methodologische & conceptuele issues | Quizlet

Verschillen tussen populaties: maatschappelijk zeer omstreden

- geslacht: vb. STEM meer mannen of psychologie meer vrouwen -> IQ aan de basis?

- leeftijd: vb. autorijden: verplicht test afleggen na leeftijd 75 (wetvoorstel ter stemming in Fr.) -> verantwoorden vanuit intelligentieonderzoek?

- etnische groepen/landen: vb. in VS is IQ-verschil ongeveer 15 punten (= 1SD) verschillend tussen wit en zwart

Verschillen tussen populaties: historisch ongefundeerde interpretaties

Binet: nooit claim gemaakt over genetische verklaring van zijn testen

In VS: test werd gezien als een maat van genetische aanleg om intelligent te functioneren en gebruikt in maatschappelijke discussies

Verschillen tussen populaties: waartussen is het belangrijk om onderscheid te maken? (2)

1) empirische bevinding en hypothetische verklaring: wat vinden we empirisch? en wat is hiervoor de verklaring?

2) empirische bevinding en beleidsmaatregelen: het is niet omdat we empirische bevindingen vinden, dat psychologie in de toekomst enkel voor vrouwen is of STEM enkel voor mannen

-> een empirische bevinding rechtvaardigt geen beleidsmaatregel (de bevinding zelf mag geen keuze opleggen)

Hunt: als we OZ doen nr populatieverschillen moeten we ons aan 10 principes houden, welke principes zijn dat?

1) constructvaliditeit van de metingen

2) constructvaliditeit in elke groep

3) vatbaarheid voor training is geen voldoende tegenargument

4) generalisering maar mogelijk bij adequate steekproeftrekking

5) literatuuroverzicht zo zorgvuldig mogelijk uitvoeren

6) alternatieve hypothesen en modellen testen

7) alternatieven moeten oorspronkelijke ideeën correct weergeven

8) erfelijkheidscoëfficiënten knn variëren

9) bij beleidsadviezen moeten de wenselijke consequenties geëxpliticeerd worden

10) durven zeggen: "wij weten het niet"

10 principes Hunt: constructvaliditeit van de metingen

- meten wat we bedoelen te meten

- een instrument moet constructvalide zijn

10 principes Hunt: constructvaliditeit in elke groep

- meten we in elke groep het construct op dezelfde manier?

- vb. wat we hier meten als Gc intelligentie kan in een andere culturele groep gemeten worden als Gv

10 principes Hunt: vatbaarheid voor training is geen voldoende tegenargument

feit dat we kunnen aantonen dat een bepaalde cognitieve vaardigheid getraind kan worden is geen voldoende tegenargument vr een genetische verklaring

10 principes Hunt: generalisering maar mogelijk bij adequate steekproeftrekking

- veel oz gelegenheidssteekproeven (zoals studenten): niet representatief

- vb. meer vrouwen nr hoger onderwijs dan mannen: obv dit kunnen we m en v niet vergelijken -> gemiddeld genomen zijn mannen en vrouwen even intelligent

-> vrouwen zijn niet vergelijkbaar met mannen die nr hoger onderwijs aan

-> meer vrouwen nr hoger onderwijs betekent dat er meer intelligente mannen in hoger onderwijs zullen zitten

10 principes Hunt: literatuuroverzicht zo zorgvuldig mogelijk uitvoeren

! ook aandacht hebben voor resultaten die conclusies niet bevestigen

10 principes Hunt: alternatieve hypothesen en modellen testen

- kijken welk model de correlaties het beste voorspelt

- maar: probleem: we werken confirmerend ipv vergelijkend!

10 principes Hunt: alternatieven moeten oorspronkelijke ideeën correct weergeven

tegenpartij van jouw idee wordt heel stereotiep weergegeven

vb. Jensen: heeft nooit gezegd dat omgeving geen rol speelt, maar benadering J verkeerd weergegeven dat hij zogezegd zei dat omgeving geen rol speelt

-> visie van tegenpartij worden niet correct weergegeven!

10 principes Hunt: erfelijkheidscoëfficiënten knn variëren

Het is niet omdat we bij een bepaalde groep een bepaalde erfelijkheidscoëfficiënt vinden dat dat zomaar gegeneraliseerd kan worden.

10 principes Hunt: bij beleidsadviezen moeten de wenselijke consequenties geëxpliciteerd worden (enorm belangrijk!)

er bestaan sterke ideologische overtuigingen: als we kijken wat onze data vr beleid kunnen betekenen moeten we heel duidelijk expliciteren wat we zouden willen dat de consequenties zijn.

10 principes Hunt: durven zeggen "we weten het niet"

intelligentie is een complex domein en sommige dingen weten we (op dit moment) nog niet goed en dat moeten we durven zeggen!

Verschillen in motivatie: onderscheid tussen "kunnen" en "willen" doen.

Als mensen meer gemotiveerd zijn gaan ze meer hun best doen.

Verschillen in motivatie: "grow mindset" van Beck

= heel populair: als je er maar in gelooft ga je meer ontwikkelen dan wnr mensen geloven dat intelligentie vaststaat en dat je er niks kan aan doen

-> geen empirische evidentie!

Motivatieverschillen: wat is stereotypedreiging?

-> relevantie van het effect?

wnr je in een maximumperformance context zit en een stereotype lokt uit dat je tot een groep behoort dat je iets niet goed kan heeft een negatief effect op jouw prestaties.

vb. "meisjes kunnen geen wiskunde"

maar: discussie over de relevantie van het effect!

Motivatie als verklaring voor ... van sommige etnische groepen aan VS topuniversiteiten

overrepresentatie

vb. Oost-Aziatische studenten zijn verhoudingsgewijs meer aanwezig in universiteiten in VS

-> meest waarschijnlijke verklaring: motivatie + hoe men opgevoed wordt (tiger moms)

-> verdwijnt beetje bij 2de generatie (meer Amerikaanse opvoeding)

Effecten van rekrutering: wat zijn WEIRD steekproeven. Zijn deze representatief?

WEIRD = western, educated, industrialized, rich, democratic

-> ≠ representatief, want het is slechts een klein deel van de bevolking

Effecten van rekrutering: zijn studentensteekproeven representatief?

neen

Verloop: waar is er een groter verloop en uitval?

aan de onderkant van het IQ-spectrum

Effecrten van rekrutering en verloop: niet noodzakelijk generaliseren nr een brede populatie: vb. man-vrouwverschillen + verklaring geven

- kleine tot geen verschillen in IQ op 12 jaar tussen j en m

- doorheen tienerjaren: verschil wordt groter in het voordeel van de jongens -> op 18j verschil van ongeveer 4,5 IQ-punten

verklaring:

-> jongens aan de onderkant van het IQ-spectrum hebben minder kans om in het regulier onderwijs te zitten, meisjes zijn beter en vollediger gerepresenteerd (want jongens met laag IQ worden gewoonweg niet opgenomen)

-> belangrijk dat steekproeven gelijk zijn als we willen vergelijken!!

Aantonen van oorzakelijkheid

-> waaraan is een correlatie niet gelijk?

-> wat is prominent aanwezig?

-> welk soort oz vr verschillen tussen populaties niet mogelijk?

-> welk soort oz wel (soms) mogelijk? maar?

-> MAAR: tot wat leiden ≠ onderzoeken met elk eigen benadering?

- correlatie ≠ causaliteit

- collineariteit (meerdere onafhankelijke variabelen hangen samen met elkaar) = prominent aanwezig!

- experimenteel onderzoek ≠ mogelijk

- quasi-experimenteel (soms) mogelijk: maar: vraag nr generaliseerbaarheid van geobserveerde effecten

MAAR: verschillende oz'en met elk eigen benadering leiden tot weight of evidence

Aantonen van oorzakelijkheid: Wat is mogelijk met statistische modellen (zoals PAD-modellen)?

Met statistische modellen kunnen we causaliteit te veronderstellen, maar baseline blijven wel correlaties -> DUS: causale modellering ≠ harde evidentie!

Grootte van populatieverschillen

-> zien we meer verschillen TUSSEN groepen of verschillen BINNEN groepen?

- we zien meer verschillen binnen groepen!!

-> het is niet: mannen en vrouwen zijn beiden van verschillende planeten -> wél: er is heel grote overlap in verdeling!

- wel zien wel tendensen: mannen scoren op het ene hoger en vrouwen op het andere

Cohen's d = een maat voor ...

= een maat voor het verschil tussen twee gemiddelden

= meten van effectgrootte

Interpretatie van Cohen's d:

- r = 0.05 (d = 0.10)

- r = 0.10 (d = 0.20)

- r = 0.20 (d = 0.40)

- r = 0.30 (d = 0.60)

- r = 0.40 (d = 0.90)

- d = 0.10: klein om een verschil te interpreteren, kan potentieel belangrijk zijn op lange termijn

- d = 0.20: klein voor het interpreteren van verschillen, maar potentieel belangrijker

- d = 0.40: middelgroot, met enige verklarend en praktisch nut

- d = 0.60: groot en potentieel krachtig voor het verklaren van verschillende bevinding

- d = 0.90: indrukwekkend groot en belangrijk, maar zeldzaam in psychologisch onderzoek

Grootte van populatieverschillen: niet alleen de steekproefgrootte is belangrijk, maar ook ...

-> groter effecten, ... steekproeven nodig

-> kleine effecten, ... steekproeven nodig

DUS: waartussen vinden we een trade-off?

de kwaliteit van onderzoek!

-> bij grotere effecten zijn kleinere steekproeven nodig

-> bij kleine effecten zijn grotere steekproeven nodig om een betrouwbaar effect te vinden!

DUS: er is trade-off tussen de grootte van het effect en uw steekproefgrootte!

maar: sterkte van het effect hangt ook af van hoe goed je de dingen gemeten hebt!

DUS: grotere steekproeven zijn dus niet altijd beter

Wat wordt hiermee bedoeld: gepastheid om dezelfde test in verschillende groepen te gebruiken?

jouw instrument moet hetzelfde begrip, op dezelfde schaal meten in alle groepen waar je het instrument toepast

Ilustreer adhv verschil mannen een vrouwen hoe dit soms verkeerd loopt: een test werkt niet op dezelfde manier voor verschillende groepen

MAAR: wnr vormt dit geen probleem?

vb. oriëntatietest mannen en vrouwen:

-> mannen lossen testen vooral visueel-ruimtelijke manier op

-> vrouwen oriënteren vooral op verbale manier

DUS: als je oriëntatietest afneemt voor mannen een vrouwen vergelijk je appelen met peren.

DUS: je kan mannen en vrouwen hier niet vergelijken omdat je een ander psychologisch kenmerk meet (omdat je hier geïnteresseerd bent in de mentale processen eracht; nl. de strategie om te oriënteren)

MAAR: het kan ook geen probleem zijn!

-> je wil weten gwn of mensen knn oriënteren, en je bent niet geïnteresseerd in de processen die erachter liggen

-> als je psychologisch kent

Ilustreer adhv RPM hoe dit soms verkeerd loopt: een test werkt niet op dezelfde manier voor verschillende groepen

RPM

- geslachtsverschil: vrouwen doen het hierop minder goed -> hebben vrouwen minder algemene intelligentie? NEEN:

- om RPM op te lossen heb je visuospatiële vaardigheden nodig en drm halen mannen een betere prestatie

- als je die items eruit haalt (controleren voor deze vaardigheden) waarop een verschil zit, verdwijnen die geslachtsverschillen

-> visuospatiële vaardigheden zorgen voor het verschil!

DUS: heel belangrijk om te weten wat je meet!

Welke twee belangrijke vragen moeten er gesteld worden mbt meetvertekeningen?

1) meten we hetzelfde onderliggende begrip? meten we dezelfde structuur? (meten we hetzelfde construct in elke groep?)

2) werkt elk testitem hetzelfde in elke groep? Het testitem kan itemvertekening vertonen:

-> DIF: Differential Item Functioning

Wat is itemvertekening? Geef een voorbeeld. Hoe kan dit worden onderzocht?

Een item is systematisch makkelijker/moeilijker voor de ene groep dan de andere, zonder dat dit te maken heeft met het onderliggende niveau van de eigenschap.

Bijvoorbeeld:

Een ruimtelijk item dat jongens vaker juist beantwoorden, ook al hebben jongens en meisjes dezelfde algemene intelligentie

-> Kan onderzocht worden met differentieel item functioneren = DFI

Spearman's hypothese?

-> hoe gaat men deze methode testen?

-> wat zouden we vinden als de hypothese klopt?

Verschillen tussen etnische groepen in intelligentie bevinden zich in de g-factor.

-> testen door: methode van gecorreleerde vectoren

als hypothese klopt: hoe meer een test g meet, hoe groter cohen's d op de test -> groepsverschillen zouden groter zijn op tests die sterk laden op g.

Spearman's hypothese getest met de methode van gecorreleerde vectoren?

-> Welke test laadt het meest op g? wat vinden we terug voor de cohen's d?

-> Welk verband vinden we?

Vocabulary laadt het sterkst op g -> cohen's is het grootst.

We vinden een perfect lineair verband: hoe sterker de test op g laadt, hoe groter het verschil tussen groepen. = Spearman's hypothese.

Waarom kritisch zijn over de methode van de gecorreleerde vectoren?

Verklaring hiervoor?

deze methode kan afhankelijk van de situatie leiden tot zowel onder- als overschatting van het effect:

-> het kan zijn dat jouw test goed laadt op g, maar dat je toch lage d's hebt: G-waarde hangt ook samen betrouwbaarheid van uw subtesten (kan zijn dat je subtest niet zo betrouwbaar is)

Welk soort analyse vormt een alternatief voor de methode van de gecorreleerde vectoren, om zo de methodologische problemen te ondervangen?

Multigroep confirmatorische factoranalyse (MGCFA)

Leg onderzoek op de afbeelding uit.

Gekeken nr het verschil in prestaties op WISC voor:

- lagere school

- middelbare school

correlatie g-lading & d = negatief: hoe hoger g, hoe lager de d (= het verschil tussen groepen) ≠ significant!

= in tegenspraak met Spearman hypothese

DUS: in dit geval lijken de grootste groepsverschillen niet voor te komen in tests die het beste g meten.

zo zou g niks te maken hebben met de verschillen in scores in het lager en secundair, MAAR we weten dat dit niet klopt!!!

Multigroep factoranalyse rond Spearman hypothese.

-> resultaten?

belangrijk resultaat: d = 1.02 = zeer groot effect op g

-> d.w.z: het verschil in g tussen beide groepen bedraagt meer dan 1 standaarddeviatie!!!

DUS: er is een duidelijk verschil in intelligentie tussen het lager en het secundair. & verschillen in prestaties zijn grotendeels aan g te wijten!!

DE ONTWIKKELING VAN INTELLIGENTIE ZIT VOORAL OP G

DUS JE MOET DE JUISTE METHODE GEBRUIKEN!!!

Conclusies rond verschillen tussen/binnen populaties? (2)

- verschillen binnen groepen zijn groter dan verschillen tussen groepen!!

- niet elk groepsverschil is van toepassing op elk individu: er is hoogstens een tendens!

Wat zijn enkele kernpunten die we moeten onthouden bij het werken met groepsverschillendata? (7)

- sceptisch zijn t.a.v. statements over populatieverschillen

- onderscheid maken tussen wetenschappelijke bevindingen en beleidsmaatregelen

- onduidelijk of gevonden populatieverschillen te wijten zijn aan intelligentie of andere (confouding) variabelen

- selectieve rekrutering of uitvaleffecten knn substantieel zijun

- hoge correlaties tussen X en Y zeggen niks over causaliteit

- populaties overlappen vaak!

- scores vergelijken overheen verschillende populaties kan valide zijn i.v.m. prestatielevels