Assessment H8 - deel 1

Waarom is het onmogelijk om school, werk en sociaal leven volledig te bestuderen

Omdat de totaliteit te complex is om volledig te meten.

Wat doen onderzoekers daarom bij onderzoek naar succes in het leven

Ze selecteren specifieke delen van het leven die praktisch meetbaar zijn.

Zijn deze selecties random samples

Nee, deze selecties zijn geen random samples.

Welke drie methodologische uitdagingen bestaan bij onderzoek naar succes in het leven

• conceptueel criterium

• meting van succes

• onderzoeksdesign-limitaties (longitudinaal is ideaal, mr cross-sectioneel w gebruikt)

Wat is het conceptuele criteriumprobleem

Het probleem dat het moeilijk te specificeren is wat succes in elk domein betekent.

Hoe kunnen deze methodologische problemen worden aangepakt

Door meerdere studies te combineren.

Wat betekent predictieve validiteit

De correlatie tussen een intelligentiemeting en een criteriummeting.

Waarvoor wordt predictieve validiteit gebruikt

Om te schatten in welke mate intelligentie gerelateerd is aan een criteriumvariabele.

hoe hoger de corr, hoe beter

Hoe wordt succes in een schoolse context vaak gemeten

Met GPA en drop-out of graduation rate.

Waarom is GPA geen perfecte maat voor succes

Omdat er verschillen zijn tussen scholen en klassen.

Geef een voorbeeld van GPA-verschillen tussen scholen

Een hoog cijfer in de ene school kan slechts voldoende zijn in een andere school.

Hoe wordt succes in werkcontext vaak gemeten

Met inkomen.

Waarom is inkomen geen perfecte maat voor succes

Omdat er systematische verschillen zijn tussen beroepen.

Waarom verschillen lonen tussen beroepen

Door sector, type werk en andere niet-cognitieve factoren.

Geef een voorbeeld van inkomensverschillen tussen beroepen

Een profvoetballer verdient meer dan een professor zonder dat dit met intelligentie te maken heeft.

Welke andere factor beïnvloedt inkomen

Anciënniteit.

Welke andere maat voor succes in werkcontext wordt gebruikt

Beoordelingen door supervisors.

Waarom zijn supervisorbeoordelingen problematisch

Omdat ze niet altijd betrouwbaar zijn.

Welke andere maat voor werkprestatie bestaat

Jobprestatie.

Waarom is jobprestatie moeilijk te meten

Omdat het slechts een deel van de job samenvat.

Geef een voorbeeld van beperkte jobprestatiemeting

Aantal klanten per uur meten maar niet de houding van de kassier.

Waarom is succes in het leven moeilijk te definiëren

Omdat het een zeer breed concept is.

Waarom blijft predictieve validiteit nuttig ondanks imperfecte criteria

Omdat het helpt bij selectie van kandidaten.

Wat gebeurt er bij selectie zonder criteriumvaliditeit

De gemiddelde prestatie van de groep blijft gemiddeld.

Wat gebeurt er bij selectie met perfect criterium

De gemiddelde prestatie van de groep wordt hoog.

Wat gebeurt er bij selectie met matige criteriumvaliditeit

De prestatie verbetert ten opzichte van random selectie.

Wat is de conclusie over imperfecte criteriummaten

Zelfs onvolmaakte criteriummaten kunnen groepsprestatie verbeteren.

Welke drie statistische problemen beïnvloeden predictieve validiteit

Betrouwbaarheid, range restriction en generalisatie/power.

Wat betekent betrouwbaarheid in metingen

De mate waarin dezelfde meting onder gelijkaardige omstandigheden hetzelfde resultaat geeft.

Wat is een meetfout

Een variabele die onafhankelijk is van de echte waarde.

Waaruit bestaat een IQ-score

Uit echte intelligentie en meetfout.

Geef een voorbeeld van meetfout bij gewicht

Werkelijk gewicht plus kleding en weegschaalbias.

Wat is het verband tussen ware en geobserveerde correlatie

De geobserveerde correlatie is afhankelijk van de betrouwbaarheid van metingen.

Wat is de betrouwbaarheid van professionele IQ-tests

Ongeveer .85.

Wat is de betrouwbaarheid van punten van leerkrachten

Tussen .60 en .80.

Wat is de betrouwbaarheid van supervisorbeoordelingen

Ongeveer .60 of lager.

Wat gebeurt er met de geobserveerde correlatie bij lage betrouwbaarheid

De correlatie wordt onderschat.

Wat moet men doen bij evaluatie van correlaties

Nagaan of ze gecorrigeerd zijn voor betrouwbaarheid.

Wat betekent range restriction

Dat de variantie in de steekproef kleiner is dan in de populatie, dan wordt het bereik beperkt waardoor de correlatie tss 2 variabelen w onderschat

Geef een voorbeeld van range restriction in scholen

Leerlingen uit dezelfde buurt vormen een homogene steekproef → minder variatie in iq testen bij die school dan de hele staat

Wat is selectiebeperking

Een steekproef die niet representatief is voor de populatie, is te homogeen

leidt tot onderschatting v echte verband

Wat gebeurt er bij selectie op basis van cut-off scores

De geobserveerde correlatie wordt kleiner.

Wanneer is range restriction het grootste probleem

Wanneer de steekproef sterk beperkt is.

Wat betekent statistische power

De kans om een echt effect te detecteren.

Wat zijn type 1 en type 2 fouten

Fouten waarbij je ten onrechte een effect vindt of een echt effect mist.

Wat is een underpowered study

Een studie met te kleine steekproef om effecten te detecteren.

Wat gebeurt er bij kleine steekproeven

Grotere kans op type 2 fouten.

Wat verhoogt de power van een studie

Een grotere steekproefgrootte.

Wat is de algemene conclusie over de drie problemen

Ze versterken elkaar en kunnen worden aangepakt met meta-analyses.

Wat onderzochten Ceci en Liker in “A day at the races”

Of intelligentie belangrijk is in praktische situaties.

Wie waren de participanten in dit onderzoek

30 regelmatige gokkers op drafsport.

Wat moesten de gokkers voorspellen

Hoe andere gokkers hun geld zouden inzetten.

Wat was het resultaat van het onderzoek

Er was geen correlatie met IQ.

Wat was de conclusie van Ceci en Liker

IQ hangt niet samen met cognitieve complexiteit in de echte wereld.

Wat is de eerste kritiek op deze studie

Geen vermelding van betrouwbaarheid en power.

Wat was de betrouwbaarheid van het criterium

Ongeveer .41.

Wat was de betrouwbaarheid van de verkorte WAIS

Ongeveer .85.

Wat gebeurt er met de geobserveerde correlatie bij lage criteriumbetrouwbaarheid

De correlatie wordt lager.

Wat zou de geobserveerde correlatie zijn bij ware correlatie 1

Ongeveer .35.

Wat zou de geobserveerde correlatie zijn bij ware correlatie .6

Ongeveer .21.

Waarom is de steekproef van 30 personen problematisch

Omdat de power zeer laag is.

Wat is de kans om een echte correlatie van .6 te vinden in deze studie

Ongeveer 1 op 5.

Wat is de conclusie van de kritiek

Het onderzoek had te weinig power om effecten te detecteren.

Wat is het ideale onderzoeksdesign voor intelligentie en succes

Een prospectieve studie.

Wat is een prospectieve studie

Intelligentie meten en mensen later volgen in hun succes.

Waarom zijn prospectieve studies moeilijk

Ze zijn duur, langdurig en ethisch complex.

Geef een voorbeeld van een context waarin prospectieve studies mogelijk zijn

Militaire oproep.

Wat is een retrospectieve studie

Succesvolle mensen identificeren en hun intelligentie achteraf meten.

Hoe wordt intelligentie in retrospectieve studies gemeten

Via tests of bestaande gegevens.

Wat doen onderzoekers in retrospectieve studies

Zoeken naar gemeenschappelijke kenmerken van succesvolle mensen.

Waarom zijn meta-analyses belangrijk

Omdat ze meerdere studies combineren om algemene conclusies te trekken.

Wat onderzoeken meta-analyses

Effecten over verschillende studies heen.

Waarvoor controleren meta-analyses

Betrouwbaarheid, homogeniteit en aantal participanten.

Wat is een probleem bij meta-analyses

Studies verschillen in kwaliteit.

Waarom is context belangrijk in studies

Omdat intelligentie soms wel en soms niet voorspelt afhankelijk van context.

Hoe kan men kwaliteit van studies controleren

Door hoge en lage kwaliteitsstudies apart te analyseren.

Wat betekent een effect dat enkel in lage kwaliteitsstudies voorkomt

Dat het minder betrouwbaar is.

Wat bieden meta-analyses

Een sterke basis om het gewicht van bewijs te bepalen.

Wat toont de tabel met levensuitkomsten en IQ

Dat IQ correleert met verschillende levensuitkomsten.

Wat is de algemene conclusie uit de tabel

Intelligentie speelt een belangrijke rol in het dagelijks leven, maar het is geen perfecte voorspeller

Wat is de hoogste correlatie tussen IQ en levensuitkomsten

Ongeveer .58.

Waarom blijft intelligentie belangrijk ondanks beperkte correlaties

Omdat het de enige variabele is met zoveel sterke en gerepliceerde correlaties.

Met welke variabelen hangt IQ niet samen

Geluk en fysieke aantrekkelijkheid.

Met welke variabelen hangt IQ wel samen

Verkeersongevallen en schizofrenie.