Kaarten: Psychometrie deel II | Quizlet

itemanalyse

top-down, deductief proces - waarbij we vertrekken vanuit een a priori indeling van items en kijken of de antwoorden van ppn steun bieden voor dit design en of de somscores steun bieden voor de achterliggende meetschalen (kwaliteitscheck)

Doel: evaluatie van meetkwaliteit van een somscore + optimaliseren van meetkwaliteit (descriptieve statistieken en correlatie tussen item met totaalscore)

Factoranalyse

inductief, bottom-up proces:

Vertrekken vanuit de antwoorden van de ppn en kijken hoe deze het best kunnen worden samengevat op basis van achterliggende dimensies of factoren

Univariatie itemkenmerken

Gemiddelde:

- PN = p-waarden (eventueel a-waarden)

- GW = gemiddelde op antwoordschaal

--> Extreme gemiddelden?

- PN = niet per sé verwijderen (functie v VH en moeilijkheidsgraad)

- GW = draagt niets bij dus verwijderen

Variantie

- PN = uitsluitend afhankelijk v. p-waarden: var (X) = p(1-p) Hieruit volgt: hoogste variantie indien P = .50

- GW = extreme gemiddelden doorgaans gepaard met lagere varianties, doorgaans voorkeur voor hogere (behaalve bij examensituaties)

item-totaalcorrelatie vs Item-restcorrelatie

Itemtotaal = correlatie tussen item en som op alle items van de test

Item-rest = correlatie tussen antwoord op item en soms op al de andere items

--> Absolute waarde = mate waarin item bijdraagt tot differentiatie (indien laag, weglaten bij GW)

--> Teken: positief : goed differentiërend, negatief: er is iets aan de hand:

- PN = weglaten of aanpassen

- GW = spiegelen

Univariate testkenmerken

Gemiddelde:

- Vloer- en plafondeffect

Variantie: enige spreiding is gunstig voor correlatie met andere test, of criterium (begrips vs predicitieve validiteit)

Cronbach's alpha

= maat voor interne consistentie, homogeniteitscoëfficiënt

= indicatie voor ondergrens van betrouwbaarheid

= f(gemiddelde inter-itemcorrelatie) & f(aantal items)

Variabelen in factoranalyses omgezet in z-scores

Ieder ITEM, gemiddelde van 0 en variantie van 1

Variantie v. Dataset = som varianties van alle items = aantal items = I (hoofdletter i)

Kwaliteit van de samenvatting (3 factoren)

Communaliteit (itemniveau) = hoeveelheid variantie van een item dat verklaard wordt door factormodel (vergeleken met 1, want totale variantie van item = 1)

--> Berekenen = Kwadraat van correlatie tussen item en factorscore

Eigenwaarde (factorniveau) = hoeveelheid variantie van alle items die verklaard wordt door factor

--> Berekenen = screeplot (vergeleken met I) + som van gekwadrateerde ladingen

Proportie verklaarde variantie (dataset) = proportie van totale variantie verklaard door alle factoren samen (= eigenwaarde gedeeld door 2, bij 2 items?)

= som van de gekwadrateerde ladingen / aantal items?

Kwadraat van correlatie tussen item en factorscore

communaliteit

Communaliteit

Hoeveelheid variantie in een item verklaard door factormodel (kwadraat van de correlatie tussen item en factorscore)

Eigenwaarde

Hoeveelheid variantie van alle items verklaard door factor

= som van de gekwadrateerde ladingen

Hoeveelheid variantie van alle items verklaard door factor

Eigenwaarde

Proportie verklaarde variantie

proportie van totale variantie verklaard door alle factoren samen

Factorladingen

correlatie tussen items en factoren (cf. communaliteit = correlatie tussen item en factorscore in het kwadraat)

Waarde tussen -1 en 1

Hoge lading = gemeenschappelijke betekenis

nul-lading = afwezigheid van betekenis

negatieve lading = tegengestelde betekenis

Optimalisatie door: itemselectie

Manieren om modelkwaliteit na te gaan (één factor oplossing)

Communaliteit = gekwadrateerde factorlading (hoeveel itemvariantie door factor gevat)

Eigenwaarde = som van gekwadrateerde factorladingen (proportie verklaarde variantie door factor 1 = eigenwaarde I)

Gereproduceerde (voorspelde) correlatie: product van ladingen op de factor (--> residuele = geobserveerde - gereproduceerde)

Betrouwbaarheid

Mate waarin metingen herhaalbaar zijn, mate waarin metingen consistent zijn

Noodzakelijke maar geen voldoende voorwaarde voor validiteit

Validiteit

Mate waarin test aan zijn doel beantwoordt

Mate waarin het gerechtvaardigd is om uitspraken te doen over persoon die verder gaan dan geobserveerd gedrag

Predictieve validiteit

test als voorspeller van gedrag dat buiten de test ligt

- predictie, paradictie, postdictie

Screening, met empirische evidentie de validiteitscoëfficiënt r(X,Y) = test en criterium

Begripsvaliditeit

= empirische evidentie voor het feit dat we op basis van de test mensen mogen beoordelen in termen van een bepaalde psyschologische eigenschap

Maar nooit echt bewijs = versterking van theoretisch netwerk (Of verzwakking)

Test als operationalisering van een psychologisch begrip (= vaststellen)

= vragenlijst, domein beschrijven, afbakenen, toetsmatrijs, steekproef van items...

Empirische evidentie adhv factor- en of itemanalyse, r(test, andere test), r(test, gedrag)

Concurrente validiteit

= paradictie, gelijktijdige validiteit

Test & overeenstemming met psychiatrische diagnose

Construct validiteit

Synoniem voor betekenisanalyse (hypothesevorming, theorie in betekenisvalidering) = onderdeel van begripsvaliditeit

= welke psychologische begrippen worden door de test gemeten --> Welke spelen rol in test prestatie

--> Hierover dus een theorie vormen

Wat is de betekenis ervan

Inhoudsvaliditeit

= content validity

= de representativiteit van items voor het domein (voor de popuiatie items), heeft dus betrekking op de samenstelling van de test

Geen empirische evidentie voor, we spreken enkel over argumentatieve validiteit. Op basis van expert oordelen, maar ook face validity = hoe komt het over bij de leek, is het op eerste zicht representatief

Synthetische validiteit

Mate waarin het geheel voorspelbaar is op basis van de delen:

- functie-elementen en componentiële analyse + synthetisering

onderdeel van predictieve

Incremental validity

toegevoegde waarde van de test

= mate van verbetering van voorspelling door toevoeging van de test ten opzichte van a priori informatie

onderdeel van predictieve (maar is geen predictieve validiteit)

--> toegevoegde waarde groter als: meer niet-overlappende info tussen test en apriori informatie en Geen hoge of lage toevalskans!

Congruente of soortgenotenvaliditeit

correlatie tussen test en andere test die dezelfde eigenschap meet

= vorm van confirmerende begripsvalidering (= bevestiging of verzwakking van theorie)

Hierdoor ook onderdeel van begripsvaliditeit

Face validity

indruksvaliditeit

= subjectieve indruk van leek met betrekking tot r(test, criterium)

Standaard 3 types criterium + probleem

OUT = onmiddellijk, uiteindelijk en tussentijds

probleem met tijdsindicatie

probleem met abstractie: uiteindelijk is veel abstracter

Alternatief onderscheid mbt bepalen van criterium

Doel --> taak: concretiseren in zichtbare resultaten

Conceptueel criterium --> taak: iets waarneembaars, registreerbaars, relevant (rol van inhoudsvaliditeit)

Criteriumgedrag --> taak: kwantitatieve operationalisering

Criteriummaat --> = gekwantificeerd (mogen we niet berekenen na correctie voor attenuatie!!!)

Constructie testbatterij (predictieve validiteit)

Bepaling van criteriumbegrip (doel, conceptueel, criterium gedrag, criteriummaat)

4 categorieën: testconstructie - dataverzameling - data-analyse en definitieve testbatterij

1) testconstructie = welke predictoren? (X) ~ taakanalyse, betekenisanalyse . Design afhankelijk van: omstandigheden, mogelijkheden verwerking & theoretische aanpak. Proefafname

2) dataverzameling: steekproeftrekking - grote steekproef, codering van gegevens

3) data-analyse: moeilijkheidsgraad, factor- en itemanalyse, samenhang met criterium

4) selectie items en subtests - normtabellen - rapportering

Gevaren bij longitudinaal onderzoek

1) uitval deelnemers door tijdsduur (zowel zwakke als sterke) --> Leidt tot "restriction of range": beperktere spreiding waardoor de correlatie tussen test & criterium zal dalen

2) contaminatie van criterium: omwille van pygmalion effect en self-fullfilling prophecy gaat de correlatie tussen test en criterium stijgen

contaminatie van criterium

omwille van pygmalion effect en self-fullfilling prophecy gaat de correlatie tussen test en criterium stijgen

"restriction of range":

uitval deelnemers door tijdsduur (zowel zwakke als sterke) beperktere spreiding waardoor de correlatie tussen test & criterium zal dalen

Vastellen van validiteit

Enkel validiteitscoëfficiënt is niet voldoende

- aard van het verband: kromlijning & heteroscedasticiteit

- suppressorvariabele

- moderatorvariabele

- moderated regression

Kromlijning verband (vaststellen van validiteit)

Voor iedere X de meest waarschijnlijke Y voorspellen

Heteroscedasticiteit (vaststellen van validiteit)

Als X stijgt dan stijgt de variantie van Y en omgekeerd voor Y|X (niet zo bij homoscedasticiteit, waarbij de variantie ongeveer constant blijft)

Suppressorvariabele

Een variabele die niet samenhangt met je criterium, maar waardoor je toch een betere voorspelling krijgt als je die toevoegt aan je andere variabele

Het hangt samen met het stukje van je oorspronkelijke variabele die niet correleert met Y

= stijging van correlatie met criterium

Moderatorvariabele

Verandert het effect dat een variabele X heeft op een variabele Y

Moderated regression

De combinatie van X1 en X2 hangt ook samen met Y, hierdoor versterken hoge scores op 1 en 2 elkaar

= stijging van correlatie met criterium

Kanskapitalisatie

= Grotere kans op type 1 fout naarmate meer predictoren opgenomen = kans op het vinden van een 'significant' verband stijgt naarmate je meer predictoren toevoegt

Type 1 = 1 - alpha

minstens 1 type 1 fout = 1(1-alpha)^k

Beperken door steekproef in twee delen te verdelen en regressiemodel en multipele correlatie toe te passen

2 soorten begripsvalidering

Nomologische = testgedrag hangt samen met psychologische theorie

trekvalidering = testgedrag hangt samen met PH-trek of geschiktheid

Binnen begripsanalyse hebben we twee methoden

= wat meet deze test (cf. hypothese vormen)

- structuuronderzoek: kijken naar de inhoud en formele kenmerken van de test: is er een verschil tussen... zou er een verschil zijn...

- relatieonderzoek: hierin zoeken we naar verbanden tussen test en andere externe variabelen of testitems onderling

--> factoranalyse, voorspellende waarde, experimenteel onderzoek, spreiding en normen

structuuronderzoek:

kijken naar de inhoud en formele kenmerken van de test: is er een verschil tussen... zou er een verschil zijn...

Relatieonderzoek

hierin zoeken we naar verbanden tussen test en andere externe variabelen of testitems onderling

--> factoranalyse, voorspellende waarde, experimenteel onderzoek, spreiding en normen

2 vormen v. evidentie binnen begripsvalidering

Confirmerende validering: = evidentie voor wat de test wel meet. Bevestiging van oorspronkelijke hypothese

Discriminante validering = evidentie voor wat de test niet meet. Verwerpen van de alternatieve hypothese over wat de test meet

(In de vormen v. correlaties & experimenten)

Standaard alternatieve verklaringen binnen discriminante validering

Samenhang met intelligentie

Sociale wenselijkheid als onbedoelde eigenschap

Sociale wenselijkheid als onbedoelde eigenschap

Behoort tot één van de standaard alternatieve verklaringen binnen discriminante validering

individuele sociale wenselijkheid: ik doe me anders voor dan ik ben

Algemene sociale wenselijkheid: ik gedraag me conform het ideaal

Reduceren tot subtiliteit in titel en afname instructies

individuele sociale wenselijkheid:a

ik doe me anders voor dan ik ben

Vaststellen: r(testscore en sociale wenselijkheidstest) of verschil tussen anonieme en niet-anonieme nagaan bij testconstructie

Algemene sociale wenselijkheid:

ik gedraag me conform het ideaal

Expertoordelen: profiel van "wat zou de ideale doen" kijken naar overeenkomst van antwoorden met dit profiel

Antwoordtendensies

Instemtendensie = neiging om ja te antwoorden (tegengaan met spiegelitems)

sequentietendensie = neiging om te kijken wat je geantwoord hebt en evenveel antwoorden per categorie

voorkeur formele kenmerken = langste antwoorden

positievoorkeur = middelste categorie

semantische interpretatie = dezelfde interpretatie aanhouden

uitvoerigheidstendensie = net heel uitvoerig zijn of weinig info geven

snelheidstendensie = vooral snel gaan

gistendensie = bij MPC

Numerus fixus

Van wie slaagt wordt slecht een vast aantal toegelaten

Numerus clausus

enkel wie slaagt wordt toegelaten

Selectiekwaliteit terminologie (ook medisch)

A = positieve misser

B = positieve treffer

C = negatieve treffer

D = negatieve misser

Selectieratio = (B+D)/(A+B+C+D)

Toevalskans = (A+B)/(A+B+C+D)

Succesratio = (B)/(B+D)

Medische wereld :

Sensitiviteit = (B)/(A+B)

Specificiteit = (C)/(C+D)

A = Vals negatieve

B = correct positieve

C = correct negatieve

D = vals positieve

Beïnvloedende factoren van succesratio

r(test,criterium) = validiteitscoëfficient = RE met succesrario (B)/(B/D) --> r = 1, dan succesratio maximaal indien r = 0 dan is succesratio gelijk aan toevalskans

toevelskans = indien hoog dan gaat succesratio stijgen (afhankelijk van kwaliteit kandidaten en strengheid criterium)

selectieratio = indien dit daalt (dus voorwaarden strenger) dan gaat succesratio stijgen (indien gelijk aan 1 is succesratio gelijk aan toevalskans)

Implicaties bij enkelvoudige selectie

1) D > 0 (negatieve missers)

--> r(test en criterium) = validiteitscoëfficiënt, predictieve validiteit is < 1!

- lage kwaliteit kandidaten

- laag aanbod van kandidaten

--> relatie tussen D & A

- als je D wil beperken zal A stijgen en omgekeerd

- zeer lage toevalskans / accident prone individualq

2) toegevoegde waarde van selectie

- indien selectieratio = 1 dan succesratio = toevalskans

- indien hoge toevalskans: test met hoge validiteit weinig toegevoegde waarde

- indien lage toevalskans: test met lage validiteit toegevoegde waarde

- Gelijke toevalskans en zeer hoge selectie = test met hoge validiteit

- gelijke toevalskans en zeer lage selectie = test met lage

3) oordelen & waardebepalingen

- B+D stijgt = daling kritische testscore = stijging D en daling A

- B+D daalt = stijging kritische testscore = daling D en stijging A

Actuariële methode

Hoe informatie van meerdere tests combineren

Onderscheid tussen globaal (predictief) en analytisch (toelatingsvoorwaarden)

Globaal: scores van afzonderlijke testen samengevoegd tot één gewogen totaalscore (die gewichten zijn statistisch bepaald adhv multiple regressieanalyse)

= ALTIJD compensatorisch

Analytisch: (~ inhoudsvaliditeit= wat bevat een noodzakelijk minimum): minimumvoorwaarde op iedere test afzonderlijk (apriori niet statistisch)

- conjunctie

- compensatorisch

- combinatie

Conjunctieregel

Selectie indien voldoen aan minimumvoorwaarde op alle test (en-en regel)

Compensatorische regel

Indien tekorten op één test kunnen deze gecompenseerd worden met hogere score op een andere test

Combinatieregel

Zolang je overal maar een bepaald minimum behaalt, = tweede minimum

Besliskunde in institutionele plaatsingsbeslissingen

1) bepaling waardensysteem = utiliteiten

2) bepaling kansen

3) bepaling rendement = verwachtewaarde