Psychometrie: Deel 2 - H3: Validiteit

betrouwbaarheid

mate waarin je consistent iets meet, mate waarin metingen herhaalbaar zijn

- Geeft info over het feit dat je al dan niet iets (achterliggende eigenschap) meet

- consistentie, herhaalbaarheid, systematiek

- Noodzakelijke, maar geen voldoende voorwaarde voor validiteit van een test

lage betrouwbaarheid

testresultaat geeft vooral meetfouten en toevalligheden weer (<-> iets dat je consistent meet)

validiteit

mate waarin een test aan zijn doel beantwoordt

- Gaat over doel en waarde in gebruik

- nuttigheid, voorspellend vermogen, accuraatheid,...

Meet het wat je WIL meten

validiteit: kenmerken (2)

1. Mate waarin test aan zijn doel beantwoordt

- Dus geen eigenschap van de test op zich, Verschillende doelen, dus verschillende vormen van validiteit

2. Mate waarin het gerechtvaardigd is om uitspraken te doen over persoon, die verder gaat dan geobserveerd gedrag

Valideringsproces

Antwoord zoekenen op:

• mate waarin test aan zijn doel beantwoord

• mate waarin het gerechtvaardigd is om uitspraken te doen over de persoon, die verder gaan dan geobserveerd gedrag

Predictieve validiteit

test als voorspeller van ander gedrag dat buiten de test ligt (voorspellen)

• Op basis van kennis van gegevens (om items te vormen) waarvan we veronderstellen dat ze met ander gedrag/prestatie samenhangen

• Gaat minder over wat we precies meten, meer over wat we knn voorspellen

• r(test,criterium)

begripsvaliditeit

test als operationalisering van een psychologisch begrip (vaststellen)

• Meten van capaciteit, trek, attitude, ... die de antwoorden op de test bepalen

• <-> minder over wat we kunnen voorspellen, meer over wat we precies meten

• Begrijpen en beschrijven van persoon in psychologische termen

• Relaties met operationaliseringen van andere begrippen of van te voorspellen criterium

  • r(test A, test A’)

  • r(test,gedrag)

Evidentie bij begripsvalidering

Empirische gegevens:

• correlaties: r(test 1, test 2) of r(test,gedrag)

• experimenten of r(test,gedrag) in specifieke situatie

Itemanalyse

factoranalyse (maar naast structuur ook nog aantonen v samenhang met psych begrip)

Andere visie op onderscheid predictieve- & begripsvaliditeit

• predictieve als vorm van begrips? (criterium moet zinville betekenis hebben om iets te kunnen zeggen over test)

• als iets continu?

• empirische evidentie: samenhang v correlaties

Discriminante validering

Vorm van begripsvalidering:

Verwerpen van een alternatieve hypothese over wat de test meet

Confirmerende validering

Vorm van begripsvalidering:

Bevestigen oorspronkelijke hypothese over wat de test meet

Predictive validity in enge zin

predictieve validiteit: predictie → r(test,criterium op later tijdstip)

Predictieve validiteit: predictie

een vorm van validiteit van een test of meting waarmee wordt aangegeven in hoeverre een test een criterium buiten de test kan voorspellen in de toekomst

Predectieve validiteit: paradictie

een vorm van validiteit van een test of meting waarmee wordt aangegeven in hoeverre een test een criterium buiten de test kan voorspellen in het heden

Predectieve validiteit: postdictie

een vorm van validiteit van een test of meting waarmee wordt aangegeven in hoeverre een test een criterium buiten de test kan voorspellen in het verleden

Concurrente validiteit

Gelijktijdige validiteit

• Cf. paradictie

r(test, gelijkaardig beschikbaar criterium)

Verschil concurrente validiteit en predictieve validiteit in enge zin

Afh in moment dat je meting doet

je kan het zien als 2 soorten predictieve validiteit

• predictieve: niet-gelijktijdig criterium (op later tijdstip)

• concurrent: gelijktijdig

Constructvaliditeit

Pleidooi voor het zoeken naar de interpretatie van testgedrag op zich

- welke psychologische begrippen (hypothetical constructs) worden door test gemeten?

Hier: als deel v betekenisanalyse (hypothesevorming) (←→ begripsvalidering)

betekenisanalyse

Analyse van wat test allemaal inhoudt van psychologische variabelen, interpretatie

• Welke eigenschappen spelen rol in testprestatie?

Onderdeel van begripsvalidering: komt als stap 1: de theorie erachter, constructvaliditeit

Constructvaliditeit: 3 stappen bij begripsvalidering

1. Welke eigenschappen spelen rol in testprestatie? (betekenisanalyse)

• Constructvalidering/betekenisanalyse als onderdeel van begripsvalidering

• theorie / verklaring voor test gedrag

2. Afleiden van toetsbare hypothese

3. Empirisch onderzoek

• Begripsvaliditeit als er empirische evidentie is voor de interpretatie

• empirie

Inhoudsvaliditeit / content validity

representativiteit van items voor het domein (= populatie items)

• Typisch voorbeeld: studietoetsen - maar geldt voor alle testen

• Op basis van expertoordelen: Argumentatieve validiteit en Subjectief (➔ face validity)

• Omschrijving domein en toetsmatrijs opstellen

• statistisch toetsbaar?: r(testscore, domeinscore)

  • vaak niet praktisch vaststelbaar

evidentie/berekening van inhoudsvaliditeit

• indruksvaliditeit (maar geen wet basis)

• omschrijving van het te toetsen domein

• expertoordelen over de items

• r(testscore,domeinscore) (maar vaak praktisch onhaalbaar)

Synthetische validiteit

mate waarin geheel voorspelbaar is op basis van de delen

analyseren

(Stap 1 van synthetische validiteit)

• Opsplitsen criterium in deelaspecten (functie-elementen)

• componentiële analyse (welke componenten nodig om te voorspellen)

• Verwant aan betekenisanalyse, alleen gaat het hier niet over de inhoud van de test maar de inhoud van de functie

Componentiële analyse

welke componenten nodig om te voorpellen (of bvb iemand goede postbode kan worden)

Onderdeel van ‘analyseren’ bij synthetische validiteit

Synthetiseren

(Stap 2 van synthetische validiteit)

• Obv voorspelling op elk deelaspect wordt voorspelling voor hele functie gesynthetiseerd

• Verwant aan predictieve validiteit

Synthetische validiteit: 2 stappen

Stap 1: analyseren

Stap 2: synthetiseren

Incremental validity

toegevoegde waarde van test

• mate van verbetering voorspelling met deze test in vergelijking met voorspelling obv andere informatie

• r(test, criterium) > r(andere gegevens, criterium)

• vb. slaagkans voorspellen op basis van resultaten middelbaar beter voorspellend dan resultaat selectieproef?

Congruent validity/soortgenotenvaliditeit

Mogelijk onderdeel van begripsvalidering (confirmerende)

• r(test, andere test die zelfde eigenschap meet)

Face validity

Subjectieve indruk van leek (buitenstaander) met betrekking tot

• r(test, criterium) - predictieve waarde

• Het gemeten begrip, hetgeen gemeten wordt

Maar: geldt niet als wetenschappelijke basis!

validiteiten die vallen onder Begripsvaliditeit (2)

1. constructvaliditeit

2. soortgenotenvaliditeit/congruent validity

validiteiten die vallen onder Predictieve validiteit (3)

1. concurrente/gelijktijdige validiteit

2. synthese validiteit (→ analyseren & synthetiseren)

3. incremental validity

validiteit dat valt onder Inhoudsvaliditeit (1)

indruksvaliditeit (maar geldt niet als wet. basis)

empirische evidentie van inhoudsvaliditeit

argumentatieve validiteit