Test accuraatheid & kwaliteit (HOC10)

Hoe benadert men de test accuraatheid?

Signaal Detectie Theorie

Cut-off waarden

ROC curves

Wat is de PCL-R?

Psychopathy Checklist (Revisited) - Hare

Items om 20 trekken te diagnosticeren

Score toekennen aan elk van trekken (0/1/2)

Schaalscores berekenen (min: 0 & max: 40)

Cut-off score gebruiken (schaalscore van 30+ → ‘psychopaat’)

Wat houdt de Signaal Detectie Theorie in?

Test accuraatheid testen adhv 2 parameters:

* Sensitiviteit
* Specificiteit

Wat houdt de sensitiviteit van een test in & hoe bereken je die?

TP / (TP + FN)

Hoeveel (%) mensen worden er correct **positief** gediagnosticeerd?

Kans op TP

Wat houdt de specificiteit van een test in & hoe bereken je die?

TN / (TN + FP)

Hoeveel (%) mensen ga je correct **negatief** diagnosticeren?

Kans op TN

Hoe staan sensitiviteit & specificiteit tov elkaar in een ideale test & in de praktijk?

Ideale test: sensitiviteit & specificiteit = 1

* iedereen juist gediagnosticeerd

Slechts mogelijke test: sensitiviteit & specificiteit = 0

* niemand juist gediagnosticeerd

Negatief verband tussen sensitiviteit & specificiteit

Welke rol spelen cut-off waarden bij sensitiviteit & specificiteit?

Sensitiviteit & specificiteit hangen af van cut-off waarde

* waar zet je de lijn (tussen bv psychopaat & geen psychopaat)
* je wint aan sensitiviteit, maar verliest aan specificiteit (of omgekeerd)
* vb als je cut-off waarde verlaagd, wordt je test sensitiever (meer mensen correct gediagnosticeerd), maar minder specifiek (meer mensen onterecht correct gediagnosticeerd)

Hoe kiest men de cut-off waarden?

Hangt af van gevolgen van verkeerde diagnose

* vb in forensische context groter risico bij FN
* vb bij job interview kleiner risico bij FP/FN

Geen risico op FN → **sensitiviteit** maximaliseren

* vb geen echte psychopaten over het hoofd zien

Geen risico FP → **specificiteit** maximaliseren

* vb geen mensen foutief als psychopaat diagnosticeren

In praktijk: balans tussen beide

Wat is een ROC curve?

Sensitiviteit & specificiteit van alle mogelijke cut-off waarden

* X-as: FP rate (1 - specificiteit)
* Y-as: TP rate (sensitiviteit)

Hoe groter oppervlakte onder ROC curve (AUC), hoe accurater test

* .90 - 1 = excellent
* .80 - .90 = goed
* .70 - .80 = matig
* .60 - .70 = zwak
* .50 - .60 = waardeloos

Wat zijn COTAN richtlijnen?

Commissie Testaangelegenheden Nederland

Beoordeling psychodiagnostische instrumenten

Voorzien bronmateriaal die info geven over psychometrische kwaliteit van bestaande testen

Op welke punten beoordeelt de COTAN?

1. **Uitgangspunten van testconstructie**
* duidelijke definitie construct, belang testinhoud, operationalisatie, doel…
* in welke mate bevat de test achtergrondtheorieën, info
2. **Kwaliteit testmateriaal**
* vragen, opdrachten, formulering items…
3. **Kwaliteit handleiding**
* hoe moet je scoren, hoe moet je antwoorden, obv van welke normen (niet bij alle testen normen)…
4. **Normen**
* voldoende grote steekproeven…
5. **Betrouwbaarheid**
6. **Begripsvaliditeit**
* wanneer je niet te maken hebt met correlatie met andere variabele (vb indruksvaliditeit)


7. **Criteriumvaliditeit**
* wanneer je wel te maken hebt met correlatie met andere variabele (convergente, discriminerende…)

Hoe wordt er door COTAN geëvalueerd? (Illustreer adhv normen & betrouwbaarheid)

Obv doeleinden van test

Strengere richtlijnen voor individueel niveau dan groepsniveau

Strengere richtlijnen als je belangrijke beslissingen moet nemen

Wat betekent het als een criterium als ‘onvoldoende’ wordt geëvalueerd?

Beoordeling op elk criterium: onvoldoende - voldoende - goed

Onvoldoende kan gevolg zijn van ontbrekende gegevens/slechte score op criterium

Betekent niet dat test onbruikbaar is

* vb vaak onvoldoende op ‘normen’ omdat er geen normen zijn, of omdat normen oud zijn, maar je kan evengoed testscore gebruiken/interpreteren zonder normen

Criteria arbitrair

Wees kritisch!