Kaarten: E-learning: kwaliteitsvolle instrumenten en methodieken (WC1) | Quizlet

Welke factoren moet men in acht nemen bij de keuze van een test?

Psychometrische eigenschappen en normgroep

Waarom leek het plots alsof er meer jongeren aandachtsproblemen hadden bij gebruik van de TEA-CH?

Omdat men Vlaamse/Nederlandse jongeren vergeleek met Australische normen

-> de culturele verschillen maakten dat de Vlaamse/Nederlandse kinderen trager en nauwkeuriger werkten, terwijl de Australische sneller maar onnauwkeuriger werkten

-> leken daardoor meer problemen te zijn, terwijl dit eigenlijk een gevolg was van een verkeerde 'meetlat'

Wat is het belang van testbeoordelingssystemen?

Ze vermijden verkeerd gebruik van testen, monitoren de kwaliteit en helpen diagnostici om kwaliteitsvolle en geschikte tests te kiezen

Welke instantie ontwikkelde het Test Review Model?

EFPA

-> European Federation of Psychologists' Associations

Wat doet COTAN?

De Commissie Testaangelegenheden Nederland beoordeelt jaarlijks 15 à 20 instrumenten en kent labels toe per kwaliteitscriterium

('onvoldoende', 'voldoende' of 'goed')

Wat doet het Kwaliteitscentrum voor Diagnostiek in Vlaanderen?

- Voert beoordelingen uit van diagnostische instrumenten met het EFPA-model

- Stuurt vragen door naar partnerorganisaties

- Ontwikkelt protocollen met testfiches en kwalificaties

Welke beoordelingssysteem gebruikt de Testcommissie van de BFP-FPB?

TQ-Scan

Wat is de bedoeling van de TQ-Scan?

Het is een Vlaams beoordelingssysteem met een screenend karakter

-> niet bedoeld om uitgebreide beoordelingssystemen (zoals EFPA of COTAN) te vervangen

Wat is het CAP-Vademecum en voor wie bedoeld?

Een website die informatie biedt over de aard en kwaliteit van psychodiagnostische instrumenten en methodieken, specifiek bruikbaar in de Vlaamse onderwijscontext (CLB en aansluitende diensten)

Wat is Prodia en waarvoor dient het?

Een netoverstijgend project van CLB's en onderwijs

Het ontwikkelt diagnostische protocollen met testfiches, die aangeven of een test 1ste keuze, 2de keuze of enkel indicatief bruikbaar is

Welke kwaliteitslabels kan een test krijgen bij evaluatie met het EFPA Test Review Model?

Onvoldoende - voldoende - goed

Wat zijn de drie basisprincipes die een goede testhandleiding moet toelichten?

1) Theoretische onderbouw (wetenschappelijke evidentie)

2) Procedure van testontwikkeling, vertaling en/of aanpassing

3) Relevante wetenschappelijke onderzoeken

Welke informatie moet een kwaliteitsvolle testhandleiding minstens bevatten?

- Standaardisatie

- Normen

- Betrouwbaarheid en validiteit

- Computergegenereerde rapporten (indien van toepassing)

- Gestandaardiseerde instructies (afname, scoring, interpretatie, rapportage, feedback)

- Beperkingen van gebruik (doelgroepen, software, enz.)

- Duurzaam materiaal en referenties

Wat is het risico als een testhandleiding geen duidelijke instructies bevat?

De test kan niet gestandaardiseerd worden, wat leidt tot onbetrouwbare resultaten

Noem drie kenmerken van kwaliteitsvol computergebaseerd testmateriaal

- Kwaliteitsvolle software (bv. back-up bij wegvallen internet)

- Beveiliging (onbevoegden hebben geen toegang tot resultaten)

- Gebruiksvriendelijke interface voor deelnemers

- Duidelijke instructies en items

Waarom is normering belangrijk bij een test?

Omdat de ruwe score betekenis krijgt door vergelijking met een normgroep, zodat men kan zien hoe het resultaat zich verhoudt tot de populatie

Wanneer worden normen als verouderd beschouwd en dus minder betrouwbaar?

- Voorzichtig interpreteren als normen ouder zijn dan 15 jaar

- Tests met normen ouder dan 20 jaar beter niet gebruiken

Welke kenmerken zijn belangrijk voor representatieve normen?

1) Normen zijn gebaseerd op een representatieve steekproef van de doelpopulatie

2) Voor Vlaanderen: Vlaamse of Vlaams-Nederlandse normeringssteekproef

3) Gestratificeerde steekproeven worden vaak gebruikt

Wat zijn de drie soorten normeringssteekproeven en welke is het minst geschikt?

1) Aselecte steekproef

2) Gestratificeerde steekproef

3) Gelegenheidssteekproef (minst geschikt, omdat ze vaak niet representatief zijn)

Hoeveel afwijking wordt doorgaans maximaal aanvaard bij gestratificeerde steekproeven?

Meestal maximaal 5% verschil met de doelpopulatie

Wat is het verschil tussen klassieke en continue normering?

- Klassieke normering: per leeftijdsgroep aparte normen

- Continue normering: alle leeftijdsgroepen samen, norm als functie van leeftijd

- Klassieke normering vereist grotere steekproeven

- Continue normering kan met kleinere steekproeven

Welke 5 soorten normen bestaan er?

- Standaardscores

- Percentielscores

- Leeftijdsequivalenten

- Groeiscore-equivalenten

- Criteriumscores

Wat is een standaardscores (bv. T-score, IQ-score)?

Een ruwe score die wordt omgezet naar een gestandaardiseerde schaal met een bepaald gemiddelde en standaardafwijking

Hierdoor zijn scores vergelijkbaar.

Voorbeeld: IQ-score (gemiddelde = 100, SD = 15)

Wat betekent een percentielscore van 43?

43% lager of gelijk, 57% hoger

Wat zijnbeperkingen van leeftijdsequivalenten?

- Ze zeggen niets over de vergelijking met leeftijdsgenoten

- Kleine scoreverschillen kunnen grote verschillen in leeftijdsequivalent opleveren

- Leeftijdsequivalenten uit verschillende subtests mogen niet direct vergeleken worden

- Moeilijk interpreteerbaar aan de bovenkant van de doelgroep

- Kleine verschillen (enkele maanden) zijn vaak niet betekenisvol

Waarvoor worden groeiscore-equivalenten gebruikt?

Voor het objectief meten van verandering in prestaties over tijd bij eenzelfde persoon, bv. ontwikkeling opvolgen, vooruitgang meten sinds een eerdere testafname, of effectiviteit van een interventie evalueren.

Wat is een criteriumscore en geef een voorbeeld

Een score die prestaties vergelijkt met een vooraf bepaald criterium of afkapwaarde, niet met een normgroep

Voorbeeld: ADOS-2 bij autisme, waarbij scores ingedeeld worden in ASS of geen ASS

Wat betekent betrouwbaarheid in testen?

De mate waarin een testscore consistent en vrij van meetfouten is

Wat geeft een betrouwbaarheidsinterval (BI) weer?

De marge waarbinnen de werkelijke score met grote waarschijnlijkheid ligt

Waarom mag een grenswaarde (bv. IQ 70) niet absoluut worden geïnterpreteerd?

Omdat de score altijd een foutenmarge heeft

Iemand met IQ 68 (BI [62-74]) kan in werkelijkheid toch boven de grens van 70 liggen

Wat meet interne consistentie?

De mate waarin items binnen een (sub)schaal samenhangen

Verwachting: sterke samenhang binnen eenzelfde subtest, zwakkere samenhang tussen verschillende subtests

Welke coëfficiënten worden gebruikt om interne consistentie weer te geven?

Cronbach's alfa (α) en Gutman's lambda-2 (λ-2)

Wat meet test-hertestbetrouwbaarheid en hoe wordt dit weergegeven?

In welke mate scores stabiel blijven bij herhaalde afnames bij dezelfde deelnemers

-> Meestal weergegeven met een correlatiecoëfficiënt (r)

Waarom mag de tijd tussen test en hertest niet te kort of te lang zijn?

- Te kort: deelnemers herinneren zich de antwoorden → kunstmatig hogere scores

- Te lang: echte veranderingen in de vaardigheid beïnvloeden de score

Wat meet interbeoordelaarsbetrouwbaarheid en hoe wordt dit weergegeven?

De mate waarin beoordelingen van verschillende beoordelaars overeenkomen

-> Meestal weergegeven met de Kappa-coëfficiënt (κ) of Intraclass Correlatiecoëfficiënt (ICC)

Voor welke soorten testen is interbeoordelaarsbetrouwbaarheid vooral belangrijk?

Observatietaken en open vragen zoals woordbetekenis uitleggen

Wat betekent validiteit bij psychodiagnostische testen?

Validiteit verwijst naar de mate waarin een test meet wat hij beoogt te meten, en niet iets anders of slechts een deel van het construct

Wat is het verschil tussen betrouwbaarheid en validiteit?

Betrouwbaarheid gaat over de consistentie van metingen (vrij van meetfouten)

Validiteit gaat over of de test daadwerkelijk het juiste construct meet

-> Een test kan betrouwbaar maar niet valide zijn

Wat onderzoekt inhoudsvaliditeit?

Of de inhoud van de test een goede en volledige weergave is van het te meten construct

Hoe wordt inhoudsvaliditeit vaak onderzocht?

Door feedback te vragen van experts en gebruikers, en door de test te baseren op erkende theorieën

Wat is begripsvaliditeit?

De mate waarin een test daadwerkelijk het beoogde begrip meet (bijv. intelligentie) en niet iets anders (bijv. aandacht)

Methoden om begripsvaliditeit te onderzoeken

1) Factoranalyse: nagaan of de structuur van de test overeenkomt met de verwachte factorstructuur

2) Groepsverschillen nagaan: kijken of relevante groepen (bv. mensen met verstandelijke beperking) ook daadwerkelijk verschillend scoren zoals verwacht

Wat is congruente validiteit?

Onderdeel van begripsvaliditeit, waarbij men nagaat of een test samenhangt met andere valide testen die hetzelfde construct meten

Wat is discriminante validiteit?

Onderdeel van begripsvaliditeit, waarbij men nagaat of een test niet te sterk samenhangt met testen die een ander (mogelijk gerelateerd) construct meten

Wat onderzoekt criteriumvaliditeit?

Of de testresultaten samenhangen met relevante real-world criteria, zoals schoolsucces, jobsucces of de aanwezigheid van een stoornis

Wat betekent sensitiviteit van een test?

De kans dat de test correct een stoornis vaststelt bij mensen die deze stoornis hebben (weinig vals-negatieven)

Wat betekent specificiteit van een test?

De kans dat de test correct aangeeft dat iemand géén stoornis heeft als die er ook niet is (weinig vals-positieven)

Waarom is bij een lage prevalentie van een stoornis een hoge specificiteit belangrijk?

Omdat er anders veel vals-positieve resultaten kunnen optreden

Welke criteria zijn belangrijk voor de kwaliteit van computergegenereerde rapporten?

Ze moeten voldoende breed en specifiek, betrouwbaar en consistent, relevant en valide, ethisch, duidelijk en aangepast aan de lezer zijn, en niet te lang

Wat is een gevaar van slechte computergegenereerde rapporten?

Dat beslissingen foutief gebaseerd worden op onduidelijke of te ver doorgevoerde interpretaties

Wat is een testotheek?

Een plaats (bv. verbonden aan universiteiten of hogescholen in Vlaanderen) waar psychodiagnostisch materiaal kan worden ontleend of geraadpleegd

Wat is het doel van kwalitatieve instrumenten in diagnostiek?

Om de ervaringen van de cliënt centraal te stellen en samen met hem/haar een narratief verhaal te construeren waarin betekenisvolle thema's en categorieën zichtbaar worden, zonder gebruik te maken van standaardscores of normgroepen

Wat zijn 3 sterktes van kwalitatieve methodes?

1) Actieve zelfreflectie bij diagnosticus en cliënt

2)Actieve rol van de cliënt, wat betrokkenheid en motivatie verhoogt

3) Holistisch beeld van de cliënt, inclusief context (sociaal, cultureel, economisch, gender, talenten, beperkingen)

Welke valkuilen zijn er bij kwalitatieve methodes?

- Vooroordelen van de diagnosticus kunnen leiden tot blinde vlekken of overdiagnostisering

- Interpretatie hangt sterk af van vaardigheden van de diagnosticus en kan subjectief zijn

- Risico op 'natte vingerwerk'

- Geen normatieve vergelijking mogelijk → daarvoor zijn kwantitatieve methodes nodig

Hoe wordt betrouwbaarheid in kwalitatieve diagnostiek gewaarborgd?

- Methodisch en transparant handelen

- Onbevooroordeeld data verzamelen en analyseren + dit te documenteren en trianguleren

Wat is triangulatie en welke 3 vormen zijn er?

Het combineren van meerdere perspectieven om bias te vermijden:

1) Methodologische triangulatie (bv. interview + observatie)

2) Bronnentriangulatie (bv. ouders, leerkracht, kind)

3) Verschillende clinici betrekken

Wat betekent interne validiteit in kwalitatieve diagnostiek?

De mate waarin conclusies logisch voortbouwen op de verzamelde basisinformatie (interviews, observaties, verhalen)

Welke 5 strategieën verhogen interne validiteit?

1) Vertrouwd zijn met basisinformatie

2) Triangulatie (methoden, informanten, clinici)

3) Nuance aanbrengen (ook tegenstrijdige info meenemen)

4)Dialoog met theorie, casussen, literatuur

5) Intercollegiale toetsing

Wat betekent externe validiteit in kwalitatieve diagnostiek?

Of conclusies overdraagbaar zijn naar andere settings (bv. thuis, school) of gelijkaardige casussen

Welke 2 aspecten zijn belangrijk voor externe validiteit?

1) Detaillering (heldere en nauwkeurige rapportering)

2) Contextualisering (problemen situeren in levenscontext + omstandigheden van diagnostisch proces)

Wat betekent reflexiviteit in kwalitatieve diagnostiek?

Het expliciet maken en kritisch reflecteren op de eigen invloed (cognitieve vertekeningen, persoonlijke en institutionele factoren, relatie met de cliënt) op het diagnostisch proces

5 cognitieve fouten/heuristieken die reflexief werken noodzakelijk maken

- Beschikbaarheidsheuristiek

- Primacy-effect

- Recency-effect

- Representativiteitsheuristiek

- Bevestigingsbias

Welke 3 bronnen van invloed onderscheiden we bij reflexiviteit?

- Persoonsgebonden reflexiviteit

(ervaringen, voorkeuren, herinneringen)

- Institutionele inbedding

(organisatievisie, theoretisch kader, maatschappelijke tijdsgeest)

- Relatie met de cliënt

(asymmetrische machtsverhouding)

Op welke drie manieren kan de diagnosticus invloed uitoefenen bij het gebruik van kwantitatieve instrumenten?

- Een geschikt instrument kiezen in functie van de vraagstelling

- Het instrument correct gebruiken en interpreteren

- Een context creëren waarin valide en betrouwbare resultaten bereikt kunnen worden

Waarom mag een test nooit louter gebruikt worden om informatie te verzamelen?

Omdat het gebruik van een test steeds moet bijdragen aan het verhelderen van de vraag van de cliënt of het toetsen van een hypothese

Waarop moet de diagnosticus letten bij de keuze van een test in functie van de vraagstelling?

- Of het instrument het juiste construct meet dat past bij de hypothese

- Of het geschikt is voor de doelgroep (bv. leeftijd, taal, beperkingen, Vlaamse normen)

- Of de test van voldoende (psychometrische) kwaliteit is

Waarom is het belangrijk de test op dezelfde manier aan te bieden als in de handleiding beschreven staat?

Omdat een afwijkende afname kan leiden tot onbetrouwbare resultaten

Waarom verdient de versie van een test die gebruikt werd in het normeringsonderzoek de voorkeur?

Omdat er te weinig bewijs is dat verschillende versies (bv. papier vs. digitaal) volledig inwisselbaar zijn

Wat moet een diagnosticus doen om betrouwbare resultaten te verkrijgen bij gebruik van een test?

De gestandaardiseerde procedure volgen zoals in de handleiding beschreven

Welke factoren kunnen de betrouwbaarheid van testscores beïnvloeden, naast de test zelf?

Persoonlijke en situationele factoren zoals taalvaardigheid, vermoeidheid, karakter, concentratie, ziekte, omgevingslawaai, ervaring van de testleider

Geef een voorbeeld van een test die duidelijke contextregels bevat en leg uit waarom

ADOS-2:

-> schrijft voor hoe diagnosticus en cliënt moeten zitten, hoe de ruimte eruitziet en wie aanwezig mag zijn → om validiteit en betrouwbaarheid te garanderen

Hoe fungeert de diagnosticus binnen de kwalitatieve benadering?

De diagnosticus wordt zelf gezien als onderzoeksinstrument, dat zich permanent ontwikkelt via ervaring, reflectie en feedback

Hoe kan de diagnosticus zichzelf ontwikkelen als kwalitatief onderzoeksinstrument?

- Intercollegiaal overleg

- Supervisie

- Intervisie

- Reflectie op eigen handelen

Waarom is reflexiviteit belangrijk binnen kwalitatieve diagnostiek?

Omdat cognitieve fouten en biases (bv. bevestigingsbias, beschikbaarheidsheuristiek) anders kunnen leiden tot verkeerde conclusies

Waarom is het belangrijk om kwantitatieve en kwalitatieve methodes te combineren?

Omdat kwantitatieve methodes accuraatheid bieden en kwalitatieve methodes inzicht in beleving

Samen geven ze een vollediger, genuanceerd beeld en leiden ze tot kwaliteitsvollere diagnostiek en behandelingsaanbevelingen

Welke soorten vragen passen typisch bij de kwantitatieve en kwalitatieve benadering?

- Kwantitatief: categoriserende vragen (bv. "Is deze cliënt hoogbegaafd?")

- Kwalitatief: exploratieve en begrijpend-gerichte vragen (bv. "Waarom trekt de cliënt zich terug op school?")

Wat betekent dat het diagnostisch proces een "en-en-verhaal" is?

Dat kwantitatieve én kwalitatieve methodes beide nodig zijn en elkaar aanvullen

Het is geen keuze tussen de twee, maar een combinatie om een volledig beeld te krijgen

Wat wordt er van een diagnosticus verwacht binnen een kwaliteitsvol diagnostisch proces?

- Dat hij/zij kan schakelen tussen kwantitatieve en kwalitatieve methodes

- Beide perspectieven herkent en integreert

- Genuanceerd en volledig mogelijk beeld van de cliënt kan vormen