Item analyse & item respons theorie (HOC9)

Op welke manieren kan men items analyseren?

Item-moeilijkheidsindex

Item-betrouwbaarheidsindex

Item-validiteitsindex

Item-discriminatieindex

Meerkeuze items

Wat is de item-moeilijkheidsindex & wat is de vuistregel?

Proportie deelnemers die item correct hebben

__Vuistregel__: optimale item-moeilijkheidsindex dicht bij 0.5 & tussen 0.3 & 0.7

* aanpassen bij meerkeuzevragen door kans op juiste gok
* hoe meer antwoordopties, hoe kleiner item-moeilijkheidsgraad

Wat houdt de item-betrouwbaarheidsindex in?

Goede items dragen bij tot testbetrouwbaarheid (interne consistentie)

→ Correlatie item & testscore

Goede items differentiëren (respondenten met hoge & lage score)

→ standaarddeviatie van items

* spreiding itemscores sterk verbonden met moeilijkheidsgraad & bepaalt nut item

Beste items: correlatie & SD zo hoog mogelijk

Wat houdt de item-validiteitsindex in?

Goede items dragen bij tot validiteit

→ correlatie item & criterium variabele

* criterium variabele: variabele met dewelke de item theoretisch zou moeten correleren

Beste items: hoge correlatie & SD

Wat houdt de item-discriminatieindex in?

Goede items maken onderscheid tussen deelnemers die hoog & laag scoren op test

→ itemscores van deelnemers met hoogste testscores vergelijken met deelnemers met laagste testscores

Wat is het ideaal bij meerkeuze items?

Wat is de item respons theorie?

__Basisvraag__: wat is de kans dat respondent item correct zal beantwoorden (of bepaalde antwoordoptie kiest)?

→ Item Characteristic Curve (ICC) geeft kans weer

* x-as: trait-level
* y-as: kans om correct antwoord te geven

Met welke modellen schat men de IRT?

1 Parameter Logistisch model

2 Parameter Logistisch model

3 Parameter Logistisch model

Graded Respons model

Item informatie & test informatie

Wat houdt het 1 Parameter Logistisch model in?

Antwoord dat respondent biedt voorspellen adhv trait-level & **moeilijkheid**

__Moeilijkheid__: trait-level vereist opdat respondent 50% kans heeft om item juist te beantwoorden

* trait-level gestandaardiseerd: gemiddelde = 0, SD = 1

Wat houdt het 2 Parameter Logistisch model in?

Antwoord dat respondent biedt voorspellen adhv trait-level, **moeilijkheid** & **discriminerend vermogen**

__Discriminerend vermogen__: mate waarin item onderscheid kan maken tussen personen met verschillende trait-levels

* hoe steiler curve, hoe hoger discriminerend vermogen

Wat houdt het 3 Parameter Logistisch model in?

Antwoord dat respondent biedt voorspellen adhv trait-level, **moeilijkheid**, **discriminerend vermogen** & **gokkans**

* gokkans verhoogt kans op juist antwoord

Wat houdt het Graded Respons model in?

Model voor polytome (=/= dichotome) items

* Logistische modellen voor enkel dichotome items

Wat houdt de item informatie & test informatie in?

Goede test differentieert tussen verschillende trait-levels

Psychometrische kwaliteit nagegaan voor items & test

Informatiewaarde: bij welke trait-level item/test meeste info geeft

Wat zijn de overeenkomsten & verschillen tussen de IRT & KTT?

Overeenkomsten:

* beide testtheorieën
* beide evalueren psychometrische kwaliteit

\
Verschillen

* IRT sterkere veronderstellingen (vb items zijn onderling onafhankelijk)
* IRT vereist grotere steekproef (500+)
* KTT steekproefafhankelijk (IRT iteminvariantie)
* verschillende steekproeven → verschillende uitspraken over betrouwbaarheid & validiteit
* KTT testafhankelijk (IRT groepsinvariantie)
* IRT focust op items, KTT op test in geheel

Hoe wordt het 1 Parameter Logistisch model ook genoemd?

Het Rasch model