Module 2 - partie 2

Fidélité

4 méthodes de fidélité

Test-retest (stabilité temporelle), interjuges (accord entre évaluateurs), versions parallèles (équivalence du contenu), cohérence interne (homogénéité des items)

Test-retest (coefficient de STABILITÉ)

Admin 2x aux mêmes pers., corr entre T1 et T2, diff de mobiliser participant 2x

Test-retest - effets temporels

Intervalle + long = maturation vs + court = apprentissage/mémorisation

Test-retest considère…

circonstances perso, parfois conditions d’admin, pas contenu (test identique)

Interprète ce tableau de résultat pour déterminer la fidélité test-retest

Forte corr positive entre 1e et 2ieme test (r=.91, p est ppq .05), ce qui indique une bonne fidélité test-retest. 91% de la variance des scores obs est attribuable aux scores vrais. Les scores contiennent peu d’erreur

Interjuges (coefficient de FIABILITÉ)

Variations aléatoires attibuées aux correcteurs, r interjuges = corr entre scores de juge 1 et 2

Interprète ce tableau de résultat pour déterminer la fidélité interjuges

Forte corr positive entre deux évaluateurs (r=.97, p est ppq .05), ce qui indique une très bonne fidélité interjuges (et non interclasses!). 97% de la variance des scores obs est attribuable aux scores vrais. Les scores contiennent presque aucunes erreurs.

Interjuges - corrélation intraclasse (2+ juges)

+ accord entre juges = + corr intraclasse, - subjectivité des évaluateurs

Interjuges - influence majeure

Type de correction (jugement, inférences)

Versions parallèles (coefficient de fidélité)

Admin 2 tests équivalents aux mêmes pers., r parallèle = corr entre scores des 2 version

Interprète ce tableau de résultat pour déterminer la fidélité par versions parallèles

Faible corr positive entre les deux versions (r=.21, p est ppq .05) ce qui indique une très mauvaise fidélité par versions parallèles. Seulement 21% de la variance des scores obs est attribuable aux scores vrais. Les scores contiennent beaucoup d’erreurs. Ne pas utiliser l’instrument.

Cohérence interne - méthode de bissection

Diviser test en 2 moitiés = corr entre moitiés et si élevée elles mesurent même construit (mesure HOMOGÉNÉITÉ des 2 parties)

Méthode de bissection - problèmes

2e moitié souvent + diff, inf fatigue/limite de temps, sous-estimer fidélité

Méthode de bissection - correction Spearman-Brown SB = 2rAB/(1+rAB)

Seulement si variances des deux moitiés sont similaires

Méthode de bissection - correction Guttman D = A-B

Deux moitiés n'ont pas la même variance

Interprète ce tableau de résultat pour déterminer la cohérence interne avec la méthode de bissection

Les 2 moitiés du test semblent équivalentes (rAB = .89, p est ppq .05), les items sont donc homogènes et l’instrument est excellent. Les scores observés contiennent peu d’erreur.

Interprète ce tableau de résultat pour déterminer la cohérence interne avec la méthode de bissection

Les items pairs et impairs semblent équivalents (rAB =.97, p est ppq.05), les items sont donc homogènes. L’instrument est pafait. Les scores observés contiennent presque aucune erreurs.

Cohérence interne - méthode des covariances

Chaque item = une partie du test, covariances item-item = + homogénéité, + précis que bissection,

0.9 ≤ α - méthode des covariances

Cohérence interne du test est excellente

0.8 ≤ α < 0.9 - méthode des covariances

Cohérence interne du test est bonne. Les items forment un ensemble suffisamment homogène pour qu’il soit justifié de les additionner et former un score total.

0.7 ≤ α < 0.8 - méthode des covariances

Cohérence interne acceptable

0.6 ≤ α < 0.7 - méthode des covariances

Cohérence interne questionnable

0.5 ≤ α < 0.6 - méthode des covariances

Cohérence interne faible

α < 0.5 - méthode des covariances

Cohérence interne innacceptable

Lorsque le nombre d’items est élevé, il est plus facile d’obtenir…

un alpha acceptable

Erreur avec alpha de Cronbach - corrélation négative!

Items inversés = renverser AVANT analyse

Le alpha de Cronbach peut seulement être utilisé pour des tests…

unidimentsionnels (sinon 1 alpha par sous-échelles)

Le alpha de Cronbach va être plus élevé si…

il y a beaucoup d’items

ETM

Écart-type de la distribution théorique des scores O autour de score V

Si il y a une fidélité parfaite (r=1), ETM =

0

Si il y a une fidélité nulle (r=0), ETM =

Écart-type du test effectué

Quelle est l’utilité pratique de la fidélité

Interprétation pratique de la fidélité

Intervalle de confiance

Probabilité que V se trouve autour du score O (+ fidélité = - ETM = IC petit)

Erreur type de la différence (ETD)

Marge d’erreur quand on compare 2 scores (1 sujet avec 2 tests diff OU 2 sujets diff avec même test)

Si diff obs < ETD…

PAS certitude 95% qu’il existe une diff entre scores vrais

Example de ETD:

Score O1 = 80

Score O2 = 95

Différence = 15

ETD = 7

À 95% de certitude (1.96)

On peut dire à 95? que la personne s’est réellement améliorée, car 15 plus grand que 13.72.