25. Disseny tasques

Cicle operatiu d’una prova?

Necessitat → especificacions → materials → pilotatge → ús → revisió

Primer pas del disseny?

Fixar propòsit, població, constructe, domini i decisió

Especificacions?

Document operatiu que descriu què i com s’avalua

Especificacions: components nuclears?

Propòsit · constructe · tasques · puntuació · qualitat

Infrarepresentació del constructe?

La prova cobreix massa poc del que afirma avaluar

Variància irrellevant al constructe?

Factors aliens alteren la puntuació

Tasca d’avaluació: estructura funcional?

Input + procés + output + condicions + criteris

Dificultat d’una tasca?

Interacció d’input, operació, output, temps i canal

Autenticitat funcional?

Situació, propòsit i resposta plausibles per al domini

Ítem de resposta seleccionada: clau?

Única i defensable

Distractor de qualitat?

Plausible però inequívocament incorrecte

Independència d’ítems?

Un ítem no revela la resposta d’un altre

Distractor inactiu?

Indici de distractor feble

Distractor més triat que la clau?

Revisar clau, consigna o ambigüitat

Punt-biserial negatiu?

Indici d’ítem problemàtic

Producció escrita: compliment de tasca?

Assolir punts exigits i finalitat

Producció escrita: adequació?

Registre, to, gènere i destinatari

Producció escrita: organització?

Estructura, selecció i coherència

Producció escrita: repertori?

Recursos lèxics i gramaticals

Producció escrita: correcció?

Control formal, ortografia i puntuació

Prova oral: efecte d’interlocutor?

Variació causada pel paper de l’entrevistador

Control de l’interlocutor?

Guió, intervencions i formació estandarditzats

Criteri oral: fluïdesa i discurs?

Ritme funcional, cohesió i pauses

Criteri oral: interacció?

Torns, cooperació, aclariments i reparació

Criteri oral: pronunciació/prosòdia?

Comprensibilitat i adequació funcional

Rúbrica holística?

Valoració global

Rúbrica analítica?

Criteris diferenciats

Rúbrica mixta?

Combina valoració global i analítica

Mostres de producció: calibratge?

Alinear correctors abans de l’operativa

Mostres de producció: benchmarking?

Mantindre referents compartits

Mostres de producció: moderació?

Resoldre discrepàncies o casos límit

Try-out / assaig?

Prova general d’especificacions i materials

Pilotatge?

Detecció preliminar de problemes operatius

Pretestatge?

Assaig empíric d’ítems amb mostra representativa

Pilotatge vs pretestatge?

Exploració preliminar / anàlisi empírica d’ítems

Pretestatge: dades típiques?

Dificultat · discriminació · distractors · fiabilitat

Facilitat/dificultat d’un ítem?

Proporció d’encerts en la mostra

Dificultat d’un ítem: naturalesa?

Depén de la mostra; no és absoluta

Discriminació d’un ítem?

Separa rendiments globals alts i baixos

Punt-biserial?

Relació entre encert de l’ítem i puntuació global

Ítem difícil: criteri de conservació?

Coherència amb nivell i constructe

Administració comparable: controls?

Instruccions, seguretat, accessibilitat i incidències

Monitoratge?

Revisió contínua de materials, sessions i resultats

Ancoratge?

Connectar formes o escales amb elements comuns

Equiparació?

Ajustar puntuacions perquè formes siguen comparables

Ancoratge vs equiparació?

Connexió / ajust de puntuacions

Benchmarking?

Mostres de referència per calibrar judicis

Punt de tall?

Frontera entre categories de decisió

Ancoratge amb ítems comuns?

Ítems repetits en més d’una forma

Bloc d’ancoratge?

Conjunt específic d’ítems comuns

Banc calibrat?

Ítems pretestats amb dificultat coneguda

Candidats comuns?

Mateix grup respon formes diferents

Mostres comunes?

Produccions de referència per mantindre criteris

Ancoratge: funció diagnòstica?

Separar dificultat de forma i capacitat de candidats

Especificacions i formes successives?

Asseguren cobertura i format coherents

Validació en el cicle de prova?

Transversal i contínua

Prova oral: elements a especificar?

Tasca · interlocutor · temps · avaluadors · rúbrica

Producció escrita: gramàtica suficient?

També cal finalitat, adequació i organització

Correcció i rúbrica: principi?

Dissenyar-les juntament amb la tasca

Responsabilitat del desenvolupador?

Construir, revisar, documentar i monitorar

Responsabilitat del corrector?

Aplicar criteris coherentment i confidencialment

Responsabilitat de l’administrador?

Garantir condicions, seguretat i incidències

Dret del candidat?

Informació, equitat, dades protegides i revisió

Ètica de la prova?

Part de la qualitat, no un annex