KTT & LST

Klassische Testtheorie (KTT)

eine konkrete Person wird immer wieder aus einer Population von Personen U gezogen → immer wieder der gleiche Test durchgeführt → Testwerte mir unsystematischen Messfehlern → intraindividuelle Verteilung

→ true-score (tau) der Person(en) = bedingter Erwartungswert von Y_i gegeben die Person (z.B. Adam) tau_Adam := E(Y_i | U = Adam)

→ Fehlerwerte = Abweichungen der Testwerte Y_i vom true-score

true-score Variable kann auch als Regression der Testvariablen Y auf die Personen U aufgefasst werden

mit Prädiktor: Personen U

Kriterium: Testvariablen Y_i

Residuum: Fehlervariable [mit Erwartungswert 0 und korelliert zu 0 mit dem vorhergesagten Wert]

Varianz der Testvariablen ist additiv zerlegbar in true-score Variablen und Fehlervariablen

Reliabilitätskoeffizient

= Anteil der Varianz einer Testvariable Y_i, der auf die Varianz der true-score Variable zurückgeführt werden kann

Wertebereich 0 bis 1 (1 wenn Fehlervarianz =0 ; 0 wenn Fehlervarianz = unendlich)

→ Reliabilitätskoeffizient hängt ab von:

• Varianz der true-score Variable (stichprobenabhängig)

• Varianz der Fehlervariable (testabhängig)

—→ Reliabilität ist also keine Eigenschaft eines Tests, sondern eine Eigenschaft einer Zufallsvariable

zur Berechnung müsste Varianz der true-score Variablen bekannt sein…ist sie aber nicht!!! also kann der Reliabilitätskoeffizient nicht berechnet, sondern nur unter bestimmten Annahmen geschätzt werden

Modelle der KTT

Lösung zur Schätzung/Berechnung des Messmodells:

1. Schritt: Erweiterung des Zufallsexperimentes (“doppelte Messung” durch Testwiederholung, Split-Half oder Paralleltests)

von

zu

! immernoch mehr unbekannte als bekannte

2. Schritt: Annahmen einführen

Annahme 1: beide true-scores sind identisch

Annahme 2: Fehler sind untereinander unkorreliert

→ Varianz von tau wird berechenbar

es entsteht ein Modell essentiell tau-äquivalenter Variablen → Messmodell

und man kann den Reliabilitätskoeffizienten bestimmen

Modell 2 (mit Zusatzannahme: Fehlervarianzen der beiden Messungen sind gleich groß)

Konsequenzen:

und Reliabilitätskoeffizient = Korrelation zwischen Y₁ und Y₂

((Korrelationskoeffizient ist standartisierte Kovarianz))

Modell 3 (Modell tau-kongenerischer Variablen, das heißt der Pfad von tau zu Y darf noch gewichtet sein)

Latent State-Trait (LST) Theorie

in der KTT werden keine Situationen berücksichtigt, es wird davon ausgegangen, dass bezogen auf ein Messinstrument eine Person nur EINEN true-score haben kann (den bedingten Erwartungswert)

macht aber keinen Sinn weil viele Variablen eher als States aufgefasst werden müssen, die sich abhängig von der Situation ändern können

→ neues Modell mit:

• Latent State Variable (bedingte Erwartung von Y_i gegeben Personen aus U in Situationen S

• Fehlervariable

  

• Latent State Variable (bedingte Erwartung von Y gegeben Personen aus U)

  

• Latent State Residuen (Abweichungen der Latent State Variablen tau von der latent Trait Variablen T = SR_i)

  

Koeffizient der Traitspezifität (Konsistenz, also Anteil/wie viel Prozent der Varianz der Testvariable Y, der auf Varianz der Latent Trait Variable T zurückgeführt werden kann)

Koeffizient der Messgelegenheitsspezifität (occasion specificity, Anteil/Prozent der Varianz, die auf die Varianz des State Residuums zurückgeführt werden kann)

Koeffizient der Reliabilität = welcher Anteil der Testvariable nicht auf Fehler zurückgeführt werden kann

→ kann man in die Trait und Occasion specificity zerlegen (oder durch Addition aus den beden berechnen)

LST Modelle

!! Varianz von T, SR und Fehlervarianz sind nicht bekannt

Lösung:

1. Schritt: Erweiterung (mehrfache Messung in mehreren Situationen)

   

2. Schritt: Annahmen (Reduktion der Latenten Variablen und Unkorreliertheit der Residualvariablen) → mehrere mögliche Modelle

   Singletrait-Multistate STMS Modell - äquivalente Situationseffekte innerhalb einer Messgelegenheit, Äquivalenz des Traits über alle Messgelegenheiten und Messinstrumente, Unkorreliertheit der Residualvariablen

   

        Multistate MS Modell - äquivalente Situationseffekte innerhalb einer         Messgelegenheit, Traitvarianz ist = 0, Unkorreliertheit der Residualvariablen

        Singletrait ST Modell - Situationseffekte = 0, Äquivalenz des Traits über alle         Messgelegenheiten und Messinstrumente, Unkorreliertheit der         Residualvariablen

        Multitrait-Multistate MTMS Modell - äquivalente Situationseffekte innerhalb         einer Messgelegenheit, Äquivalenz des Traits über alle Messgelegenheiten         (aber NICHT über alle Messinstrumente), Unkorreliertheit der         Residualvariablen

LST Modelle mit Methodenfaktoren

vereinfacht:

Methodenfaktoren M_i binden die Varianz, die spezifisch für eine Methode (ein Messinstrument) ist

Koeffizient der Methodenspezifität = MetSpe(Y_ij) = Var(M_j) / Var(Y_ij)

man kann auch eine Methode als Standardmethode festlegen, sodass dann der Methodenfaktor M die Abweichung der anderen Methode vom Standard

→ Vorteil der Sparsamkeit und besserer Identifizierbarkeit