TU seminar

Konstruktvaliidsus / mõõtmise valiidsus

Mil määral on meile teoreetiliselt huvipakkuvad konstruktid uurimuses edukalt operatsionaliseeritud

Seesmine valiidsus

Mil määral uurimisplaan võimaldab meil teha põhjuslikke järeldusi sõltumatu muutuja mõjust sõltuvale muutujale

Väline valiidsus

Mil määral me võime laiendada uuritava valimi ja raamistu puhul saadud tulemusi hüpoteesis kirjeldavaile populatsioonidele ja raamistutele

Konstruktvaliidsuse suurendamine

Mitmete operatsionaliseeringute või mõõtmisviiside kasutamine

Seesmise valiidsuse suurendamine

• valim (uuritavate juhuslik paigutus)

• kovariatsioon

Ohud seesmisele valiidsusele

• valik (selection)

• küpsemine (maturation)

• ajalugu (history)

• instrumentaarium (instrumentation)

• väljalangevus (mortality)

• valik küpsemise läbi (selection by maturation)

Välise valiidsuse suurendamine

Uuritava populatsiooni tõenäosuslik valim

Nomoloogiline võrgustik

Teoreetiline võrgustik, kus konstruktid on omavahel seotud teooria kaudu, seotud konkreetsete mõõtmistega (muutujatega) ning erinevad muutujad on omavahel seotud. See võrk aitab tõestada konstrukti valiidsust

Poolitamise reliaablus

• Jagad küsimused pooleks (nt paaritu ja paarisnumbrid).

• Arvutad kahe poole skooride vahelise korrelatsiooni.

• See on lihtne, aga sõltub sellest, kuidas täpselt poolitad → seepärast kasutatakse tänapäeval harvemini üksinda

Reliaabluse tõstmine

• Pikemad testid või küsimustikud

• Suurem varieeruvus skaalal

• Vääritimõistmise vältimine (ennetamine)

Poolitamise reliaablus

• Jagad küsimused pooleks (nt paaritu ja paarisnumbrid).

• Arvutad kahe poole skooride vahelise korrelatsiooni.

• See on lihtne, aga sõltub sellest, kuidas täpselt poolitad → seepärast kasutatakse tänapäeval harvemini üksinda

Mõõtmise täpsus

• See viitab sellele, kui täpselt instrument suudab konstrukti tabada — kui vähe on süstemaatilist viga ja kui lähedal on mõõdetud väärtus tõesele väärtusele.

  • Mida see hõlmab?

    • Kas instrument on piisavalt tundlik (eristab erinevaid tasemeid hästi)?

    • Kas skaala on sobiva pikkusega ja sammuga (nt 5-punktine vs 7-punktine Likerti skaala)?

    • Kas mõõtmine on täpne (vähe süstemaatilist kallutust) ja täpne (vähe juhuslikku viga, kuigi see on rohkem reliaabluse alla).

    • Üldiselt: kui hästi instrument „tabab“ konstrukti ilma suuremate moonutusteta.

Operatsionaliseerimise / ,,tõlkimise’’ valiidsus

• Nimivaliidsus

• Sisu valiidsus

Nimivaliidsus / näivvaliidsus / pealevaatamise valiidsus

Kas instrument näeb välja nii, nagu ta mõõdaks õiget asja? See on kõige subjektiivsem ja kõige nõrgem valiidsuse vorm.

Sisu valiidsus

Kas instrumendi sisu (kõik küsimused/itemid) katab kogu konstrukti piisavalt hästi ja tasakaalustatult? Küsimus, mida küsitakse: Kas ma jätsin midagi olulist välja? Kas ma panin sisse asju, mis ei kuulu sinna?

Kriteeriumi põhine valiidsus

• Koonduv valiidsus

• Diskriminant

Koonduva valiidsuse jagunemine

• Võrdlev/konkureeriv valiidsus

• Ennustav valiidsus

Koonduv valiidsus

Instrument korreleerub kõrge tasemega teiste instrumentidega, mis peaksid mõõtma sama või väga sarnast konstrukti.

Võrdlev/konkureeriv valiidsus

Mõõtmine toimub samal ajal teise hea instrumendiga. Näide: uus ärevuse küsimustik korreleerub tugevalt (r > 0.70) vana ja hea ärevuse küsimustikuga (nt GAD-7 või STAI).

Ennustav valiidsus

Instrument ennustab tulevikus midagi, mis peaks olema seotud konstruktsiga. Nt: Töövõime test ennustab, kui hästi inimene 6 kuu pärast tööd teeb

Diskriminant- või vahettegev valiidsus

Instrument ei tohi korreleeruda (või korreleerub väga nõrgalt) teiste konstruktsidega, mis peaksid olema erinevad. Nt Ärevuse skaala peaks korreleeruma teiste ärevuse mõõtmistega (koonduv), aga mitte liiga tugevalt depressiooni skaalaga (diskriminant). Kui ärevuse skaala korreleerub depressiooniskaalaga r = 0.85, on diskriminant valiidsus halb – skaala ei erista ärevust depressioonist.

MTMM maatriks (Multitrait-multimethod matrix)

Korrelatsioonitabel, mis näitab korraga, kas sinu mõõtmised on omavahel kooskõlas (convergent) ja eristuvad teistest konstruktsidest (discriminant) – see on üks tugevamaid viise konstruktvaliidsuse tõestamise.

Kasutatakse siis, kui sa tahad tõsiselt ja põhjalikult hinnata oma instrumendi (või mitme instrumendi) konstruktvaliidsust.

Mittetõenäosuslikud valimid

Ei saa arvutada, milline on konkreetse inimese tõenäosus sattuda valimisse. Selle tõttu ei saa nende valimite põhjal teha statistilist üldistust kogu populatsioonile (nt "kõik Eesti üliõpilased").

Liigid:

• Juhuslik valim

• Mugavusvalim

• Otstarbe valim

• Kvootvalim

• Sihipärane valim

• Lumepalli valim

Juhuslik valim

võtad inimesed, kes juhuslikult ette satuvad

Juhuvalim

igal inimesel võrdne tõenäosus sattuda valimisse

Otstarbe valim

sarnane mugavusvalimiga, aga pannakse kokku spetsiifilisel otstarbel konkreetse ülesande jaoks. Nt valin kiiresti 20 inimest, kes on hiljuti läbi teinud operatsiooni. Võtan selle, mis parasjagu võtta on, sest mul on kiiresti vaja vastuseid.

Kvootvalim

kontrollitud mittetõenäosuslik valim. Määran ette kvoodid, mis peavad vastama populatsioonile. Nt tahan 100 inimest: 50 meest ja 50 naist, 25 igast vanusegrupist (18-25 ja 26-40). Seejärel kogun inimese mugavalt, kuni kvoodid on täidetud.

Sihipärane / suunatud / eesmärgist lähtuv valim

valin teadlikult selle järgi, kas nad sobivad mu uuringusse. Mt tippjuhid. Otsin teadlikult ja valivalt

Lumepalli valim

Kasutatakse, kui uuritav grupp on raskesti kättesaadav. Alustan mõne inimesega, kes sobib ja palun tal soovitada teisi samasse gruppi kuuluvaid inimesi. Iga uus inimene toob kaasa uusi kontakte.

Tõenäosuslikud valimid

Saab täpselt välja arvutada, milline on iga inimese (populatsiooni elemendi) tõenäosus sattuda valimisse.

Liigid:

• Lihtne juhuvalim

• Kihilised v kihistatud juhuvalimid

• Kobarvalim

Lihtne juhuvalim

Igal populatsiooni liikmel peab olema võrdne ja sõltumatu võimalus sattuda valimisse. „Sõltumatu“ tähendab, et ühe inimese sattumine valimisse ei mõjuta teise inimese võimalust.

Kihistatud juhuvalim

parandatud versioon lihtsast juhuvalimist. Enne valimi võtmist jagad kogu populatsiooni kihtidesse (stratum = kiht) vastavalt olulisele tunnusele. Seejärel võtad igast kihist juhuvalimi proportsionaalselt või mitteproportsionaalselt.

Keskmiste kaalumine

Kui sa võtsid kihid mitteproportsionaalselt (nt üle-esindasid väikest gruppi), pead hiljem tulemuste arvutamisel kaaluma, et tulemus vastaks tegelikule populatsioonile. See, kuidas sa parandad oma tulemusi, kui kihiline valim ei ole täpselt proportsionaalne populatsiooniga.

Kobarvalim

Jagad populatsiooni kobarateks – nt koolid, ettevõtted, linnaosad, haiglad, külad. Valid juhuslikult terveid kobaraid (mitte üksikuid inimesi). Seejärel uurid kõiki või osa inimesi valitud kobarates.

Mitmeelemendilised hinnanguskaalad

mitu omavahel seotud küsimust (itemit), mis koos moodustavad ühe skaala (nt 10 küsimust motiveerituse mõõtmiseks)

Mitmeelemendiliste hinnanguskaalade eelised otsuste mõõdetavaks muutmisel

• Skaleerimistehnikad

  • Otsustamine

  • Mitmed vastused

• Kombineerimine üheks skaala väärtuseks

• Võimalik kontrollida mitmemõõtmelisust

• Suureneb reliaablus ja valiidsus

Skaleerimine

Inimene peab tegema subjektiivse otsuse mingi asja (stiimulobjekti) kohta ja see otsus muudetakse numbriliseks väärtuseks skaalal.

Protsess koosneb kahest sammust: subjektiivne otsus ning otsuse tõlkimine

Skaalade tüübid

• Graafilised hinnanguskaalad

• Detailiseeritud hinnanguskaalad

• Võrdlevad hinnanguskaalad

Graafilised hinnanguskaalad

inimene märgib oma hinnangu joonele (nt 10cm pikkune joon). Ankrud on tavaliselt skaala otstes (väga halb – väga hea). Eelis: inimene saab anda väga peeneid hinnanguid (nt 7,3cm kohal). Puudus: raske kodeerida ja sisestada.

Detailiseeritud hinnanguskaalad

kõige levinum tüüp teadusuuringutes. Inimesele antakse kindlad valikuvõimalused, millel on selged sõnad või numbrid. Nt Likerti skaala. Eelised: lihtne vastata, analüüsida, hea reliaablus.

Võrdlevad hinnanguskaalad

siin ei hinda inimene absoluutselt, vaid võrdleb erinevaid asju omavahel. Kõige tüüpilisem variant on järjestusskaala. Inimene peab esemeid, inimesi või väiteid järjestama. Eelis: sunnib inimest tegema valikuid. Puudus: kui on palju objekte, on raske järjestada

Halomoonutus

Kõige levinum süstemaatiline viga. Inimene hindab kõiki omadusi sarnaselt, sest tal on üldmulje inimesest või asjast. ‘’hea inimene on kõiges hea’’ efekt.

Heldekäelisuse viga

Süstemaatiline viga. Hindaja on liiga leebe ja annab peaaegu alati kõrgeid hinnanguid

Kontrasti viga

Süstemaatiline viga. Hindaja hindab inimest võrdluses teistega, mitte absoluutselt. Nt pärast väga halba õpilast tundub järgmine keskpärane õpilane väga hea või vastupidi

Äärmuste vältimine

Süstemaatiline viga. Hindaja väldib äärmusi (1 ja 5). Tulemuseks peaaegu alati 4 või 5 punkti

Süstemaatilised vead

Korduvad ja suunatud vead, mis kallutavad tulemusi alati ühes suunas. Ohtlikumad, sest moonutavad valiidsust. Halomoonutus, heldekäelisus, kontrasti viga

Juhuslikud vead

Ettearvamatud vead, mis tulenevad hetkeseisundist. Vähendavad reliaablust. Nt väsimus, tähelepanematus.

Ankurdamine hinnanguskaalade kontekstis

Kuidas sa fikseerid või kinnitad skaala numbrid sõnade, kirjelduste või näidetega, et inimene teaks täpselt, mida number tähendab. Ilma selleta tekib palju süstemaatilist viga

Küsitlemise piirangud

• Sotsiaalne ihaldatavus

• Verbaalne võimekus

• Hoiakud

Sotsiogramm

Sotsiomeetrilises metoodikas. Graafiline kujutis, mis näitab, kes on grupis populaarne, kes on kõrvalejäetud, kes liidrid jne

Lehtriprintsiip

Alustada küsimist üldiste küsimustega ning liikuda järjest konkreetsemateni

Küsimuste lähedusest tulenev vildakus

Kui kaks sarnast või seotud küsimust on väga lähedal, siis vastaja kipub neile sarnaselt vastama, isegi kui tegelikult arvamus erineb

Üldiste või summeerivate küsimuste järjekorra mõju vildakusele

Üldise küsimuse küsimine enne konkreetse küsimuse küsimist võib konkreetsete küsimuste vastuseid mõjutada

Erinevate küsitluslehtedega eksperimendid

Uurimismeetod, kus osa vastajaid saab ühe järjekorraga küsimustiku ja teine osa teise järjekorraga. Nii saab testida, kas järjekord mõjutab tulemusi.

Fokuseeritud intervjuu

Teema on kindel, aga küsimused ei ole nii täpselt ette kirjutatud. Intervjueerija juhib vestlust kindla fookusega

Kliiniline intervjuu

sügav, sageli psühholoogiline. Kasutatakse teraapias või põhjalikes isiksuseuuringutes

Mittesuunav intervjuu

Intervjueerija annab väha vähe suuniseid, ta roll on rohkem kuulata ja julgustada. Vastaja räägib vabalt.

Kodeerimine

Andmete süsteemne kategoriseerimine ehk andmete ‘‘sildistamine’’

Kontentanalüüs

Süsteemne, objektiivne ja kvantitatiivne meetod, mille abil uuritakse tekste, pilte, videosid ja muid suhtlusmaterjale

Sümbolite analüüs

Kontentanalüüsi eriliik, kus uuritakse mitte ainult sõnu, vaid sümboleid, märke, pilte või visuaalseid elemente

Juhuslikustatud kahegrupiline katsekorraldus (Randomized R two group design)

Kõige lihtsam ja klassikalisem eksperimentaalne disain. Osalejad jaotatakse juhuslikult kahte gruppi – eksperimentaal (saab ravi/manipulatsiooni) ja kontrollgrupp (ei saa ravi/manipulatsiooni, saab platseebo või tavatingimused). Mõlemat gruppi mõõdetakse enne ja pärast manipulatsiooni.

Solomoni nelja-grupi katseplaan

Lahendab pretesti mõju. Kontrollib, kas pretest ise mõjutab tulemust. Võimaldab eristada nelja efekti: Manipulatsioon, pretest, pretest + manipulatsioon, testi kordamine. Eelised: väga kõrge seesmine valiidsus, kontrollib pretesti mõju (mis on sageli probleem). Puudused: vajalik 4x rohkem osalejaid, kallis ja aeganõudev.

Faktoriline katseplaan

Kõige informatiivsem. Manipuleeritakse mitme sõltumatu muutujaga korraga, nt 2x2 faktoriline disain - rahustav muusika + ravim. Efektiivne, saab tõestada mitut hüpoteesi korraga, näitab interaktsioone. Mida rohkem faktoreid, seda rohkem vaja osalejaid. Tulemuste tõlgendamine muutub keeruliseks

Korratud mõõtmisega katseplaan

Sama inimene osaleb mitmes tingimuses või teda mõõdetakse mitu korda. Põhjuslikkus, artefaktid, välimine valiidsus.

Kvaasieksperimentaalsed katseplaanid

Uurimisviis, milles puudub täielik kontroll. Uurija ei saa inimesi juhuslikult gruppidesse jagada.

Staatiliste gruppide võrdlemine

võetakse juba kaks olemasolevat gruppi, nt 1 klass ja teine klass. Ühele tehakse mingi sekkumine, teisele mitte, siis võrreldakse tulemusi. Grupid võivad erineda algusest peale → tulemused pole 100% usaldusväärsed

Standardsed abinõud

Spetsiaalne tehnika. Tavalised küsimused, aga hoolikamalt tehtud. Pikema selgitusega, avatud, vastaja sõnastus/selgitus.

Kaudsed küsimused

Spetsiaalne tehnika. Ei küsita otse vaid ringiga.

Projektiivsed meetodid

Spetsiaalne tehnika. Inimene projitseerib oma mõtted millegi muu peale.

• Visuaalsed projektiivsed tehnikad – pildid, joonised. Küsitakse ,,mida see inimene tunneb’’

• Verbaalsed projektiivsed vahendid – tekst või lause

  • Tõlgendamine – inimene selgitab mida ta näeb

  • Koostamine – inimene loob ise loo või vastuse

Kolmanda isiku tehnika

Spetsiaalne tehnika. ei küsita ‘’mida sina arvad’’ vaid ‘’mida teised inimesed arvavad?’’ Inimene räägib tegelikult oma arvamusest, aga turvalisemalt. Mitmete valikutega küsimused, kus kõik küsimused on tegelikult valed; süllogismid.

Juhusliku vastuse tehnika

Spetsiaalne tehnika. inimene vastab nii, et uurija ei tea, kas vastus on ‘’päris’’ või juhuslik. Nt: viskad münti (uurija ei näe) – kull: vastad ausalt; kiri: vasta ‘’jah’’. Tulemus: uurija saab statistiliselt õige tulemuse, inimene tunneb end anonüümsemalt.

Sotsiomeetrilised metoodikad

Eraldi tehnika, kui uurida suhteid inimeste vahel. Küsitakse, kellega inimene tahaks koos töötada, sõbrustada jne

Sotsiogramm

Graafiline kujutis (võrgustik), mis näitab, kes on grupis populaarne, kõrvalejäetud, liidrid jne.

Interneti etnograafia

Uurija ,,elab’’ veebikogukonnas, jälgib vestluseid, osaleb neis ise

Laboratoorsete uurimuste tüübid

• Mõjutatuse uurimused (impact studies)

• Otsuste uurimused (judhement studies)

• Jälgivad uurimused (observational studies)

Sõltuva muutuja tüübid

• Enesehinnangulised muutujad (küsitlus)

• Vaatlustulemused (vaatlemine)

• Sooritusedukuse muutujad (nt testi tulemus, reaktsiooniaeg)

Sõltumatu muutuja

See, mida uurija manipuleerib

Juhuslikustatud eksperiment

• Kõige tugevam disain

• Muutujate kontrollimine ja manipuleerimine

  • Eksperimentaalsed sõltumatud muutujad (uurija manipuleerib)

  • Katseisiku muutujad (nt vanus sugu – neid ei manipuleerita)

• Juhuslik määramine/paigutamine (random assignment) – osalejad jaotatakse gruppidesse juhuslikult.

• Sõltumatud muutujad mis varieeruvad katseisikuste vahel ja katseisikute sees

• Sõltumatute muutujate konstruktvaliidsus juhuslikustatud eksperimendis