Week 4 methoden & statistiek

Wat is anekdotische data? Wat zijn de kenmerken en voordelen/limitaties?

Data gebaseerd op persoonlijke verhalen en individuele gevallen
→ vaak niet representatief voor grotere groep mensen én niet systematisch geobserveerd

• wordt niet gebruikt in wetenschap, kan wel gebruikt worden voor ideevorming (beginfase wetenschappelijk proces)

• bestaat uit klein aantal cases
  → let op: enkel anekdotisch wanneer cases niet systematisch geobserveerd zijn

Wat is beschikbare (available) data? Wat zijn de kenmerken en voordelen/limitaties?

Data welke eerder systematisch verzameld is voor bepaald doel, die door andere onderzoekers wordt hergebruikt voor andere onderzoeksvragen

• Voordeel: grote databases kunnen gebruikt worden voor het beantwoorden van veel verschillende onderzoeksvragen + goedkoop

• Limitatie: soms bevatten datasets niet alle relevante/interessante data voor de onderzoeksvraag

Hoe kunnen onderzoekers zelf data verzamelen?

via…

• Observationele studies = observeren en meten van variabelen (werkelijkheid) zonder ingrijpen (aanpassen van responses)

• Experiment = ingrijpen in werkelijkheid

Wat zijn de voor- en nadelen van observationele studies?

• Voordeel: hoge ecologische validiteit

• Nadeel: samenhang tussen variabelen kan niet als causaal beschouwd worden
  → samenhang kan beïnvloed worden door confounders en biases (vooroordelen voor bepaalde uitkomst)

Wat voor soorten observationele studies zijn er?

• Directe observatie van gedrag in natuurlijke setting, beschrijving volgens theoretisch kader
  → soms ethisch bezwaarlijk als mensen niet weten dat ze geobserveerd worden en hier later pas achter komen

• Gesprekken (interviews) achterhalen hoe mensen tegen bepaalde zaken en (eigen) gedrag aankijken, biedt rijke inzichten in werkelijkheid
  → individueel of in groep, wel of geen vaste structuur

• Vragenlijsten (surveys) voorleggen stellingen/uitspraken waarop mensen moeten reageren, op basis van reacties kan werkelijkheid begrepen worden

Wat zijn de voor- en nadelen van experimenten?

• Voordeel: samenhang tussen variabelen kan als causaal beschouwd worden
  → effecten van variabelen kunnen geïsoleerd worden door experimentele controle

• Kan onethisch of onnatuurlijk zijn
  → door gebrek aan realisme zijn resultaten beperkt generaliseerbaar

Wat houdt experimentele controle in?

• Manipulatie van één of meer onafhankelijke variabele

• Selectie van type, meetmethode en tijd van meeting van meerdere afhankelijke variabelen

• Regulatie/constant houden van overige aspecten van omgeving en extraneous variables

Wat is een extraneous variabele?

Factor die niet focus is van onderzoek, maar indien ongecontroleerd wel uitkomsten van onderzoek kan beïnvloeden
→ wordt dan een confounding variabele
bijv. temperatuur, dag van week, interactie tussen condities/onderzoeken

Experimentele units (subjects/proefpersonen)

mensen, dieren of objecten waarbij onderzoek wordt uitgevoerd

Uitkomsten (outcomes)

gemeten (afhankelijke) variabelen om condities te kunnen vergelijken
→ minimaal 1, kan op alle meetschalen zijn

Interventie (behandeling)

actief ingrijpen in werkelijkheid door creatie van minstens twee situaties/condities

Conditie

waarde/niveau van onafhankelijke variabele

Factoren

explanatory variabelen met meerdere levels of waarden

Single-factor design

experiment met één onafhankelijke variabele/factor
→ bij multi-level design heeft deze variabele meer dan 2 levels, nodig om vorm van verband/relatie vast te stellen, keuze hiervoor is afhankelijk van…

• Onderzoeksdoel

• Persoonlijke voorkeur

• Praktische middelen

Two-factor experiment

experiment met twee onafhankelijke variabelen
→ effecten kunnen niet losstaand worden voorspeld

Wat wordt er gedaan bij een comparative experiment (vergelijkend onderzoek)?

Bestuderen van de onafhankelijke variabele conditie van interesse in experimentele groep, vergelijking van uitkomst met controlegroep met baseline conditie
bijv. actieve (experimenteel) en absente/standaard (controle) blootstelling aan factor

Wat zijn de voordelen en limitaties van comparative experiments?

• Voordeel: compenseert voor invloeden zoals het confounding placebo effect
  → behandeling/interventie wordt als positief ervaren, ongeacht daadwerkelijke effectiviteit

• Limitatie: soms niet mogelijk + enkel waardevol als experimentele en controlegroep identiek zijn op verschil in interventie na

Wat is de logica/het idee achter een experiment?

Als de onafhankelijke variabele het enige is wat verandert/varieert vóór bepalen uitkomstmaat, kunnen verschillen in uitkomstmaat enkel door onafhankelijke variabele veroorzaakt worden = causale samenhang

Experimenten houden daarom het volgende aan:

• compare

• randomize

• repeat

Wat wordt er bedoeld met compare bij experimenten?

De creatie van een onafhankelijke variabele m.b.v. manipulatie
→ units kunnen zich in verschillende omstandigheden/condities bevinden, waardoor vergelijkingen gemaakt kunnen worden

bijv. fysieke/sociale omgeving, interventie, taak, instructies/strategie, karakteristiek

Wat wordt er bedoeld met randomize bij experimenten? Wat is het voordeel?

vergelijkbaarheid van units in verschillende condities, bereikt door randomization = willekeurige toewijzing aan condities, waardoor verschillen tussen groepen enkel toe te kennen zijn aan kans

Voordeel: storende factoren worden uitgemiddeld over groepen, neemt enkel toe met groepsgrootte
→ bij handmatige matching kunnen lurking variabelen over het hoofd worden gezien

Wat wordt er bedoeld met repeat bij experimenten?

uitvoeren van meerdere metingen (bij verschillende units) van afhankelijke variabele/uitkomst na interventie

Hoe kun je units willekeurig toewijzen aan condities?

Kan m.b.v. software of random-digits tabel d.m.v.

• simpele random toewijzing

• blocking

• matched pairs design

Wat is een simpele random toewijzing (indepent/random-group design)? Wat zijn de voordelen?

Volledig willekeurige toewijzing van alle units aan de condities, metingen en vergelijkingen van uitkomsten tussen groepen
→ is succesvoller bij meer deelnemers

• Voordeel: groepen zijn vergelijkbaar over alle condities (equivalent in extraneous variables)

Wat is blocking? Wat zijn de voordelen?

willekeurige toewijzing van condities na opsplitsing units in blokken (specifieke subgroepen die bekende karakteristieken delen)
bijv. opsplitsing in man en vrouw

• Voordeel: aparte conclusies kunnen getrokken worden per subgroep
  → komt doordat uitkomsten tussen verschillende specifieke subgroepen vergeleken kunnen worden

Wat is een matched pairs design? Wat zijn de limitaties en varianten?

elke unit wordt gekoppeld aan een vergelijkbare unit (delen matching variables), waarna conditie (max. twee) willekeurig wordt toegewezen aan gematchte units
→ limitaties: vaak onpraktisch/onmogelijk, vereist extra aparte toetsing van deelnemers

• Cross-over: zelfde units kunnen beide condities volgen, waarbij volgorde verschilt

• Matched-group design: bij meer dan drie condities

Waarom is de situatie of het design van experimenteel onderzoek belangrijk?

• geeft inzicht in werking van experiment

• nodig voor constant houden van karakteristieken van deelnemers

• belangrijk om te weten voor keuze van statistische toetsing

Wat is een between-subject design? Wat zijn de voor- en nadelen?

elke unit komt in slechts één conditie terecht, waarvan uitkomstmaat één keer bepaald wordt
→ soms enige mogelijkheid bij blijvend effect na ondergaan conditie

Voordelen

• Kortere duur en kleinere belasting voor deelnemer

• Lagere kans op response bias

• Minder complex design

Nadelen

• Vereist veel deelnemers
  → neemt snel toe met aantal condities of steekproefgrootte

• Mogelijkheid tot grote individuele confounding verschillen die uitkomsten verstoren
  → kan geminimaliseerd worden met random assignment

Wat is een natural-groups design?

Vorm van correlationeel onderzoek waarbij groepstoewijzing is gebaseerd op subject variabele die niet wordt gemanipuleerd, maar waar verschillen in uitkomsten wel worden gemeten
bijv. geslacht, leeftijd, etniciteit, persoonlijkheid

Wat is een within-subject design (repeated-measure design)? Wat zijn de voor- en nadelen?

elke unit komt in dezelfde/alle conditie(s) terecht, waarbij uitkomstmaat meerdere keren bepaald wordt
→ soms enige mogelijkheid om verandering in condities te bepalen

Voordelen

• Vereist minder deelnemers/levert meer data per conditie

• Verminderde confounding doordat units met zichzelf vergeleken kunnen worden

Nadelen

• Langere duur en grotere belasting voor deelnemer

• Hogere kans op bias

• Meer complexe voorbereiding nodig voor equivalentie condities

• Kan problemen opleveren met de (volg)orde effecten van condities
  → uitkomst kan beïnvloed worden door volgorde van eerder doorlopen condities

Wat zijn verschillende voorbeelden van (volg)orde effecten bij within-subject designs?

• Progressive effects = verandering in uitkomst door accumulatie van blootstelling aan eerdere condities

  • Practice effects = prestatieverbetering door meer ervaring met taak

  • Fatigue effect = afname in prestatie door vermoeidheid/verlies van aandacht of motivatie bij herhaaldelijke blootstelling
    

• Carryover effects = directe beïnvloeding van uitkomst door huidige of eerdere conditie
  bijv. mate van zoetheid wordt bepaald door eerdere zoete dranken
  

• Sensitization = verhoogd bewustzijn/gevoeligheid voor gemanipuleerde variabele door blootstelling aan meerdere condities

Hoe kun je (volg)orde effecten controleren?

• Counterbalancing = variatie van volgorde van doorlopen condities per deelnemer

• Temporal spacing = verstrijken van tijd tussen condities om, bijv. fatigue, effecten te verminderen

Wat zijn de twee categorieën waarin within-subject designs kunnen vallen? Wat voor verschillende soorten sub-designs horen hierbij?

• Eén meting per conditie

  • All-possible-orders design of complete counterbalancing

  • Latin Square design

  • Random-selected-orders design

• Meerdere metingen per conditie
  → vaak om praktische redenen (te weinig deelnemers), om betrouwbaarheid te bepalen of generaliseerbaarheid uit te breiden (door bijv. per trial kleine aanpassingen te maken)

  • Block-randomization design

  • Reverse/ABBA-counterbalancing design

Wat is een all-possible-orders design of complete counterbalancing? Wat zijn de voor- en nadelen?

evenredige hoeveelheid deelnemers wordt toegewezen aan elke mogelijke volgorde
→ voor n condities zijn er n! (factoriaal) unieke volgorde van condities

• Voordeel: volledige counterbalancing, waarbij alle condities even vaak voorkomen met zelfde frequentie voor en na bepaalde conditie

• Nadeel: bij toename condities neemt toename vereiste deelnemers significant toe
  → gelimiteerd tot vier, maximaal vijf condities

Wat is een Latin Square Design? Wat zijn de voor- en nadelen?

n (aantal condities) × n (aantal volgordes) matrix waarbij elke conditie één keer voorkomt in elke kolom en rij
→ generatie van meerdere matrixen voor aanvullende deelnemers

• Voordeel: efficiënte counterbalancing (condities komen even vaak voor, ook voor en na bepaalde twee condities)

• Nadeel: bij oneven aantal condities moet een paar van matrixen gegenereerd worden om counterbalancing te verkrijgen

Wat is een random-selected-orders design?

Willekeurige toewijzing van een volgorde aan één deelnemer
→ wordt gebruikt wanneer aantal condities en mogelijke volgordes veel groter is dan het aantal deelnemers

Wat is een block-randomization design?

Blootstelling van deelnemers aan meerdere trial blocks die voor elke deelnemeer willekeurig bepaald is
→ bij klein aantal blocks zijn meer deelnemers nodig, bij groot aantal blocks juist minder deenemers

Wat is een reverse/ABBA-counterbalancing design? Wat zijn de voor- en nadelen?

units doorlopen condities in willekeurige volgorde een nogmaals in tegenovergestelde richting (condities hebben allen zelfde gemiddelde positie)
→ kan uitgebreid worden met meerdere willekeurige volgordes

• Nadeel: toename van sets kan bewustzijn over design & onderzoeksdoel verhogen (anticipation effects), wat uitkomst beïnvloedt

• Nadeel: non-lineaire order effects kunnen uitkomsten voor extreme (laatste) condities beïnvloeden
  bijv. smaak drankje wordt slecht beoordeeld bij latere condities, wat niet compenseert voor de counterbalancing

Wat is een double-blind onderzoek? Wat is het voordeel?

onderzoek waarbij zowel deelnemers als onderzoeker de toewijzing van condities niet weten
→ voorkomt onbewuste bias

Waarom worden steekproeven of samples van units getrokken? Waar moet hierbij opgelet worden?

Omdat de gehele populatie (groep van interesse) vaak vanwege tijd, geld en nauwkeurigheid niet in zijn geheel kan worden onderzocht

Om uitspraken te kunnen doen over de populatie (= infereence) moet steekproef representatief zijn voor alle delen van de populatie

Wat zijn de verschillende soorten sample designs gebaseerd op kans (probability samples)?

• Simple random samples

• Stratified random sampling

• Multistage random sampling

Hoe werkt een simple random sample SRS? Waar moet je op letten?

uit alle units van populatie worden enkele units volledig willekeurig geselecteerd voor steekproef, niet beïnvloed door units die al in steekproef zitten
→ let op:

• is bij grote populaties zeer complex en vereist veel complete data

• kleine subgroepen spelen mogelijk zeer kleine rol in steekproef

Hoe werkt stratified random sampling? Wat is het voordeel?

populatie wordt eerst in strata/subgroepen verdeeld, waarna units uit elke subgroep m.b.v. random sample geselecteerd worden voor steekproef

→ voordeel: meer controle over (gelijke) representatie van alle subgroepen

Hoe werkt multistage random sampling? Wat is het voordeel?

meerstapsprocedure voor zeer grote populaties, waarbij er voor elke stap een random sample wordt genomen
bijv. trekken van steekproef voor populatie van Nederland

• Opdelen in lijsten van steden & dorpen
  → afnemen simple random sample à steekproef van steden & dorpen

• Binnen getrokken steden en dorpen lijst maken van wijken
  → simple random sample nemen geeft steekproef van wijken

• Uit wijken wordt een simple random sample van units gekozen

Wat is de response rate?

Proportie van de steekproef die bruikbare data heeft opgeleverd

Wat is non-response? Waar kan dit toe leiden?

lagere deelname in sommige groepen mensen van steekproef
→ kan uitkomst vertekenen of zelfs bias veroorzaken

Wat zijn voluntary response samples? Waar moet je op letten?

Zelf-selectie van deelnemers via algemene oproep
→ vaak biased omdat bepaalde groep mensen (met bijv. sterke, negatieve mening) reageren

Wat is undercoverage?

niet meenemn van bepaalde groepen in sampling design

Wat is een response bias?

gedrag deelnemer of onderzoeker vertekent uitkomsten
bijv.  vertonen gewenst gedrag, beïnvloeding door interviewer, problemen met geheugen

Hoe kan de vraagformulering invloed hebben op de uitkomsten?

Door verwarrende of leidende vragen kan de bias in uitkomsten worden verhoogd

Wat zijn de ethische richtlijnen bij (experimentele) dataverzameling o.b.v. mensen? Hoe kunnen deze lijden?

• Controle van design door institutional review bord
  → effectiviteit kan lijden bij groot aantal aanvragen en hoge werkdruk

• Informed (informatie over aard onderzoek en mogelijke risico’s) consent (schriftelijke toestemming)
  → gedetailleerd consent form kan participatie remmen

Wat is het verschil tussen vertrouwelijkheid en anonimiteit?

Bij vertrouwelijkheid kunnen enkel onderzoekers deelnemers en hun uitkomsten identificeren
→ stapje onder anonimiteit waar identiteit van deelnemers geheel onbekend is voor de onderzoekers; maakt opvolgen onmogelijk

Wat zijn de regels omtrent observatie in de sociale en gedragswetenschappen?

Observatie zonder consent is enkel toegestaan in publieke settings

Wat is deceptie? Wat zijn de richtlijnen m.b.t deceptie?

Acterhouden van ware onderzoeksdoel om response bias te voorkomen
→ is enkel toegestaan wanneer nodig ene alle essentiële informatie op voorhand is gecommuniceerd, na onderzoek is volledige debriefing vereist

Wat zijn inferential statistical tests?

Statistische toetsen die kunnen achterhalen of resultaten voor afhankelijke numerieke variabelen statistisch signifcant zijn (niet toe te schrijven aan kans)

• T-test: statistisch significant verschil in gemiddelden van twee condities

• Analysis of variance (ANOVA): statistisch significant patroon van verschillen over gemiddelden van meerdere condities

Wat houdt externe validiteit in?

Metingen zijn generaliseerbaar naar andere situaties, methoden, perioden en populaties
→ resultaat uit experimentele context moet ook daarbuiten gelden

Wat houdt interne validiteit in?

De mate waarin juiste oorzaak-gevolg conclusies getrokken kunnen worden op basis van één onderzoek/specifieke situatie
→ is afhankelijk van experimentele opzet/ontwerp

Wat is de relatie tussen interne en externe validiteit?

hoe hoger de interne validiteit, hoe lager de externe validiteit