HC 3 - kwantitatieve onderzoeksdesigns 2

Wat is experimenteel onderzoek?

De enige vorm van onderzoek die variabelen probeert te manipuleren en hypotheses van oorzaak-gevolg relaties kan testen

Twee groepen: experimentele groep en controlegroep

Metingen om het effect van de interventie te zien

Hoe ziet de controlegroep er in pedagogisch/onderwijskundig onderzoek uit?

Business as usual-groep

Er gebeurt niet niets in die groep, bijv. een klas krijgt nog steeds les, maar niet met de interventie die je test

Soms hierdoor niet controlegroep en experimentele groep maar conditie 1 en conditie 2

Wat zijn onafhankelijke variabelen en afhankelijke variabelen?

Onafhankelijke variabelen:

• Independent/experimentele variabele/treatment

• De oorzaak van veranderingen

• Deze variabele wordt gemanipuleerd

• Bijv. lesmethodes, toetsing, instructie

Afhankelijke variabelen:

• Dependent/criterium/uitkomst variabele

• Het gevolg, de waarde verandert als gevolg van de gemanipuleerde onafhankelijke variabele

• Bijv. leerprestaties, motivatie, houding

Wat zijn twee soorten experimenteel onderzoek?

1. Zwakke experimentele studies

   -Geen ingebouwde controles tegen interne validiteitsbedreigers

   -Geen randomisering

2. Sterke (echte) experimentele designs

   -Randomisering én controleert voor interne validiteitsbedreigers

Wat zijn drie vormen van zwakke experimentele designs?

1. One shot case study

2. One-group pretest-posttest design

3. Static-group comparison design

Wat is een one shot case study?

Alleen een treatment en een posttest

Meest simpele model van zwakke experimentele designs. Vaak ingezet voor attitudeverandering

Zwak experimenteel design

Wat is een one-group pretest-posttest design?

Een pretest, treatment en een posttest

One shot case study + een pretest

Zwak experimenteel design

Wat is een static-group comparison design?

Quasi experiment

Niet aselecte toewijzing, één group krijgt treatment en de andere groep niet, beide een posttest

Zwak experimenteel design

Maar het verschil kan al komen door de verschillen tussen deze groepen

Wat is een voordeel en een nadeel van zwakke experimentele designs?

Voordeel: goed toepasbaar in de praktijk

Nadeel: grotere kans op interne validiteitsbedreigers
Onder controle te houden door:
-Constant houden van variabelen (kenmerken van de deelnemers homogener maken)
-Matching (uit beide groepen leerlingen met gelijke kenmerken vergelijken)

Wat zijn drie voorwaarden voor goede randomisatie?

Randomisatie is een kenmerk van een sterk experimenteel design

1. Voorafgaand aan experiment

2. Gecontroleerd door de onderzoeker

3. Met als resultaat: equivalente groepen

Wat zijn vijf soorten sterke experimentele designs?

1. Randomized posttest-only control group design

2. Randomized pretest-posttest control group design

3. Randomized Solomon four-group design

4. Randomized posttest-only control group design, using matched subjects

5. Randomized pretest-posttest control group design, using matched subjects

Wat is randomized posttest-only control group design?

Random toewijzing, een interventie en een posttest

Geen pretest, maar wel een sterk experimenteel design, omdat je groepen al vergelijkbaar horen te zijn door random toewijzing

Sterk experimenteel design

Wat is een randomized pretest-posttest control group design?

Random toewijzing (doorgetrokken streep), voormeting, twee condities (controlegroep en experimentele groep), nameting

Sterk experimenteel design

Gouden standaard van experimenteel onderzoek

Maar je hebt nog steeds een voormeting en dus testing effect

Wat is een randomized Solomon four-group design?

Eigenlijk zowel een randomized posttest-only control group design als een randomized pretest-posttest control group design

Random toewijzing in vier groepen, twee van de vier groepen een pretest, van die beide groepen 1 interventie en 1 controle, allemaal een natest

Sterk experimenteel design

Maar je hebt een grote steekproef nodig hiervoor

Wat is een randomized posttest-only control group design, using matched subjects?

Matching, random toewijzing, posttest en geen voormeting, experimentele groep en controlegroep. Maar je zegt van tevoren al dat je in de twee groepen twee mensen matcht die bijv. al een gelijke score haalden op een eerdere toets die sowieso werd afgenomen

Wat is een randomized pretest-posttest control group design, using matched subjects?

Matching, random toewijzing, posttest en pretest, experimentele groep en controlegroep. Je matcht mensen met gelijke kenmerken

Met welke drie aspecten houd je rekening bij het kiezen van een design?

1. Doel van je onderzoek

2. Tijd en geld

3. Steekproefgrootte

Wat zijn vier beperkingen aan experimenteel onderzoek?

1. Generaliseerbaarheid

2. Ethische overwegingen

3. Tijd

4. Kosten

Welke drie interne validiteitsbedreigers spelen geen/een hele kleine rol bij experimenteel onderzoek? En op welke drie moet je juist wel letten?

Geen last van:

1. Kenmerken van de onderzoeksdeelnemers

2. Testing

3. Rijping

Wel letten op:

1. Implementatie

2. Houding van de proefpersonen

3. Mortaliteit

Wat zijn acht kenmerken van single subject onderzoek?

1. Gericht op een individu / hele kleine groep

2. Doelgerichte steekproef

3. Intensieve dataverzameling

4. Evaluatie van interventie

5. Time-series design

6. Bestaat uit verschillende fases
   -A = baseline fase (observeren, nog geen interventie)
   -B = interventie fase

7. Meerdere designs mogelijk, afhankelijk van tijd en ernst van problematiek

8. Op zoek naar trends

Wat zijn zes soorten single subject designs?

1. A-B design

2. A-B-A design

3. A-B-A-B design

4. B-A-B design

5. A-B-C-B design

6. Multiple base line design

A = baseline fase

B = interventie fase

C = alternatieve interventie fase (of gedeeltelijke interventie)

Wat is een multiple base line design?

Een single subject design gericht op verschillende typen gedrag

Interventie begint per type gedrag op ander moment

Welke drie interne validiteitsbedreigers spelen geen/een hele kleine rol bij een single subject design? En op welke drie moet je juist wel letten?

Geen last van:

1. Kenmerken van de onderzoeksdeelnemers

2. Testing

3. Geschiedenis/speciale gebeurtenis

Wel letten op:

1. Kenmerken van de dataverzamelaar

2. Houding van de proefpersoon (Hawthorne-effect)

3. Implementatie problemen

Wat zijn drie kenmerken van de survey methode?

1. Informatie wordt verzameld bij een groep mensen om de populatie op een bepaald aspect te kunnen beschrijven

2. Informatie wordt verzameld via het stellen van vragen

3. Op papier/digitaal (vragenlijst) of mondeling (interview)

Het is onderzoek naar meningen, gedrag en attitudes

Wat zijn twee soorten surveys?

1. Cross-sectioneel
   -Op één moment
   -Om een indruk te krijgen van de situatie op dat moment

2. Longitudinaal
   -Meerdere momenten
   -Op zoek naar (eventuele) veranderingen over de tijd

Wat zijn drie soorten onderzoek bij longitudinaal onderzoek?

1. Trendonderzoek
   -Dezelfde informatie
   -Verschillende meetmomenten
   -Verschillende equivalenten groepen
   -Veranderende populatie
   -Bijv. een steekproef van GMW docenten, de populatie verandert een klein beetje, die zijn wel equivalent omdat ze behoren tot de groep GMW docenten

2. Cohortonderzoek
   -Dezelfde informatie
   -Verschillende meetmomenten
   -Verschillende equivalente groepen
   -Niet-veranderende populatie
   -Bijv. een jaarlijkse meting bij een steekproef uit dezelfde jaargroep studenten die zijn gestart in een bepaald jaar

3. Panelonderzoek
   -Dezelfde informatie
   -Verschillende meetmomenten
   -Dezelfde personen
   -Bijv. een meting bij een specifieke groep binnen de PW studenten, elk jaar echt dezelfde personen

Wat zijn de vier grootste validiteitsbedreigers bij survey onderzoek?

1. Mortaliteit

2. Locatie/omstandigheden

3. Geschiedenis/speciale gebeurtenis

4. Instrumentatie

Wat zijn twee problemen bij survey onderzoek?

1. Non-respons

2. Selectiebias