HC 2 - kwantitatieve onderzoeksdesigns

Wat zijn twee soorten externe validiteit?

1. Generaliseren naar de populatie

2. Generaliseren naar andere contexten (ecologische validiteit)

Wat is ecologische validiteit?

Kun je je resultaat generaliseren naar een andere maar toch nog enigszins vergelijkbare context?

Naar welke twee aspecten kijk je bij de externe validiteit?

1. Representativiteit van de steekproef
   -Lijkt steekproef op groep waarover je uitspraak wil doen?

2. Generaliseerbaarheid van de resultaten
   -Gelden resultaten steekproef ook voor de grotere populatie?

Hoe weet je of jouw steekproef representatief is?

Vergelijk je steekproef met de grotere populatie

Via bijv. Centraal Bureau voor de Statistiek, RIVM, regiobeeld.nl

Evalueer op basis van gevonden data jouw steekproef kritisc

Hoort bij de externe validiteit

Van welke drie aspecten is de generaliseerbaarheid afhankelijk?

1. Representativiteit

2. Grootte van de steekproef

3. Randomisering van de steekproef

Hoort bij de externe validiteit

Wat is interne validiteit?

In hoeverre je er zeker van kan zijn dat een vastgestelde oorzaak-gevolgrelatie niet door andere factoren kan worden verklaard

Bij een hoge interne validiteit is het aannemelijk dat de gevonden relatie echt aanwezig is (en dat er geen derde/andere variabelen in het spel zijn)

Wat zijn drie alternatieve factoren bij de interne validiteit?

1. Mediator

2. Moderator

3. Confounder

Wat is een mediator?

Een deel of de hele relatie tussen X en Y wordt veroorzaakt door iets anders

Wat is een moderator?

Wordt niet door X veroorzaakt en heeft ook geen rechtstreekse relatie met Y, maar geeft een andere variabele die de relatie tussen X en Y beïnvloedt

Wat is een confounder?

Veroorzaakt een fictieve relatie tussen X en Y omdat de confounder beide beïnvloedt

Wat zijn elf validiteitsbedreigers?

1. Kenmerken van de onderzoeksdeelnemers (selection bias)

2. Experimentele sterfte (mortaliteit)

3. Locatie/omstandigheden

4. Instrumentatie

5. Kenmerken van de dataverzamelaar

6. Testing

7. Geschiedenis/speciale gebeurtenis

8. Rijping/maturatie

9. Houding van de proefpersonen

10. Regressie naar het gemiddelde

11. Implementatie problemen

Wat is de validiteitsbedreiger: kenmerken van de onderzoeksdeelnemers?

Selection bias

Wie zit er uiteindelijk in je onderzoek

Niet alle groepen zijn even geneigd om bijv. een vragenlijst in te vullen

Wat is de validiteitsbedreiger: experimentele sterfte?

Mortaliteit

Deelnemers vallen gedurende je onderzoek uit

Random uitval is geen probleem, maar selectieve uitval wel: dan houd je aan het einde geen representatieve steekproef meer over

Wat is de validiteitsbedreiger: locatie/omstandigheden?

Bijv. niet op alle scholen kan je digitale vragenlijsten afnemen, als je voor één school afwijkt zijn niet overal meer de omstandigheden hetzelfde

Wat is de validiteitsbedreiger: instrumentatie?

Als er verschillende interpretaties mogelijk zijn van een meetinstrument, zoals observatieformulieren die je heel open in kan vullen

Wat is de validiteitsbedreiger: kenmerken van de dataverzamelaar?

Bijv. een interviewer die het interview afneemt bepaalt hoe de vragen worden gesteld, daar zit veel verschil in tussen mensen

Standaardreacties en training kan helpen

Wat is de validiteitsbedreiger: testing?

Mensen leren door het maken van de voortoets en gedragen zich daardoor bij de nameting anders, je hebt op de voormeting opgestoken hoe iets werkt

Controlegroep zonder interventie of een deel wel en een deel niet een voortoets laten maken kan helpen

Wat is de validiteitsbedreiger: geschiedenis/speciale gebeurtenis?

Speciale gebeurtenissen kunnen invloed hebben op het onderzoek

Zoals data verzameld op scholen in de week van Sinterklaas

Wat is de validiteitsbedreiger: rijping/maturatie?

Maturation, iemand ontwikkelt zich automatisch al

Iets gebeurt van nature, niet door de interventie

Wat is de validiteitsbedreiger: houding van de proefpersonen?

Hawthorne effect: de proefpersonen gaan zich anders gedragen door de aandacht van de onderzoeker (zegt bijv. dat fel licht of juist dim licht helpt om beter te werken, in beide gevallen positief effect interventie)

John Henry effect: je gaat je anders gedragen doordat je in de controlegroep zit, soort bewijzen dat jij ook hard werkt zonder dat licht

Hierom niet weten of je in de controlegroep zit of uitgestelde interventies

Wat is de validiteitsbedreiger: regressie naar het gemiddelde?

Het kan soms lijken alsof je interventie heeft gewerkt, maar eigenlijk is er sprake van regressie naar het gemiddelde: als je uiterste scores krijgt op een pre-test dan is de kans veel groter dat er op de post-test meer gemiddelde scores uitkomen, die kans is groter dan weer uiterste scores

Hiervoor kijk je op pre-test en post-test hoe de scores zijn verdeeld

Wat is de validiteitsbedreiger: implementatie problemen?

De interventie die je wil onderzoeken is niet overal even goed geïmplementeerd

Effect is niet alleen van de interventie maar ook effect van hoe goed deze is geïmplementeerd

Niet elke leerkracht volgt even trouw de instructies op van de nieuwe lesmethode

Wat is correlationeel onderzoek?

Onderzoek naar relaties tussen variabelen zonder manipulatie

Doel is het vinden van samenhang

Wat zijn de vuistregels voor correlaties?

Correlaties > 0.85 zijn heel sterk

Correlaties < 0.35 worden vaak niet echt informatief geacht

Correlaties vanaf > 0.50 ook al goed

Kan je niets met een correlatie < 0.35?

In pedagogisch/onderwijskundig onderzoek spelen zoveel factoren mee dat hoge correlaties niet vaak worden gevonden

En heel veel is ook niet beïnvloedbaar, dus als je een kleine positieve relatie hebt gevonden kan dit in de praktijk alsnog een manier zijn om een leerling te helpen

Welke interne validiteitsbedreigers spelen niet bij correlationeel onderzoek?

Geen interventie, dus geen

• Rijping

• Regressie naar het gemiddelde

• Implementatie problemen

Wat is vergelijkend onderzoek?

Ook een vorm van associatief onderzoek (ook wel comparatief onderzoek(

Zoekt naar een oorzaak voor of gevolgen/consequenties van verschillen tussen bestaande groepen

In boek causaal-vergelijkend onderzoek genoemd, maar je kan geen causale relatie hiermee aantonen

Vaak 1 meetmoment, analyse via T-test en variantieanalyse

Waar staat de stippellijn voor?

Het zijn bestaande groepen, geen toewijzing aan de condities

Wat zijn vuistregels bij vergelijkend onderzoek?

Vergelijk minimaal twee groepen die verschillen op een kenmerk

Per groep minimaal 30 proefpersonen

Wat is de grootste bedreiging voor de interne validiteit bij vergelijkend onderzoek?

Kenmerken van de onderzoeksdeelnemers

Mogelijke oplossingen zijn:

1. Mechanisch matchen

2. Homogene subgroepen maken

3. Statistisch matchen

Verschillende manieren om te matchen, je wil bijv. iemand met bepaalde kenmerken koppelen aan iemand in de andere groep met dezelfde kenmerken, om die twee te vergelijken op iets

Wat zijn drie overeenkomsten tussen correlationeel en vergelijkend onderzoek? En een duidelijk verschil?

Overeenkomsten:

1. Kwantitatieve onderzoeksmethoden

2. Onderzoeken van verbanden

3. Geen manipulatie van variabelen, uitspraken over causaliteit zeer beperkt mogelijk

Verschil:

• Correlationeel onderzoek: verband tussen twee of meer continue variabelen

• Vergelijkend onderzoek: verband tussen twee of meer variabelen, waarvan minstens één categorisch (vergelijken groepen)