IOSP HC3

QRP’s mag je doen, mits …

je goede redenen hebt en transparant rapporteert

Voorbeelden van QRP’s:

• HARKing =Hypothesizing After the Results are Known

• P-hacking:

  • Cherry picking = alleen resultaten rapporteren die significant zijn

  • Selective ommision = bepaalde resultaten die niet significant zijn, niet rapporteren

  • Data snooping = een bepaalde grootte van een steekproef hebben, zodat je resultaten significant zijn, dit komt vaak door een uitschieter

File drawer problem

een onderzoek waar de resultaten niet significant zijn of de resultaten niet overeenkomen met de hypothese worden niet gepubliceerd of zijn moeilijker te publiceren → als lezer kan je die niet lezen → publication bias

Specifeer je onderzoeksplan, dit voorkomt …

p-hacking

In je pre-registratie kan je benoemen wat voor soort onderzoek je doet: exploratief (hypothesis-generating) of conformatief (hypothesis-testing), dit voorkomt …

HARKing

Belangrijk bij resultaten interpreteren & rapporteren, is je afvragen:

• Is dat in lijn met de gevonden resultaten?

• Zou jij hetzelfde concluderen?

  Let op: baseer je nooit enkel op het abstract

Als je resultaten rapporteert, giet je ze vaak in een figuur. Dan moet je letten op:

• Of ze de resultaten zo rapporteren dat ze misleidend zijn

• Let bij grafieken vooral op hoe de y-as en de x-as is vormgegeven

Open access

Iedereen heeft toegang tot het onderzoeksartikel

Verschillende soorten fases van publicatieproces, waarbij je open acces hebt tot het onderzoeksartikel:

• Preprint

• Post-print

Preprint

onderzoek dat nog niet door het hele peer-review proces heen is geweest → kan je vaak gewoon bij

Post-print

onderzoeken die wel al helemaal door het peer-review proces zijn gegaan, staan nog niet in de vorm van het tijdschrift, het is gewoon een Word-document→ kan je gewoon bij

Altijd als je iets wil vertellen over een onderwerp aan een ander, bv in je werk mensen buiten de academische wereld of mensen uit een ander discipline, hangen de woorden die je gebruikt af van je publiek

Denk hierbij na over:

• Wat weten ze al?

• Wat vinden ze belangrijk?

• Hoe/waar bereik je hen?

Zorg dat je 1 hoofdboodschap hebt, die je wil dat je publiek onthoudt.

De laatste stap in de onderzoekscyclus is …

resultaten repliceren. Deze stap wordt vaak overgeslagen, want mensen denken: dit weten we al, maar is heel belangrijk

2 verschillende soorten replicatie:

• Directe replicatie

• Conceptuele replicatie/generalizability studies

Tijdens je pre-registratie van je replicatie moet je nadenken over …

wanneer is het resultaat gelijk genoeg om het als een geslaagde replicatie te zien? Want de kans dat je hetzelfde resultaat vindt als het originele onderzoek is heel klein

Directe replicatie

het originele onderzoek wordt zo nauw mogelijk gevolgd

Conceptuele replicatie/generalizability studies

andere methode of onder andere condities dan het originele onderzoek

Randomized controlled trials

geven aan wat voor uitkomst volgt na een bepaalde beleidsinterventie, maar binnen een bepaalde context → OPZOEKEN IN ARTIKEL

Twee typen kennisclaims

1. Over de mechanismes tussen interventie en effect

2. Over de benodigde ondersteunende factoren

Kennisclaim over de mechanismes tussen interventie en effect

Een mechanisme geeft een theoretische onderbouwing van hoe en waarom een (beleids)maatregel een zekere uitkomst zal hebben → mediatie

Kennisclaim over de benodigde ondersteunende factoren

Wat zijn de noodzakelijke randvoorwaarden? → dit is moderatie