IOSP Boek

Drie belangrijke ontwikkelingen die vooraf gingen aan de cijferwoede in de 19de eeuw:

1. We gingen standaardiseren

2. We gingen op grote schaal cijfers verzamelen

3. We gingen cijfers analyseren

We gingen standaardiseren

Om de ernst van problemen te kunnen meten, moesten duidelijke definities worden bedacht, want alleen dan kan je iets meten. Door het standaardiseren gingen we uiteindelijk dezelfde cijfertaal spreken → kunnen we alles vergelijken met elkaar

We gingen op grote schaal cijfers verzamelen

Autoriteiten gingen op grotere schaal cijfers verzamelen, zoals het aantal doden en de geboortes en volkstellingen

We gingen cijfers analyseren

Grafieken en gemiddelden werden steeds vaker gebruikt om cijfers zo uit te drukken, dat mensen ze begrepen → de hele samenleving kon er beter door begrepen worden en patronen konden worden ontdekt

Cijfers lukken het veel makkelijker om deze obstakels te overwinnen dan woorden:

• Onderbuikgevoelens

• Denkfouten

• Bepaalde belangen die mee speelden

Vijf subjectieve keuzes die gemaakt worden om een abstract concept te meten:

1. Wat je meet is bedacht

2. Wat je meet is gebaseerd op een waardeoordeel

3. Wat je meet is wat je kunt tellen

4. Wat je meet wordt uiteindelijk in één getal gevangen

5. Wat je meet is wat je erin wilt zien

Wat je meet is bedacht

Het kan fout gaan als we zo'n bedenksel als mensenrechten of religie gaan zien als iets objectiefs. We vergeten vervolgens dat we zo iets hebben bedacht en geloven dat het echt bestaat, maar dat is natuurlijk niet zo. 

Wat je meet is gebaseerd op een waardeoordeel

We meten wat we belangrijk vinden. Wat we in het westen belangrijk vinden kan heel anders zijn dan wat ze bijvoorbeeld in Afrika belangrijk vinden. Wat we meten wordt ook nog eens belangrijk, zo wordt abstract denken gemeten in je Cito toets → welke richting op de middelbare school je kan doen

Wat je meet is wat je kunt tellen

Als je iets wilt meten, heb je een hele duidelijke afbakening van een begrip nodig. Maar bepaalde zaken kun je niet tellen, daardoor zien we een groot deel van wat we proberen te onderzoeken over het hoofd.

de Wet van Goodhart: als een maatstaf een target wordt, dan

is het geen goede maatstaf meer

Wat je meet wordt uiteindelijk in één getal gevangen

Er zijn meestal, zeker met abstracte concepten, meerdere categorieën om iets te meten. Toch komt er vaak één getal uit. Dit is begrijpelijk omdat het overzichtelijk is, maar het zorgt wel voor dat je bepaalde dingen weg moet laten en je een vreemd beeld krijgt

Wat je meet is wat je erin wilt zien

Cijfers worden vaak op een manier geïnterpreteerd dat het past bij de overtuigingen of de behoefte van de gebruiker. Daardoor nemen we vaak aan dat een verband oorzakelijk is terwijl de cijfers dit niet zeggen

Als we cijfers serieus willen nemen, moeten we …

al hun beperkingen inzien en benoemen

Zes cruciale fouten die kunnen worden gemaakt bij een steekproefonderzoek:

1. De omstandigheden of vragen deugen niet

2. Het onderzoek sluit bepaalde groepen uit

3. De ondervraagde groep is te klein

4. Te weinig mensen willen meedoen

5. De onzekerheidsmarges worden over het hoofd gezien

6. De onderzoeker heeft belang bij een bepaalde uitkomst

De omstandigheden of vragen deugden niet

Omstandigheden van een interview zijn cruciaal, zeker bij een gevoelig onderwerp. Soms blijkt het dat mensen eerlijker zijn als ze zelf een vragenlijst moeten invullen, maar soms blijkt dat de interactie met een interviewer juist helpt om gevoelige informatie prijs te geven. 
Sommige vragen duwen, al dan niet moedwillig, respondenten een bepaalde kant op. Een goede vragenlijst stelt neutrale vragen

Het onderzoek sluit bepaalde groepen uit

In steekproefonderzoek gaat het niet om het aantal mensen in de steekproef, maar om de representativiteit. Steekproeven zijn vaak WEIRD. Maar onderzoeksbevindingen worden vaak wel gealgemeniseerd naar de 'mens', terwijl WEIRD-mensen sterk kunnen afwijken van andere groepen.  

WEIRD

• Western

• Educated

• Industrialized

• Rich

• Democratic

De ondervraagde groep is te klein

De grootte van een steekproef garandeert niet dat een onderzoek representatief is. Het probleem met een kleine steekproef is dat extreme resultaten veel waarschijnlijker zijn.  

Quotasteekproeven kunnen ervoor zorgen dat niemand wordt uitgesloten en dat er voldoende data wordt verzameld. Maar de denkfout bij de quotamethode is dat er wordt aangenomen, dat

mening maar door een paar (gemakkelijk te meten) factoren wordt beïnvloed, zoals je inkomen, leeftijd en gender. Maar naast deze factoren kun je ook beïnvloed worden door je persoonlijkheid, je jeugd, je toekomstdromen en je vrienden.  
De willekeurige steekproef is nog altijd de heilige graal. Door iedereen een even grote kans te geven om in het onderzoek te belanden, zou je een goede doorsnee van de bevolking moeten krijgen.  

Te weinig mensen willen meedoen

Maar aan een willekeurige steekproef zit een groot nadeel, non-respons. Dat is op zich niet erg, maar je moet wel benoemen hoe groot de non-respons was. Want als die mensen van de non-respons een heel ander antwoord geven, dan de participanten. Dan kloppen de resultaten niet meer. Door het te benoemen kan je uitrekenen wat het effect van de weigeraars zou kunnen zijn.  

De onzekerheidsmarges worden over het hoofd gezien

Slechte vragen, uitsluiting, te kleine groepen en non respons – het zijn vier redenen dat peilingen de werkelijkheid niet zo nauwkeurig weergeven als het lijkt. Ook al is alles goed gedaan, is er nog een probleem dat nooit opgelost zal worden: niet iedereen wordt bevraagd. De steekproef zal er zelden precies zo uitzien als de hele bevolking, want toeval beslist wie erin de steekproef komt.  
Om die reden kent een peiling altijd een onzekerheidsmarge. Dat geeft aan hoeveel de werkelijkheid af kan wijken van het resultaat. Hoe groter de steekproef, hoe kleiner de marge.

De onderzoeker heeft belang bij een bepaalde uitkomst

Als onderzoeker vel je altijd een moreel oordeel. Onderzoekers kiezen welk onderwerp belangrijk is, hoe ze met hun respondenten omgaan, wat ze uiteindelijk doen met de verzamelde informatie. Als een onderzoeker baat heeft bij een bepaalde uitkomst, is de kans groot dat hij het onderzoek stuurt, zodat de resultaten in zijn voordeel zijn. Ook kan de onderzoeker data weglaten of toevoegen om een bepaalde uitkomst te kijken.   

De grote uitdaging waar de wetenschap voor staat: een oorzakelijk verband afbranden is makkelijk, het bewijzen is heel lastig.

Eén studie, hoe goed uitgevoerd ook, is nooit voldoende om iets te bewijzen. Op een gegeven moment is het bewijs zo sterk dat als één studie die een tegenovergestelde uitslag geeft, de conclusie toch overeind blijft. Als onderzoekers met verschillende achtergronden, blinde vlekken en belangen hetzelfde zagen op basis van verschillende manieren van meten, data verzamelen en analyseren, is er sprake van wetenschappelijke consensus. Dat betekent niet dat 100 procent van de wetenschappers zich achter een conclusie schaart en ook niet at allen onderzoeken op hetzelfde uitkomen.

De belangrijkste fouten die gemaakt worden in het gebruik van big data:

1. Weer worden abstracte concepten in een cijfer gevat

2. De herkomst van big data kan schimmig zijn

3. Correlatie is nog altijd niet gelijk aan causaliteit

De herkomst van big data kan schimmig zijn

Algoritmes gaan op een gegeven moment zelf leren in de zin dat ze bepaalde verbanden gaan zien die wij er niet in hebben geprogrammeerd en daarop verder gaan. Op een gegeven moment kan het zo zijn dat we niet meer weten wat de algoritmes nu wel en niet meerekenen. Ook wordt het onduidelijk waar alle data vandaan komt, want als een algoritme eenmaal op een bepaald spoor zit, gaat het daarop verder. Dit betekent dat er dan data gehaald kan worden uit obscure hoeken waardoor de uitkomsten op een bepaalde onwenselijke manier gestuurd worden.

Correlatie is nog altijd niet gelijk aan causaliteit

Bij big data heb je veel last van het probleem: als je maar lang genoeg zoekt, vind je altijd wel wat. Hoe meer datapunten je namelijk hebt, hoe meer verbanden je zult vinden die significant zijn. De kredietbureaus doen ook aan voorspellen en daar liggen toevallige correlaties ook op de loer

Hoe kun je met je eigen onderbuikgevoelens rekening houden als je cijfers tegenkomt? Drie tips 

1. Maar wat voel je?

2. Klik nog een keer!

3. Accepteer onzekerheid

Maar wat voel je?

Cijfers waar jij en anderen iets bij voelen, zijn gevoelig voor misbruik, zoals seks, racisme, verslavende middelen. Het zijn onderwerpen die nauw samenhangen met je identiteit. Gevoelens horen bij ons, dus je hoeft ze niet weg te nemen. Maar als je een cijfer ziet, doe dan eerst een stap terug en vraag jezelf af: wat voel ik?  

Klik nog een keer!

Kom je een cijfer tegen, stop dan niet maar ga op onderzoekt uit. Zoek, online of offline, naar mensen die er anders tegen aankijken. Lees niet alleen artikelen die bevestigen wat je toch al dacht, maar zoek naar informatie die je je misschien ongemakkelijk, boos of wanhopig laat voelen.  

Accepteer onzekerheid

Veel cijfers die je in de krant tegenkomt, komen uit goed uitgevoerd onderzoek, maar zijn voorbarig omdat er nog meer onderzoek moet worden gedaan. Je hoeft die cijfers dan niet te negeren, want ze helpen om de wereld beter te begrijpen. Maar neem ze wel met een korreltje zout en houd er rekening mee dat er over een paar jaar misschien andere conclusies worden getrokken.  
Er is vaak veel onzekerheid in de resultaten van onderzoek. Laat zulke onzekerheid nu net iets zijn waar we psychologisch ook slecht mee om kunnen gaan.

Checklist: wat doe je als je een cijfer tegenkomt? 

1. Wie brengt het cijfer?

2. Wat voel ik?

3. Hoe is er gestandaardiseerd?

4. Hoe zijn de cijfers verzameld?

5. Hoe zijn de cijfers geanalyseerd?

6. Hoe zijn de cijfers gepresenteerd

Nog veel gemaakte fouten in de presentatie van cijfers:

• Een gemiddelde: zijn er uitschieters die het gemiddelde omlaag of omhoog kunnen trekken, dan zegt het cijfer niet veel over een doorsnee situatie 

• Een precies getal: er zijn allerlei redenen dat cijfers niet heel precies kunnen zijn. Laat je niet misleiden door schijnnauwkeurigheid 

• Een ranglijst: opeenvolgende plekken op een ranglijst verschillen regelmatig écht van elkaar, omdat er onzekerheidsmarges zijn 

• Een risico: het zegt weinig dat je x procent meer kans hebt op een bepaalde ziekte, als je niet weet waarvan die x een percentage is. Is de kans in de eerste plaats klein, dan is een toename van x procent ook klein 

• Een grafiek: een gekke verticale as kan de resultaten vertekenen. Let op dat ze niet uitgerekt of juist in elkaar gedrukt is.