Betrouwbaarheid en validiteit van je onderzoek

Het verschil in één beeld

Betrouwbaarheid is de mate waarin je onderzoek vrij is van toevallige fouten. Validiteit is de mate waarin het vrij is van systematische fouten (Verhoeven, 2022, p. 32). Een toevallige fout is een ruis die je niet in de hand hebt, zoals een weegschaal die net niet goed weegt. Een systematische fout trekt je uitkomst steeds dezelfde kant op, bijvoorbeeld als deelnemers bewust een ander antwoord geven.

Denk aan schoten op een schietschijf, zoals in Figuur 1.

Het beeld van de schietschijf is van ons; de begrippen komen uit Verhoeven (2022, pp. 30-32). Daarom staat er een korte verwijzing met een letter onder de figuur. Betrouwbaarheid is een voorwaarde voor validiteit: zonder de eerste geen tweede.

Interne en externe validiteit

Verhoeven (2022, p. 32) noemt drie vormen van validiteit:

• Interne validiteit: je trekt de juiste conclusies uit je gegevens.
• Begripsvaliditeit: je meet wat je wilt meten. Daarvoor moeten je vragen passen bij de begrippen uit je theoretisch kader.
• Externe validiteit: je uitkomst geldt ook voor een grotere groep of andere situaties. Met cijfers en een goede steekproef kan dat statistisch. Bij kwalitatief onderzoek ga je na of je uitkomst kan gelden voor situaties die erop lijken.

Baarda et al. (2021, pp. 31-32) geven een voorbeeld van wat misgaat. Een onderzoek met groepsgesprekken met 16 burgers en telefoongesprekken met 16 ondernemers zegt iets over hun ervaringen, maar niet over alle burgers en ondernemers in Nederland. Zeg dus precies over wie je uitkomst gaat.

Wat je doet, per methode

Interviews

• Gebruik voor iedereen dezelfde topiclijst, en neem elk interview op.
• Werk de opnames letterlijk uit.
• Laat een medestudent een deel van je codes nalopen. Overeenstemming tussen onderzoekers hoort bij betrouwbaar onderzoek (Verhoeven, 2022, p. 30).
• Ga door tot je niets nieuws meer hoort: verzadiging (Baarda et al., 2021, p. 46).

Enquête

• Maak je vragen uit je kernbegrippen, en test de lijst eerst bij een paar mensen.
• Stel neutrale vragen en houd de enquête anoniem, zodat mensen minder sociaal wenselijk antwoorden.
• Kijk of je respons groot genoeg is voor wie je iets wilt zeggen. Zie een enquête maken.

Observatie

• Werk met een vast observatieschema.
• Observeer zo mogelijk met z'n tweeën, en vergelijk wat jullie noteerden.
• Schrijf op wat je ziet, en apart wat je ervan denkt. Zie observeren als onderzoeksmethode.

Triangulatie

Bij triangulatie bekijk je je vraag met meer dan één methode of bron. Komen ze op hetzelfde uit, dan staat je uitkomst sterker. Volgens Verhoeven (2022, p. 26) verhoogt dat de betrouwbaarheid van je resultaten. Zij beschrijft een student bouwkunde die per deelvraag een andere methode gebruikte: bronnenonderzoek, observaties en interviews.

Je kunt ook verschillende groepen bevragen over hetzelfde, zoals jongeren en hun mentoren. Of je combineert kwalitatieve en kwantitatieve methoden; zie kwalitatief of kwantitatief.

In je methode en je discussie

In je methode schrijf je wat je deed om je onderzoek betrouwbaar en valide te maken: dezelfde topiclijst, opnames, een tweede codeur. In je discussie kijk je terug en noem je eerlijk waar je onderzoek grenzen heeft. Dat hoort bij goed onderzoek: je laat zien dat je weet wat je uitkomst wel en niet zegt.

Geen excuses. Een grens noemen is iets anders dan je verontschuldigen. Zeg wat de grens is, wat die betekent voor je uitkomst, en wat een volgend onderzoek kan doen.

Het verschil tussen je conclusie en je discussie lees je in conclusie en discussie.

Veelgestelde vragen