14 Mar

Verhogen van betrouwbaarheid, validiteit en repliceerbaarheid van een onderzoek

In mijn vorige blogpost heb ik de criteria behandeld die essentieel zijn voor zowel wetenschappelijk onderzoek als scripties binnen het HBO- en WO-onderwijs. Je kunt hier klikken om deel 2 te lezen.

In deze blog wil ik dieper ingaan op hoe je de betrouwbaarheid, validiteit en repliceerbaarheid van je onderzoek kunt vergroten, met meer details, tips en tricks. Aangezien dit de belangrijkste aspecten van een goed onderzoek zijn, worden met name deze drie criteria in deze blog uitvoerig besproken. De tips en adviezen die ik in deze blog geef zijn bruikbaar als je streeft naar een goed onderzoek en naar betere resultaten van hogere kwaliteit.


Het verhogen van de betrouwbaarheid, validiteit en repliceerbaarheid van een onderzoek

Uitleg van de belangrijkste criteria van een goed onderzoek

Laten we bij het begin beginnen. Betrouwbaarheid, validiteit en repliceerbaarheid zijn fundamentele begrippen binnen de methodologie van onderzoek. Ze zijn essentieel om de kwaliteit en geloofwaardigheid van onderzoeksresultaten te waarborgen. Maar wat betekenen ze eigenlijk?

  • Betrouwbaarheid: Betrouwbaarheid verwijst naar de consistentie en stabiliteit van meetresultaten bij herhaalde metingen onder dezelfde omstandigheden. Een betrouwbare meting produceert dus consistent vergelijkbare resultaten wanneer hetzelfde fenomeen wordt gemeten onder vergelijkbare omstandigheden. Een betrouwbaar instrument of meetmethode levert consequent dezelfde resultaten op bij herhaalde metingen, waardoor onderzoekers kunnen vertrouwen op de nauwkeurigheid en consistentie van hun gegevens. Met andere woorden, als iemand uw studie wil repliceren, moet uw onderzoeksrapport voldoende informatie bevatten om dit mogelijk te maken en vergelijkbare bevindingen te verkrijgen als uw eigen studie. Klik hier voor meer details over betrouwbaarheid.
  • Validiteit: Validiteit verwijst naar de mate waarin een meetinstrument of test daadwerkelijk meet wat het beoogt te meten. Het gaat erom of een instrument effectief het concept of de variabele meet waarop het bedoeld is van toepassing te zijn. Validiteit houdt in dat de meting zinvol is en daadwerkelijk representatief is voor het concept dat wordt onderzocht. Een valide meetinstrument zal nauwkeurig en betrouwbaar informatie verschaffen over de variabelen waarop het gericht is.
  • Repliceerbaarheid verwijst naar de mogelijkheid om een onderzoek of experiment opnieuw uit te voeren volgens dezelfde methodologie en procedures, maar met nieuwe gegevens of in een andere setting. Als de resultaten van het herhaalde onderzoek vergelijkbaar zijn met de oorspronkelijke bevindingen, versterkt dit de betrouwbaarheid en geloofwaardigheid van de oorspronkelijke studie, omdat het aantoont dat de resultaten niet toevallig waren en reproduceerbaar zijn in verschillende omstandigheden.
    • Het is belangrijk om repliceerbaarheid niet te verwarren met reproduceerbaarheid. Het verschil tussen reproduceerbaarheid en repliceerbaarheid van een onderzoek ligt in de benadering van data: reproduceerbaarheid houdt in dat dezelfde resultaten worden verkregen wanneer bestaande data opnieuw worden geanalyseerd, terwijl repliceerbaarheid betekent dat hetzelfde onderzoek opnieuw kan worden uitgevoerd met nieuwe data, resulterend in dezelfde uitkomsten.
      • Reproduceerbaarheid en repliceerbaarheid creëren vooral meerwaarde voor wetenschappelijke studies door de betrouwbaarheid en geloofwaardigheid van de resultaten te versterken, waardoor andere onderzoekers de bevindingen kunnen valideren en verder kunnen bouwen op bestaand onderzoek. Daarnaast dragen beide bij aan het waarborgen van de geldigheid van wetenschappelijke bevindingen en het versterken van de geloofwaardigheid van onderzoek.
    • Tips die hieronder worden gegeven voor repliceerbaarheid kunnen overigens ook worden gebruikt voor reproduceerbaarheid.

Geconcludeerd, betrouwbaarheid richt zich op de consistentie van metingen, validiteit op de nauwkeurigheid en representativiteit van metingen, en repliceerbaarheid op de herhaalbaarheid van onderzoeksresultaten. Deze concepten zijn van vitaal belang voor het waarborgen van de geloofwaardigheid en geldigheid van wetenschappelijk onderzoek.

Nu we weten wat deze termen betekenen, gaan we bekijken hoe je betrouwbaarheid, validiteit en repliceerbaarheid  tijdens je onderzoek kunt vergroten.


Fundamenteel onderzoek en technisch onderzoek

Voordat de aanpak wordt besproken, is het belangrijk om te weten dat er verschillende methodologieën zijn om onderzoek uit te voeren, namelijk fundamenteel onderzoek en technisch onderzoek. Bij fundamenteel onderzoek richten we ons voornamelijk op deskresearch en veldonderzoek, terwijl bij technisch onderzoek de nadruk ligt op datagedreven methodologieën die vaak verbonden zijn met computers. Voorbeelden hiervan zijn business intelligence, kunstmatige intelligentie en quantum computing, die worden gebruikt om bijvoorbeeld trendonderzoek uit te voeren met behulp van predictive analytics. Voor meer informatie hierover klik hier.

Kwalitatief onderzoek en kwantitatief onderzoek

Het is verder van belang om bewust te zijn dat er over het algemeen twee benaderingen zijn om betrouwbaarheid, validiteit en repliceerbaarheid te vergroten: kwalitatief en kwantitatief.

  • Kwalitatief onderzoek richt zich op het begrijpen van complexe fenomenen door diepgaande exploratie en analyse van kwalitatieve gegevens uit te voeren. Denk aan meningen en attitudes, vaak verzameld via methoden zoals interviews en observaties.
  • Kwantitatief onderzoek daarentegen richt zich op het verzamelen en analyseren van numerieke gegevens om patronen, relaties of trends te identificeren, meestal via gestandaardiseerde enquêtes of observaties, met behulp van statistische methoden voor analyse. Kwantitatief onderzoek maakt verder veel gebruik van wiskundige gegevens, waarbij conclusies vaak worden afgeleid met behulp van programma’s zoals SPSS. Om meer te leren over het SPSS-programma en kwantitatieve methoden, verwijs ik graag naar het boek van Martijn de Goede & En de Baarda, getiteld “Basisboek Statistiek met SPSS“. Indien gewenst, meer verschillen tussen kwalitatief en kwantitatief onderzoek kan je hier lezen.

In de praktijk combineren zeer professionele onderzoekers vaak beide benaderingen, afhankelijk van de onderzoeksvraag en het doel van de studie, wat bekend staat als mixed methods-onderzoek, oftewel ook vaak als triangulatie aangeduid.

In deze blog richten we ons niet op deze kwantitatieve methoden, maar kijken we neer naar de manieren om kwalitatief resultaten te verbeteren. Voordat we inhoudelijk gaan hebben over kwalitatief onderzoek, is het belangrijk om de basisprincipes van een onderzoek wat verder toe te lichten.


Hoofdvraag of hypothese

Er zijn over het algemeen twee benaderingen om een onderzoek uit te voeren, wat dus het startpunt van een onderzoek vormt.

  1. De eerste benadering is het formuleren van een hoofdvraag, onderzoeksvraag, algemene vraag, ontwerpvraag of in sommige gevallen een managementvraag. Qua richting voor een onderzoek, betekenen ze in essentie hetzelfde. Het doel hierbij is dan om een specifieke vraag te beantwoorden met bijbehorende deelvragen.
  2. De tweede benadering is werken met hypotheses. Hierbij wordt vanuit bestaande onderzoeken, theorieën of toekomstveronderstellingen aangenomen dat bepaalde resultaten zullen optreden, zonder dat daar direct bewijs voor is. Voor meer informatie over het opstellen en testen van hypothesen, klik hier.

Ongeacht of je nu een hoofdvraag (ontwerpvraag) kiest of hypotheses formuleert, blijft de aanpak voor het onderzoek vrijwel hetzelfde. Bij het uitwerken van een onderzoeksvraag richt je je vooral op het vinden van oplossingen voor een probleem, terwijl bij het testen van hypotheses centraal staat om te verifiëren of de aannames kloppen, ja of nee. Ondanks deze verschillen blijft de basisaanpak in ieder geval vrijwel identiek en dus gelijk.

Zowel bij het formuleren van een hoofdvraag als hypothesen is het cruciaal om bepaalde terminologieën, zoals gewenste effecten, goed meetbaar te maken door belangrijke termen zoveel mogelijk te operationaliseren.


Operationaliseren van begrippen

Het operationaliseren van een begrip is het proces waarbij een abstract concept wordt vertaald naar concrete en meetbare variabelen, zodat het gebruikt kan worden in onderzoek of experimenten. Met andere woorden, het betekent het definiëren van het begrip op een manier die het mogelijk maakt om het te meten of te observeren. Deze stap is essentieel omdat het onderzoekers in staat stelt om objectief en systematisch data te verzamelen en te analyseren.

Door begrippen te operationaliseren, maak je je onderzoek ook meer valide, omdat je meet wat er beoogd wordt om te meten. Met andere woorden, door abstracte begrippen om te zetten in concrete meetbare variabelen, vergroot je de nauwkeurigheid en betrouwbaarheid van je onderzoeksresultaten. Dit helpt om de geldigheid van je conclusies te versterken, omdat je daadwerkelijk de aspecten onderzoekt die relevant zijn voor je onderzoeksvraag of hypothese. Meer informatie over het operationaliseren van begrippen kan je hier lezen.

Van heldere doelstellingen en requirements, tot bewezen oplossingen

Het is verder van groot belang dat je ervoor gaat zorgen de doelstellingen van je project/onderzoek in begin goed beschreven zijn. Beschrijf dus heel duidelijk wat je gaat ontwikkelen, of het nu een proof of concept, product of service prototype is. Definieer ook de requirements (eisen) waaraan je oplossing moet voldoen in begin van je onderzoek al, mogelijk gebruikmakend van de Moscow-methode. Deze eisen moeten worden ingedeeld in criteria voor haalbaarheid, levensvatbaarheid en levensduur, en moeten vanaf het begin duidelijk worden gedefinieerd, beschreven, gemotiveerd en waar nodig meetbaar worden gemaakt.

Hoe de requirements zijn getest, moet duidelijk worden uiteengezet in zowel de methodologie als in de resultaten en het implementatieplan. Aan het einde van je project moet je in staat zijn om te bewijzen in hoeverre je gekozen prototype of proof of concept/oplossing daadwerkelijk aan deze eisen voldoet en welk effect het heeft op de oorspronkelijke doelstellingen van je scriptie of onderzoeksrapport.

Meer informatie over requirements (klik hier) en het vastleggen van een goed onderzoeksrapport kan je hier lezen.


Betrouwbaarheid, validiteit en repliceerbaarheid vergroten

Betrouwbaarheid vergroten

Om de betrouwbaarheid van een onderzoek te vergroten, is het van essentieel belang om verschillende strategieën toe te passen, zoals het nauwkeurig definiëren van de onderzoeksvraag. Deze stap helpt bij het vaststellen van de focus en relevantie van het onderzoek. Daarnaast is het cruciaal om de onderzoeksmethoden zorgvuldig te ontwerpen, waardoor wordt gewaarborgd dat ze meten wat beoogd wordt (validiteit) en dat herhaling van het onderzoek consistent resultaten oplevert (betrouwbaarheid). Een andere belangrijke stap is het zorgvuldig selecteren van respondenten om een representatieve steekproef te waarborgen die de gehele populatie weerspiegelt. Het gebruik van gestandaardiseerde meetinstrumenten draagt bij aan consistentie in dataverzameling. Bovendien is het van belang om onderzoekers en interviewers te trainen om menselijke fouten te minimaliseren. Het uitvoeren van een pilotstudie kan helpen bij het testen en indien nodig aanpassen van de onderzoeksmethoden. Het documenteren van alle stappen van het onderzoek draagt bij aan transparantie en repliceerbaarheid van het proces. Het systematisch analyseren van data met behulp van gevalideerde statistische methoden is ook van groot belang. Het is tevens essentieel om te controleren op meetfouten en deze waar mogelijk te corrigeren. Ten slotte is het van waarde om kritisch te reflecteren op persoonlijke vooroordelen en mogelijke invloeden daarvan op het onderzoek.

  • Overdraagbaarheid
    • Lincoln en Guba (1985, p. 217) stellen dat een onderzoeker niet kan bepalen of de bevindingen overdraagbaar zijn naar een andere context, omdat hij niet weet waar ze zullen worden toegepast. Daarom is het belangrijk dat de onderzoeker gedetailleerde informatie verstrekt over de onderzochte context, zodat anderen kunnen beoordelen of de bevindingen bruikbaar zijn in hun eigen context. Dit kan bereikt worden door gebruik te maken van een rijke beschrijving.
      • Een rijke beschrijving, ook wel “thick description” genoemd, biedt gedetailleerde verslagen van ervaringen, waarbij culturele en sociale interacties in context worden geplaatst. Dit stelt de lezer in staat om zich in te leven in de beschreven situatie en deze te vergelijken met zijn eigen ervaringen. Door bijvoorbeeld citaten en contextuele informatie op te nemen, kan de overdraagbaarheid van het verhaal worden vergroot. Kortom, een rijke beschrijving vertelt een verhaal dat de lezer kan herkennen en begrijpen in verschillende situaties (Tracy, 2010).
  • Klik hier voor meer details over het verhogen van betrouwbaarheid.

Repliceerbaarheid vergroten

Om de repliceerbaarheid van een onderzoek te vergroten, zijn er verschillende strategieën die kunnen worden toegepast, zoals het gedetailleerd beschrijven van de onderzoeksmethoden, waardoor anderen in staat worden gesteld het onderzoek nauwkeurig te herhalen. Het is ook van cruciaal belang om een heldere en uitgebreide documentatie van alle onderzoeksstappen te verstrekken, waardoor transparantie wordt bevorderd. Het gebruik van gestandaardiseerde procedures draagt bij aan consistentie in het onderzoek. Het delen van ruwe data en het ter beschikking stellen van code en algoritmes, met name bij het gebruik van computationele methoden, vergemakkelijkt verdere replicatie en analyse door anderen. Het uitvoeren van pilotstudies biedt de mogelijkheid om de methoden te testen en te verfijnen voordat het eigenlijke onderzoek wordt uitgevoerd. Transparantie in data-analyse is essentieel, waarbij het belangrijk is om duidelijk te communiceren hoe de data worden geanalyseerd en geïnterpreteerd. Het aanmoedigen van anderen om het onderzoek te repliceren en het publiceren van de resultaten draagt bij aan de geloofwaardigheid van de bevindingen. Het gebruik van checklists kan helpen om ervoor te zorgen dat alle noodzakelijke informatie wordt vermeld en dat geen essentiële stappen worden overgeslagen. Bovendien is het belangrijk om open te staan voor feedback en peer review, wat de kwaliteit van het onderzoek kan verbeteren door verschillende perspectieven en inzichten te integreren.


Validiteit verhogen

Om de validiteit van je onderzoek te verhogen, zijn er verschillende strategieën die je kunt overwegen. Ten eerste is het belangrijk om een heldere onderzoeksvraag te formuleren (zie hierboven). Een duidelijk gedefinieerde vraag helpt bij het richten van je onderzoek en het verhogen van de validiteit. Vervolgens is het essentieel om de juiste onderzoeksmethoden te kiezen die goed aansluiten bij je onderzoeksvraag. Deze methoden dragen bij aan de validiteit van je onderzoek. Het gebruik van gevalideerde meetinstrumenten is ook van groot belang. Instrumenten die al eerder zijn getest en gevalideerd, zorgen voor meer valide resultaten. Het uitvoeren van een pilotstudie kan ook bijdragen aan het verhogen van de validiteit van je onderzoek. Door je methoden vooraf te testen, kun je eventuele problemen opsporen en aanpassen. Daarnaast is het cruciaal om je onderzoeksteam goed te trainen, zodat iedereen weet hoe ze de methoden correct moeten toepassen. Het controleren op meetfouten en deze corrigeren is ook een belangrijke stap om de validiteit te waarborgen. Identificeer en corrigeer fouten in je meetproces om de validiteit van je onderzoek te waarborgen. Verder kan het toepassen van triangulatie waardevol zijn. Door meerdere methoden of data bronnen te gebruiken, kun je je bevindingen bevestigen. Het is ook van belang om transparantie in je onderzoeksproces te garanderen. Documenteer alle stappen zodat je onderzoek reproduceerbaar is. Reflectie op persoonlijke bias is een cruciale stap. Wees je bewust van persoonlijke vooroordelen die de validiteit kunnen beïnvloeden. Ten slotte is het belangrijk om rekening te houden met externe validiteit. Overweeg hoe je resultaten generaliseerbaar zijn naar andere situaties of populaties.

  • Controle variabelen gebruiken en termen operationaliseren
    • Maak gebruik van zoveel mogelijk controlevariabelen om nauwkeurig te meten wat je beoogt te meten. Controlevariabelen kunnen onder andere leeftijd, geslacht, regio of beroep van een persoon omvatten, dus specifieke kenmerken van je doelgroepen. Daarom is het van groot belang om aan het begin van je onderzoek zeer gedetailleerd te beschrijven wie je doelgroep is, bijvoorbeeld door gebruik te maken van een Persona. Meer informatie over controlevariabelen kan je hier lezen.
    • Verder is het belangrijk om belangrijke termen te operationaliseren. Meer informatie over het operationaliseren van begrippen vind je hier. Tot slot is het essentieel om voor bevestigbaarheid te zorgen. Hoe je dat kunt doen, is hieronder uitgewerkt.

Meer tips & tricks

Om het effect van een prototype of oplossing te meten en een betrouwbaar en valide onderzoek uit te voeren, zijn er diverse stappen en methoden beschikbaar die kunnen worden toegepast:

  • Zorg ervoor dat er een testplan, ook wel bekend als een experiment plan, is opgenomen als bijlage. Dit plan biedt een gedetailleerde beschrijving van de tests en experimenten die zullen worden uitgevoerd, inclusief de opzet, procedures en meetinstrumenten die worden gebruikt. Zie hieronder voor meer informatie hierover.
  • Daarnaast is het belangrijk om een overzicht van gestelde vragen, ook wel topiclijsten genoemd, toe te voegen als bijlage. Deze lijsten geven inzicht in de vragen die zijn gesteld tijdens interviews of enquêtes, en helpen bij het interpreteren van de verzamelde gegevens. Ook is het raadzaam om interviewverslagen als bijlage op te nemen ter onderbouwing van je verhaal in je scriptie of onderzoek. Deze verslagen bieden gedetailleerde informatie over de gesprekken die zijn gevoerd en de antwoorden die zijn verkregen, waardoor de lezer een dieper inzicht krijgt in de verzamelde data en de conclusies die worden getrokken.
  • Neem, indien mogelijk, een korte vragenlijst af om feedback te verzamelen over het prototype van de doelgroep en andere belanghebbenden. Een gestructureerde vragenlijst biedt een georganiseerde methode om feedback te verzamelen. Deze vragenlijst moet gericht zijn op specifieke aspecten van het prototype en moet kort genoeg zijn om de respondenten niet te belasten, maar toch voldoende diepgang hebben om waardevolle inzichten te verkrijgen.
  • Definieer duidelijk de variabelen en meetbare aspecten van het prototype/oplossing, zoals eerder vermeld. Dit noemen we operationaliseren van begrippen/effecten. Zorg dus ervoor dat belangrijke termen meetbaar zijn door ze te operationaliseren en test deze vervolgens in de praktijk.
  • Valideer resultaten door te kijken in hoeverre de oplossing voldoet aan criteria van wenselijkheid, haalbaarheid en levensvatbaarheid. Deze criteria moeten zoals eerder vermeld, in het begin van het onderzoek worden benoemd en hierna getest. Hierbij wordt gekeken of het prototype/oplossing niet alleen aansluit bij de behoeften en wensen van de doelgroepen, maar ook bijvoorbeeld technisch en financieel haalbaar is.
  • Voer tests uit bij de doelgroepen of maak gebruik van tussenpersonen, contactpersonen, of eindverantwoordelijken die in direct contact staan met de doelgroep als directe tests niet mogelijk zijn. Zij hebben vaak inzicht in de wensen en kunnen de bevindingen van het onderzoek bevestigen. Als dit niet mogelijk is, benader dan experts om resultaten te valideren.
    • Directe tests met de doelgroep bieden natuurlijk de meest accurate feedback, maar als dit niet haalbaar is, kunnen tussenpersonen zoals vertegenwoordigers of zelfs experts op het gebied worden ingeschakeld om inzichten te verzamelen vanuit het perspectief van de doelgroep.
  • Soms kan zelfs één vraag voldoende zijn, zoals bijvoorbeeld bij de Net Promoter Score (NPS): Hierbij wordt klanttevredenheid en effectiviteit gemeten door middel van een enkele vraag met een toelichting, zoals “Hoe waarschijnlijk is het dat u ons zou aanbevelen aan een vriend of collega?” Dit kan een snelle en effectieve manier zijn om waardevolle inzichten te verkrijgen.
  • Blijf doorvragen tijdens een onderzoek, en werk met een combinatie van gesloten en open vragen. Gesloten vragen helpen bij het vastleggen van cijfermatige bevindingen, zoals ratings op een schaal van 1 tot 10. Terwijl open vragen inzicht geven in de redenen achter de antwoorden en meer diepgaande feedback mogelijk maken. Bijvoorbeeld, na het beoordelen van de bruikbaarheid van het prototype/oplossing met een gesloten vraag, kan worden gevraagd naar specifieke aspecten die goed of slecht werden ervaren met open vragen.
    • Gesloten vragen stellen helpt je verder om concrete cijfers te krijgen die je bevindingen beter kunnen vastleggen. Bijvoorbeeld, je kunt vragen: “Hoeveel procent van de mensen vindt het product goed?” Dit geeft je een duidelijk numeriek antwoord. Aan de andere kant stellen open vragen je in staat om meer diepgaande inzichten te krijgen door respondenten de ruimte te geven om hun gedachten uitgebreid uit te leggen. Bijvoorbeeld, je zou kunnen vragen: “Waarom vindt u het product goed?” Dit opent de deur voor gedetailleerde verklaringen en biedt meer context achter de antwoorden.
  • Overweeg het gebruik van een AB-test om verschillende versies van het prototype/oplossing te vergelijken en de voorkeur van de doelgroep te bepalen: Een AB-test is een experimentele methode waarbij twee verschillende versies van het prototype/oplossing worden getoond aan vergelijkbare doelgroepen, waarna de voorkeur van de doelgroep wordt gemeten. Dit kan bijvoorbeeld worden gedaan door het oude prototype/situatie te vergelijken met het nieuwe prototype/situatie en te kijken welke beter wordt ontvangen door de doelgroep.
  • Stel neutrale vragen en vraag respondenten om hun antwoorden te motiveren om onbevooroordeelde feedback te krijgen. Neutrale vragen stellen, zoals “Wat vindt u van het prototype?” in plaats van “Vindt u dat het product een positief effect zal hebben?” helpt om eerlijke en onbevooroordeelde feedback te krijgen. Het vragen naar de motivatie achter de antwoorden helpt ook om dieper inzicht te krijgen in de gedachten en voorkeuren van de respondenten.
  • Vermijd het toevoegen van persoonlijke percepties en meningen aan de vragenlijst om een betrouwbaar onderzoeksresultaat te verkrijgen: Het is belangrijk om de vragenlijst objectief te houden en geen persoonlijke voorkeuren of meningen toe te voegen die de resultaten kunnen beïnvloeden. Dit zorgt voor een zuiverder beeld van de percepties en voorkeuren van de doelgroep en draagt bij aan de validiteit van het onderzoek. Deze aanpak verhoogt ook de kwaliteit van je bewijs. Voor meer informatie over het verbeteren van de kwaliteit van je bewijs, zie hieronder.
  • Indien mogelijk, laat hetzelfde experiment uitvoeren door verschillende teamleden of collega’s en vergelijk de verzamelde data. Dit vereist een heldere audit trail (zie hieronder), inclusief duidelijke instructies en beschrijvingen van de toegepaste techniek tijdens het experiment, zodat een collega-onderzoeker het onderzoek opnieuw kan uitvoeren.
  • Om je conclusies te versterken, kun je langdurige observaties of experimenten uitvoeren om over een langere periode gegevens te verzamelen. Door bijvoorbeeld langdurig in de onderzoeksetting aanwezig te zijn, kun je de cultuur, context, sociale omgeving en het bestudeerde fenomeen beter begrijpen (prolonged engagement). Dit kan resulteren in meer vertrouwen en openheid bij de respondenten, waardoor zij informatie delen die anders niet beschikbaar zou zijn. Bovendien biedt langdurige observatie verschillende perspectieven op het fenomeen, waardoor een breder inzicht wordt verkregen. Dit levert een uitgebreidere scope op voor het onderzoek. Door aanhoudende observatie (persistent observation) kan een beter begrip worden verkregen van welke kenmerken het meest relevant zijn voor het onderzoek, waardoor meer diepgang wordt toegevoegd.

Resultaten bevestigen, bevestigbaarheid

Voor een goed onderzoek wordt geadviseerd om de resultaten te laten bevestigen, ook bekend als bevestigbaarheid. Lincoln en Guba (1985) hebben in kwalitatief onderzoek de bevestigbaarheid (neutraliteit) gedefinieerd als de mate van neutraliteit van de onderzoeker. Dit verwijst naar in hoeverre de vooroordelen, motivatie en interesses van de onderzoeker de resultaten hebben beïnvloed. Bevestigbaarheid (confirmability) in kwalitatief onderzoek komt overeen met objectiviteit (objectivity) in kwantitatief onderzoek (Bryman & Bell, 2007, pp. 40-43).

Er zijn diverse methoden om de bevestigbaarheid van een onderzoek te verzekeren, zoals een bevestigbaarheidsaudit (audittrail), triangulatie en reflexiviteit.

  • Bevestigbaarheidsaudit (Audittrail): Een audittrail is een gedetailleerde procesbeschrijving van de methodologische stappen die zijn genomen tijdens het onderzoek. Het omvat een omschrijving van alle handelingen, inclusief het verzamelen, opschonen en synthetiseren van ruwe data, procesaantekeningen, een reflectieverslag, teamrolverdeling, respondentenkeuze en tussentijdse aantekeningen. Het doel is om de aannames en perspectieven achter de analyse duidelijk te maken (Malterud, 2001).
    • Soms worden er ook onderzoeksaudit ingezet om betrouwbaarheid vast te stellen. Dit houdt in dat een externe partij het onderzoeksproces en de gegevensanalyse beoordeelt om te verzekeren dat de bevindingen consistent zijn en reproduceerbaar zijn. Een dergelijke externe audit bevordert de nauwkeurigheid en validiteit van het onderzoek door tussentijdse resultaten en het proces kritisch te beoordelen, wat kan leiden tot aanpassingen in de onderzoeksopzet en extra dataverzameling voor sterkere resultaten en een duidelijkere rapportage.
  • Triangulatie: Dit omvat het gebruik van meerdere onderzoeksmethoden, databronnen of theoretische perspectieven om de betrouwbaarheid en validiteit van de bevindingen te vergroten door verschillende invalshoeken te combineren.
    • Maak dus gebruik van diverse methoden en bronnen om het effect van het prototype/oplossing te evalueren en te verifiëren. Dit omvat zowel kwantitatieve als kwalitatieve benaderingen en het verzamelen van feedback van diverse stakeholders zoals gebruikers, experts en belanghebbenden. Door triangulatie toe te passen, kunnen onderzoekers laten zien dat de bevindingen van het onderzoek geloofwaardig zijn en de nauwkeurigheid ervan verifiëren.
  • Reflexiviteit: Een proces waarbij de onderzoeker bewust nadenkt over zijn of haar rol, achtergrond en mogelijke invloed op het onderzoek, om eventuele vooroordelen te identificeren en te minimaliseren.

Het is ook belangrijk om te vermijden om aannames te maken bij het beschrijven van onderzoeksresultaten. Daarom is het van belang om de resultaten te motiveren en bronnen overal te vermelden.

Soms is het niet mogelijk om de hele populatie, oftewel alle doelgroepen, te betrekken bij je onderzoek. In dergelijke gevallen kun je gebruikmaken van methoden zoals steekproeftrekking, triangulatie en audit (Finfgeld-Connett, 2010) om generalisatie te bevorderen.


Experiment plan / testplan

Om de repliceerbaarheid en betrouwbaarheid van je onderzoek te waarborgen, is het van groot belang om een experiment plan bij te houden, soms ook een testplan genoemd. In dit plan worden de belangrijkste bevindingen en inzichten samengevat, en worden de uitkomsten hiervan beknopt in het hoofddocument besproken. Het experiment plan zelf wordt vaak toegevoegd als bijlage, ter ondersteuning en onderbouwing van de bevindingen.

Een experiment plan dient als een gedetailleerde blauwdruk van je onderzoeksopzet, inclusief de methodologie, procedures, variabelen en verwachte resultaten. Het nauwkeurig documenteren van je experiment plan bevordert niet alleen de consistentie en betrouwbaarheid van je onderzoek, maar maakt ook de replicatie ervan door andere onderzoekers mogelijk, wat essentieel is voor de validiteit van wetenschappelijke bevindingen. Je kan hier lezen waaruit een experiment plan kan bestaan, en hoe je een experiment plan kan opnemen in bijlage van je onderzoek ter onderbouwing van je conclusies die je in hoofd document van je onderzoek beschrijft.

Let op: het is altijd essentieel om voor elke hypothese/deelvraag een apart experiment plan als bijlage op te nemen, aangezien de aanpak en uitwerking per onderdeel vaak verschillen en tot andere resultaten kunnen leiden.


Kwaliteit van het bewijs verhogen

De betrouwbaarheid van het bewijs is van essentieel belang bij elk onderzoek. De betrouwbaarheid van het bewijs bepaalt immers de geloofwaardigheid ervan bij het ondersteunen of weerleggen van een hypothese of onderzoeksvraag. Bovendien draagt meer bewijs bij aan een grotere betrouwbaarheid en helpt het om aan te tonen dat het onderzoek valide is, oftewel dat het meet wat het beoogt te meten. Als een onderzoeker is het belangrijk dat je zoveel mogelijk sterk bewijs verzameld en het verantwoord ook in je onderzoek wat je resultaten zo sterk maken. We praten ook vaak in termen van ‘’ betrouwbaarheid van het bewijs’’.

  • Het verzamelen van veel sterk bewijs verhoogt uiteindelijk de kwaliteit van je bewijs. Een sterk bewijs komt van echte gebeurtenissen en onpartijdige observaties. Zwak bewijs ontstaat echter vaak door sociale druk of externe invloeden op deelnemers tijdens onderzoek, wat vraagt om voorzichtigheid bij het beschouwen ervan als bewijs. Voor meer informatie over de verschillen tussen een sterk en zwak bewijs en tips voor een sterk bewijs, klik hier.

Vaak zien we ook dat er nu discussies worden gevoerd dat data in artificial intelligence programma’s niet betrouwbaar zijn. Dit heeft ook te maken met sterke bewijzen die als data als input dienen om zo kwaliteit van output te waarborgen.


BRONNEN

De volgende boeken hebben bijgedragen aan het schrijven van de bovengenoemde blog:


Hieronder zijn (extra) bronnen opgenomen die je kunt raadplegen om de kwaliteit van je onderzoek te verhogen:


Tags: beoordelingscriteria , wetenschappelijk onderzoek , wetenschappelijk onderzoek doen , wetenschappelijk onderzoeksbureau , onderzoeksbeoordeling , onderzoeksmethodologie , wetenschappelijke methode , onderzoeksmethoden , onderzoeksstrategie , wetenschappelijke analyse , onderzoeksresultaten , wetenschappelijke publicatie , onderzoeksevaluatie , wetenschappelijke innovatie , onderzoeksontwerp , onderzoeksprotocollen , wetenschappelijke kennisontwikkeling, experimentplan, testen, testplannen, verantwoording onderzoek.

Leave A Reply

Your email address will not be published. Required fields are marked *