Beoordelingscriteria voor een goed wetenschappelijk onderzoek, deel 1

Er zijn momenteel veel onderzoeksrapporten online beschikbaar. Deze rapporten worden opgesteld door studenten, maar ook door verschillende overheidsinstanties en onderzoeksbureaus. Bij veel van deze rapporten gaan mensen ervan uit dat ze valide en betrouwbaar zijn. Maar wat betekenen de termen zoals betrouwbaarheid en validiteit precies? En aan welke criteria moet een goed onderzoeksrapport nog meer voldoen? Hierover gaat deze blogpost. Lees ook deel 2, waarin uitgebreid verschillende hoofdstukken van een goed onderzoeksrapport worden besproken.

Heb je nog vragen of aanvullingen? Plaats dan hieronder een reactie of neem contact met mij op.

Wetenschappelijke criteria voor een goed onderzoeksrapport vanuit de literatuur

Volgens Baarda & De Goede (2011) en Verhoeven (2010) dient een adviesrapport en/of wetenschappelijke publicatie ten minste de volgende onderdelen te bevatten: een samenvatting aan het begin, gevolgd door een voorwoord, inhoudsopgave, begrippenlijst, aanleiding en inleiding, literatuurstudie, onderzoeksplan, resultaten, conclusie en discussie, aanbevelingen, literatuurlijst, en eventuele bijlagen.

Onder het hoofdstuk aanleiding en inleiding zou beschreven moeten worden wat het doel is geweest van het onderzoek en waarover het onderzoek expliciet gaat. Daarnaast moet men hierbij de probleemstelling, onderzoeksvraag en eventuele deelvragen beschrijven en tevens het begrippenkader en de relevantie of toegevoegde waarde van het onderzoek voor de wetenschap schetsen. Volgens Kuhn (1996) zijn anomalieën vaak de reden waarom een onderzoek plaatsvindt. Dit houdt in dat er verschijnselen zijn die zich voordoen in een bepaalde context die binnen het bestaande paradigma of de context niet verklaard kunnen worden. Uiteindelijk zorgen anomalieën (afwijkingen) ervoor dat er sprake is van een paradigmaverschuiving, oftewel dat er een aangepaste of nieuwe theorie ontstaat.

Nadat aanleiding en inleiding zijn beschreven, moet men een literatuurstudie weergeven. Hierin moet beschreven zijn onder welk wetenschappelijk kader het probleem valt en hoe het probleem conform bestaande studies eventueel opgelost kan worden. Hiervoor kunnen bijvoorbeeld pedagogische, psychologische, sociologische of bestuurskundige theorieën worden gebruikt. Bij het kiezen van een wetenschappelijk kader moet men kijken naar relevantie en de wetenschappelijke kwaliteit van de gebruikte theorieën (Kraemer & Perry, 1989). Daarnaast moet men de theorie goed afbakenen en meerdere theorieën met elkaar vergelijken om zo tot een grotere empirische inhoud te komen. Dit zorgt ervoor dat men meer kan generaliseren en betere uitspraken kan doen (Lakatos, 1972; Maclntyre, 1985; Bailey, 1992). Door te generaliseren kan men begrip van de dynamiek van maatschappelijke organisaties en de gevolgen daarvan voor klanten, medewerkers en de politiek verbeteren en informatie ontwikkelen ter verbetering van de praktijk en het oplossen van problemen (Bailey, 1992).

Onder het hoofdstuk onderzoeksplan moet het onderzoeksrapport en het onderzoek worden verantwoord (Bailey, 1992; Baarda & De Goede, 2011; Verhoeven, 2010). Doelstelling hiervan is om het onderzoek repliceerbaar, generaliseerbaar en overdraagbaar te maken en de keuzes van data te verantwoorden (Bailey, 1992; Stalling, 1986).

Generaliseerbaarheid houdt in dat de resultaten van een onderzoek ertoe leiden dat er uniform over organisaties of objecten gesproken kan worden. Overdraagbaarheid betekent dat resultaten van het onderzoek toegepast kunnen worden in andere soortgelijke organisaties. Repliceerbaarheid houdt verder in dat experimenten en analyses reproduceerbaar zijn. Deze onderzoekseis houdt concreet in dat een onderzoek controleerbaar moet zijn en dat het op basis van de informatie uit het onderzoeksverslag herhaald moet kunnen worden. Indien een methodologie niet aan de bovengenoemde criteria voldoet, wordt deze volgens Bailey (1992) en Stalling (1986) niet als wetenschappelijk beschouwd.

Om de keuze van data te kunnen verantwoorden, adviseren Baarda & De Goede (2011) en Verhoeven (2010) te beschrijven wat het veld van het onderzoek is geweest, welke objecten voor het onderzoek in aanmerking zijn gekomen, welke meetmethoden en statistische technieken er zijn gebruikt, hoe de onderzoeksprocedure heeft plaatsgevonden, welke analysemethoden er zijn gebruikt en hoe de gegevens uiteindelijk in de praktijk zijn verwerkt.

Naast het bovengenoemde is het van belang om te beschrijven waarom en welke variabelen er gekozen zijn om te meten en hoe de hypothesen exact geoperationaliseerd zijn. Ook moet worden geschetst in welke context het onderzoek is uitgevoerd, dus op welke locatie en welke datum. Verder moet worden vermeld hoe de follow-up van de gesprekken plaatsvond om te controleren of uitwerkingen van interviews en observaties representatief en inhoudelijk goed zijn. Bij het kiezen van variabelen moet er hierbij sprake zijn van parsimony/ zuinigheid (Ockham, 1341). Dit houdt in dat er met zo weinig mogelijk variabelen zoveel mogelijk verklarende variatie behaald moet worden.

Naast de bovengenoemde punten moet men in het onderzoeksplan beschrijven of het onderzoek betrouwbaar en valide is (Baarda & De Goede, 2011; Popper, 1953). In een onderzoek betekent betrouwbaarheid ‘de mate waarin een meting onafhankelijk is van toeval’. Wanneer de uitkomsten van een onderzoek zijn bepaald door verschillende toevallige factoren, is de betrouwbaarheid minder. Bij validiteit komen de onderzoeksresultaten overeen met de werkelijkheid van het fenomeen dat men onderzoekt. Met andere woorden: de mate waarin een test/onderzoek meet wat deze zou moeten meten.

Lakatos (1972) voegt toe dat interne consistentie ook van belang is bij een onderzoek. Dit geeft aan in hoeverre verschillende items in een meetinstrument die eenzelfde kenmerk beogen te meten, dat ook daadwerkelijk doen. Verder moeten de variabelen juiste causale verbanden met elkaar hebben volgens Humme (1988). Volgens Humme (1988) houdt causaliteit in dat objecten volgtijdig (onafgebroken) in elkaars nabijheid in verband worden gebracht. Humme (1988) stelt bovendien dat twee problemen nooit precies hetzelfde zijn.

Om betrouwbaarheid en validiteit te kunnen waarborgen, kan een onderzoeker de bevindingen aan een aantal experts of collega’s voorleggen en deze mensen vragen wat ze van de resultaten en issues vinden (Yin, 1984; Lofland, 1971). Tevens kan men hierbij gebruik maken van meerdere onderzoeksmethoden, dus van triangulatie (Kraemer & Perry, 1989).

Naast het bovengenoemde raden Lofland (1971) en Stalling (1986) aan om bias zoveel mogelijk te vermijden. De term bias heeft betrekking op de aanwezigheid van systematische fouten en op problemen met de validiteit. Bias kan ertoe leiden dat empirische gegevens onzuiver worden.

Hoe specifieker de bovengenoemde onderwerpen beschreven worden, des te wetenschappelijker worden de gegevens en des te dichter zal de onderzoeker komen bij controle op de wetenschappelijke waarheid (Bailey, 1992).

Nadat het onderzoeksplan is beschreven, moeten de resultaten van het onderzoek worden weergegeven. Hierna volgen conclusies en discussies (Baarda & De Goede, 2011; Verhoeven, 2010). De conclusies moeten met de resultaten verbonden worden en op een wetenschappelijk verantwoorde en kritische manier een antwoord geven op de oorspronkelijke vraagstelling. Ockham (1341) heeft toegevoegd dat resultaten van een onderzoek verklaard moeten worden met zo min mogelijk aannames. Ook ad-hoc aannames en persoonlijke waarnemingen moeten vermeden worden (Popper, 1953). Humme (1988) gaf daarnaast aan dat men beperkt is in waarnemingen (van inducties) en dat kennis van wetenschappers altijd een onzekere basis heeft. Daarom is het van belang om aan te geven welke tekortkomingen er zijn geconstateerd tijdens het uitvoeren van het onderzoek.

Tot slot moeten er aanbevelingen worden gegeven en hierin moet men tevens aangeven welk vervolgonderzoek er eventueel nodig is. Eventueel zou er ook een implementatieplan kunnen worden toegevoegd. De aanbevelingen moeten niet slechts een klein deelaspect van de werkelijkheid bevatten, maar generaliseerbaar zijn (Bailey, 1992). Daarnaast geeft Lofland (1971) aan dat interne consistentie van onderzoeksresultaten belangrijk is. Dit houdt in dat de aanbevelingen moeten passen bij de conclusies die zijn gegeven. Ook moeten normatieve aanbevelingen vermeden worden, dus hoe iets moet gebeuren (Popper, 1953).

Kraemer & Perry (1989) voegen toe dat aanbevelingen bruikbaar en valoriserend moeten zijn. Valoriserend wil zeggen dat de gegeven kennis in de praktijk gebruikt moet kunnen worden. Kennis is bruikbaar volgens Kraemer & Perry (1989) als deze voldoet aan de prioriteiten en behoeften van de gebruikers.

Een uitgebreid onderzoeksrapport op academisch niveau omvat natuurlijk veel meer. Voor meer gedetailleerde informatie over verschillende hoofdstukken van een goed onderzoeksrapport, klik hier.

Praktijkvoorbeeld: Onderzoeksrapport iOverheid onder de loep

ICT speelt tegenwoordig een cruciale rol bij de dienstverlening van de overheid. Naast vele voordelen, brengt informatie- en communicatietechnologie echter ook problemen met zich mee voor overheidsinstanties. Dit komt vaak doordat de overheid onvoldoende geïnformeerd is over de huidige ontwikkelingen.

Naar aanleiding hiervan is het WRR-rapport iOverheid (2011) opgesteld. Het centrale doel van dit rapport was om de overheid te adviseren over de ontwikkelingen op het gebied van communicatie- en informatietechnologieën, kortweg informalisering (iOverheid, 2011).

Het rapport iOverheid is door middel van een peer-review beoordeeld. De centrale vraagstelling van deze peer-review was: “In welke mate is het rapport iOverheid (2011) van WRR wetenschappelijk onderbouwd en wat zijn de sterke en zwakke punten van het rapport?”

Op basis van verschillende wetenschappelijke criteria (zie hierboven) is onderzocht of het rapport van WRR wetenschappelijk verantwoord is en wat eventuele sterke en zwakke punten zijn.

Het adviesrapport is voornamelijk empirisch onderbouwd en is geschreven op basis van diverse bronnen. Naast de nationale en internationale wetenschappelijke literatuur zijn eigen onderzoeken uitgevoerd door WRR gebruikt. Hiervoor zijn gesprekken gevoerd met deskundigen, beleidsmakers en uitvoerders. Bovendien is een meta-analyse uitgevoerd, waarbij 46 empirische studies zijn bestudeerd. Ook zijn er discussiebijeenkomsten georganiseerd om tot concrete aanbevelingen te komen, en is er gebruikgemaakt van een vragenlijst die is voorgelegd aan 2357 panelleden, waarvan 1485 (63%) de vragenlijst volledig hebben ingevuld. Het panel zou een representatieve steekproef uit de Nederlandse bevolking moeten vormen en de mening van de gehele Nederlandse populatie moeten vertegenwoordigen.

Het adviesrapport is echter geen direct verslag van deze empirische studies geworden, maar bouwt een redenering op aan de hand van het genoemde materiaal en de bronnen. Hierbij zijn met name de empirische ontwikkelingen in Nederland in kaart gebracht, en het rapport iOverheid bevat weinig theoretische kaders.

Bij het beoordelen van de wetenschappelijke criteria blijkt dat het rapport voldoet aan de structurele eisen van een (wetenschappelijk) rapport, zoals geformuleerd door Baarda & De Goede (2011) en Verhoeven (2010). In het rapport is een samenvatting en inhoudsopgave opgenomen, gevolgd door een voorwoord, aanleiding en inleiding, literatuurstudie, onderzoeksplan, resultaten, conclusies en discussie, aanbevelingen, literatuurlijst en bijlagen. Echter, er is geen centrale vraag geformuleerd in het adviesrapport en zijn er geen hypothesen en criteria geformuleerd om een hypothese te kunnen verwerpen of behouden. De term “iOverheid” is een vaag en breed fenomeen, en het is niet duidelijk wat WRR hiermee bedoelt.

Er is wel een heldere doelstelling opgenomen, namelijk om de overheid te adviseren over de ontwikkelingen op het gebied van communicatie- en informatietechnologieën, kortweg informalisering (iOverheid, 2011). Ook de probleemstelling is volledig beschreven, en het is duidelijk welke toegevoegde waarde het onderzoek heeft.

Naast het genoemde zijn er meerdere theoretische kaders en methoden gebruikt (triangulatie). Dit zorgt ervoor dat resultaten uit theoretische vorming generaliseerbaar zijn. De gebruikte theoretische kaders sluiten aan op de probleemstelling, en er is gebruikgemaakt van oplossingen die in overeenstemming zijn met bestaande studies.

Helaas is de interne consistentie en validiteit van de gebruikte theoretische kaders en de bijbehorende resultaten zwak. Zo zijn de verschillende theoretische kaders en bevindingen niet met elkaar in verband gebracht en vergeleken. Het zijn eerder losse stukken die de huidige situatie en de ontwikkelingen beschrijven (iOverheid, 2011, p. 8). Ook is er geen samenhang zichtbaar tussen de verschillende hoofdstukken van het rapport, omdat telkens andere voorbeelden worden gebruikt of uitspraken van cases naar voren worden gehaald met totaal verschillende contexten. Hierdoor kunnen de onderzoeksresultaten niet gerepliceerd, gegeneraliseerd en overgedragen worden. De voorbeelden komen voornamelijk uit de praktijk, en deze praktijkgerichte casussen zijn contextgebonden en uniek. Daarom zal een onderzoeker bij herhaling totaal andere resultaten verkrijgen, waardoor het moeilijk is om het rapport te controleren op wetenschappelijke waarheid.

Verder is het onduidelijk waarom bepaalde data zijn gekozen, wie voor het onderzoek in aanmerking kwam, en er zijn veel risico’s benoemd voor de overheid zonder concrete voorstellen te maken. Ook ontbreken de operationalisering van begrippen en hypothesen in het rapport. Er is geen verantwoording gegeven waarom bepaalde variabelen zijn opgenomen, en er zijn nauwelijks causale verbanden zichtbaar tussen deze variabelen. Hierbij is er ook niet voldaan aan de eis van parsimony, omdat er gebruik wordt gemaakt van heel veel cases zonder onderliggende patronen zichtbaar te maken.

Naast het genoemde komen veel biases en ad-hoc aannames voor, oftewel persoonlijke veronderstellingen van mensen. Er zijn veel aannames gemaakt, en conclusies zijn met geringe mate verbonden met de verkregen resultaten. Ook hebben de auteurs geen hoofdstuk over discussie opgenomen, waarin geconstateerde tekortkomingen van het onderzoek naar voren komen.

De valorisatie van de aanbevelingen is door het genoemde niet gewaarborgd, omdat de aanbevelingen niet echt aansluiten op de behoefte van de overheid. Daarnaast zijn de voor- en nadelen van de aanbevelingen niet tegen elkaar afgewogen, wat ervoor zorgt dat er sprake is van veel biases. Uiteindelijk is het rapport hierdoor niet rationeel onderbouwd. Dit blijkt bijvoorbeeld uit de volgende standpunt: “Transparantie en accountability van de iOverheid moeten van een duidelijk ‘adres’ worden voorzien. Er dient daarom voor burgers één platform te komen waar de transparantiefunctie invulling krijgt en één autoriteit waar de accountability wordt belegd.” De nadelen en gevolgen van deze standpunten zijn niet nader beschreven.

Veel veronderstellingen zijn verder vaag beschreven. Dit blijkt bijvoorbeeld uit de volgende zin: “De iOverheid moet over een effectief, duurzaam, maar vooral ook rechtvaardig geheugen beschikken” (iOverheid, 2011, p. 222). Het is voor een lezer niet duidelijk wat hiermee bedoeld wordt. Wat is een effectief, duurzaam en rechtvaardig geheugen?

Er moet wel een kanttekening worden gemaakt dat de resultaten van het onderzoeksrapport betrouwbaar zijn, omdat er gebruik is gemaakt van de deskundigheid van veel verschillende experts (iOverheid, 2011, p. 48). De aanbevelingen zijn ook bruikbaar, omdat deze zijn toegespitst op de praktijk.

Conclusie: Onderzoeksrapport iOverheid is voor verbetering vatbaar.

Uit de inventarisatie van het rapport iOverheid blijkt dat de structuur van het rapport een wetenschappelijk karakter heeft. De doelstelling en probleemstelling zijn duidelijk geformuleerd. Daarnaast zijn de resultaten bruikbaar en betrouwbaar, omdat er gebruik is gemaakt van input van vele experts.

Echter, de onderzoeksaanpak is niet volledig. Het onderzoek voldoet niet aan de eisen van repliceerbaarheid, generaliseerbaarheid en overdraagbaarheid. Variabelen zijn niet gedefinieerd en niet met elkaar in verband gebracht. Ook zijn er geen hypothesen geformuleerd en ontbreekt operationalisering. De validiteit is gering en er zijn veel biases en ad-hoc aannames aanwezig. Daarnaast zijn de aanbevelingen vaag en normatief geformuleerd. Verschillende bevindingen vertonen bovendien interne inconsistenties. Tot slot hebben de auteurs de geconstateerde tekortkomingen van het onderzoek niet beschreven.

De genoemde verbeteringen zijn noodzakelijk om tot een wetenschappelijk goed onderbouwd rapport te komen.

BRONNEN

Boeken:

• Verhoeven. N (2010), Onderzoeken doe je zo!
• Baarda, D.B.; De Goede, M.P.M. (2011), Basisboek Methoden en technieken
• Bailey, M.T. (1992). Do Physicists Use Case Studies? Thoughts on Public Administration Research
• Kuhn, Th. (1996) The Structure of Scientific Revolutions, University of Chicago Press
• Lakatos, I. (1972) ‘Falsification and the Methodology of Scientific Research Programmes
• Perry, J.L. (1989). Handbook of public administration.
• Popper, K. R. (1953), Conjectures and Refutations, Routledge
• Wildavsky, A. (1979), “Introduction: Analysis As Art”, in: idem; Speaking Truth to Power
• Humme, H. (1988), Masechet Teva Ha-Adam (Hebrew Edition)
• Ockham, W (1341), Ockhams Summa Logicae
• Yin, R.K.(1984), Case study research: design and methods”, Sage, Newbury Park
• Lofland, J. (1971). Analysing social settings

Artikelen:

• Rijksoverheid (2012), geraadpleegd via www.overheid.nl/zowerktdeoverheid/wievormendeoverheid/centraleoverheid
• Belastingen (2012), geraadpleegd via www.overheid.nl/zowerktdeoverheid/watdoetdeoverheid/belastingen
• WRR (2012), geraadpleegd via www.wrr.nl
• iOverheid (2011), geraadpleegd via www.wrr.nl/publicaties/rapporten/2011/03/15/ioverheid

Tags: beoordelingscriteria , wetenschappelijk onderzoek , wetenschappelijk onderzoek doen , wetenschappelijk onderzoeksbureau , onderzoeksbeoordeling , onderzoeksmethodologie , wetenschappelijke methode , onderzoeksmethoden , onderzoeksstrategie , wetenschappelijke analyse , onderzoeksresultaten , wetenschappelijke publicatie , onderzoeksevaluatie , wetenschappelijke innovatie , onderzoeksontwerp , onderzoeksprotocollen , wetenschappelijke kennisontwikkeling