Onlangs werd ik getipt door Rob van Berkel op een artikel op nieuwsvoordietisten.nl [1]. In dit artikel pleit de auteur Karine Hoenderdos voor een revival van n=1. In haar eigen woorden:
“Ik geloof in de kracht van de goed omschreven en gedocumenteerde casus, die aantoont wat het effect van voeding kan zijn. Ik wil dat de diëtisten in Nederland hier het voortouw nemen. Stel nou dat alle paramedisch werkende diëtisten ieder jaar één casus uitwerken, dan komen er duizenden casussen beschikbaar. En als elke diëtist van slechts 10 patiënten de cijfers verzamelt, dan…. Ja, dan hebben we dus toch ineens grote getallen, plus een rijke bron van informatie, ervaringen en gegevens.
Dat wordt een boost voor de voedingswetenschap, en ook voor ons eigen zelfvertrouwen én imago.”
Ik spiekte even naar de datum in de rechterbovenhoek van het schrijfsel. Was het toevallig gepubliceerd op 1 april in een voorgaand jaar? Nee, helaas. Dat was het niet.
Dit was daadwerkelijk een serieus pleidooi van een diëtist om massaal Nederlandse diëtisten casussen te laten uitwerken. Want hoe voedingsonderzoek momenteel wordt gedaan, dat gaat veel te traag schrijft ze. Grootschalige dure onderzoeken met veel proefpersonen, die het liefst jarenlang duren, dat schiet niet op dus kunnen we beter massaal casussen beschrijven.
De problemen hiermee zijn eindeloos. Laat ik daarom een vergelijking trekken tussen dit voorstel van Hoenderdos en die trage, dure studies waar ze naar verwijst.
Het antwoord op een vraagstelling
Wetenschappelijk onderzoek tracht een bepaalde vraagstelling te beantwoorden. Zo’n vraagstelling luidt in het algemeen wat het effect is van een bepaalde interventie op een bepaalde uitkomstmaat bij een bepaalde doelgroep.
Je zou je bijvoorbeeld kunnen afvragen wat het effect is van calcium- en vitamine-D-suppletie bij postmenopauzale vrouwen op de botmineraaldichtheid. En natuurlijk zul je dit dan moeten vergelijken ten opzichte van een andere interventie (dat kan ook de afwezigheid van enige interventie zijn).
Uiteindelijk wil je, in het geval van het voorbeeld, bijvoorbeeld weten of de suppletie een positief effect heeft op de botmineraaldichtheid, zodat je dit zou kunnen adviseren aan postmenopauzale vrouwen. Je wilt dus dat je onderzoek representatief is voor de zogeheten doelpopulatie: de groep mensen waarnaar je je resultaten wilt kunnen extrapoleren.
Hoe extrapoleerbaar je resultaten zijn hangt af van je onderzoeksopzet. Deze moet op een dergelijke wijze zijn opgezet dat deze een sterke externe validiteit kent. Idealiter wil je een causaal verband aantonen met interventieonderzoek.
Er moeten dus maatregelen getroffen worden om verstorende factoren te minimaliseren die, onafhankelijk van de interventie, de uitkomst weten te beïnvloeden.
Een gerandomiseerd experiment: de gouden standaard
Een geweldige maatregel om af te rekenen met deze verstorende variabelen is het randomiseren van de proefpersonen. Concreet betekent dit dat iedere deelnemer aan het onderzoek dezelfde kans heeft om in een bepaalde interventiegroep te belanden. Bij een groot genoeg aantal deelnemers heeft dit als gevolg dat je groepen bij aanvang gelijk zullen zijn. Met gelijk bedoel ik dat enige verstorende factoren ook gelijk verdeeld zijn over de groepen en daarmee elkaar opheffen.
Natuurlijk is er een kleine kans dat de randomisatie een beetje ongelukkig uitpakt, waardoor de groepen verschillen vertonen in bepaalde kenmerken die de uitkomst kunnen beïnvloeden. Dit is zeker het geval bij wat kleinschaligere onderzoeken. Er zijn ook hier weer wat maatregelen die je kunt nemen om dit te minimaliseren (in het bijzonder prestratificatie), maar ik dwaal af.
Deze kracht van randomisatie ontbreekt volledig bij casussen, je hebt immers maar één proefpersoon. En de uitkomsten die zo’n proefpersoon genereert zijn natuurlijk vatbaar voor al deze verstorende variabelen.
Stel je geeft je proefpersoon een bepaald suppletieadvies mee, nadat hij of zij bij jou heeft aangeklopt. Het kan zijn dat de proefpersoon toen ook besloot misschien wat meer te gaan sporten, wat gezonder te gaan eten, te stoppen met roken, wat vaker de alcohol te laten staan, wat meer te slapen, misschien zelfs nog wat anders te suppleren, enz. Mensen zijn lopende confoundercontainers.
Je zou natuurlijk al deze zaken als diëtist uit kunnen vragen, zodat je deze verstorende factoren kunt rapporteren in je casus. Maar dan weet je niet of de interventie tot het gemeten resultaat heeft geleid, of dat het één of meerdere van deze andere factoren waren. Nota bene heb je géén enkel zicht op de onbekende verstorende factoren. Welke factoren dit zijn? Ja, dat weet je dus niet, anders waren ze niet onbekend. Misschien heeft je proefpersoon wel een rare genetische afwijking, of verzweeg hij of zij belangrijke zaken te vermelden. Dit allemaal is iets wat randomisatie automatisch aanpakt en oplost, doordat bij een goede randomisatie (in het bijzonder bij hele grote groepen) verstorende factoren gelijkmatig verdeeld zijn over beide groepen en elkaar dus opheffen.
En hoe vaak geeft een dietist eigenlijk één interventie mee naar huis voor een noemenswaardige lange periode? Niet zo vaak. En is dat dan ook de enige interventie? Diëtisten werken vaak multidisciplinair, het wordt dan wel héél lastig om het effect van jouw interventie eruit te plukken.
Doordat je met een casus te maken hebt met al deze verstorende factoren, kunnen ze geen causaal verband aantonen en ontbreekt daardoor externe validiteit voor bijvoorbeeld een suppletieaanbeveling voor een bepaalde doelgroep.
Het belang van blinderen
Een ander krachtig onderzoeksmiddel is het zogeheten (dubbelblind) blinderen. Blinderen houdt in dat een proefpersoon niet weet welke interventie hij krijgt. Dus de proefpersoon weet niet of hij of zij bijvoorbeeld een supplement krijgt met calcium en vitamine D, of dat hij of zij een supplement krijgt met gewoon wat vulmiddel (een placebo). Dit is belangrijk, je wilt namelijk niet het placebo-effect aantonen…
Verder heb je ook nog het zogeheten dubbelblinderen.. Hierbij weet de onderzoeker ook niet welke behandeling een proefpersoon krijgt. Een onderzoeker kan namelijk ook, bewust of niet, invloed uitoefenen op de proefpersoon doordat hij of zij weet in welke interventiegroep de proefpersoon zit. Onderzoekers zijn namelijk net mensen en hebben bepaalde verwachtingen. Ze kunnen de proefpersonen (on)bewust beïnvloeden met gesprekken, maar kunnen ook bijvoorbeeld nét even anders de metingen verrichten bij de ene interventiegroep t.o.v. de andere, omdat ze toch op zoek zijn naar een bepaald resultaat.
Om dus invloed van de verwachtingen van zowel de proefpersoon als de onderzoeker teniet te doen, blindeer je beiden (mits mogelijk).
Dit is niet iets wat je kunt doen met een casus. Tenminste, je kunt in principe wel blinderen, maar wat heeft het voor zin als achteraf blijkt dat je je enige proefpersoon een placebo hebt gegeven? Je kunt het vervolgens niet echt vergelijken.
Het belang van (grote) groepen
Een belangrijke reden waarom we graag grote groepen zien bij wetenschappelijk onderzoek, is omdat het met kleine groepen moeilijk is om überhaupt een effect van een interventie aan te tonen.
Zelfs in het hypothetische geval dat je korte metten hebt weten te maken met alle verstorende variabelen, blijft er nog één ding over wat verschillen tussen je onderzoeksgroepen kan veroorzaken. En dat ene ding is simpelweg toeval. Kans.
Alle waardes van uitkomstmaten kennen in zekere zin schommelingen. Daardoor kun je door toeval verschillen tussen je onderzoeksgroepen vinden, die eigenlijk niet komen door de betreffende interventie. Je past daarom een statistische analyse toe, om te achterhalen hoe goed de verkregen uitkomsten passen bij je hypothese. Des te kleiner je groepen en des te kleiner het effect van je interventie, des te groter is de kans op een vals-negatief resultaat (denken dat er géén effect is, terwijl deze er eigenlijk wel was).
Wanneer je groep slechts uit één persoon staat, en je geen andere groep hebt om mee te vergelijken, valt er ook niks te analyseren. Als je dingen gaat meten ga je eigenlijk altijd wel een verschil vinden, ongeacht of dit door de interventie komt of niet. Als ik me vandaag weeg, en over 6 maanden weer, dan weeg ik echt niet exact hetzelfde. Als ik vandaag m’n cholesterolwaarde meet en over een paar maanden weer, dan ga je ook een verschil vinden. Zelfs als ik helemaal niks verander aan mijn leven en alles zo consistent mogelijk houd.
Sterker nog, als ik vandaag mijn cholesterolwaarde zou laten meten, en de analyse zou worden gedaan door twee verschillende laboratoria, ga je waarschijnlijk al een klein verschil vinden tussen de resultaten van beide laboratoria.
Goed onderzoek duur? Slecht onderzoek is pas duur
Of je nu als individu iets laat meten, zoals bijvoorbeeld je cholesterol, of als grote groep als onderdeel van een onderzoek, het kost allebei geld. Natuurlijk kost het voor één persoon een stuk minder dan voor honderd personen, maar je weet dan ook veel minder. Sterker nog, je weet dermate weinig dat je het geld hebt weggegooid als het gaat om wetenschappelijke vooruitgang. Wil je wat meer weten moet je dus bij een hoop casussen hetzelfde meten, en verrek, dat kost allemaal geld.
Je komt simpelweg weinig tot niets te weten met een hele hoop casussen, dus je spoelt al het geld wat dat kost direct door de plee. Ook een van de fundamenten van de wetenschap, reproduceerbaarheid, zal dramatisch zijn in het geval van casussen. Dat is al een heel dingetje bij goed opgezet onderzoek. Dus enige replicatie van casussen is ook weggegooid geld.
Wie gaat er duizenden casussen lezen?
Het is ergens te zot voor woorden dat ik dit moet uittypen. Maar als je dus straks duizenden diëtisten zou hebben, die allen allemaal casussen de literatuur in slingeren, en je wilt daar iets aan hebben. Dan moet je ze dus ook nog eens gaan lezen. Een casus heeft een enorme overhead aan informatie. Daar waar je bij een RCT met een tiental pagina’s een overzicht hebt van de kenmerken van de onderzoekspopulatie, de interventie en de uitkomsten van wellicht honderden tot duizenden proefpersonen, zul je nu duizenden pagina’s moeten doorspitten voor dezelfde informatie over hetzelfde aantal deelnemers gerapporteerd in casussen.
Daarbij komt dat je onderling casussen zult willen vergelijken, dus iemand zal die data moeten aggregeren. En de data die daar dan uitrolt is dan eigenlijk een onderzoek met meerdere proefpersonen. Maar dan ontzettend slecht opgezet…
Casussen zijn totaal ongeschikt voor veel vraagstellingen
Nu zijn casussen zelfs voor de meest simpele vraagstellingen al allerminst ideaal. Maar wat te denken van bijvoorbeeld wat het effect is van
Minder tijd voor de patiënt
Als je diëtisten allemaal casussen laat opstellen, dan kost dat tijd. En die tijd moet ergens vandaan komen. Daar waar die grote onderzoeken worden geleid door een team van wetenschappers die de data verzamelen, analyseren, neerpennen en publiceren, is dat nu dus de diëtist. Dat lijkt me absoluut niet wenselijk. Ook vraag ik me af in hoeverre diëtisten getraind zijn om dit te doen, het is namelijk nogal een vak apart. Je zult ze dus moeten bijscholen, wat eveneens weer tijd kost.
Referenties
- https://www.nieuwsvoordietisten.nl/nieuws/nieuws/article/n-1/