Bloggers

Van Wilfred Rubens (redactie) | 24-04-2019 | | (0) reacties

Waarom we onderwijsonderzoek niet mogen vergelijken met medisch onderzoek (en de beperkingen van evidence-based onderwijsonderzoek)

Ik ken eigenlijk geen onderwijsonderzoeker die pleit voor ‘evidence-based’ onderzoek. Pleidooien hiervoor zijn veelal afkomstig uit de koker van journalisten en van niet goed geïnformeerde bestuurders. Zij maken daarbij de vergelijking met medisch onderzoek. Vandaag las ik een artikel waarin de auteurs beargumenteren waarom deze vergelijking mank gaat.

Lucinda McKnight en Andy Morgan maken zich zorgen over de trend in Australië waarbij steeds vaker gepleit wordt voor evidence-based onderzoek. In West-Europa kom je dergelijke pleidooien dus ook vaak tegen. Bij dergelijk onderzoek maak je gebruik van een controlegroep en een experimentele groep. De experimentele groep mensen met een specifiek probleem krijgt het nieuwe medicijn, de controlegroep mensen met hetzelfde specifieke probleem ontvangt het oude medicijn of een placebo. Niemand weet wie wat krijgt. De uitkomsten worden omgezet in richtlijnen voor de praktijk.

Dergelijk onderzoek is in het onderwijs niet uitvoerbaar. Als docent, onderzoeker en lerende ben je je altijd bewust van de interventies. De auteurs concluderen:

Constructing a reliable educational randomised controlled trial is highly problematic and open to bias.

Verder stellen zij:

• Dergelijk onderzoek is maar één vorm van bewijs. Op het gebied van medisch onderzoek erkent men ook andere onderzoeksresultaten (zoals ervaringskennis, casestudies en expertise op basis van interacties met patiënten). Door eenzijdig de nadruk te leggen op random gecontroleerde experimenten, bevorder je ‘kookboek onderwijs’.
• De vergelijking met medisch onderzoek kan leiden tot het geven van de voorkeur aan ‘harde’ (meetbare) resultaten. Er is minder aandacht voor ‘zachte’ (en moeilijker meetbaar) aspecten. Niet alles wat van waarde is, is ook meetbaar. Ervaren artsen weten dat zij uitkomsten van medisch onderzoek met scepsis moeten benaderen. Voor docenten is dit niet zo eenvoudig.
• Evidence-based medisch onderzoek heeft betrekking op populaties, niet op mensen. Dat kan impliceren dat individuen behandelingen krijgen die voor hen niet goed uitpakken. Je kunt namelijk niet uittesten wat elke nieuwe behandeling doet met elk individu. Volgens de auteurs weten docenten wat goed is. Zij zijn autoriteit in de klas.
• Wetenschappelijk bewijs bevordert het ontstaan van goeroe’s, wier opvattingen het onderwijs gaan domineren. McKnight en Morgan wijzen daarbij op het werk van John Hattie. Zijn uitkomsten worden als onfeilbaar gezien. Volgens de auteurs zijn er echter geen formules die altijd werken. Zij wijzen er ook op dat inzichten omtrent ‘wat werkt’ aan verandering onderhevig zijn. Bij Hattie is dat bijvoorbeeld de bevinding met betrekking tot klasgrootte (en ook over de invloed van ICT). Op het gebied van medisch onderzoek schijnt binnen vijf jaar tijd 50% van de aanbevelingen veranderd te zijn als gevolg van nieuw onderzoek.
• Op het gebied van medisch onderzoek kunnen tegenstrijdige belangen ontstaan. De industrie financiert onderzoek, maar heeft ook grote belangen bij de uitkomsten. Willen we iets dergelijks op het gebied van onderwijsonderzoek?

De auteurs stellen:

Rather than removing teacher agency and enforcing subordination to gurus and data-based cults, education needs to embrace a wide range of evidence and reinstate the teacher as the expert who decides whether or not a guideline applies to each student.

Mijn opmerkingen

• Het is inderdaad heel complex om binnen het onderwijs onderzoek uit te voeren waarbij gewerkt wordt met controle groepen en experimentele groepen. Er zijn altijd wel factoren in het spel die er toe leiden dat vraagtekens worden gesteld bij de resultaten. Ook andere vormen van onderzoek zijn waardevol.
• Je moet genuanceerd kijken naar bepaalde uitkomsten. Iemand als John Hattie doet dat zelf ook, al merk je ook dat mensen nogal eens aan de haal gaan met de effectgroottes. Zij hebben onvoldoende oog voor de toelichtingen die meer nuance bevatten. Er is grote behoefte om te weten wat werkt op het gebied van onderwijs. Tegelijkertijd is de realiteit niet zo eenvoudig.
• McKnight en Morgan merken terecht op dat bepaalde aspecten gemakkelijk te meten zijn dan anderen. Dat ontslaat ons er echter niet van expliciet te maken wat resultaten zijn en wat de impact van maatregelen zijn op ‘zachtere’ aspecten. We moeten in ieder geval niet alleen kijken naar gevolgen voor leerresultaten (en dan vooral op het gebied van taal en rekenen).
• Het is risicovol om vooral uit te gaan van de autoriteit van de docent. Docenten zijn niet onfeilbaar en lang niet altijd onbevooroordeeld.
• Deze bijdrage mag er verder niet toe leiden dat we doen alsof we niets zeker weten. Er is wel degelijk al vele jaren e.e.a. bekend over wat werkt (denk aan Mayer’s multimedia principes, aan het belang van retrieval practice of aan het activeren van voorkennis). Ook is bekend dat een flink aantal wetenswaardigheden hardnekkige mythes zijn (zoals de Learning Piramid en de stelling dat je bij de inrichting van onderwijs rekening moet houden met leerstijlen).

Nota bene: Paul Kirschner pleit voor evidence-informed onderwijs. Dat is echter iets heel anders dan evidence-based onderwijs.