Waarom we zeer terughoudend moeten zijn in het doen van stellige uitspraken over de impact van (Gen)AI op leerresultaten
Algemene beweringen over algemene leerwinst als gevolg van AI/LLM’s lijken voorbarig. Het huidige bewijsmateriaal is onvoldoende om onderbouwde aanbevelingen voor beleid of praktijk te ondersteunen. Dat is de conclusie van de meta-meta-analyse “Effect of Artificial Intelligence on Learning” van Bartoš, Bujak, Martinková en Wagenmakers (2026), waarin 1840 effectgroottes uit 67 gepubliceerde meta-analyses over AI en leren opnieuw zijn geanalyseerd.
Opmerking vooraf: deze studie is, voor zover ik kan beoordelen, nog niet door andere onderzoekers gereviewd.
Het gaat om een meta-meta-analyse. Dat is een analyse waarbij niet losse studies worden samengevoegd, maar meta-analyses zelf. Bij een gewone meta-analyse combineer je de resultaten van individuele onderzoeken (bijvoorbeeld tien experimenten naar het effect van AI-tutoring op toetsscores) tot één gemiddelde effectgrootte. Bij een meta-meta-analyse verzamel je niet de losse experimenten, maar een reeks bestaande meta-analyses over hetzelfde onderwerp, en analyseert die als geheel opnieuw.
De auteurs gebruikten een zogenaamde Bayesiaanse model-averaging met correctie voor publicatiebias om te bepalen of de vaak positieve bevindingen in de bestaande literatuur stand houden. Funnelplots van de verzamelde effectgroottes vertonen een duidelijke scheve verdeling, en Egger-toetsen wijzen bij alle deelanalyses op een significante bias (p < .0001). Volgens het onderzoek duidt dit op onderdrukking van nulresultaten en negatieve bevindingen in de gepubliceerde literatuur: studies die weinig of geen effect vinden, komen minder vaak in meta-analyses terecht dan studies met een positieve uitkomst.
Naast de publicatiebias signaleert het onderzoek extreme heterogeniteit tussen studies. Na correctie voor publicatiebias komt het gemiddelde effect uit op SMD = 0,196 (met een fors interval), tegenover een gemiddelde ongecorrigeerde gepoolde effectgrootte van SMD = 0,67 die in de gepubliceerde literatuur domineert. Het gecorrigeerde effect is daarmee ongeveer een derde van wat vaak wordt gerapporteerd. Het voorspellingsinterval voor een nieuwe studie loopt van -1,521 tot +1,908 standaarddeviaties. Dat betekent dat een individuele studie net zo goed een sterk negatief als een sterk positief effect kan laten zien.
AI verbetert leerprestaties gemiddeld dus veel minder dan gepubliceerde meta-analyses suggereren, en de spreiding tussen studies is zo groot dat een gemiddeld effect nauwelijks houvast biedt.
De onderzoekers onderzochten ook of bepaalde factoren dit beeld kunnen verklaren. Subgroepanalyses naar type uitkomst (leerprestaties, cognitie, taal, emotie, motivatie), onderwijsveld of -niveau, en de rol van AI (als tutor, als partner of als hulpmiddel) leverden geen subgroepen op met betrouwbare, consistente effecten. Ook het onderscheid tussen studies van vóór en na de introductie van ChatGPT in januari 2023 maakte geen substantieel verschil. Dat leidt volgens de onderzoekers tot twijfel m.b.t. de stelling dat recente generatieve AI-toepassingen specifiek tot betere leerresultaten leiden.
Een andere bevinding betreft de waarde van toekomstig onderzoek binnen het huidige paradigma. Door de grote heterogeniteit zou een extra studie van oneindige omvang volgens de berekening minder dan drie waarnemingen aan effectieve informatie toevoegen. Het blijven verzamelen van meer studies van het huidige type zal de schattingen dus nauwelijks verder aanscherpen. De auteurs bepleiten in plaats daarvan grootschalig, vooraf geregistreerd onderzoek en zogenaamde registered replication reports, apart geanalyseerd van de bestaande literatuur.
Het onderzoek wijst ook op tekortkomingen in de rapportagekwaliteit van de onderliggende meta-analyses: van zeven meta-analyses konden de effectgroottes niet worden herleid. Deze bevindingen sluiten aan bij eerdere heranalyses, waaruit bleek dat opvallend positieve meta-analyses zoals die van de inmiddels teruggetrokken studie van Wang en Fan na correctie voor publicatiebias geen effect meer laten zien.
De auteurs plaatsen wel een kanttekening bij de reikwijdte van hun bevindingen: de schattingen betreffen alleen kortetermijneffecten op directe, traditionele manieren om leereffecten te meten. AI kan het onderwijs ook indirect beïnvloeden, bijvoorbeeld via metacognitie, instructie, feedback en toetsing, op manieren die deze effectgroottes niet meten. De geconstateerde nul- of gemengde effecten kunnen dus deels het gevolg zijn van een mismatch tussen wat gemeten wordt en wat AI daadwerkelijk verandert in het leerproces.
Mijn opmerkingen
Ik heb eerder kanttekeningen geplaatst bij de methodologie van onderzoekers naar de impact van (generatieve) AI op leerresultaten. Bartoš hebben een uitgebreide analyse van meta-analyses gemaakt en bevestigen publicatiebias en methodologische ruis.
Voor de Nederlandse onderwijscontext is de bevinding over heterogeniteit ook relevant. In het mbo, hbo en wo wordt AI ingezet in sterk uiteenlopende vormen -bijvoorbeeld als tutor, als schrijfhulp, of als feedbackinstrument- en in sterk uiteenlopende vakken en niveaus. Een gemiddeld effect over al die toepassingen heen zegt heel weinig.
Tegelijk is voorzichtigheid op zijn plaats bij het omgekeerde: dit onderzoek toont geen bewijs dat AI niet werkt, maar dat de huidige onderzoeksbasis te zwak is om generieke uitspraken te doen. Dat is een andere conclusie dan “AI helpt niet”. De kanttekening van de auteurs over indirecte effecten zoals op metacognitie, feedback, toetsing is ook interessant, net als de relatie met het huidige paradigma.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Lees het hele
artikel