Raamwerk om na te denken over AI en toetsen en beoordelen
De opkomst van AI dwingt het onderwijs na te denken over een vraag die al veel langer gesteld had kunnen worden: hoe weet je eigenlijk of een lerende iets heeft geleerd? Dave Cormier heeft hiervoor een model ontwikkeld met drie samenhangende vragen als vertrekpunt voor dat gesprek.
Cormier beschrijft hoe AI het onderwijs heeft geraakt, maar volgens hem niet zozeer op het vlak van wat we moeten onderwijzen, maar op het vlak van controle. Veel toetsvormen zijn gebouwd op de aanname dat onderwijsinstellingen de informatieomgeving van lerenden kunnen beheersen. Die aanname klopt niet meer. Een lerende die een literatuurverwijzing aanlevert, heeft niet per definitie bronnen gelezen. Wie een antwoord geeft op een rekenvraag, heeft dat vraagstuk niet noodzakelijk begrepen. Wie een synopsis schrijft, heeft het artikel niet per se doorgrond. Cormier citeert daarbij Ivan Illich: “What is not scarce cannot be subjected to economic control… Education is built on the assumption that desirable knowledge is scarce.” Die schaarste bestaat niet meer.
Vanuit die vaststelling presenteert Cormier een model dat hij omschrijft als een ‘discussiecompagnon’. Deze metgezel gebruik je dan als gedeeld vertrekpunt voor gesprekken over toetsen en beoordelen op instellingsniveau. Het model bestaat uit drie vragen die met elkaar in verbinding staan en samen de kern vormen van wat hij verstaat onder verantwoorde toetsing en beoordeling.
De eerste vraag is: heeft de lerende het werk gedaan? Cormier erkent dat dit een legitieme zorg is. Niet elke docent heeft kleine groepen of de ruimte voor intensieve begeleiding. Tegelijkertijd waarschuwt hij dat een exclusieve focus op deze vraag leidt tot een surveillancegerichte benadering. Surveillance garandeert echter geen leren. Bovendien zijn veel bestaande toetsvormen gebaseerd op een technologisch landschap dat stamt uit de jaren tachtig. Dat is een landschap dat veronderstelt dat als een lerende het werk aflevert, hij het ook heeft geleerd. Dat is, aldus Cormier, een veronderstelling die nooit waterdicht was, maar nu zeker niet meer standhoudt.
De tweede vraag luidt: heeft de lerende daadwerkelijk geleerd? Dit is, zo stelt Cormier, de vraag die centraal zou moeten staan, maar in veel discussies over AI en toetsen en beoordelen nauwelijks aan bod komt. Hij verbindt deze vraag met de eerste: kwaliteitsborging in het onderwijs gaat over de relatie tussen beide. Een toets of beoordeling geeft pas voldoende zekerheid als hij zowel aantoont dat een lerende het werk zelf heeft gedaan, als dat die lerende daadwerkelijk heeft bereikt wat het leerdoel beoogde. Een overmatige focus op slechts één van beide elementen verzwakt de onderbouwing voor het behaalde resultaat. Volgens Cormier zijn beide vragen noodzakelijk en volstaat geen van beide op zichzelf.
De derde vraag voegt een dimensie toe die in discussies in relatie tot toetsen en beoordelen vaak ontbreekt: helpen we de lerende? Cormier schrijft dat elke toets/beoordeling ook een verantwoordelijkheid met zich meebrengt. Wie een lerende verplicht werk te maken, heeft de plicht om iets terug te geven dat helpt. Dat hoeft geen uitgebreide individuele feedback te zijn; het kan ook gaan om een iteratief opgebouwde opdrachtenreeks, of om gezamenlijke terugkoppeling aan een groep. De kern is dat toetsing/beoordeling niet eindigt bij het vaststellen van een uitkomst, maar bijdraagt aan het verdere leerproces. Een betrokken lerende is veel eerder bereid het werk te doen, niet omdat de lerende ertoe gedwongen wordt, maar omdat de lerende begrijpt waarom het werk ertoe doet.
Het model is opgebouwd als een Venn-diagram met drie overlappende cirkels. In het snijvlak van “heeft de lerende het gedaan?” en “heeft hij geleerd?” ligt kwaliteitsborging. Dat is de zekerheid die accreditatie-instanties vragen. In het snijvlak van “heeft hij geleerd?” en “helpen we?” ligt de pedagogisch-didactische kern van goed ontworpen toetsing/beoordeling. En in het snijvlak van alle drie bevinden zich toetsvormen die zowel controleerbaar als betekenisvol én ondersteunend zijn. Op deze manier ontstaat een kapstok voor gesprekken die op veel onderwijsinstellingen nu gevoerd worden.
Docenten kunnen AI inzetten om te controleren of lerenden hun werk doen, of om leerprocessen te ondersteunen. Maar AI is niet het vertrekpunt van de discussie. Het is, zoals Cormier het formuleert, een aanleiding om een vraag te stellen die al veel langer gesteld had kunnen worden: waarvoor is onderwijs eigenlijk bedoeld?
Mijn opmerkingen
Het model van Cormier spreekt me aan omdat het de discussie over AI en toetsen en beoordelen in relatie ziet tot het curriculum als geheel. Zodra AI ter sprake komt, verschuift het gesprek naar detectie en surveillance. Terwijl de eigenlijke vraag “Wat wil je dat een lerende leert, en hoe weet je dat?” onderbelicht blijft. Dat is een oud probleem met een nieuwe urgentie.
Het model van Cormier raakt aan wat John Biggs met constructive alignment al in de jaren negentig formuleerde: de samenhang tussen leerdoelen, leeractiviteiten en toetsen en beoordelen is van groot belang voor kwaliteit van het onderwijs. Biggs laat zien dat toetsen en beoordelen sterk stuurt in hoe zij leren. Deze sturing kan beoogde leeruitkomsten versterken of juist ondermijnen. De vraag van Cormier “have they learned?” is in wezen de lakmoesproef van alignment: meet de toets/beoordeling daadwerkelijk wat het leerdoel beoogt, of meet zij iets anders? Cormier maakt dit impliciet zichtbaar wanneer hij stelt dat een eindtoets prima kan aantonen of iemand een definitie onder druk kan reproduceren, maar tekortschiet als het doel dieper begrip of zelfstandig onderzoeken is.
Dominique Sluijsmans werkt in haar Assessment Bites een verwante gedachte verder uit: goed toetsen begint niet bij de toets zelf, maar bij een eerlijk en nieuwsgierig onderzoek naar de lerende voor wie het onderwijs is ontworpen. Zij stelt dat teams te snel redeneren vanuit aannames over een denkbeeldige gemiddelde lerende, terwijl lerenden in werkelijkheid sterk verschillen in voorkennis, taalvaardigheid, motivatie en de wereld die zij meebrengen buiten de schoolmuren. Die aannames beïnvloeden niet alleen hoe toetsen worden ontworpen, maar ook hoe resultaten worden geïnterpreteerd. Wanneer veel lerenden een vraag fout beantwoorden, is de eerste reflex vaak “ze kenden de stof niet goed genoeg”; terwijl de oorzaak net zo goed kan liggen in de formulering van de vraag, de vraagtaal, of ontbrekende voorkennis die nooit expliciet is aangeboden.
De derde vraag in Cormiers model -“are we helping?”- sluit hier ook op aan. Sluijsmans benadrukt dat toetsing niet eindigt bij het vaststellen van een uitkomst, maar onderdeel moet zijn van een leerproces. Dat vraagt om feedback die de lerende verder helpt, om toetsvormen die aansluiten bij wat lerenden al weten en kunnen, en om teams die zich actief afvragen voor welke lerende hun toetspraktijk eigenlijk goed werkt en voor welke niet.
Tegelijkertijd is het model van Cormier bewust eenvoudig gehouden, en die eenvoud heeft een prijs. De drie vragen zijn herkenbaar, maar de spanning ertussen wordt niet verder uitgewerkt. Wat doe je als “heeft de lerende het gedaan?” en “helpen we?” in de praktijk botsen? Bijvoorbeeld bij grootschalige toetsing waar individuele feedback nauwelijks realiseerbaar is. En hoe verhoud je je als instelling tot accreditatie-eisen die kwaliteitsborging sterk formaliseren, soms ten koste van pedagogisch-didactische ruimte?
De discussie in de reacties onder het artikel is ook boeiend. Stephen Downes wijst erop dat de eerste vraag -deed de lerende het werk?- eigenlijk de minst relevante is als de andere twee goed beantwoord zijn. D
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Lees het hele
artikel