Bloggers

Van Wilfred Rubens (redactie) | 10-06-2026 | | (0) reacties

Theorie en praktijk van de AI Assessment Schaal

Leon Furze is bekend van de AIAS, de AI Assessment Scale. In twee recente blogposts reflecteert hij op de theorie en praktijk van dit veel gebruikte instrument.

Bij de introductie van generatieve AI in het onderwijs ontstond al snel behoefte aan structuren om het gebruik te reguleren. Furze en collega’s hebben de AI Assessment Scale (AIAS) ontwikkeld als een model om het gebruik van AI bij toetsing in kaart te brengen. Dit model deelt AI-gebruik op in niveaus, variërend van geen AI-inzet tot volledige integratie. In de praktijk lopen instellingen echter tegen de grenzen van zulke schalen aan. De realiteit van het onderwijs is vaak minder uniform dan beleidsmakers aannemen. Binnen eenzelfde organisatie bestaan vaak grote verschillen: groepen lerenden en docenten maken al intensief gebruik van de technologie, terwijl anderen zich juist achtergesteld voelen. Dit zorgt volgens hem voor een spanning tussen de theoretische kaders en de dagelijkse onderwijspraktijk.

Furze poneert in de bijdrage Beyond Scales – In Theory het begrip “lethal mutations“, dat hij ontleent aan onderwijsonderzoeker Dylan Wiliam. De term staat voor evidence-based praktijken die door slechte implementatie hun werking verliezen. Furze past dit toe op de AIAS: wanneer een raamwerk breed genoeg wordt ingezet, stuit het op contexten waarvoor het niet is ontworpen. De principes raken daarbij vervormd door implementatiedruk, institutionele cultuur en sectorspecifieke beperkingen. Soms leiden aanpassingen tot een verbetering van het oorspronkelijke model. Vaker echter verliest een raamwerk zijn oorspronkelijke bedoeling zodra het breder wordt ingezet. Systemische druk reduceert een flexibel denkinstrument tot een rigide controle-instrument. Daarbij ontwikkelt de technologie zich sneller dan de kaders kunnen bijbenen, waardoor de verschuiving van handhaving naar toetsontwerp moeizamer verloopt dan beoogd.

In discussies over AI in het onderwijs ontstaan volgens hem regelmatig scherpe tweedelingen: de technologie wordt ofwel als bedreiging gezien, ofwel als universele oplossing. Volgens Furze zijn dergelijke dichotomieën zelden productief. Ze leiden af van de vraagstukken die er werkelijk toe doen. Modellen die werken met verkeerslichten of vaste schalen schieten tekort. De manier waarop een lerende met AI werkt is verstrengeld en rommelig. Lerenden gebruiken vaak meerdere AI-toepassingen tegelijkertijd voor verschillende deeltaken. Het labelen van handelingen als simpelweg ’toegestaan’ of ‘niet toegestaan’ doet geen recht aan die realiteit, schrijft hij.

Een nuttige aanvulling biedt volgens de auteur Jason Lodge van Deakin University, die wijst op de onhoudbare tweedelingen in het debat over AI en onderwijs. AI helpt ons; AI schaadt ons. Het maakt ons slimmer; het maakt ons dommer. Dergelijke tegenstellingen zijn zelden productief en leiden, aldus Lodge, af van de vraagstukken die er werkelijk toe doen.

Lodge maakt daarvoor een onderscheid tussen het acute en het chronische probleem. Het acute probleem is het probleem dat de krantenkoppen haalt: fraudeschandalen, devaluatie van diploma’s, aantasting van institutioneel vertrouwen. Het chronische probleem is minder zichtbaar maar urgenter: wat en hoe onderwijzen we eigenlijk, wat toetsen we, en welke rol speelt AI daarin? Furze constateert dat het acute probleem onevenredig veel aandacht opeist, terwijl het chronische vraagstuk onderbelicht blijft.

Lodge wijst op het “two-lanes model” als antwoord op het acute probleem in het Australische hoger onderwijs. Rijstrook één omvat beveiligde toetsmomenten zonder AI; rijstrook twee bevat al het overige. Furze beschouwt dit als een werkbare heuristiek voor de korte termijn. Tegelijkertijd constateert hij al vroeg tekenen van “lethal mutations“. Scholen in het voortgezet onderwijs gebruiken het model als rechtvaardiging voor meer centrale, bewaakt afgelegde toetsen, terwijl het nadrukkelijk voor het hoger onderwijs was bedacht. Dat is een ander gesprek, schrijft Furze.

Opmerkelijk is ook het vraagstuk van lerenden met een beperking. Wanneer toetsen zonder digitale hulpmiddelen worden afgenomen en lerenden daarvoor een redelijke aanpassing aanvragen, lopen ze het risico te worden beschuldigd van het omzeilen van de regels. Dat gebeurt volgens de auteur nu al, in zowel het hoger onderwijs als in het voortgezet onderwijs. Furze citeert Sue Sharpe, die stelt dat beperkingen geen complexiteit zijn waar we in de toekomst mee te maken krijgen, maar „een complexiteit die we gaandeweg moeten integreren“.

Bovendien verliest de fysieke scheiding van technologie haar houdbaarheid door de opkomst van draagbare AI, zoals slimme brillen. De aanname dat AI-gebruik altijd een discrete, waarneembare handeling is die losstaat van de eigen cognitie van de lerende, wordt door deze ‘wearables’ ingehaald.

Het uitsluiten van AI bij toetsing blijkt op de lange termijn onhaalbaar omdat de technologie verweven raakt met de manier waarop mensen denken en werken. Onderwijskaders en raamwerken moeten volgens Furze daarom niet worden beschouwd als permanente structuren, maar als tijdelijke steigers die moeten worden aangepast of afgebroken zodra de context verandert. Elk model kent een periode van bruikbaarheid, waarna het onvoldoende blijkt voor nieuwe technologische realiteiten. Het voortdurend testen, evalueren en herzien van deze hulpmiddelen is een inherent onderdeel van de onderwijspraktijk in een digitaliserende samenleving.

In Beyond Scales – In Practice beschrijft Furze aanpassingen van de AIAS die hij als productief beschouwt: geen “lethal” maar “beneficial mutations“. Vier instellingen illustreren elk een andere aanpak.

Saskatoon Public Schools in Canada heeft de hiërarchische structuur van de AIAS losgelaten. De vijf categorieën worden niet langer als treden op een ladder gepresenteerd, maar als parallelle opties die elk bij een ander leerdoel passen. De aanpassing hielp gesprekken te verschuiven van de binaire vraag “mag AI worden gebruikt?” naar vragen over doel, transparantie en eigenaarschap van de lerende.

Aan de University of Queensland heeft dr. Olivia Wright de AIAS ingebed in het ontwerp van toetsopdrachten;  niet als een regelstelsel, maar als een denkkader voor docenten. Lerenden werken met AI-agenten die kritisch denken en reflectie stimuleren, in plaats van antwoorden te genereren. Het team gebruikte custom GPT-tools om promptsets te ontwikkelen die het gedrag van die agenten sturen, afgestemd op de niveaus van de AIAS.

De Medical University of South Carolina (MUSC) heeft de AIAS omgevormd tot een cyclus in plaats van een lineaire schaal. De nummering is verwijderd; de terminologie is aangepast aan de institutionele context. De term “assessment” is vervangen door “task”, om ook niet-formele academische werkvormen te omvatten. Het raamwerk werd goedgekeurd door drie institutionele raden en heeft inmiddels ook andere instellingen bereikt.

Jason Gulya van Berkeley College maakte van de AIAS een reflectief instrument voor lerenden. Zij beschrijven bij elke stap van hun schrijfproces welk AIAS-niveau van toepassing was, en onderbouwen die keuze. De vraag verschuift daarmee van naleving naar eigenaarschap: heeft het AI-gebruik de eigen stem versterkt of juist verzwakt? Gulya koppelt dit aan alternatieve beoordelingsvormen waarbij lerenden competenties aantonen in plaats van producten in te leveren in ruil voor een cijfer. Hij signaleert ook een risico van procesgerichte didactiek: als je lerenden zes tussenproducten laat inleveren waar ze er voorheen één inleverden, verander je procesonderwijs in toezicht.

Jane Beckwith van Holland Hall School (Oklahoma) ontwikkelde de “AI Friction Scale“. De lineaire schaal is vervangen door een wijzerplaat. Het centrale begrip is productieve cognitieve frictie: de mate van moeite die een lerende nodig heeft om bij een bepaalde taak werkelijk iets te leren. Per niveau zijn vier secties toegevoegd: waarom deze aanpak, hoe te herkennen dat je er klaar voor bent, valkuilen en aspiratiedoelen. Beckwith maakt daarbij een nadrukkelijk onderscheid tussen productieve en onproductieve weerstand. Moeite die een lerende verder brengt is waardevol; struikelen door gebrek aan basiskennis vraagt om ondersteuning, niet om doorzetten.

Furze trekt vier conclusies uit deze voorbeelden:

1. Schalen schieten tekort om de complexiteit van AI te vatten, maar lerenden en docenten hebben iets nodig om die complexiteit hanteerbaar te maken.
2. De vraag waar AI past is context- en vakspecifiek, maar vraagt ook om consistentie binnen een instelling.
3. De productieve aanpassingen verschuiven de AIAS van een reglement naar een denkinstrument: van “wat mag?” naar “heb ik iets geleerd?”.
4. Geen enkel raamwerk kan alle complexiteit afdekken. Wat telt, is of docenten het goed genoeg begrijpen om te weten welke onderdelen ze moeten behouden en welke ze kunnen loslaten.

De aanpassingen die Furze beschrijft, zijn geen eindpunt. Ze zijn een foto van een moment dat al voorbij is. De technologie ontwikkelt zich door, en de raamwerken die vandaag bruikbaar zijn, zullen morgen weer tekortschieten.

De praktische vraag is dan ook dringender dan de theoretische: hoe help je de lerenden die nu voor je zitten om op een doordachte manier met AI om te gaan? Dat vraagstuk lossen docenten elke dag op, zonder sluitend antwoord. Of dat antwoord er ooit komt, is onzeker. Maar dat is ook voor het AI-tijdperk nooit anders geweest.

De taak is niet om raamwerken te verdedigen alsof ze de definitieve oplossing zijn. Het gaat erom te blijven bouwen, uitproberen en eerlijk te zijn over wat niet werkt.

Elk raamwerk was nuttig voor zijn tijd en niet toereikend voor wat daarna kwam. Dat is geen falen. Het is hoe dit werk gaat.

Mijn opmerkingen

Mooi om te zien hoe Leon Furze reflecteert op de theorie en praktijk van de AIAS, en hoe hij het concept “lethal mutations” gebruikt. Tegelijkertijd kan ik me de frustratie voorstellen van de docent die morgen aan de slag moet met het ontwerpen van beoordelingen in een AI-rijke omgeving.

Zoals ik ook eerder beschreef, is het vaak lastig om een scherp onderscheid te maken tussen de hogere niveaus van dit soort schalen. Het verschil tussen samenwerken met AI en innoveren met AI vraagt om nadere toelichting per opdracht. De AI-waaier van Npulse voorziet daarin omdat elk niveau een beschrijving bevat van hoe AI kan helpen en hoe een voorbeeldopdracht voor een verslag per niveau eruit kan zien.

Ik heb deze schaal beschouwd aan een denkkader, om het gesprek te voeren over het gebruik van AI bij toetsen en beoordelen. Het is een manier om transparant te zijn over AI-gebruik, ook al kiezen de samenstellers alleen voor het perspectief van de docent (zie mijn bijdrage over PETRA AI). Tegelijkertijd moet je een breder gesprek voeren: niet alleen over toetsen en beoordelen, maar over het curriculaire spinnenweb als geheel. Juist nu ‘AI’ ook gevolgen zal hebben voor beroepen en daarmee ook voor leeruitkomsten en leeroinhouden.

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.