Als een AI-tutor rekening houdt met de zone van naaste ontwikkeling
Het gebruik van AI-tutors leidt er lang niet altijd toe dat lerenden ook daadwerkelijk goed leren omdat ze lerenden antwoorden aanreiken in plaats van hen te begeleiden bij het denken. Onderzoek van de University of Pennsylvania laat zien dat de volgorde van de oefeningen die een AI-tutor weleens van belang kan zijn.
Jill Barshay doet verslag van dit onderzoek in het artikel “The Quest to Build a Better AI Tutor”. Het onderzoek richtte zich op bijna 800 Taiwanese middelbare scholieren die buiten schooltijd Python leerden programmeren via een AI-tutor. Alle lerenden gebruikten dezelfde chatbot, die zo was ingericht dat hij geen antwoorden prijsgaf. Het verschil tussen twee groepen lerenden had te maken met de opbouw van de oefeningen. De ene groep doorliep een vaste reeks, oplopend in moeilijkheidsgraad. De andere groep kreeg een gepersonaliseerde volgorde: een afzonderlijk machine-learningalgoritme analyseerde voortdurend hoe de lerende omging met de oefenvragen, hoe vaak code werd aangepast en hoe de gesprekken met de chatbot verliepen. Op basis daarvan bepaalde het systeem welke oefening als volgende werd aangeboden.
Dit principe is gebaseerd op Vygotsky’s concept van de “zone van naaste ontwikkeling”: oefeningen die te makkelijk zijn vervelen, oefeningen die te moeilijk zijn frustreren. Het doel is volgens Barshay om lerenden precies in dat tussengebied te houden waarbij ze worden uitgedaagd zonder overweldigd te raken. Lerenden in de gepersonaliseerde groep scoorden beter op de afsluitende toets. De onderzoekers vertaalden dit verschil naar het equivalent van zes tot negen maanden extra schooltijd, hoewel de bedenker van de AI-tutor, Angel Chung , zelf aangeeft dat deze omrekening niet nauwkeurig is.
Overigens bleek dat lerenden in de gepersonaliseerde groep ook meer tijd aan de oefeningen besteedden: gemiddeld zo’n drie minuten extra per opgave, wat per module neerkwam op een uur meer oefentijd dan bij de vergelijkingsgroep. De onderzoekers schrijven de betere resultaten mede toe aan deze hogere inzet.
Chung wijst erop dat een chatbot als ChatGPT al snel persoonlijk aanvoelt omdat hij reageert op de specifieke vragen van de lerende. Maar dat niveau van personalisatie is volgens haar onvoldoende: lerenden weten doorgaans niet wat ze niet weten, en zijn daardoor niet in staat de juiste vragen te stellen. Personalisatie gaat dus verder dan het aanpassen van uitleg; het gaat om het aanpassen van het leerpad zelf.
Dat idee is niet nieuw. Al vóór het tijdperk van generatieve AI ontwikkelden onderwijsonderzoekers zogeheten “intelligent tutoring systems” die iets vergelijkbaars probeerden: inschatten wat een lerende al beheerste en op basis daarvan de volgende oefening aanbieden. Die systemen konden geen natuurlijke gesprekken voeren, maar boden wel hints en directe feedback. Goed ontworpen versies bleken aantoonbaar effectief. Hun zwakste punt was dat veel lerenden ze niet gebruikten. Huidige AI-tools zouden dat probleem kunnen verkleinen, doordat een converserende chatbot laagdrempeliger aanvoelt.
Toch kent ook dit onderzoek beperkingen. De Taiwanese lerenden namen vrijwillig deel aan een keuzecursus die hun kansen op toelating tot de universiteit kon verbeteren. Velen hadden hoogopgeleide ouders en al enige programmeerervaring. Lerenden die geen kennis van Python hadden profiteerden meer van de gepersonaliseerde aanpak dan lerenden met voorkennis; die deden het met de vaste reeks even goed. Lerenden van scholen met een lager aanzien leken meer baat te hebben bij de gepersonaliseerde aanpak. Of de aanpak even goed werkt voor minder gemotiveerde of verder achteropgeraakte lerenden, is niet bekend.
Mijn opmerkingen
Jill Barshay plaatst terecht kritische opmerkingen bij de generaliseerbaarheid van dit onderzoek. Het gaat om een vrij specifieke context. Toch zijn de uitkomsten van waarde omdat ze ook aansluiten bij eerder uitgevoerd onderzoek van de universiteit van Harvard waaruit ook bleek dat een zorgvuldig ontworpen AI-tutor kan bijdragen aan goede leerresultaten. Dit onderzoek laat zien dat de meerwaarde van een AI-tutor te maken heeft met de wijze waarop het leerpad wordt samengesteld. Het gaat dus niet zozeer om de AI-chatbot als gesprekspartner, maar om de onderliggende logica van de taakopbouw.
Opvallend aan deze bijdrage is ook de vergelijking met oudere intelligente tutorsystemen: die werkten inhoudelijk, maar werden nauwelijks gebruikt. Of een converserende interface dat probleem oplost, kunnen we nu nog niet concluderen. Er kan nu ook sprake zijn van het ‘novelty effect‘. Langer lopend onderzoek kan hier inzicht in bieden (al wordt dergelijk onderzoek relatief weinig uitgevoerd). De bevinding dat lerenden zonder voorkennis en van minder gerenommeerde scholen meer profiteren, is ook bemoedigend: wellicht kunnen AI-tools kansengelijkheid bevorderen. Hier zal ook meer onderzoek naar gedaan moeten worden.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Lees het hele
artikel