Kan een AI-chatbot interactie binnen een online cursus versterken?
Lerenden die in zes Coursera-cursussen van Duke University gesprekken voerden met een AI-chatbot, reageren overwegend positief. Tegelijkertijd gaat de evaluatie niet in op leerresultaten. Dat blijkt uit de bijdrage Does AI deliver? Observing the effects of interactive learning experiences with an AI-powered chatbot van het Center for Teaching and Learning van Duke University over een pilot met de toepassing Dialogue.
Dialogue is een leeractiviteit binnen Coursera-cursussen waarin lerenden een gesprek voeren met Coach, de AI-chatbot van Coursera. Volgens de auteurs van deze bijdrage bouwen docenten of learning designers elke leeractiviteit op basis van het cursusmateriaal en bepalen zij de richtlijnen en kaders. Coach behandelt kernconcepten, geeft feedback, stelt kritische vragen en werkt met vooraf bepaalde gespreksdoelen. Lerenden doorlopen de activiteit als een reeks checkpoints en gaan verder door in het gesprek te laten zien dat ze de stof begrijpen.
De pilot had betrekking op zes verschillende cursussen. Lerenden werkten onder meer aan data-analyse en algoritmeontwerp, aan een simulatie van een natuurbehoudsmissie met drones, aan een gesprek over de aard van argumenten en aan een rollenspel met een rouwende collega. Het ontwerpteam deed vooraf gebruikerstests en werkte samen met docenten. Elke cursus bevatte bovendien een leestekst die de waarden en de redenering achter de tool uitlegde. Na afloop konden lerenden vrijwillig een enquête invullen, ook als ze Dialogue niet hadden gebruikt.
Volgens het artikel zou ongeveer 84 procent van de lerenden die Dialogue gebruikten en de enquête invulden de tool in een volgende cursus opnieuw willen gebruiken. Op de stelling dat Dialogue hielp om de cursusstof beter te begrijpen, was 52,1 procent het helemaal eens en 28,5 procent enigszins eens. Vier procent was het helemaal oneens. Het aantal deelnemers noemen de auteurs niet.
De open reacties waren divers. Sommige lerenden waardeerden de interactie en de uitnodiging om kritisch na te denken over de stof. Anderen noemden ethische bezwaren, zorgen over privacy, de kans op overmatige afhankelijkheid van AI en het verlies van menselijk contact. Een deel haakte volledig af bij AI-gestuurde activiteiten.
Ook betrokken docenten komen aan het woord. Ram Neta (cursus Think Again) ziet gepersonaliseerde feedback die hij voor duizenden lerenden zelf niet kan geven. Denise Comer (English Composition I) vergelijkt Dialogue met een schrijfcoach en richt zich op reflectie en metacognitie. Sean Convoy en Mitch Heflin (cursus Stress First Aid) noemen het een manier om de kwaliteit te verhogen zonder de asynchrone toegankelijkheid te verliezen, en een laagdrempelige manier om begrip te toetsen en bij te sturen. Docenten wilden over het algemeen diepere, analytischere vragen stellen.
De auteurs beschouwen de pilot als geslaagd, maar noemen Dialogue geen wondermiddel. Activiteiten kosten aanzienlijk meer tijd om te maken en te testen dan gewone toetsen en vragen extra begeleiding. Hun aanbevelingen: investeer tijd in ontwerp en testen, introduceer de tool duidelijk en leg de waarden erachter uit, gebruik feedback van lerenden en docenten, en plan AI-activiteiten zorgvuldig in, omdat sommige lerenden sterk afwijzend reageren. De langetermijneffecten zijn onbekend. Eén van de betrokken docenten noemt vragen over cognitieve taakverdeling, metacognitie en de ontwikkeling van het eigen schrijfvermogen.
Mijn opmerkingen
De titel van de bijdrage stelt de vraag of AI ‘levert’, maar de gegevens beantwoorden die niet. De evaluatie rust op zelfgerapporteerde ervaringen, zonder controlegroep en zonder gemeten leerresultaten. Bovendien was de enquête vrijwillig, waardoor lerenden die afhaakten mogelijk ontbreken.
Dialogue raakt ook een bekend knelpunt: de waarde en de complexiteit van schriftelijke communicatie in online cursussen. Schriftelijk reageren helpt lerenden om hun gedachten te herstructureren en kan daarom een waardevolle leeractiviteit zijn. Tegelijk is online communiceren complexer en voelt schriftelijk discussiëren voor veel lerenden onnatuurlijk aan. Je hebt afspraken en vertrouwen nodig, en succesvolle discussies vragen veel van ontwerp en normaliter ook om moderatie (bij AI-chatbots moet je zorgen voor zorgvuldige instructies vooraf).
Een AI-chatbot kan hierbij een rol spelen, omdat hij een van die tekortkomingen wegneemt. Er zit nauwelijks tijd tussen de reacties. Bij asynchroon online leren komen reacties met vertraging; met een chatbot hoeft de lerende niet te wachten en verloopt de interactie vloeiender. Het voordeel van schrijven, nadenken en formuleren, blijft behouden.
Communiceren met Coach is wel iets anders dan communiceren met andere lerenden. De chatbot fungeert als docent: hij stelt vragen, geeft feedback en toetst begrip aan de kaders van de docent. Wederkerigheid, verbondenheid en het samen opbouwen van kennis ontstaan daarbij niet. Dialogue vult interactie tussen lerenden dus aan en vervangt die niet. Het zou interessant zijn om te kijken wat ervaringen zijn met een AI-chatbot die kan fungeren als een groep collega-lerenden.
Bij grootschalige online cursussen heb je daarnaast ook nog te maken met het teacher bandwidth problem, de term van David Wiley voor de grens aan het aantal lerenden dat een docent online individueel kan begeleiden. Ik schreef eerder dat docenten bij online cursussen vaak worden overvraagd door lerenden die een individueel antwoord verwachten, regelmatig op triviale vragen. Een chatbot kan zulke vragen en feedback op begripsniveau voor veel lerenden tegelijk opvangen. Dat geeft docenten ruimte voor werk dat menselijk contact vraagt. Dat werkt alleen bij zorgvuldig ontwerp; Duke wijst zelf op de extra tijd die dat kost.
Mijn inschatting: Dialogue lijkt een bruikbare aanvulling op schriftelijke communicatie in online cursussen. Als bewijs voor een leereffect is deze pilot te beperkt. Daar is een ander type onderzoek voor nodig.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.