Kanttekeningen bij het monitoren van online leergedrag
In China gebruiken ze sensoren die de hersenactiviteit van leerlingen meten (zie op Youtube). Led-lampjes laten zien of leerlingen geconcentreerd werken of afgeleid zijn. De docent kan zien wanneer de aandacht verslapt, en ouders ontvangen een rapportage van de hersenactiviteit van hun kind.
Deze casus is een extreme illustratie van een toenemend gebruik van data die lerenden genereren voor het evalueren van leeractiviteiten, voor het geven van begeleiding en zelfs voor het doen van voorspellingen met betrekking tot zaken als leerresultaten.
Uiteraard moet je je afvragen of het ethisch verantwoord is om docenten, ouders en andere belanghebbenden inzicht te geven in -bijvoorbeeld- de werking van het brein van een lerende. Is hierbij geen sprake van aantasting van het menselijk lichaam? Mogen lerenden ook onbespied leren? Gaan zij zich niet onnatuurlijk gedragen als zij weten dat zij permanent worden gemonitord? ‘Black Mirror’ komt heel dichtbij op deze manier.
Er zijn echter ook veel minder vergaande vormen waarbij het gebruik van sensortechnologie, artificiële intelligentie (AI) en big data leiden tot veel data die we kunnen monitoren, en ons in staat stellen om automatisch interventies te plegen. Je ziet deze ontwikkeling binnen arbeidsorganisaties (L&D), opleidingsinstituten en onderwijsinstellingen terug.
Ook bij deze minder extreme vormen van monitoring van leergedrag is een gezonde dosis aan terughoudendheid op z’n plaats.
Op de eerste plaats weten we lang niet altijd op basis van onderzoek of we datgene wat we willen meten ook daadwerkelijk meten, en of er een verband is tussen leerresultaten en deze meetresultaten. Dit geldt niet alleen meetresultaten van sensortechnologie, maar ook voor ander meetbaar gedrag binnen een leeromgeving. Hoe betrouwbaar en nauwkeurig zijn de data als indicatie van leer/werkprestaties of als voorspeller? Hier zal meer onderzoek naar gedaan moeten worden.
Op de tweede plaats moeten we ons realiseren dat lerenden vaak participeren in niet-zichtbare leeromgevingen. Clint Lalonde heeft dat treffend beschreven in ‘Untrackable Learning’. Volgens Lalonde initiëren lerenden vaak niet zichtbare of (voor de organisatie) verborgen leeromgevingen of leernetwerken, naast de officiële (digitale) leeromgevingen. Bijvoorbeeld interacties via sociale media over leerinhouden of binnen WhatsApp-groepen die lerenden zelf opzetten. Een ander voorbeeld is de lerende die om wat voor reden dan ook maar beperkt toegang heeft tot internet. Deze lerende downloadt de leerstof, verwerkt de leerstof op eigen initiatief offline en rondt vervolgens de cursus met succes online af. Op basis van logdata lijkt het of de lerende niet heel actief is.
Nu beoogt de ontwikkeling van xAPI het vastleggen en monitoren van data van allerlei typen leerervaringen, uit verschillende systemen. Megan Torrence laat in het tijdschrif LearningSolutions echter zien dat de adoptie van xAPI na zes en een half jaar nog in de kinderschoenen staat.
Op de derde plaats moet je je ervan bewust zijn dat je pas patronen in online gedrag kunt herkennen als je over heel veel data beschikt. Big data zijn niet voor niets ‘big’. Vraag je ook af of deze data geen ‘bias’ bevatten. Let kritisch op kwaliteitsdimensies als relevantie, actualiteit en nauwkeurigheid.
Wat mij betreft gebruiken we technologie om de menselijke waarneming te versterken. Als technologie docenten of L&D’ers helpt om te signaleren of lerenden daadwerkelijk leren, dan is dat prima. Indien technologie interventies pleegt, die docenten en L&D’ers werk uit handen neemt, dan is dat volgens mij alleen maar winst. Voorbeelden zijn het automatisch herinneren aan deadlines, het versturen van notificaties als een lerende lang niet heeft ingelogd of het automatisch beantwoorden van routinematige vragen. Gebruik analyses van leergedrag bovendien vooral om het gesprek aan te gaan met de lerende.
Daarbij is het belangrijk om meer onderzoek te doen naar waarneembaar gedrag en leerresultaten en werkprestaties. Ook zouden systemen geen verstrekkende, autonome, acties mogen ondernemen zoals het doen van voorspellingen of het geven van toegang tot een cursus op basis van een analyse van leergedrag. Denk ook goed na over de inhoud van de interventies. Je kunt de plank flink misslaan als lerenden het gevoel hebben onheus bejegend te worden door een systeem.
Daar komt bij dat je zeer kritisch moet zijn op wie toegang krijgt tot analyses. Er mag geen sprake zijn van een ‘achtervolgsysteem’. Tenslotte zouden deze data geen eigendom mogen zijn van commerciële technologiebedrijven en door technologiebedrijven gebruikt mogen worden voor commerciële doeleinden. Zoals uitgever Pearson die een aantal jaren geleden dankzij learning analytics aanbiedingen deed aan leerlingen met bepaalde deficiënties.
Eerder verschenen in de Nieuwsbrief van oktober 2019.