Minder drempels, betere feedback: generatieve AI als ondersteuning bij peer feedback
Studenten die bij het schrijven van peer feedback een generatieve AI-tool gebruiken, geven betere feedback, ervaren minder angst en ontwikkelen meer feedbackgeletterdheid. Dat blijkt uit onderzoek van Hua Wang en Kai Guo.
Het onderzoek was quasi-experimenteel: 60 Chinese bachelorstudenten ‘Engels als vreemde taal’ werden verdeeld over een groep die de AI-tool Doubao gebruikte en een controlegroep zonder AI. Gedurende drie cycli van drie weken schreven zij essays, gaven ze elkaar anoniem feedback en beoordeelden de ontvangers de kwaliteit daarvan, terwijl voor- en nametingen angst, plezier en feedbackgeletterdheid in kaart brachten.
Eerst analyseerden de auteurs de 90 gesprekken tussen studenten en AI (30 studenten, drie opdrachten). Die draaiden vooral om taal: 104 keer vroegen studenten hulp bij de formulering van hun commentaar, waarvan 77 keer over correctheid en 27 keer over natuurlijkheid. Hulp bij structuur en samenhang kwam 71 keer voor, hulp bij de inhoud 38 keer. Slechts 25 keer vroegen studenten of hun commentaar constructiever kon. Ook de prompts waren eenvoudig. In 52 gesprekken leverden studenten alleen hun eigen conceptcommentaar aan, in 15 gesprekken voegden ze het essay toe, in 14 de beoordelingscriteria voor essays en in 6 de criteria voor feedback. In slechts drie gesprekken kreeg de AI alle informatie. Volgens de auteurs past dit bij de minimale training: de docent liet niet zien hoe je essays of criteria uploadt.
Vervolgens beoordeelden de ontvangers de kwaliteit van de feedback op vijf kenmerken (invloed, beschrijving, identificatie, onderbouwing en constructiviteit) met een score van 0 tot 2. Voor de interventie en na de eerste cyclus waren er geen significante verschillen tussen de groepen. In de tweede cyclus scoorde de groep met AI significant hoger op invloed (1,68 tegenover 1,50) en beschrijving (1,85 tegenover 1,70), met middelgrote effecten. In de derde cyclus kwamen onderbouwing (1,86 tegenover 1,60) en constructiviteit (1,83 tegenover 1,40) erbij. Die effecten waren groot. Ook invloed (1,86 tegenover 1,60) en beschrijving (1,95 tegenover 1,80) hielden een groot effect. Alleen identificatie van problemen verschilde in geen enkele cyclus. Volgens de auteurs wijst dit patroon erop dat eenvoudiger kenmerken, zoals een ondersteunende toon en een heldere beschrijving, sneller te ontwikkelen zijn dan onderbouwing en concrete verbetersuggesties.
Ook de emoties verschilden. Gecorrigeerd voor de voormeting scoorde de groep met AI na afloop hoger op taakplezier en lager op taakangst. De groep met AI begon bij de voormeting lager op plezier en haalde de controlegroep daarna in.
De feedbackgeletterdheid van de groep met AI nam toe op alle vier de onderzochte dimensies (kennis en vaardigheden, bereidheid om deel te nemen, samenwerkend leren en waardering van peer feedback).
De auteurs verklaren de uitkomsten onder meer doordat AI de cognitieve belasting zou verlagen, als neutrale derde de sociale spanning kan verminderen en voorbeelden van goede feedback geeft. Zij merken zelf op dat deze verklaringen speculatief zijn, omdat interviews of andere kwalitatieve gegevens ontbreken. Ook noemen zij als beperkingen dat angst, plezier en geletterdheid zelf zijn gerapporteerd, dat de interventie maar drie cycli duurde en dat niet is gemeten hoe lerenden feedback geven nadat de AI wegvalt.
Mijn opmerkingen
Met name de laatste bevinding is van belang. Is sprake van een duurzaam effect, of van een tijdelijk effect? Voor het onderwijs is dat deze vraag van belang. Het doel is immers dat lerenden uiteindelijk zelf goede feedback kunnen geven. Daar komt bij dat het onderzoek twee bestaande klassen van elk 30 lerenden betreft zonder randomisatie. Beide klassen werden begeleid door de eerste auteur. Een deel van de winst kan liggen aan de extra training in AI-gebruik die alleen de experimentele groep kreeg, of aan het feit dat deze groep iets nieuws mocht proberen. De lagere beginscore op taakplezier laat bovendien zien dat de groepen niet in alle opzichten gelijk waren.
Opvallend is ook het verschil tussen gebruik en effect. De lerenden gebruikten de AI vooral als taalcorrector en vroegen slechts 25 keer om constructievere feedback, terwijl de effecten op onderbouwing en constructiviteit groot zijn. Ik vraag me daarbij ook af of altijd wel sprake was van feedback door de AI-toepassing. Je ziet bijvoorbeeld dat lerenden heel verschillende prompts gebruikten. Mogelijk gaf de AI-toepassing voorbeelden van goede feedback die lerenden overnamen, mogelijk zette alleen het herschrijven van het eigen commentaar al tot nadenken aan. Zonder gedetailleerde analyse van de chatgesprekken naast de herschreven commentaren, en zonder interviews, blijft dat gissen.
Verder is uiteraard sprake van een vrij specifieke context (Engels als tweede taal, Chinese doelgroep, Chinese AI-toepassing). Daar is bij heel veel onderzoek sprake van. Het idee om lerenden te leren hoe ze feedback geven, mét AI, sluit wel aan bij de aandacht voor feedbackgeletterdheid in het Nederlandse onderwijs.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Lees het hele
artikel