Ernstige beperkingen bij het gebruik van generatieve AI bij onderwijs over inheemse volken
Wanneer docenten generatieve AI inzetten voor lessen over de cultuur en geschiedenis van Aboriginal en Torres Strait Islander-volken, produceren die tools stelselmatig onjuiste, cultureel kwetsende en soms volledig verzonnen inhoud. Dat concluderen Australische onderzoekers in het artikel “Generative AI and Indigenous Education: The genuine risks to knowledge sovereignty”. Hun bevindingen zijn m.i. relevant voor elke gemeenschap die te maken heeft met minderheden. Dus voor elke gemeenschap.
De auteurs plaatsen hun onderzoek in de context van de Yoorrook Justice Commission. Dat is een onafhankelijke commissie die systemische barrières voor First Peoples in Victoria, Australië, heeft onderzocht. Die commissie formuleerde 100 aanbevelingen voor ingrijpende institutionele hervorming. Op onderwijsgebied zijn de bevindingen schrijnend: kinderen uit inheemse gemeenschappen scoren vaker laag op ontwikkelingstoetsen, halen minder vaak de hoogste niveaus voor geletterdheid en rekenvaardigheid, en maken minder vaak hun opleiding af. Aan die situatie is de afgelopen tien jaar nauwelijks iets veranderd.
Tegen deze achtergrond is de opkomst van AI in het onderwijs volgens de onderzoekers zorgwekkend. Het Australische curriculum verplicht docenten om de geschiedenis en cultuur van inheemse volken in alle vakgebieden te integreren. Maar volgens de auteurs voelt meer dan de helft van de docenten boven de 35 jaar zich onvoldoende voorbereid om deze inhoud effectief te behandelen. Slechts 11 procent heeft er vertrouwen in. Docenten worstelen met ‘culturele competentie’, het risico op stereotypering en een gebrek aan training in inheemse pedagogiek. Precies in deze leemte worden AI-tools verleidelijk als snelle oplossing.
De onderzoekers testten ChatGPT en Microsoft Copilot met prompts die varieerden van eenvoudig tot complex, en die het kennisniveau van docenten met uiteenlopende ervaring weerspiegelden. Ze beoordeelden de uitvoer aan de hand van twee kaders: het zogenaamde YARNS Framework, dat vragen stelt over auteurschap, representatie en culturele gevoeligheid, en de AIATSIS-gids voor het selecteren van onderwijsmaterialen, die begint met zelfreflectie van de docent over de eigen positie en verantwoordelijkheid.
De resultaten waren consistent negatief. Beide platforms citeerden zinnen uit een niet-bestaande First Nations-taal voor een Acknowledgement of Country en stelden lijsten op van documentaires die niet bestaan. Toen hierop gewezen, verdedigde ChatGPT aanvankelijk de output. AI-platforms stelden voor om inheemse kennis te vergelijken met wetenschappelijke verklaringen, alsof het twee tegengestelde systemen zijn. Daarmee wordt inheemse kennis impliciet als minder geldig gepresenteerd, in plaats van erkend als een volwaardig kennissysteem op zichzelf.
Volgens de auteurs gaat het hier om meer dan technische tekortkomingen. Inheemse kennis is van nature relationeel: verbonden aan land, gemeenschap en protocol, en gedeeld binnen relaties gekenmerkt door wederkerigheid en verantwoordelijkheid. Generatieve AI werkt juist door ontkoppeling: het haalt informatie uit bronnen, verwijdert de context en stelt inhoud opnieuw samen op basis van statistische patronen. Dit bestendigt volgens de auteurs koloniale kennisstructuren die inheemse kennis als minder waardevol positioneren en inheemse mensen eerder als studieobject beschouwen dan als kennisautoriteiten.
Het YARNS Framework en de AIATSIS-gids bieden docenten gestructureerde ondersteuning, maar de auteurs benadrukken dat dit hulpmiddelen zijn voor professionele oordeelsvorming, geen vervangers ervan. Reageren op de Yoorrook-aanbevelingen vereist volgens de onderzoekers investering in docentprofessionalisering, cultureel veilige leeromgevingen en oprechte samenwerking met door inheemse gemeenschappen geleide kaders.
De combinatie van curriculum-eisen, de opkomst van generatieve AI en onzekerheid bij docenten brengt risico’s met zich mee. Goedbedoelende docenten kunnen onbedoeld koloniale kennisstructuren in stand houden, terwijl inheemse onderzoekers en activisten daar al decennia tegen strijden. Door inheemse pedagogen en opleiders ontwikkelde kaders bieden een uitweg, maar vereisen tijd, reflectie en oprechte betrokkenheid. Dit kan niet door AI-gegenereerde ‘afkortingen’ worden vervangen. De onderzoekers concluderen dat generatieve AI in de huidige vorm niet geschikt is voor het relationele en cultureel responsieve onderwijs dat inheems onderwijs vereist.
Voor individuele docenten betekent dit: professioneel oordeel gebruiken op basis van door inheemse mensen geleide kaders, en erkennen dat sommige aspecten van onderwijs niet geautomatiseerd kunnen worden zonder schade aan te richten.
Mijn opmerkingen
De context van dit onderzoek is specifiek Australisch, maar de problematiek is m.i. waarschijnlijk relevant binnen andere contexten, waaronder de onze. Ook in Nederland werken docenten met inhoud over achtergestelde gemeenschappen als gevolg van koloniale geschiedenis, slavernij, en migratie. We weten al vanaf de lancering van ChatGPT eind 2022 dat ‘bias’ een belangrijk probleem is, dat de taalmodellen vooral Westerse data bevat en ook op basis van Westerse normen en waarden getraind zijn, en dat deze systemen nog steeds tekortschieten in het rekening houden met context. Ik vind het sterk dat de auteurs niet alleen de feitelijke fouten bekritiseren, maar ook het losmaken van kennis uit haar context. Dat punt blijft in discussies over AI voor leren, opleiden en onderwijs regelmatig onderbelicht. Het gebruik van AI om inhoud over de cultuur en geschiedenis van culturele en etnische minderheden in ons land snel samen te stellen draagt waarschijnlijk hetzelfde risico als in dit onderzoek: overtuigend klinkende maar inhoudelijk onbetrouwbare uitvoer die een docent zonder diepgaande vakkennis niet altijd herkent.
Je kunt daarbij wel enigszins vergoelijkend zeggen: generatieve AI-toepassingen baseren zich op bestaande online informatie. Als die informatie onjuist en kwetsend is voor inheemse volken, dan ligt het voor de hand dat GenAI-output ook onjuist en kwetsend is. Daarom moeten we de output kritisch beoordelen. Volgens mij dit fenomeen deze AI-modellen echter niet geschikt voor het genereren van educatieve content over inheemse culturen. Het ontslaat de ontwikkelaars van AI-modellen ook niet van de plicht hun modellen anders te trainen. Iets wat tot nu toe onvoldoende is gebeurd, waarschijnlijk omdat de tech bedrijven hier nauwelijks aan verdienen. Wellicht vindt men inclusie ook niet belangrijk, aangezien veel tech bedrijven ook president steunen die zich sterk verzet tegen inclusie.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Lees het hele
artikel