Bloggers

Indicaties dat een paper is geschreven met behulp van een AI-toepassing

AI-detectietools zijn onbetrouwbaar. Daarnaast blijkt dat we slecht in staat zijn om zelf te achterhalen of een tekst geschreven is met behulp van een toepassing zoals Claude of Google Gemini. Toch denkt docent Mark Massaro signalen te kunnen herkennen dat een tekst met behulp van een AI-tool is gegenereerd. In de bijdrage The Biggest Signs That AI Wrote a Paper, According to a Professor lees je om wat voor signalen het gaat. Daar waar relevant voeg ik zelf opmerkingen hieraan toe.

Massaro merkt een drastische toename van AI-gebruik bij het schrijven van essays. Van zijn 25 studenten leveren er regelmatig vijf essays in die vermoedelijk met behulp van een AI-tool zijn geschreven. Deze trend lijkt te verergeren. Hij ontwikkelde daarom een checklist met signalen die wijzen op AI-gebruik. Hij gebruikt deze checklist bij het beoordelen van ingeleverd werk.

• AI-tools zoals ChatGPT gebruiken volgens hem opvallend vaak ‘em-dashes’ (lange gedachtestreepjes). Als Massaro vermoedt dat een lerende een tools zoals ChatGPT heeft gebruikt, dan vraagt hij hen hoe ze een gedachtestreepje maken op de computer. Vaak weten zij dit niet, terwijl hun essay er vol mee staat. Persoonlijk is het mij niet opgevallen dat ChatGPT vaak lange gedachtestreepjes gebruikt.
• Tekst, geschreven met behulp van chatbots, heeft geen alinea-inspringingen, in tegenstelling tot traditionele academische essays. Papers met grote blokken tekst zonder inspringingen zijn volgens Massaro daarom verdacht. Voor specifieke academische papers geldt dit inderdaad. Binnen het meeste schrijfwerk worden deze inspringingen echter niet gebruikt.
• AI-gegenereerde teksten hebben volgens Massaro een kenmerkende stijl: uniforme zin- en alinealengtes met een ritmisch, mechanisch gevoel. De teksten zijn vaak zeer formeel met een gepolijste academische toon die niet past bij het werk van lerenden. Ondanks de perfecte vorm missen ze diepgang. Volgens mij is dit echter sterk afhankelijk van de aard van de tekst die gegenereerd moet worden, en van de doelgroep. Soms past de inhoud van de tekst inderdaad niet bij de lerende. Je ziet bijvoorbeeld vrij snel of een tekst geschreven is door een MBO-2 student. Verder komen in AI-gegenereerde teksten vaak woorden voor zoals ‘cruciaal’; woorden die Nederlanders weinig gebruiken. In veel gevallen hebben teksten echter wel de diepgang die je van een betreffende lerende zou verwachten. Bovendien kun je de stijl via instructies ook beïnvloeden, evenals het gebruik van ‘em-dashes’. Verder zullen veel lerenden generereerde tekst ook zelf nog gaan bewerken.
• Lerenden die AI-tools gebruiken, nemen niet deel aan het schrijfproces in de klas, zoals peer reviews en schrijfconferenties. Ze beweren soms gebruik te hebben gemaakt van een schrijfcentrum, maar dit blijkt niet te kloppen. Hun vocabulaire verbetert plotseling sterk zonder dat dit zichtbaar was in eerdere opdrachten of klassendiscussies. Volgens mij zit hier ook de kern van de oplossing: het schrijven van teksten is een leeractiviteit, een proces. Kijk dus niet alleen naar het eindresultaat, om dit alleen te beoordelen. Benadruk dus de bijdrage van schrijven aan het leerproces.
• Bij persoonlijke reflectie-opdrachten schrijven echte lerenden over specifieke ervaringen met merkwaardige details die een AI-tool nooit zou verzinnen. AI-gegenereerde reflecties blijven abstract en algemeen, bijvoorbeeld over het “belang van vriendschap voor de mensheid”. Dit is m.i. ook een deel van de oplossing: het laten werken van persoonlijke ervaringen in de tekst. Bijvoorbeeld een terugblik op een discussie die in de klas heeft plaatsgevonden.
• Sommige lerenden zijn volgens Massaro zo slordig dat ze daadwerkelijk prompts of instructies voor de chatbot in hun eindversie laten staan. Ik heb dit zelf niet mee gemaakt, maar wel anekdotes hierover gehoord.
• AI verzint informatie, met als gevolg dat incorrecte feiten en nepverwijzingen in de tekst worden opgenomen. Dit kost Massaro extra tijd omdat hij moet controleren of vreemde feiten en citaties echt bestaan. Soms staan er referenties in de bibliografie die niet voorkomen in de werkelijk geraadpleegde bronnen. Dit komt inderdaad voor, mede afhankelijk van het onderwerp van een tekst. Vraag ChatGPT bijvoorbeeld eens naar de vertaling van het woord ‘Proficiat’ in het Maastrichts dialect.

Wanneer Massaro lerenden confronteert met zijn bevindingen, geven lerenden vaak direct toe of reageren helemaal niet meer. ‘Onschuldige’ lerenden protesteren meestal. Massaro gelooft hen meestal.

Massaro maakt zich zorgen dat AI-gebruik lerenden berooft van de kans hun eigen intellectuele en creatieve identiteit te ontwikkelen. Dit is juist de periode waarin ze hun eigen stem zouden moeten vinden, maar in plaats daarvan laten zij AI-toepassingen voor hen denken en schrijven.

Ik heb al vaker betoogd dat we lerenden wijs moeten leren omgaan met AI-toepassingen. Als je het leren uitbesteedt aan een AI-toepassing, dan gaat dit ten koste van je eigen ontwikkeling. Tegelijkertijd moeten we ook bereid zijn om te kijken naar de wijze waarop we willen beoordelen of lerenden zich daadwerkelijk ontwikkelen. Verder moeten we nadrukkelijker aandacht besteden aan wat verdiepend leren is. Schrijven draagt daar aan bij. Maar het is de vraag of we niet meer moeten kijken naar het schrijfproces, dan naar het uiteindelijke eindresultaat.

Mijn bronnen over (generatieve) artificiële intelligentie

Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.

The post Indicaties dat een paper is geschreven met behulp van een AI-toepassing first appeared on WilfredRubens.com over leren en ICT.
Lees het hele artikel