Bloggers

Moeten we ons zorgen maken over door AI gegenereerde essays, of juist niet?

Dankzij artificiële intelligentie (AI) kun je complete teksten automatisch door een applicatie laten schrijven. Zal dit leiden tot nieuwe vormen van fraude bij beoordelen, of biedt dit ook kansen voor onderwijs en opleiden?

We gebruiken regelmatig essays, werkstukken en andere schrijfopdrachten voor het beoordelen van studenten. Dankzij AI ben je in staat om deze essays semi-automatisch te beoordelen, ook al werken de applicaties bij mijn weten nog alleen met Engelstalige teksten.

Deze AI-toepassingen maken het mogelijk om schrijfopdrachten ook bij grote groepen lerenden in te zetten, terwijl de docent beoordeelt. Bovendien kunnen deze technologieën leiden tot een drastische tijdsbesparing voor docenten, als ze hun beloftes nakomen.

Er zijn echter ook AI-applicaties die studenten kunnen helpen bij het maken van schrijfopdrachten. Volgens S. Scott Graham vrezen docenten vaak dat deze technologieën bijdragen aan het ruïneren van schrijfvaardigheden van studenten en aan een drastische toename van “academisch wangedrag”. De student ontwikkelt geen volledig eigen werk, terwijl anti-plagiaattools het schrijfproduct niet op originaliteit kunnen beoordelen. Tot grote frustratie van docenten, blijkt uit reacties op online discussies.

Op basis van een eigen (kleinschalig) onderzoek concludeert Scott Graham echter dat we ons geen zorgen hoeven te maken over AI-gegenereerde essays. Hij heeft zijn studenten aangemoedigd om AI-tools te gebruiken om essays over een bepaald onderwerp te schrijven (bijvoorbeeld over de hoogte van collegegelden van de eigen instelling). De studenten mochten de gegenereerde teksten ook nog bewerken (zoals het verwijderen van dubbelingen). Zij hebben hier veel moeite voor gedaan. Toch was de kwaliteit van de tekst volgens de auteur niet goed. De teksten voldeden aan de minimale eisen, maar ook niet meer dan dat. Daarnaast was overduidelijk dat de teksten door een applicatie waren geschreven (verouderde data, citaten van mensen die niet meer in functie zijn, enzovoorts). Ongeacht het gebruikte taalmodel en de gebruikte tool, waren de resultaten vrij constant middelmatig en was meestal vrij duidelijk dat de teksten niet door een mens waren geschreven. Met andere woorden: de technologie is nog onvoldoende volwassenen om goede teksten te maken, die niet van een door een mens geschreven tekst kunnen worden onderscheiden.

Scott Graham heeft de studenten ook gevraagd te reflecteren op de kwaliteit en de moeilijkheidsgraad van hun AI-essays. Bijna alle studenten gaven aan deze opdracht te haten. De studenten realiseerden zich snel dat de AI-essays van slechtere kwaliteit waren dan wat zij zelf schrijven. Ook kostte het gebruik van AI hen veel meer tijd dan het gewoon schrijven van een essay.

De auteur wijst op cases waaruit blijkt dat je met AI in staat bent indrukwekkende teksten te schrijven. Deze ‘schrijvers’ beschikten echter over veel meer geavanceerde taalmodellen, dan de modellen waar gewone studenten over kunnen beschikken. Hij stelt:

But, more importantly, my experience with this assignment tells me that it takes a good writer to produce good algorithmic writing.

De indrukwekkende teksten waren gebaseerd op het werk van professionele schrijvers. De AI-gegenereerde essays van studenten lieten echter de reguliere ‘schrijfproblemen’ zien. De beste AI-essays werden ingeleverd door de studenten die ook normaal gesproken het beste schrijven.

Volgens Scott Graham krijgen we op korte termijn niet te maken met een stortvloed aan algoritmisch gegenereerde schrijfopdrachten. Deze manier van werken kost te veel tijd. Bovendien ondervangt een goede opdrachtformulering het risico op fraude. Hij heeft zijn studenten laten schrijven over lokale onderwerpen. Daarover is relatief weinig geschreven. Dus kun je nauwelijks gebruik maken van werk van anderen.

Scott Graham meent ook dat je AI-tools voor het schrijven van teksten ook kunt gebruiken als onderdeel van je ‘schrijfdidactiek’. Studenten krijgen voorbeelden van teksten te zien. Zij reflecteren op de kwaliteit ervan, en gaan reviseren. Zij leren op die manier ook de verschillen zien tussen verschillende stijlen en typen opdrachten. Ook krijgen zij vaak onmiddellijke aanwijzingen van de AI-tools. Door te experimenteren met zinnen die al dan niet geschikte AI-uitvoer opleveren, kunnen studenten een gevoel ontwikkelen voor hoe ze anders moeten schrijven voor verschillende genres en contexten. Daarnaast lukt het studenten niet om in één keer een tekst te genereren. Ze moeten dus over een langere periode oefenen. Je ziet inderdaad dat deze AI-tools zich vaak profileren als middelen die helpen bij het verbeteren van schrijfvaardigheden.

Deze AI-tools zijn uiteraard in ontwikkeling, en worden steeds beter. Toch gelooft S. Scott Graham er niet in dat beginnende schrijvers in staat zullen zijn deze tools vaardig genoeg te sturen om indrukwekkende resultaten te produceren:

I strongly suspect full-on robot writing will always and forever be “just around the corner.”

Mijn opmerking

Volgens mij kunnen deze tools lerenden inderdaad vooral helpen om betere teksten te schrijven. Mits lerenden kritisch nadenken over automatisch gegenereerde teksten, en deze teksten gaan reviseren. Je merkt dat bijvoorbeeld ook met een tool als Summari waarmee je samenvattingen van artikelen kunt maken. De kwaliteit ervan is niet altijd goed. Je gebruikt het resultaat vervolgens om je eigen samenvatting te maken.

Een belangrijk argument tegen de verwachte hausse aan fraude, is ook dat je deze teksten nog makkelijk herkent als ‘automatisch gegenereerd’. Studenten zullen zich hier wel bewust van moeten zijn.

Maar aan de andere kant zien we ook vertaaltools als Deepl die in de loop der jaren alleen maar beter worden. In het begin moest je vertalingen veel meer aanpassen dan nu het geval is. Het is echter nog steeds niet zo dat deze vertaaltools ertoe leiden dat je geen andere taal meer hoeft te kennen.

Of AI-tools die automatisch teksten genereren op langere termijn een bedreiging zullen vormen? De tijd zal het leren.

The post Moeten we ons zorgen maken over door AI gegenereerde essays, of juist niet? first appeared on WilfredRubens.com over leren en ICT.
Lees het hele artikel