Grote verschillen in betrouwbaarheid AI-detectietools
Onderzoekers van de Vrije Universiteit Brussel hebben grote verschillen ontdekt in de betrouwbaarheid van het herkennen van met behulp van AI gegenereerde teksten in academische papers. Van vier veelgebruikte AI-detectietools herkende alleen Pangram AI-gegenereerde tekst in academische papers op een betrouwbare manier. Turnitin, GPTZero en Copyleaks bleken het aandeel ‘AI-tekst’ fors te onderschatten. Het blijft wat mij betreft overigens de vraag of het wenselijk is om dergelijke tools te gebruiken.
Marijke Van Vlasselaer, Filip Van Droogenbroeck en Bram Spruyt van de Vrije Universiteit Brussel beschrijven hun bevindingen in Who wrote this? Evaluating the reliability of AI detection tools in higher education.
De onderzoekers gebruikten voor hun analyse 160 Engelstalige academische teksten van minimaal 4.000 woorden: 40 scripties die vóór de komst van ChatGPT zijn geschreven door studenten met een andere moedertaal dan Engels, 40 papers die volledig met ChatGPT Deep Research zijn gegenereerd, 40 hybride versies van de menselijke scripties waarin GPT-4o de literatuurstudie en conclusie schreef, en 40 ‘gehumaniseerde’ varianten daarvan. Daarvoor lieten zij GPT-4o de AI-passages herschrijven. De teksten moesten meer als geschreven door studenten klinken. Daarnaast analyseerden zij met Pangram 1.163 masterscripties die in 2024-2025 bij hun faculteit Sociale Wetenschappen en Economie werden ingeleverd.
Bij de volledig gegenereerde papers liepen de resultaten sterk uiteen. Turnitin gaf alle 40 papers een AI-score tussen 0 en 20 procent. GPTZero en Copyleaks plaatsten respectievelijk 70 en 75 procent van deze papers in diezelfde laagste categorie, de rest scoorde tussen 20 en 40 procent. Pangram gaf 26 papers een score van minimaal 80 procent en 13 papers een score tussen 60 en 80 procent. Gemiddeld onderschatte Turnitin het AI-aandeel met bijna 100 procentpunten, GPTZero en Copyleaks met circa 86 en Pangram met ongeveer 14 procentpunten.
Turnitin, GPTZero en Copyleaks hadden daarmee meer moeite met volledig gegenereerde teksten dan met deels gegenereerde teksten. De auteurs verklaren dit doordat Deep Research op een nieuwer model (o3) is gebaseerd, terwijl de hybride teksten met GPT-4o zijn gemaakt.
In de hybride en gehumaniseerde papers bestond doorgaans ongeveer 44 procent van de tekst uit AI-inhoud. Pangram plaatste in beide categorieën 37 van de 40 papers binnen de bekende bandbreedte, met een gemiddelde afwijking van vrijwel nul. Turnitin schatte 60 procent van de hybride papers juist in, maar bij de gehumaniseerde versies daalde dat naar 50 procent. Copyleaks kwam uit op 30 en 22,5 procent, GPTZero op 0 en 2,5 procent. Het humaniseren had dus vooral invloed op Turnitin en nauwelijks op Pangram. Volgens de auteurs komt dat mogelijk doordat Pangram is getraind op AI-versies van menselijke teksten met hetzelfde onderwerp, dezelfde toon en lengte, waardoor het subtielere kenmerken leert herkennen. Die verklaring is niet getoetst.
Alle vier tools beoordeelden de 40 menselijke scripties correct als menselijk werk; alleen GPTZero gaf enkele licht verhoogde scores. Dat wijkt af van eerder onderzoek, zoals dat van Liang e.a. (2023), waarin detectoren teksten van niet-moedertaalsprekers relatief vaak ten onrechte als AI aanmerkten. De auteurs zien hierin een verbetering die een veelgehoord ethisch bezwaar tegen AI-detectie ondervangt: dat studenten onterecht worden beschuldigd. Wel merken zij op dat sommige tools voorzichtige drempelwaarden hanteren, waardoor ze juist meer AI-gegenereerde tekst missen.
Pangram markeerde 529 van de 1.163 masterscripties (45,5 procent) als deels door AI geschreven. In die scripties schatte de tool het AI-aandeel gemiddeld op 34 procent, variërend van 7 tot 100 procent. Bij ruim een derde ging het om maximaal 20 procent van de tekst, bij 41,6 procent om 20 tot 50 procent. Slechts 1,9 procent kwam boven de 80 procent uit. Volgens de auteurs zetten studenten AI dus vooral in voor delen van hun scriptie. Omdat niet bekend is hoeveel AI er werkelijk is gebruikt, benadrukken zij dat deze cijfers een eerste indicatie zijn.
De auteurs beschrijven de verhouding tussen generatieve AI en detectietools tenslotte als een kat-en-muisspel. Tijdens de afronding van hun onderzoek bracht OpenAI al GPT-5 uit. Hun resultaten zijn daarom een momentopname. Bovendien testten zij één manier van “humaniseren”, terwijl studenten in de praktijk technieken combineren. Een tool als Pangram kan volgens hen hooguit een eerste signaal geven voor een grondiger beoordeling, maar mag volgens de onderzoekers nooit het enige bewijs zijn bij beslissingen met grote gevolgen. Instellingen moeten expliciet vastleggen wanneer AI-gebruik een schending van academische integriteit is. De auteurs stellen bovendien dat het begrip “academische integriteit” mogelijk opnieuw moet worden gedefinieerd. Zij schrijven:
The notion of academic integrity itself may need to be redefined from the ground up, rather than built upon its current foundations, to fully capture the implications of generative AI for academic work.
Zij noemen het voorbeeld van een scriptie met een hoge AI-score die inhoudelijk deugt, met echte bronnen en een sluitende redenering. De onderzoekers vragen zich af of dat oneerlijk is. Verder pleiten zij voor een aangepaste aanpak van toetsen, procesgerichte beoordeling en AI-geletterdheid bij studenten en docenten.
Mijn opmerkingen
Dit is op zich een interessante studie, mede doordat gekeken is naar vier typen papers. Het aantal papers is wel niet heel groot. Verder is deze studie interessant omdat de onderzoekers laten zien dat de onderzochte tools beter dan voorheen presteren op “false positives” en omdat Pangram beduidend beter uit de bus komt dan eerder onderzochte tools. Toch moeten we voorzichtig zijn met de uitkomsten. Op de eerste plaats is de conclusie over valse positieven gebaseerd op slechts 40 door mensen geschreven teksten. Als een tool bij 40 teksten geen enkele fout maakt, kan het werkelijke foutpercentage statistisch gezien nog altijd oplopen. Zelfs bij 1 procent zouden van 1.163 scripties zo’n twaalf studenten onterecht verdacht worden. Dit kan voor deze groep grote gevolgen hebben.
Op de tweede plaats zijn uitsluitend Engelstalige teksten geanalyseerd. De AI-detectie van Turnitin werkt volgens de auteurs alleen voor Engels, Spaans en Japans. Voor Nederlandstalig werk in onder meer het mbo zeggen deze resultaten dus weinig. Pangram claimt meertalig te zijn, maar dat is hier niet onderzocht.
Op de derde plaats zegt een detectiescore niets over de vraag of het AI-gebruik was toegestaan, of dat iemand bijvoorbeeld een vertaal- of schrijfhulp gebruikte. De auteurs wijzen terecht op de noodzaak om het begrip “academische integriteit” opnieuw te definiëren. Daarbij moeten we ook altijd kijken naar het doel van het schrijfwerk en de leercontext waarbinnen geschreven wordt. Het laten maken van een samenvatting door een AI-tool is bijvoorbeeld kwalijk als het maken van een samenvatting een verwerkingsopdracht is. Het maken van een samenvatting is echter niet altijd bedoeld als actieve verwerking van inhoud. Het verbeteren van een tekst op grammatica en schrijfstijl is kwalijk als het doel is: het verbeteren van schriftelijke taalvaardigheden. Er is echter niets mis mee als je over voldoende taalvaardigheden beschikt, maar een paper grammaticaal foutloos wilt schrijven.
De auteurs wijzen ook terecht op de “rat race” tussen steeds beter presterende AI-tools en de AI-detectietools. Een bijkomend effect hiervan is dat studenten met een kleine beurs, die gratis AI-tools gebruiken, wellicht eerder worden ‘betrapt’ dan studenten met kapitaal krachtige ouders die betaalde en meer geavanceerde AI-tools, gebruiken. Bovendien loop je het risico dat studenten relatief veel moeite gaan doen om AI-detectietools te misleiden. Hetzelfde geldt nu teksten van ChatGPT en Claude in Europa voorzien worden van een watermerk.
Ik deel ook de conclusie dat detectie hooguit het begin van een gesprek kan zijn. Ik heb bijvoorbeeld ook een probleem met recente publicaties over het gebruik van AI bij het schrijven van teksten door minister-president Jetten. De uitkomst van Pangram werd direct als een vaststaand feit gepresenteerd. Bovendien: zoals ik eerder schreef in Tekortkomingen van AI-detectietools, roept ook het gebruik van AI-detectie als startpunt van een gesprek vragen op. Als het gaat om onderwijs, hoort de nadruk wat mij betreft te liggen bij het ontwerp van het curriculum (inclusief de manier van beoordelen en het aanpassen van opdrachten), begeleiding van het schrijfproces en heldere afspraken met lerenden.
Tot slot: we moeten volgens mij ook niet te spastisch doen over het gebruik van AI-tools voor het schrijven van teksten. Het is wel belangrijk dat je als schrijver verantwoordelijkheid neemt voor de inhoud door deze inhoud te checken. Realiseer je ook dat AI-gegenereerde teksten behoorlijk homogeen van aard zijn, en dat mensen af kunnen haken als ze steeds vergelijkbare bijdragen zullen lezen. Geef dus je eigen ‘draai’ aan de bijdragen. En zoals gezegd: doel en leercontext zijn van invloed op de vraag of en zo ja welk vorm van AI-gebruik bij het schrijven van teksten gepast is.
Ik gebruik ook AI-tools voor schrijven. Zie: Hoe ik generatieve AI-toepassingen gebruik (omdat vertrouwen belangrijk is).
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Lees het hele
artikel