System One Modellen als aanvulling op large language modellen (met een belangrijk risico)
Sommige AI-modellen schrijven geen tekst meer, maar maken keuzes. Volgens Ben Dickson kan dat AI-toepassingen sneller en goedkoper maken. Dickson legt in de AlphaSignal-nieuwsbrief System One models are carving out a new layer in the AI stack uit waar zulke modellen passen.
Een large language model (LLM) is een AI-model dat is getraind op enorme hoeveelheden tekst en daardoor patronen in taal herkent. Het voorspelt telkens welk woord of woorddeel het beste volgt op de tekst die er al staat, en kan op die manier vragen beantwoorden, teksten schrijven, samenvatten en vertalen. Een system one model is een AI-model dat is ontworpen om snelle, gestructureerde beslissingen te nemen zonder tekst te genereren. Het levert getypte antwoorden en gekalibreerde waarschijnlijkheden op, waardoor software de output direct kan gebruiken voor taken zoals het doorsturen van supporttickets. Een system one model geeft dus direct een antwoord op basis van aangeleerde patronen, zonder tussenstappen of extra denktijd.
Volgens Dickson gebruiken we grote taalmodellen, zoals ChatGPT en Claude, inmiddels voor bijna elke AI-taak. Maar veel taken vragen volgens hem helemaal geen tekst. Ze vragen een snelle, betrouwbare keuze, bijvoorbeeld naar welke afdeling een e-mail moet. Een groot taalmodel daarvoor gebruiken is duur, zeker als een toepassing veel gebruikt wordt. Het model Jev schrijft bijvoorbeeld niet, maar beslist en zegt erbij hoe zeker het daarvan is.
Het bedrijf TypeSafe AI bracht Jev op 15 september uit. Je geeft het model een situatie, een vraag en een aantal mogelijke antwoorden. Je krijgt één gekozen antwoord terug, met een percentage dat aangeeft hoe zeker de keuze is. Voorbeeld op de website van TypeSafe AI: Je laat het AI-model van een bepaalde Wikipedia-pagina een andere, vooraf bepaalde pagina bereiken. Dat mag alleen via de links die het model onderweg tegenkomt. Bij elke stap kiest het model uit honderden of zelfs duizenden links. Je ziet dan hoe snel een systeem denkt, maar ook hoeveel voordeel het oplevert om bij zulke keuzes geen fouten of verzinsels te maken.Twijfelgevallen kun je aan een sterker model of een mens voorleggen, de rest gaat vanzelf. Op deze site vind je verschillende use cases.
Omdat Jev alleen uit jouw antwoorden kiest, kan het niets verzinnen. Het kan zich wel vergissen, en als jouw lijst met antwoorden onvolledig is, kan het nooit het juiste antwoord geven.
Als het gaat om snelheid en kosten vermeldt TypeSafe grote verschillen. Volgens het bedrijf is Jev bij dit soort keuzes 40 tot 200 keer sneller en ongeveer 445 keer goedkoper dan de grootste taalmodellen. Dat zijn cijfers van het bedrijf zelf.
Dickson adviseert om eerst te kijken of gewone regels volstaan. Als je precies kunt opschrijven wat er moet gebeuren, is AI niet nodig. Een keuzemodel past vooral bij situaties waarin je de mogelijke antwoorden kent, maar de regel niet goed kunt opschrijven, zoals het sorteren van e-mail, het inschatten van urgentie en het weren van ongewenste inhoud. Er zijn ook open alternatieven, zoals Laya en CLM van onderzoekers van Stanford en Nvidia. Modellen als Jev vervangen ChatGPT en Claude niet, maar werken als snelle beslisser ernaast.
Mijn opmerkingen
Het idee achter de System One Modellen vind ik wel bruikbaar: laat dure modellen schrijven en nadenken, en laat kleine modellen kiezen. Op het gebied van leren, opleiden en onderwijs, zie ik de nodige toepassingen als het gaat om ondersteunende processen. Denk aan het afhandelen van mails of het classificeren van tickets van een servicedesk. Als het gaat om het primair proces kun je denken aan het beoordelen van toetsen op basis van een antwoordmodel of rubric. Nu kan daar ook al AI voor worden gebruikt. System One modellen doen dit sneller, goedkoper en met minder fouten.
Dit kan er wel toe leiden dat gebruikers geneigd zijn om beslissingen van dit type modellen nog minder te controleren. Hoe staan het dan met het principe “The human is the loop”? Dat staat nog los van het gegeven dat Europese wetgeving verbiedt dat IT-systemen zelfstandig beslissingen met serieuze gevolgen gaan nemen. Wat ook weinig aandacht krijgt, is de vraag wie welke informatie te zien krijgt. Om te kunnen kiezen moet Jev de inhoud lezen. Mails bevatten namen, nummers en mogelijk gevoelige gegevens zoals klachten. System One Modellen werken pas goed als je ze toegang geeft tot data met rijke, vaak gevoelige, informatie. Op het gebied van leren, opleiden en onderwijs gaat het om gegevens van veel lerenden, soms over gezondheid of extra ondersteuning. Modellen als Jev zijn van een externe partij, gevestigd in de VS.
Test deze modellen daarom met fictieve of geanonimiseerde gegevens. Wil je het echt gebruiken, maak dan afspraken met de aanbieder over wat er met de gegevens gebeurt en waar ze worden verwerkt. Geef het model alleen de gegevens die het nodig heeft. Een open alternatief dat je zelf host houdt de gegevens binnen je eigen organisatie. Dergelijke modellen vragen echter vaak om meer technische expertise.
Het is nog steeds een mens die belangrijke beslissingen zou mogen nemen. Een zekerheidspercentage helpt om te bepalen welke gevallen dat zijn. Ik vrees echter dat het steeds moeilijker het principe dat een mens het laatste woord moet hebben, overeind te houden naarmate dergelijke modellen beter, sneller en goedkoper worden.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie.
Lees het hele
artikel