Taalmodellen, zoals die achter populaire chatbots, vertonen wel degelijk tekenen van redeneren. Maar hoe betrouwbaar is dat redeneren eigenlijk? In zijn promotieonderzoek aan de Vrije Universiteit Amsterdam (VU) onderzocht taalkundige Stefan Schouten of taalmodellen echt redeneren, en hoe robuust dat redeneren is. Op 2 november 2026 verdedigde hij zijn proefschrift Reasoning in Language Models: Identification and Application.
Uit het onderzoek van Schouten blijkt dat taalmodellen indrukwekkend kunnen presteren, maar met duidelijke grenzen. Toen GPT-4 zinnen kreeg die op verschillende manieren te interpreteren waren, koos het model in meer dan 83 procent van de gevallen de juiste interpretatie. Dat is veel beter dan gokken, maar nog lang niet perfect.
Ook binnenin de modellen vond Schouten logische structuren, in de manier waarop begrippen en zinnen met elkaar verbonden zijn. Tegelijkertijd bleken modellen gevoelig voor afleiding: irrelevante informatie kan de uitkomst beïnvloeden.
De vraag wordt steeds urgenter nu miljoenen mensen dagelijks AI-chatbots gebruiken voor advies, studie en werk. Nieuwe zogeheten ‘redeneermodellen’ laten hun denkproces zelfs stap voor stap zien. Volgens Schouten is juist daar voorzichtigheid geboden: tekst die op redeneren lijkt, is nog geen bewijs dat er echt geredeneerd wordt. Bovendien hoeft de uitleg die een model geeft voor een antwoord of beslissing niet overeen te komen met wat er werkelijk binnenin het model gebeurde.
De onderzoeksmethoden die Schouten ontwikkelde, helpen wetenschappers en AI-bedrijven om in taalmodellen te kijken en te controleren hoe betrouwbaar ze redeneren. Een belangrijke vraag blijft nog open: kunnen taalmodellen ook problemen robuust oplossen die ze nooit eerder zijn tegengekomen? Volgens Schouten is er nog veel meer onderzoek nodig om dat te beantwoorden.
Schouten voerde zijn onderzoek uit aan de Faculteit der Sociale en Geesteswetenschappen van de VU, onder begeleiding van prof. dr. Piek Vossen, dr. Peter Bloem en dr. Ilia Markov.
Lees ook
