Kunstmatige intelligentie (AI), en in het bijzonder grote taalmodellen zoals GPT-4, heeft opmerkelijke vooruitgang geboekt in redeneertaken. Een nieuwe studie wijst echter op de beperkingen van AI in het werkelijk begrijpen van abstracte concepten, wat suggereert dat het eerder gaat om het nabootsen van patronen dan om echt begrip.
In een studie van AI- en taalexperts Martha Lewis van de Universiteit van Amsterdam en Melanie Mitchell van het Santa Fe Institute werd de capaciteit van GPT-4 om analogieën te begrijpen getest in vergelijking met menselijke prestaties. Analogisch redeneren – het vermogen om vergelijkingen te maken tussen verschillende dingen op basis van gedeelde overeenkomsten – is een cruciale manier waarop mensen de wereld begrijpen. Bijvoorbeeld: “Kop is voor koffie zoals soep is voor ???”
Hoewel GPT-4 goed presteert in standaard analogie-taken, bleek uit de studie dat het model moeite had wanneer de problemen licht werden aangepast. In tegenstelling tot mensen, die hun prestaties consistent hielden ondanks variaties in de analogieën, daalden de resultaten van GPT-4.
De studie testte zowel AI- als menselijke prestaties op drie verschillende soorten analogieën:
GPT-4 presteerde goed op standaardtests, maar wanneer de problemen werden aangepast – zoals het veranderen van de positie van een ontbrekend cijfer of een lichte herformulering van een verhaal – daalde de prestaties van GPT-4 aanzienlijk. Mensen bleven echter consistent. Dit suggereert dat GPT-modellen niet over de flexibiliteit van menselijk redeneren beschikken en vaak afhankelijk zijn van patroonherkenning in plaats van echt begrip.
Dit onderzoek toont aan dat AI-modellen zoals GPT-4 de analogieën die ze genereren niet echt “begrijpen”. Hun redenering imiteert vaak patronen uit de trainingsdata in plaats van abstract begrip, wat een belangrijk kenmerk is van menselijke cognitie. De studie concludeert dat GPT-modellen zwakker zijn dan menselijke cognitie, vooral wanneer ze worden geconfronteerd met complexe redeneringstaken. Dit benadrukt de beperkingen van AI in kritieke besluitvormingsgebieden zoals gezondheidszorg, recht en onderwijs.
Dit is een belangrijke herinnering dat hoewel AI een krachtig hulpmiddel kan zijn, het nog niet in staat is om menselijk denken te vervangen in complexe, genuanceerde scenario’s.
Artikelgegevens: Martha Lewis en Melanie Mitchell, 2025, ‘Evaluating the Robustness of Analogical Reasoning in Large Language Models’ Transactions on Machine Learning Research
Lees ook
