Nieuwe taxonomie wil generalisatie onderzoek in NLP verbeteren

Het grote publiek is inmiddels op de hoogte van NLP door de opkomst van tools als klantenservicechatbots op websites en ChatGPT. Ondertussen gaat het onderzoek naar hoe je NLP-modellen verder kunt verbeteren door. In een artikel in Nature Machine Intelligence biedt een internationaal team van wetenschappers, waaronder onderzoekers van de Universiteit van Amsterdam, een raamwerk om een aspect van NLP-modellen, generalisatie genaamd, te verbeteren.

Het vermogen van NLP-modellen om goed te generaliseren is een van de belangrijkste desiderata van het huidige NLP-onderzoek. Er is momenteel echter geen consensus over wat 'goede generalisatie' inhoudt en hoe het moet worden geëvalueerd. De ruwe definitie is het vermogen om representaties, kennis en strategieën uit eerdere ervaringen succesvol over te dragen naar nieuwe ervaringen. Het kan dus bijvoorbeeld betekenen dat een model in staat is om voorspellingen op basis van een bepaalde dataset op een robuuste, betrouwbare en eerlijke manier toe te passen op een nieuwe dataset. Maar verschillende onderzoekers gebruiken verschillende definities. Ook zijn er momenteel geen gemeenschappelijke normen om generalisatie te evalueren. Als gevolg hiervan worden nieuw voorgestelde NLP-modellen meestal niet systematisch getest op hun vermogen om te generaliseren.