Tong stelt in haar onderzoek dat vloeiend taalgebruik door AI niet hetzelfde is als taalbegrip. Metaforen en humor zijn geen louter stilistische versieringen; zij helpen mensen om complexe ideeën uit te leggen, emoties te uiten en sociale relaties te onderhouden. Uitdrukkingen als ‘iets loslaten’ of ‘een standpunt verdedigen’ gebruiken mensen dagelijks zonder bewust stil te staan bij de figuurlijke betekenis. Bij humor gaat het om vergelijkbare mentale processen: het herkennen van onverwachte verbanden, tegenstrijdigheden of gedeelde culturele verwijzingen. Volgens Tong gaat dat bij mensen meestal vanzelf, maar voor AI-systemen blijft het verrassend lastig.

Om dit te onderzoeken ontwikkelde Tong nieuwe datasets en meetinstrumenten. Een daarvan is de Metaphor Understanding Challenge Dataset, ook wel MUNCH genoemd, die meer dan 10.000 zorgvuldig geannoteerde parafrases van metaforische zinnen bevat. Uit tests met bekende taalmodellen bleek dat deze systemen vaak moeite hadden met het onderscheiden van letterlijke en figuurlijke betekenissen en de bedoelde betekenis regelmatig niet begrepen. Tong onderzocht ook of AI kan herkennen waarom een metafoor wordt gebruikt, aangezien metaforen uiteenlopende functies kunnen hebben: van het verduidelijken van ingewikkelde concepten tot het versterken van sociale banden. Samen met collega’s stelde zij de eerste grootschalige taxonomie van metaforische bedoelingen op, verdeeld over negen categorieën. Huidige AI-modellen konden sommige van die bedoelingen redelijk herkennen, maar liepen in veel gevallen tegen duidelijke beperkingen aan.

Humor bleek een bijzondere uitdaging te vormen wanneer zowel tekst als afbeeldingen een rol spelen. Voor dit deel van het onderzoek stelde Tong de zogenoemde Hummus-dataset samen, een verzameling van 1.000 cartoons uit The New Yorker. Veel van die cartoons maken gebruik van visuele metaforen en subtiele verbanden tussen beeld en tekst. Zelfs zeer geavanceerde AI-systemen hadden vaak moeite om visuele en tekstuele informatie zo te combineren dat zij de grap doorhadden. Tong concludeert dat het begrijpen van een grap culturele kennis, sociale context en gevoel voor wat een situatie onverwacht maakt vereist, en dat dit voor huidige systemen een brug te ver blijft.

De bevindingen hebben praktische relevantie nu AI-systemen een grotere rol gaan spelen in virtuele assistenten, educatieve tools en werkomgevingen. Tong concludeert dat toekomstige AI-systemen pas echt betrouwbaar, intuïtief en nuttig kunnen zijn als zij metaforen, humor en culturele context beter leren begrijpen. Wanneer een AI-assistent die subtiliteiten mist, kan dat gevolgen hebben voor de kwaliteit en betrouwbaarheid van de interactie met gebruikers.