Multimodale grote taalmodellen kunnen tekst, afbeeldingen en andere vormen van informatie verwerken, maar presteren ze ook consistent als dezelfde inhoud in verschillende vormen wordt aangeboden? Onderzoekers van de Universiteit van Amsterdam onderzochten dit en ontdekten systematische inconsistenties die gevolgen hebben voor hoe betrouwbaar deze modellen zijn in de praktijk. Hun paper is geaccepteerd op CVPR 2026.
In het paper “Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs” onderzoeken Angela van Sprang, Laurens Samson, Ana Lucic, Erman Acar, Sennay Ghebreab en Yuki M. Asano hoe multimodale taalmodellen reageren wanneer equivalent materiaal in verschillende modaliteiten wordt gepresenteerd. De bevinding is dat deze modellen regelmatig tot verschillende conclusies komen, ook al gaat het in wezen om dezelfde informatie.
Dit cross-modale gedrag is relevant voor toepassingen waarbij consistentie cruciaal is, zoals medische beeldverwerking, financiële documentanalyse of juridische informatiesystemen. De onderzoekers plaatsen hun bevindingen in de bredere context van robuustheid en betrouwbaarheid van AI-systemen, en dragen daarmee bij aan een realistischer beeld van de grenzen van huidige multimodale modellen. Het paper is gepresenteerd op de IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2026).
Lees ook
