Een methode ontwikkelen om AI begrijpelijk te maken voor mensen

AI-modellen kunnen veel taken oplossen, maar worden ook steeds complexer. Het veld van Explainable AI (XAI) richt zich op het ontleden van het complexe gedrag van deze modellen op een manier die mensen kunnen begrijpen. In het project HUE: bridging AI representations to Human-Understandable Explanations ontwikkelen onderzoekers Giovanni Cinà (Faculteit Geneeskunde) en Sandro Pezzelle (Faculteit der Natuurwetenschappen) een methode die het mogelijk maakt om AI-modellen 'door te lichten' en transparanter te maken.

'Veel AI-modellen zijn black boxes,' legt Pezzelle uit. 'We kunnen ze voeden met veel data en ze kunnen een voorspelling doen – die wel of niet correct kan zijn – maar we weten niet wat er intern gebeurt.' Dit is problematisch, omdat we de output interpreteren volgens onze eigen verwachtingen, ook wel confirmation bias genoemd.

Cinà: 'We zijn eerder geneigd om verklaringen te geloven die overeenkomen met onze eerdere overtuigingen. We accepteren gemakkelijker wat voor ons logisch lijkt, en dat kan ertoe leiden dat we modellen vertrouwen die niet echt betrouwbaar zijn. Dit is een groot probleem, bijvoorbeeld wanneer we AI-modellen gebruiken om medische gegevens te interpreteren om ziektes te detecteren. Onbetrouwbare modellen kunnen artsen gaan beïnvloeden en hen leiden tot verkeerde diagnoses.'

De onderzoekers ontwikkelen een methode om deze confirmation bias te verminderen. 'We willen afstemmen wat we denken dat het model doet met wat het daadwerkelijk doet,' zegt Cinà. 'Om een model transparanter te maken, moeten we enkele verklaringen onderzoeken waarom het met een bepaalde voorspelling kwam.' Hiervoor creëren de onderzoekers een formeel kader waarmee ze hypotheses kunnen formuleren die door mensen begrijpelijk zijn over wat het model heeft geleerd, en deze nauwkeuriger testen.

Pezzelle: 'Onze methode kan worden toegepast op elk machine learning- of deep learning-model, zolang we het kunnen inspecteren. Daarom is een model als ChatGPT geen goede kandidaat, omdat we er niet in kunnen kijken: we krijgen alleen de uiteindelijke output. Het model moet open source zijn voor onze methode om te werken.'

Cinà en Pezzelle, die uit verschillende academische achtergronden komen – medische AI en natuurlijke taalverwerking (NLP) – hebben de krachten gebundeld om een methode te ontwikkelen die in verschillende domeinen kan worden toegepast. Pezzelle: 'Momenteel bereiken oplossingen die in een van deze disciplines worden voorgesteld, niet noodzakelijkerwijs het andere veld. Ons doel is dus om een meer uniforme aanpak te creëren.'

Cinà: 'Er is een technische uitdaging en ook een uitdaging in termen van expertise: we praten over systemen die ruwweg vergelijkbaar zijn, maar we hebben zeer verschillende terminologie. Maar tegelijkertijd is het heel waardevol om elkaars expertise te kunnen gebruiken.'

Bron: UvA.nl