< Terug naar nieuws

4 Juli 2024

Een methode ontwikkelen om AI begrijpelijk te maken voor mensen

AI kan veel van onze taken overnemen en biedt eindeloze mogelijkheden. Maar hoe kunnen we ervoor zorgen dat AI-modellen begrijpelijk en verklaarbaar zijn voor mensen? In een nieuw interdisciplinair onderzoeksproject ontwikkelen UvA-onderzoekers een methode hiervoor. 'We accepteren gemakkelijker wat voor ons logisch lijkt - en dat kan ertoe leiden dat we systemen vertrouwen die niet betrouwbaar zijn.'

AI-modellen kunnen veel taken oplossen, maar worden ook steeds complexer. Het veld van Explainable AI (XAI) richt zich op het ontleden van het complexe gedrag van deze modellen op een manier die mensen kunnen begrijpen. In het project HUE: bridging AI representations to Human-Understandable Explanations ontwikkelen onderzoekers Giovanni Cinà (Faculteit Geneeskunde) en Sandro Pezzelle (Faculteit der Natuurwetenschappen) een methode die het mogelijk maakt om AI-modellen 'door te lichten' en transparanter te maken.

 

'Veel AI-modellen zijn black boxes,' legt Pezzelle uit. 'We kunnen ze voeden met veel data en ze kunnen een voorspelling doen – die wel of niet correct kan zijn – maar we weten niet wat er intern gebeurt.' Dit is problematisch, omdat we de output interpreteren volgens onze eigen verwachtingen, ook wel confirmation bias genoemd.

 

Cinà: 'We zijn eerder geneigd om verklaringen te geloven die overeenkomen met onze eerdere overtuigingen. We accepteren gemakkelijker wat voor ons logisch lijkt, en dat kan ertoe leiden dat we modellen vertrouwen die niet echt betrouwbaar zijn. Dit is een groot probleem, bijvoorbeeld wanneer we AI-modellen gebruiken om medische gegevens te interpreteren om ziektes te detecteren. Onbetrouwbare modellen kunnen artsen gaan beïnvloeden en hen leiden tot verkeerde diagnoses.'

 

De onderzoekers ontwikkelen een methode om deze confirmation bias te verminderen. 'We willen afstemmen wat we denken dat het model doet met wat het daadwerkelijk doet,' zegt Cinà. 'Om een model transparanter te maken, moeten we enkele verklaringen onderzoeken waarom het met een bepaalde voorspelling kwam.' Hiervoor creëren de onderzoekers een formeel kader waarmee ze hypotheses kunnen formuleren die door mensen begrijpelijk zijn over wat het model heeft geleerd, en deze nauwkeuriger testen.

 

Pezzelle: 'Onze methode kan worden toegepast op elk machine learning- of deep learning-model, zolang we het kunnen inspecteren. Daarom is een model als ChatGPT geen goede kandidaat, omdat we er niet in kunnen kijken: we krijgen alleen de uiteindelijke output. Het model moet open source zijn voor onze methode om te werken.'

 

Cinà en Pezzelle, die uit verschillende academische achtergronden komen – medische AI en natuurlijke taalverwerking (NLP) – hebben de krachten gebundeld om een methode te ontwikkelen die in verschillende domeinen kan worden toegepast. Pezzelle: 'Momenteel bereiken oplossingen die in een van deze disciplines worden voorgesteld, niet noodzakelijkerwijs het andere veld. Ons doel is dus om een meer uniforme aanpak te creëren.'

 

Cinà: 'Er is een technische uitdaging en ook een uitdaging in termen van expertise: we praten over systemen die ruwweg vergelijkbaar zijn, maar we hebben zeer verschillende terminologie. Maar tegelijkertijd is het heel waardevol om elkaars expertise te kunnen gebruiken.'

 

Bron: UvA.nl 

 

Vergelijkbaar >

Vergelijkbare nieuwsitems

>Bekijk alle nieuwsitems >
Opinion: “A call for consensus: AI's place in education”

28 oktober

Opinion: “A call for consensus: AI's place in education” >

Roemer Wage, a graduate of the University of Amsterdam with a degree in Information Science and currently pursuing a Master's in Information Sciences at the Vrije Universiteit, wrote his Bachelor's thesis titled "Regulating Generative AI: An Analysis of the EU Approach," which was graded an 8.5. Drawing on this research and his insights gained throughout his studies, he shares the following opinion on the role of AI in education.

Lees meer >

Versneld digitaliseren in het mkb: in gesprek met André Gerver

23 oktober

Versneld digitaliseren in het mkb: in gesprek met André Gerver >

AI is overal. Het mkb staat voor de uitdaging om de snelle digitale ontwikkelingen bij te houden. In een interview met het Centre of Expertise Applied AI van de HvA, vertelt programmaleider André Gerver over de European Digital Innovation Hub Noordwest (EDIH) en de rol van het 'Test before Invest' werkpakket, dat mkb-bedrijven ondersteunt bij hun digitale transitie.

Lees meer >

HAVA-lab officieel geopend: interdisciplinair onderzoek naar human-aligned video-AI

23 Oktober

HAVA-lab officieel geopend: interdisciplinair onderzoek naar human-aligned video-AI >

Vorige week heeft Peter-Paul Verbeek het HAVA-Lab officieel geopend. Het HAVA-lab is het eerste laboratorium van zijn soort aan de Universiteit van Amsterdam (UvA) dat video-AI vanuit een interdisciplinair perspectief bestudeert. Het centrale onderzoeksthema is de vraag: Wat definieert human-aligned video-AI, hoe kan het rekenbaar worden gemaakt, en wat bepaalt de maatschappelijke acceptatie ervan? Het laboratorium brengt alle zeven faculteiten van de UvA samen in dit baanbrekende onderzoek, wat de kracht van samenwerking illustreert in het aanpakken van complexe maatschappelijke vraagstukken.

Lees meer >