UvA-onderzoekers hebben een evaluatiechecklist voor datasets gemaakt

Met de verwachte groei van AI-toepassingen in de gezondheidszorg door onder andere de vergrijzende bevolking en stijgende zorgkosten, wordt de noodzaak van betrouwbare AI-oplossingen steeds duidelijker. Maria Galanty, een promovenda aan de UvA, benadrukt het belang van goed gedocumenteerde datasets om bias in medische AI aan te pakken. "Bias verwijst naar een systematische fout in machine learning-modellen, die hun vermogen beïnvloedt om subgroepen van patiënten correct te classificeren," zegt Galanty. Dit probleem ontstaat wanneer datasets de doelpopulatie niet goed representeren.

Galanty behaalde haar bachelor in wiskunde en cognitiewetenschappen aan de Universiteit van Warschau, maar besloot naar Nederland te verhuizen. "Ik wilde ervaren hoe het zou zijn om in het buitenland te werken en te wonen, en werd aangetrokken door het hoge onderwijsniveau en de goede werk-privébalans in Nederland." Ze volgde een master in kunstmatige intelligentie aan de Universiteit Utrecht en werd geïnteresseerd in de kruising van AI en gezondheidszorg, wat leidde tot haar promotieonderzoek naar bias in medische data.

Samen met Dieuwertje Luitse, ook promovenda, voerde Galanty een studie uit naar de documentatie van publiekelijk beschikbare medische datasets. Deze datasets worden vaak hergebruikt door machine learning-ingenieurs die niet betrokken waren bij het creatieproces, waardoor zij geen extra kennis hebben over de data. Hun onderzoek richtte zich op verschillende medische data, zoals MRI's, kleurenfundusfotografie van het oog en elektrocardiogrammen.

Ze ontwikkelden een evaluatie-instrument, een checklist, om de volledigheid van de datasetdocumentatie te beoordelen. "Er is veel variatie in de datasetdocumentatie. Soms staat er alleen dat de annotaties door een medisch professional zijn uitgevoerd, terwijl andere het proces gedetailleerd beschrijven," legt Galanty uit. Ze pleit voor richtlijnen voor het opstellen van goede documentatie, zodat alle relevante informatie wordt opgenomen. Goede documentatie stelt gebruikers van de data in staat om zich bewust te zijn van mogelijke biases en deze te verminderen.

Galanty's ambitie is bij te dragen aan robuustere medische AI-oplossingen. "De stap van het ontwikkelen van machine learning-tools aan de universiteit naar toepassing in ziekenhuizen is nog steeds groot. Als we willen dat een tool daadwerkelijk voor patiënten wordt gebruikt, moet deze grondig getest zijn en voldoen aan alle ethische en juridische voorwaarden."

Bron