Gebruikers hebben vaak niet door dat een taalmodel bepaalde aannames maakt. Zo kunnen er subtiele maar stelselmatige verschillen optreden in hoe mannen en vrouwen worden beschreven, zonder dat dit direct zichtbaar is. Juist omdat vooroordelen zo verborgen zijn, kunnen ze zich ongemerkt verspreiden en de uitkomsten van AI-systemen op een onzichtbare manier beïnvloeden.

Een centraal probleem dat Van der Wal in zijn proefschrift beschrijft, is dat bestaande meetmethoden onvoldoende aansluiten bij de praktijk. Veel van die methoden zoeken naar uitgesproken stereotypes in de output van een model, zoals directe uitspraken over bevolkingsgroepen. Maar vooroordelen zijn in de praktijk zelden zo expliciet: ze hangen samen met de context waarin een model wordt ingezet. Als voorbeeld wijst Van der Wal op het gebruik van AI in de zorg. Wanneer trainingsdata verouderde of foutieve aannames bevatten, bijvoorbeeld rond het achterhaalde concept van ras in relatie tot ziekte, kan het model die aannames blijven herhalen. Zijn ook de medische data waarop een model getraind is vooral afkomstig uit onderzoek onder mannen, dan kan het model klachten van vrouwen anders of minder serieus interpreteren en afwijkende risico-inschattingen maken.

Om te onderzoeken of realistische scenario’s andere fouten blootleggen dan eenvoudige tests, legde Van der Wal taalmodellen verschillende medische casussen voor. Hij vroeg de modellen diagnoses, risico-inschattingen en adviezen te geven, en varieerde daarbij steeds de etniciteit van de patiënt. Uit dit onderzoek bleken subtiele maar consistente verschillen op te treden in de uitkomsten, verschillen die in standaardtests onzichtbaar waren gebleven. Juist doordat de opzet dicht bij de praktijk stond, werd duidelijk hoe vooroordelen kunnen doorwerken in medische besluitvorming.

Naast het meten van bias onderzocht Van der Wal ook wat er binnenin een taalmodel gebeurt tijdens het trainen. Hij volgde stap voor stap hoe een model informatie leert opslaan. Wanneer in de trainingsdata het woord “dokter” vaak samen voorkomt met “hij” en “verpleegkundige” met “zij”, pikt het model die verbanden op. Na verloop van tijd bleek het model die informatie steeds meer op specifieke plekken op te slaan, waardoor de genderbias intern werd versterkt. Vooroordelen ontstaan dus niet alleen door de data waarmee een model werkt, maar ook door de manier waarop het model die informatie structureert.

Bias in taalmodellen is niet met één simpele ingreep op te lossen, maar Van der Wal laat zien dat gerichte aanpakken wel degelijk kunnen helpen. Als bekend is waar in een model vooroordelen zijn opgeslagen, kunnen die specifieke plekken worden aangepakt. Hij testte dit door een model voor en na een gerichte aanpassing te vergelijken, waarbij het model getraind werd om gesignaleerde gendervooroordelen niet over te nemen. Hoewel deze aanpak in specifieke gevallen al lijkt te werken, is volgens Van der Wal meer onderzoek nodig om die methode door te trekken naar complexere vormen van bias. Op 29 april verdedigt hij zijn proefschrift aan de Universiteit van Amsterdam.