Een patiënt die moeite heeft met lezen is een dag bezig om een verwijzing via ZorgDomein voor elkaar te krijgen. En een andere patiënt die vandaag zijn eerste afspraak in het ziekenhuis heeft, krijgt in de spreekkamer meteen de vraag: waarom heeft u zich niet digitaal aangemeld? Met een paar voorbeelden maakt moderator Marit Blom van Sigra meteen duidelijk waar digitale zorg kan knellen. Wat voor een organisatie handig is, kan voor een patiënt een flinke hindernis zijn.

Daarom is digitale inclusie het thema van vandaag. Wie profiteert van nieuwe technologie, en wie dreigt buiten de boot te vallen? En wie ontbreekt er misschien wel helemaal in de data die AI-toepassingen gebruiken? Deze editie van Zorg2040 vindt plaats tijdens de wetenschappelijke conferentie Governing Algorithms for Care, in Felix Meritis in Amsterdam. Zorg2040 bestaat al sinds 2015 en wordt georganiseerd door Sigra, Rabobank, Amsterdam AI, Amsterdam Economic Board en ROM InWest.

De vraag wie er profiteert van nieuwe technologie doet zich al voor bij de data die worden gebruikt om AI-toepassingen te ontwikkelen, zo laat Julia van Weert zien. Zij is hoogleraar Gezondheidscommunicatie en medeoprichter van het ELSA-lab AI for Health Equity aan de Universiteit van Amsterdam. Als bepaalde groepen onvoldoende vertegenwoordigd zijn in die data, kan een systeem voor hen minder goed werken.

Denk bijvoorbeeld aan gezichtsherkenning die minder nauwkeurig is bij het herkennen van gezichten van vrouwen met een donkere huidskleur. Of aan het opsporen van hartproblemen bij vrouwen, bij wie de symptomen anders kunnen zijn dan bij mannen. Wie is zichtbaar in de data? Voor welke groepen werkt een toepassing beter of juist minder goed? Volgens Van Weert moeten die vragen vanaf het begin op tafel liggen.

Iedereen dezelfde technologie aanbieden betekent dus nog niet dat iedereen dezelfde kansen krijgt. De een heeft meer ondersteuning nodig dan de ander. In het ELSA-lab staat niet health equality maar health equity centraal, zegt Van Weert. “Je wil dat iedereen de ondersteuning krijgt die nodig is om diens volledige potentieel voor gezondheid en welzijn te bereiken.” Daartoe onderzoekt het lab de ethische, juridische en maatschappelijke aspecten van de AI-toepassingen. Wie is er bijvoorbeeld eindverantwoordelijk bij de inzet van zo’n toepassing? En wat moeten mensen te horen krijgen als AI een rol speelt in de zorg die ze krijgen?

In het debat over AI in de zorg is het belangrijk om onderscheid te maken tussen de verschillende AI-toepassingen, benadrukt Van Weert. Een chatbot een medische vraag stellen is iets anders dan een arts die een beslisondersteunend systeem gebruikt. Als voorbeeld noemt ze een systeem dat een huisarts inzicht geeft in het valrisico van een patiënt bij bepaald medicijngebruik. Daarbij is er sprake van the human in the loop: de arts beoordeelt de uitkomst en neemt die mee in de behandeling. En vooralsnog is dat de betere variant.

Wat belandt er in een prompt?

Maarten Dirksen van Basic Orange bekijkt AI vanuit de organisaties die ermee werken. Basic Orange ontwikkelt digitale toepassingen, ook voor veel zorgorganisaties. Dirksen ziet hoe medewerkers al met AI aan de slag gaan terwijl bij de organisatie zelf beleid en afspraken nog ontbreken. Zo kunnen ongemerkt gevoelige gegevens bij een externe partij terechtkomen, met mogelijke schendingen van de privacywetgeving als gevolg. “We gebruiken AI alsof het een interne tool is, terwijl het juridisch een externe partij is.”

Zijn bedrijf ontwikkelde daarom GDPR Filter. Tijdens een demonstratie laat Dirksen zien hoe het filter persoonsgegevens door labels vervangt voordat een vraag naar een AI-model gaat. In het antwoord worden die labels weer omgezet naar de oorspronkelijke gegevens. Zo wil hij organisaties helpen de mogelijkheden van AI te gebruiken en tegelijk gevoelige informatie te beschermen. Dirksen: “De vraag is niet of je medewerkers AI gaan gebruiken, dat doen ze al. De vraag is hoe je dit veilig inricht.”

En die andere twintig procent?

Nikki van de Veerdonk, projectleider digitale innovaties & AI bij Pharos, herkent in het gebruik van AI hetzelfde patroon als bij andere vormen van digitalisering in de zorg. Ontwikkelaars bouwen een applicatie en testen die met mensen die op henzelf lijken. Vervolgens blijkt dat een deel van de gebruikers er niet mee overweg kan.

Daarna zijn er aanpassingen nodig, terwijl het budget al op is of ontwikkelaars het geld liever besteden aan extra functionaliteiten. “Een app die tachtig procent van de doelgroep bereikt en van zijn gebruikers een acht krijgt, kan succesvol lijken. Maar wie zijn die andere twintig procent? Juist de mensen die al minder gemakkelijk toegang hebben tot zorg, lopen het risico opnieuw over het hoofd te worden gezien. Het is geweldig als AI een begrijpelijke samenvatting van een gesprek maakt. Maar als je die vervolgens in de app van de praktijk moet downloaden, is dat voor sommige mensen veel te ingewikkeld.”

Pharos, het landelijk expertisecentrum dat werkt aan het terugdringen van gezondheidsverschillen, helpt digitale toepassingen begrijpelijker en toegankelijker te maken. Soms helpt een kleine aanpassing al: eerdere en komende afspraken apart tonen in het patiëntportaal, in plaats van in één lange lijst. “Maar ik wil natuurlijk liever niet dat ik AI-toepassingen met terugwerkende kracht inclusief moet gaan maken, ik zou liever willen dat dit vanaf het begin van de ontwikkeling een rol speelt. Nu bestaat het risico dat door deze toepassingen de gezondheidsverschillen in het kwadraat toenemen.”

Vragen genoeg

De drie sprekers nemen plaats op het podium. Ze gaan verder in gesprek met elkaar, met moderator Marit Blom en de zaal. Gaat digitale uitsluiting vooral over toegang, vraagt een van de aanwezigen, of over begrip en vaardigheden? Over allebei, antwoordt Van Weert. Een app beschikbaar stellen is niet genoeg. Sommige mensen hebben niet eens een smartphone, anderen hebben persoonlijke uitleg nodig. In onderzoek laat ze gebruikers hardop vertellen wat ze denken terwijl ze een toepassing proberen. Dan blijken stappen die voor ontwikkelaars vanzelfsprekend zijn, voor gebruikers helemaal niet logisch.

In de zaal vliegt de ene na de andere hand de lucht in. De vragen gaan over begrijpelijke toepassingen, de bescherming van patiëntgegevens en de verantwoordelijkheid om iedereen mee te nemen. Ook over de gegevens achter AI zijn veel vragen. Waar leert een systeem van? En heb je voor een passend antwoord niet juist persoonlijke informatie nodig? De discussie raakt daarmee aan een dilemma: hoe geef je een systeem voldoende context en bescherm je tegelijk de patiënt? Van Weert vertelt dat haar lab onder meer met synthetische data werkt: kunstmatig samengestelde gegevens waarmee onderzoekers kunnen werken zonder daarvoor echte patiëntgegevens te gebruiken.

Wie moet het doen?

Een jeugdarts brengt het gesprek terug naar de dagelijkse praktijk. Zorgverleners willen wel, maar hebben niet altijd de middelen om digitale toepassingen goed te gebruiken. Wat kunnen zij met de inzichten van vandaag? En wie zorgt dat de stem van hun patiënten doorklinkt bij ontwikkelaars en beleidsmakers? Van de Veerdonk aarzelt om zorgverleners nóg een opdracht mee te geven. Zij krijgen al veel op hun bord; nu komt kennis over AI daar weer bij. Liever ziet ze dat de ervaringen van mensen met ingewikkelde zorgvragen al tijdens de ontwikkeling worden meegenomen. Van Weert sluit daarbij aan. “Techbedrijven zijn in Den Haag goed vertegenwoordigd. Maar we kunnen het niet alleen aan hen overlaten. Ook sociale wetenschappers en maatschappelijke organisaties moeten daar van zich laten horen.” Moderator Blom verwijst ook nog naar de Wegwijzer Digitale inclusie van Sigra.

Wat moet er in 2040 veranderd zijn als het aan de sprekers van vandaag ligt? De drie zijn het erover eens dat in 2040 gebruikers zich niet meer aan de techniek hoeven aan te passen, maar dat de techniek rekening houdt met hen. Dirksen ziet gelukkig al dat hier steeds meer bewustzijn over ontstaat. Van Weert wil dat het vanzelfsprekend is om eindgebruikers vanaf het begin te betrekken. “Ik wil daar dan niet meer voor hoeven strijden.” Van de Veerdonk vult haar lachend aan: “En ik wil over vijftien jaar ook echt deze baan niet meer hebben.”