Eerlijk, betrouwbaar en transparant
Module 5 van 5
Nieuwe Europese regels voor kunstmatige intelligentie
Eerlijk, betrouwbaar en transparant
AI in de zorg klinkt veelbelovend, maar er zijn serieuze uitdagingen. Wanneer kun je AI vertrouwen? Wat als het systeem faalt? En wat doe je als AI een ander advies geeft voor de ene cliënt dan voor de andere? Deze module gaat over de grenzen en risico's van AI in de zorg.
- de begrippen algoritmische bias, XAI en model drift uitleggen
- ethische uitdagingen van AI in de zorg benoemen en bediscussiëren
- de aansprakelijkheidsvraag bij AI-fouten in de zorg analyseren
Technische drempels: waarom AI-adoptie moeilijk is
Zorginstellingen staan te popelen om AI in te zetten, maar de praktijk is weerbarstig. Er zijn drie technische obstakels die de invoering bemoeilijken.
Interoperabiliteit
Zorginstellingen gebruiken tientallen verschillende softwaresystemen die slecht met elkaar communiceren. Een AI-systeem dat sepsis-alerts wil geven, heeft vitale waarden nodig uit het monitoringsysteem, labresultaten uit het laboratoriumsysteem en medicatiegegevens uit het ECD. Als die systemen niet met elkaar praten, werkt de AI niet.
Kosten
AI-systemen ontwikkelen, valideren en implementeren is duur. De kosten voor training, onderhoud, updates en opleiding van medewerkers zijn aanzienlijk. Kleine zorginstellingen kunnen dit zelden alleen dragen.
Workflow-integratie
Een AI-systeem dat wel werkt maar niet past in de dagelijkse werkstroom wordt niet gebruikt. Als een alert verschijnt op een scherm dat zorgverleners toch al nauwelijks zien, mist het zijn doel. Goede implementatie vereist ook organisatorisch verandermanagement.
Technisch werkende AI is nog geen succesvol ingevoerde AI. De menselijke en organisatorische kant van implementatie is minstens zo belangrijk als de technologie zelf.
Betrouwbaarheid in de tijd: model drift
Een AI-systeem dat vandaag goed werkt, kan over een jaar slechter presteren. Dat heet model drift: de wereld verandert, maar het systeem niet mee.
Tijdens de coronapandemie begonnen veel AI-systemen in ziekenhuizen onjuiste voorspellingen te doen. Ze waren getraind op data van voor de pandemie. De gezondheidspatronen van patiënten veranderden fundamenteel, maar de systemen waren niet bijgewerkt. Resultaat: adviezen die in normale tijden goed waren, bleken tijdens de pandemie onbetrouwbaar.
Model drift kan ook subtiel zijn: een kleine verandering in de patiëntenpopulatie, een nieuw medicijn dat breed ingevoerd wordt, een aanpassing in de meetprotocollen. Zonder monitoring merk je het niet.
Goed beheer van AI-systemen omvat continue monitoring van de prestaties. Als de nauwkeurigheid daalt, moet het systeem opnieuw worden getraind op actuele data. Dit vereist datawetenschappers, tijd en middelen, en moet geregeld zijn voordat een systeem in gebruik genomen wordt.
Als gebruiker van een AI-systeem hoef je dit niet zelf bij te houden. Maar je mag altijd vragen: "Wanneer is dit systeem voor het laatst gevalideerd?" en "Wie houdt de prestaties bij?"
Eerlijke AI: bias en discriminatie
AI leert van historische data. Als die data ongelijkheden bevatten, neemt de AI die mee in zijn uitkomsten. Dit heet algoritmische bias: een systematische scheefheid in de resultaten die bepaalde groepen benadeelt.
Een Amerikaans onderzoek uit 2019 toonde aan dat een veelgebruikt AI-systeem voor het prioriteren van extra zorgondersteuning structureel zwarte patiënten benadeelde. Het systeem gebruikte zorgkosten als maatstaf voor ziekte-ernst. Maar zwarte patiënten hadden in het verleden minder zorg gekregen, ook bij vergelijkbare ziekte. Daardoor kregen ze ook via het AI-systeem minder ondersteuning toegewezen, terwijl ze medisch gezien meer nodig hadden.
Bias kan ook subtiel zijn: een val-risicoscore die minder goed werkt voor bewoners met een bepaalde culturele achtergrond, of een schrijfhulp die formeler wordt als het een naam met een bepaalde klank herkent.
Als de leerstof van AI scheef is, zijn de uitkomsten ook scheef. Een weegschaal die altijd twee kilo te weinig aangeeft, geeft bij elk gewicht een foutieve uitslag, ook als die uitslag er betrouwbaar uitziet. Zo werkt ook een AI met biased trainingsdata.
Als je een AI-advies ziet dat jou verbaast, meld dit. Systematische afwijkingen zijn vaak pas zichtbaar als zorgverleners ze signaleren. Jij bent degene die de cliënt kent en kan opmerken als een advies niet klopt voor deze specifieke persoon.
De AI Act verplicht aanbieders van hoog-risico AI-systemen om bias te beheersen en transparantie te bieden. Leerroute 6 legt uit wat die wet voor de zorg betekent.
De zwarte doos: transparantie en explainable AI
Moderne AI-systemen werken via miljoenen parameters en complexe berekeningen. Niemand kan precies zeggen welke combinatie van factoren tot een bepaald advies heeft geleid. Dit noemen we het zwarte doos-probleem.
In de zorg is dit problematisch. Een arts of verpleegkundige die een beslissing neemt, moet die kunnen verantwoorden: waarom heb je dit medicijn gekozen? Waarom dit behandelplan? Als het antwoord is "de AI zei het", is dat geen verantwoording.
Er is een groeiend onderzoeksveld dat werkt aan explainable AI: systemen die niet alleen een uitkomst geven, maar ook kunnen aangeven welke factoren het zwaarst meewogen. "De valrisicoscore is hoog omdat de bewoner drie valincidenten had in de afgelopen maand en polyfarmacie heeft." Dat is een uitlegbaar advies waarmee je als professional iets kunt.
De Europese AI Act (2024) verplicht aanbieders van hoog-risico AI-systemen, waaronder medische AI, om transparantie te bieden over hoe het systeem werkt. Gebruikers hebben het recht te weten op basis van welke gegevens een beslissing is genomen.
Dit betekent in de praktijk: als een AI-systeem in jouw instelling een advies geeft dat jou of je cliënt raakt, heeft die cliënt het recht te weten hoe dat advies tot stand is gekomen. Dit is een wettelijk recht, niet alleen een wens.
Als zorgverlener kun je vragen: "Welke gegevens heeft dit systeem gebruikt?" en "Waarom geeft het dit advies?" Als de leverancier dat niet kan uitleggen, is dat een serieus probleem dat je mag melden bij je leidinggevende of de privacy-officer.
Omgaan met onzekerheid: wanneer twijfelt AI?
Goede AI-systemen geven niet alleen een uitkomst, maar ook een indicatie van hoe zeker ze zijn. Dat heet een confidence score: een getal dat aangeeft hoe sterk het systeem staat achter zijn advies.
Een AI die röntgenfoto's analyseert, kan niet alleen zeggen "er is een afwijking" maar ook "ik ben 94% zeker dat dit een afwijking is" of "ik ben 52% zeker, de radioloog moet dit zelf beoordelen." Een lage confidence score is een signaal dat het systeem twijfelt en dat menselijke expertise extra belangrijk is.
Moeilijk voor AI zijn de edge cases: situaties die ver buiten het trainingsdomein vallen. Een jong kind in een ouderenzorginstelling. Een bewoner met een zeldzame aandoening. Een nieuwe variant van een bekende ziekte. In dit soort situaties is de kans groot dat het AI-systeem onbetrouwbaar is.
Het gevaarlijkste is een AI die een hoge confidence score geeft maar toch fout zit. Dit kan gebeuren als de situatie wel lijkt op iets uit de trainingsdata, maar er subtiele verschillen zijn die het systeem niet herkent. Vertrouw nooit alleen op de zekerheid waarmee een AI spreekt. Beoordeel ook de uitkomst zelf met jouw eigen expertise.
- Welke groepen cliënten zouden in jouw werk het meeste risico lopen op AI-bias?
- Hoe zou jij merken dat een AI-systeem op jouw afdeling minder betrouwbaar wordt?
- Heb je recht om te weten hoe een AI-beslissing is genomen die jou of je cliënt betreft?
Test je kennis
Dit neem je mee
- Interoperabiliteit, kosten en workflow-integratie zijn de grootste praktische drempels voor AI in de zorg
- Model drift: AI-systemen verslechteren als de werkelijkheid verandert en het systeem niet wordt bijgewerkt
- Algoritmische bias ontstaat als trainingsdata ongelijkheden bevatten. AI herhaalt dan bestaande onrechtvaardigheid
- Transparantie is een recht: de AI Act verplicht leveranciers uitleg te geven over hoe het systeem werkt
- Een hoge confidence score betekent niet dat het systeem gelijk heeft. Beoordeel uitkomsten altijd met je eigen expertise
- OECD — AI Policy Observatory — internationaal beleidskader voor verantwoorde AI
- SURF — AI en ethiek in het onderwijs — verdieping op ethische vraagstukken rondom AI
- Vilans — Technologie in de zorg — geavanceerde AI-toepassingen in de Nederlandse langdurige zorg
- Practoraat Zorg en Technologie (Alfa-college, 2025) — curriculaire basis voor deze leerroute