EU AI-verordening: richtlijnen voor overheidsinstellingen en medewerkers

De EU AI-verordening, bekend als de AI Act, vormt een uitgebreide juridische basis voor het gebruik, de ontwikkeling en het beheer van AI-systemen binnen de Europese Unie. Het voorstel werd op 21 april 2021 gepresenteerd door de Europese Commissie met als doel innovatie te stimuleren en tegelijkertijd fundamentele rechten, veiligheid en vertrouwen in AI-technologieën te waarborgen. De wet verdeelt AI-systemen in risicocategorieën, variërend van laag en beperkt risico tot hoog risico en onacceptabel risico. Voor toepassingen met een hoog risico, zoals gezichtsherkenning, kredietwaardigheidsanalyses en medische toepassingen, gelden strengere regels.

Op 21 mei 2024 heeft de Europese Raad de AI Act officieel goedgekeurd. Dit markeert een belangrijke mijlpaal, omdat deze wet waarschijnlijk als wereldwijde norm zal dienen voor de regulering van artificiële intelligentie.

Hieronder volgt een overzicht van de belangrijkste onderdelen van de AI Act die relevant zijn voor overheidsinstellingen, met name voor het gebruik van AI-tools binnen de overheid.

AI-systemen met hoog risico

De verordening definieert AI-systemen met hoog risico als systemen die een aanzienlijke impact kunnen hebben op de gezondheid, veiligheid of fundamentele rechten van individuen. Voorbeelden hiervan zijn AI-systemen die worden gebruikt in rechtshandhaving, migratiebeheer, gezondheidszorg, onderwijs en kritieke infrastructuur. Deze systemen moeten voldoen aan strikte eisen op het gebied van transparantie, documentatie en toezicht.

Een belangrijk aspect is dat aanbieders van AI-systemen met hoog risico verplicht zijn een systeem voor kwaliteitsbeheer te implementeren. Dit systeem omvat onder andere procedures voor ontwerp, ontwikkeling, testen en monitoring van het AI-systeem. Het doel is ervoor te zorgen dat het systeem gedurende zijn hele levenscyclus consistent presteert en voldoet aan de wettelijke vereisten. Daarnaast wordt van organisaties verwacht dat ze een risicobeoordeling uitvoeren voor elk AI-systeem.

De risiconiveaus worden als volgt gecategoriseerd:

• Onacceptabel risico: AI-systemen die fundamentele rechten schenden, zoals sociale scoring door overheden of manipulatieve technieken, zijn verboden. De verordening benadrukt dat deze praktijken niet in overeenstemming zijn met de waarden van de EU en daarom volledig worden uitgesloten.
• Hoog risico: AI-systemen die worden gebruikt in kritieke domeinen zoals personeelsselectie, rechtshandhaving, gezondheidszorg en toegangscontrole vallen onder deze categorie. Voor deze systemen gelden strenge eisen, waaronder uitgebreide technische documentatie, een risicobeheersysteem en een conformiteitsbeoordeling. Aanbieders moeten ook een kwaliteitsbeheersysteem implementeren dat voldoet aan de eisen van de verordening, zoals beschreven in artikel 17.
• Beperkt risico: Voor AI-systemen zoals chatbots en automatische e-mails is transparantie verplicht. Gebruikers moeten worden geïnformeerd dat ze met een AI-systeem interacteren. Dit draagt bij aan het vertrouwen in AI en voorkomt misleiding.
• Minimaal risico: Voor basis administratieve tools gelden geen aanvullende eisen buiten de bestaande wetgeving. Deze systemen worden als veilig beschouwd en vereisen geen extra toezicht.

Technische documentatie en transparantie

Voor AI-systemen met hoog risico is het verplicht om uitgebreide technische documentatie op te stellen. Deze documentatie moet een gedetailleerde beschrijving bevatten van het ontwerp, de gebruikte datasets, de algoritmen en de validatie- en testprocedures. Dit stelt toezichthoudende autoriteiten in staat de naleving van de regelgeving te controleren. De documentatie moet gedurende een periode van tien jaar worden bewaard en beschikbaar worden gesteld aan bevoegde autoriteiten.

Hieronder volgt nogmaals een overzicht van de actiepunten, waarbij voor elk AI-systeem een risicobeoordeling uitgevoerd moet worden:

Naast het bovengenoemde moeten de aanbieders en gebruiksverantwoordelijken zorgen voor transparantie. Dit betekent dat gebruikers duidelijke en begrijpelijke informatie moeten ontvangen over de werking, beperkingen en mogelijke risico’s van het AI-systeem. Voor systemen met hoog risico is het essentieel dat gebruikers de output van het systeem kunnen interpreteren en op een verantwoorde manier kunnen gebruiken.

Voor overheidsinstanties gelden aanvullende transparantie-eisen:

• Burgers moeten worden geïnformeerd wanneer ze met AI-systemen interacteren.
• Beslissingen die door AI worden ondersteund, moeten worden gedocumenteerd.
• Menselijke supervisie is verplicht bij belangrijke beslissingen.
• Voor AI-systemen met een hoog risico moeten gebruiksaanwijzingen beschikbaar zijn die de werking, beperkingen en risico’s van het systeem uitleggen.

Overheidsinstanties moeten ook een register bijhouden van alle gebruikte AI-systemen. Dit register moet informatie bevatten over de impact van deze systemen op privacy en fundamentele rechten. Daarnaast moeten trainingsdata en beslissingslogica worden gedocumenteerd en bewaard, zoals vereist in artikel 71 van de verordening.

Menselijk toezicht

De verordening benadrukt het belang van menselijk toezicht bij het gebruik van AI-systemen met hoog risico. Dit houdt in dat natuurlijke personen verantwoordelijk blijven voor het monitoren van de werking van het systeem en dat zij kunnen ingrijpen wanneer dat nodig is. Voor bepaalde toepassingen, zoals biometrische identificatie, is verscherpt toezicht vereist. Dit betekent dat beslissingen die door het AI-systeem worden genomen, door meerdere personen moeten worden geverifieerd voordat er actie wordt ondernomen.

Datasets en bias

Een ander belangrijk aspect van de verordening is het waarborgen van de kwaliteit van de datasets die worden gebruikt om AI-systemen te trainen. Datasets moeten representatief zijn voor de context waarin het systeem wordt gebruikt en moeten vrij zijn van vooringenomenheid (bias). In uitzonderlijke gevallen mogen aanbieders gevoelige persoonsgegevens verwerken om bias te detecteren en te corrigeren, mits er strikte waarborgen worden toegepast om de privacy en grondrechten van individuen te beschermen.

Daarnaast moeten organisaties een register bijhouden van alle gebruikte AI-systemen, inclusief de impact op privacy en fundamentele rechten. Trainingsdata en beslissingslogica moeten worden gedocumenteerd en bewaard.

Conformiteitsbeoordeling

AI-systemen met hoog risico moeten een conformiteitsbeoordeling ondergaan voordat ze in de handel worden gebracht of in gebruik worden genomen. Deze beoordeling controleert of het systeem voldoet aan de eisen van de verordening. Als een systeem na de initiële beoordeling substantieel wordt gewijzigd, moet een nieuwe conformiteitsbeoordeling worden uitgevoerd. Dit geldt ook voor systemen die blijven leren en zich aanpassen na hun implementatie.

Registratie en monitoring

AI-systemen met hoog risico moeten worden geregistreerd in een centrale EU-databank. Dit vergemakkelijkt het toezicht en de traceerbaarheid van deze systemen. Aanbieders zijn ook verplicht automatisch gegenereerde logs van het systeem te bewaren, zodat gebeurtenissen tijdens de levenscyclus van het systeem kunnen worden geanalyseerd. Dit draagt bij aan de transparantie en het vermogen om problemen op te sporen en op te lossen.

Daarnaast wordt aanbevolen om monitoring-systemen te implementeren en Key Performance Indicators (KPI’s) op te stellen voor de prestaties van AI-systemen. Regelmatige evaluaties zijn essentieel om de effectiviteit en compliance te waarborgen.

Implementatie-tijdlijn

De implementatie van de EU AI-verordening verloopt in fasen:

• Mei 2025: Codes of Practice moeten beschikbaar zijn. Deze codes bieden richtlijnen voor aanbieders en gebruiksverantwoordelijken om vrijwillig te voldoen aan de eisen van de verordening.
• Augustus 2025: Verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden (GPAI) worden van kracht. Dit omvat het opstellen van technische documentatie en het naleven van transparantie-eisen.
• Augustus 2026: Volledige handhaving van de verordening. Alle AI-systemen moeten tegen deze datum compliant zijn.

Hieronder volgt een visueel overzicht van implementatie timeline:

De verordening voorziet ook in een overgangsperiode waarin aanbieders worden aangemoedigd om vrijwillig te voldoen aan de eisen, zelfs voordat deze verplicht worden.

Praktische aanbevelingen

Voor directe implementatie wordt aanbevolen:

Inventarisatie:

• Breng alle AI-systemen in kaart.
• Categoriseer systemen volgens risiconiveaus.
• Identificeer verantwoordelijke teams.
• Ondersteun dit proces met een risicobeheersysteem, zoals beschreven in artikel 9 van de verordening.

Governance:

• Stel een AI-governance structuur op.
• Benoem AI-verantwoordelijken, zoals een AI-compliance officer en eventueel een ethisch comité.
• Zorg voor regelmatige updates van alle richtlijnen
• Onderhoud contact met relevante toezichthouders
• Ontwikkel interne controleprocedures.
• Nationale bevoegde autoriteiten moeten hierbij ondersteuning bieden, zoals vermeld in artikel 58.

Training:

• Train personeel in AI-bewustzijn.
• Zorg voor expertise in compliance.
• Ontwikkel handleidingen voor eindgebruikers.
• Zorg dat personeel kennis heeft van de technische en juridische vereisten van de verordening, evenals ethische richtlijnen voor betrouwbare AI.

Voor de aanschaf van nieuwe systemen:

• Vraag leveranciers om garanties dat hun systemen voldoen aan de EU AI Act.
• Zorg voor transparantie over algoritmes en data-governanceprocedures.
• Neem contractuele waarborgen op, zoals compliance-verplichtingen, updategaranties en incident-response procedures.

Risicomanagement

Preventieve maatregelen zoals regelmatige audits, Privacy Impact Assessments (PIA’s) en ethische toetsingen zijn essentieel om ervoor te zorgen dat AI-systemen voldoen aan de eisen van de EU AI-verordening. Deze maatregelen vereisen een proactieve aanpak om risico’s te identificeren, te beheren en te minimaliseren.

Regelmatige audits zijn systematische controles die worden uitgevoerd om te beoordelen of AI-systemen blijven voldoen aan de wettelijke vereisten. Dit omvat het controleren van technische prestaties, gebruikte datasets, algoritmen en naleving van de regelgeving. Voor AI-systemen met een hoog risico moeten deze audits periodiek worden uitgevoerd en gedocumenteerd, zoals vereist in de technische documentatie.

Privacy Impact Assessments zijn gericht op het beoordelen van de impact van een AI-systeem op de privacy van individuen. Het doel is om te identificeren hoe persoonsgegevens worden verwerkt, welke risico’s dit met zich meebrengt en welke maatregelen nodig zijn om deze risico’s te beperken. Deze assessments zijn verplicht voor AI-systemen die persoonsgegevens verwerken, in overeenstemming met de Algemene Verordening Gegevensbescherming (AVG) en de AI-verordening.

Ethische toetsingen van nieuwe toepassingen zijn bedoeld om te waarborgen dat AI-systemen geen discriminerende of onrechtmatige uitkomsten genereren. Dit omvat het beoordelen van datasets op vooringenomenheid (bias) en het gebruik van transparante algoritmen. Het doel is om ervoor te zorgen dat AI-systemen ethisch verantwoord en betrouwbaar zijn.

Monitoring-systemen spelen een cruciale rol in het continu volgen en evalueren van de prestaties van AI-systemen. Voor AI-systemen met een hoog risico is het verplicht om een systeem voor monitoring na het in de handel brengen te implementeren. Dit systeem verzamelt en analyseert gegevens over de werking van het AI-systeem gedurende de hele levenscyclus. Monitoring omvat ook het bijhouden van automatisch gegenereerde logbestanden, die belangrijke gebeurtenissen registreren, zoals inputdata, gebruiksduur en afwijkingen in prestaties.

Periodieke evaluaties zijn noodzakelijk om te controleren of AI-systemen nog steeds voldoen aan de eisen van de verordening en consistent presteren zoals bedoeld. Dit omvat het beoordelen van de nauwkeurigheid, robuustheid en cyberbeveiliging van het systeem. Indien nodig moeten corrigerende maatregelen worden genomen om eventuele tekortkomingen te verhelpen.

De bovengenoemde maatregelen zijn van groot belang omdat de EU AI-verordening een sterke nadruk legt op het minimaliseren van risico’s en het beschermen van fundamentele rechten. Door middel van audits, PIA’s, ethische toetsingen en monitoring kunnen organisaties ervoor zorgen dat AI-systemen transparant blijven, geen onbedoelde schade veroorzaken en voldoen aan de wettelijke eisen gedurende hun hele levenscyclus. Dit draagt niet alleen bij aan naleving van de regelgeving, maar versterkt ook het vertrouwen van gebruikers en het publiek in AI-technologie.

Budgetimplicaties

Organisaties moeten rekening houden met kosten voor:

• Compliance-infrastructuur: Het opzetten van systemen voor kwaliteitsbeheer en monitoring.
• Training en opleiding: Het trainen van personeel in de vereisten van de verordening.
• Technische aanpassingen: Het aanpassen van bestaande AI-systemen om te voldoen aan de regelgeving.
• Externe audits: Het inschakelen van onafhankelijke deskundigen om de naleving te controleren.
• Documentatie-systemen: Het ontwikkelen van systemen voor het bijhouden van technische documentatie en gebruiksaanwijzingen.

De verordening moedigt lidstaten aan om kmo’s en start-ups te ondersteunen bij het voldoen aan de eisen, bijvoorbeeld door toegang te bieden tot AI-testomgevingen voor regelgeving.

Wat betekent EU AI-verordening concreet voor de medewerkers?

De EU AI-verordening brengt belangrijke verantwoordelijkheden met zich mee voor medewerkers die werken met AI-systemen. Het is van groot belang dat medewerkers zich bewust zijn van de richtlijnen en verplichtingen die voortvloeien uit deze verordening. Hieronder worden de belangrijkste aspecten besproken.

Het risiconiveau van AI-systemen kennen

Voor medewerkers is het essentieel om het risiconiveau van de AI-systemen waarmee wordt gewerkt te begrijpen. De EU AI-verordening maakt onderscheid tussen verschillende risicocategorieën, zoals laag, beperkt, hoog en onaanvaardbaar risico. Het is van belang dat medewerkers weten in welke categorie een AI-systeem valt en welke beschermingsprincipes daarbij horen. Voor AI-systemen met een hoog risiconiveau gelden strengere eisen, zoals uitgebreide documentatie en menselijke supervisie.

Bij twijfel over het risiconiveau of de werking van een AI-systeem is het belangrijk dat medewerkers advies inwinnen bij een leidinggevende of een expert. Daarnaast is het noodzakelijk dat medewerkers kritisch zijn op de uitkomsten van generatieve AI-toepassingen. Het is belangrijk dat medewerkers zich bewust zijn van de beperkingen van deze technologie, zoals het risico op feitelijke onjuistheden, vooroordelen of onjuiste antwoorden. Dit is vooral van belang bij AI-systemen die in de categorie “hoog risico” vallen.

Burgers of klanten informeren over AI-gebruik

Het is de verantwoordelijkheid van medewerkers om transparant te zijn wanneer via AI-systemen wordt gecommuniceerd met burgers of klanten, bijvoorbeeld via een AI-chat. Het is belangrijk dat gebruikers vooraf worden geïnformeerd dat zij met een AI-systeem communiceren. Daarnaast moet er open communicatie zijn over de capaciteiten en doelen van het AI-systeem. Medewerkers moeten duidelijk maken wat het AI-systeem wel en niet kan, en welke resultaten verwacht kunnen worden.

Het is ook van groot belang dat medewerkers geen vertrouwelijke gegevens of persoonsgegevens delen met generatieve AI-toepassingen. Dit voorkomt dat gevoelige informatie wordt opgeslagen of gebruikt voor verdere training van de AI.

Beslissingen die door AI worden ondersteund documenteren

Het is belangrijk dat medewerkers beslissingen die door AI worden ondersteund goed documenteren. Medewerkers moeten kunnen uitleggen hoe een AI-systeem tot een bepaalde beslissing is gekomen. Om aan de transparantievereisten te voldoen, is het noodzakelijk dat datasets en technische processen die door het AI-systeem worden gebruikt gedocumenteerd, traceerbaar, verklaarbaar en interpreteerbaar zijn. Dit helpt om de werking van het AI-systeem beter te begrijpen en te verantwoorden hoe een bepaalde beslissing tot stand is gekomen.

Bij het gebruik van generatieve AI in projecten of onderzoeken waar betrouwbaarheid en validiteit een grote rol speelt is het bovendien verplicht dat medewerkers hun leidinggevende op de hoogte stellen. Voordat een AI-gestuurd project wordt gepubliceerd of geïmplementeerd, moet een risicoanalyse worden uitgevoerd om mogelijke problemen te identificeren en te mitigeren.

AI-beslissingen controleren en corrigeren indien nodig

Het is de verantwoordelijkheid van medewerkers om AI-beslissingen zorgvuldig te controleren, vooral wanneer er twijfel bestaat over de juistheid ervan. Indien nodig moeten deze beslissingen worden gecorrigeerd. De EU AI-verordening benadrukt dat er altijd menselijke supervisie moet zijn bij kritieke beslissingen. Medewerkers moeten niet alleen de AI-beslissingen controleren, maar ook de mogelijkheid hebben om deze bij te stellen wanneer dat nodig is. Eventuele problemen moeten tijdig worden gemeld aan een leidinggevende of een expert.

Daarnaast is het belangrijk dat medewerkers zich houden aan de beschermingsprincipes die door de EU AI-verordening zijn vastgesteld. Dit betekent dat ervoor moet worden gezorgd dat er geen manipulatie van gebruikers plaatsvindt, dat kwetsbare groepen zoals kinderen of ouderen worden beschermd, en dat subliminale technieken of onbewuste beïnvloeding van gebruikers worden vermeden. Bij het gebruik van generatieve AI is het bovendien noodzakelijk dat medewerkers de gegenereerde content zorgvuldig controleren op vooroordelen, feitelijke onjuistheden en mogelijke schendingen van intellectuele eigendomsrechten. Het is niet toegestaan om teksten of afbeeldingen van AI zonder aanpassing te kopiëren.

Menselijk toezicht houden op AI-beslissingen

Het is de verantwoordelijkheid van medewerkers om menselijk toezicht te houden op AI-beslissingen, vooral bij AI-systemen met een hoog risiconiveau. Medewerkers moeten ervoor zorgen dat belangrijke beslissingen die door AI worden genomen altijd onder menselijk toezicht staan. Dit toezicht is bedoeld om te waarborgen dat de AI-systemen geen onjuiste beslissingen nemen, vooral in situaties die de rechten en vrijheden van individuen kunnen beïnvloeden. Wanneer een AI een foutieve beslissing neemt of wanneer de uitkomsten onterecht lijken, is het noodzakelijk dat medewerkers ingrijpen.

Bij het gebruik van generatieve AI is het belangrijk dat deze technologie alleen wordt gebruikt als inspiratie of voor achtergrondinformatie. Beslissingen mogen nooit uitsluitend gebaseerd zijn op AI-uitkomsten.

Voorzichtig zijn met gevoelige informatie

Het is van groot belang dat medewerkers extra voorzichtig zijn bij het werken met gevoelige gegevens, zoals persoonlijke of vertrouwelijke informatie. De EU AI-verordening stelt dat AI-systemen die omgaan met gevoelige informatie moeten voldoen aan de vereisten van gegevensbescherming en privacy, zoals vastgelegd in de Algemene Verordening Gegevensbescherming (AVG). Het is de verantwoordelijkheid van medewerkers om erop toe te zien dat de systemen voldoen aan alle noodzakelijke beveiligings- en privacymaatregelen om gegevenslekken of misbruik te voorkomen.

Bij het gebruik van generatieve AI moeten medewerkers waar mogelijk de optie uitschakelen om gedeelde informatie op te slaan. Dit voorkomt dat gevoelige gegevens worden gebruikt voor verdere training van de AI of voor profilering.

Hulp of training vragen indien nodig

Het is belangrijk dat medewerkers hulp vragen wanneer er vragen zijn over het gebruik van AI-systemen. Advies moet worden ingewonnen bij een leidinggevende of een expert wanneer er twijfels bestaan. Daarnaast is het noodzakelijk dat medewerkers bereid zijn om trainingen te volgen om hun kennis over AI te vergroten. Dergelijke trainingen kunnen helpen om beter inzicht te krijgen in de transparantievereisten, risicocategorieën en beschermingsprincipes die gelden voor AI-systemen. Hierdoor kunnen medewerkers effectiever omgaan met de uitdagingen en verantwoordelijkheden die het gebruik van AI met zich meebrengt. Specifieke trainingen over het gebruik van generatieve AI kunnen medewerkers bovendien leren hoe deze technologie op een veilige en verantwoorde manier kan worden ingezet, zonder inbreuk te maken op privacy, intellectuele eigendom of andere regelgeving.

Conclusie

De EU AI-verordening legt een sterke nadruk op veiligheid, transparantie en naleving van fundamentele rechten. Voor beleidsmakers en organisaties die AI-systemen willen gebruiken, is het essentieel om een grondig begrip te hebben van de vereisten en om de nodige maatregelen te nemen om aan de regelgeving te voldoen. Dit omvat het implementeren van systemen voor kwaliteitsbeheer, het waarborgen van transparantie en menselijk toezicht, en het uitvoeren van conformiteitsbeoordelingen. Door deze stappen te volgen, kunnen organisaties niet alleen voldoen aan de wettelijke vereisten, maar ook het vertrouwen van het publiek in AI-technologie versterken.

Tijdige voorbereiding en implementatie van bovenstaande maatregelen is essentieel voor compliance en verantwoord AI-gebruik binnen de organisatie.

Bronnen

• Digitale Overheid. (2024, mei 21). Europese AI Act goedgekeurd. Digitale Overheid. https://www.digitaleoverheid.nl/nieuws/europese-ai-act-goedgekeurd/
• Europese Commissie. (2024, mei 21). Regulatory framework for artificial intelligence (AI). European Commission. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
• Europese Unie. (2024). Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 21 mei 2024 betreffende kunstmatige intelligentie [PDF]. https://eur-lex.europa.eu/legal-content/NL/TXT/PDF/?uri=OJ:L_202401689.
• Hugging Face. (2024, mei 21). EU AI Act for open-source developers. Hugging Face. https://huggingface.co/blog/eu-ai-act-for-oss-developers