Het was al bekend dat Europa als eerste werelddeel met regelgeving wilde komen om AI te beteugelen. En afgelopen voorjaar werd duidelijk dat het de EU menens is. Op 21 april 2021 bracht de Europese Commissie een voorstel naar buiten waarin in grote lijnen te lezen is wat voor soort regelgeving eraan zit te komen.
Vier risiconiveaus
“Bij de voorgenomen AI wet– en regelgeving gaat de EU uit van vier risiconiveaus. Levert een AI-systeem minimale risico’s op, dan is er niet zoveel aan de hand. Voor situaties waarin de risico’s beperkt zijn, gelden er weliswaar iets meer voorwaarden, maar ook dan is er nog weinig aan de hand”, vat Bart Schermer de eerste twee niveaus samen. Als partner bij Considerati (en tevens deelnemer van de Nederlandse AI Coalitie), zit hij uiteraard al behoorlijk diep in de materie.
Verboden AI-toepassingen
“Helemaal aan de andere kant van het spectrum vind je AI-toepassingen die verboden zijn”, vervolgt hij. “Zoals systemen die de zwaktes van een persoon uitbuiten en die leiden tot keuzes of handelingen die schade bij een persoon veroorzaken. Of systemen die persoonlijke schade veroorzaken doordat ze mensen op een subliminaal niveau beïnvloeden, en die hen dus tot bepaald gedrag kunnen aansporen zonder dat ze zich daarvan bewust zijn.”
“AI-systemen die de betrouwbaarheid van een persoon inschatten, die daar punten aan toekennen, en die vervolgens worden ingezet voor social scoring? Ook verboden. Datzelfde geldt voor de meeste vormen van real-time biometrische systemen die worden ingezet voor opsporing en handhaving van de openbare orde.”
Focus op high risk
“En dan is er nog een tussenliggend risiconiveau. De high risk AI-systemen, die een zorgvuldige toepassing vereisen. Daar ligt in de voorgenomen regelgeving de meeste focus op”, benadrukt hij. “Dus val je in die categorie, dan komen er allemaal eisen op je af. Dat kan een grote impact hebben, zowel op het ontwikkelingsproces als op je organisatie. Maar wat is een high risk AI-systeem? Wanneer val je daaronder? Wat moet je dan doen? En hoe? Dat zijn momenteel de vragen die AI-ontwikkelaars ons vaak stellen.”
Wat is AI?
“Wat niet helpt, is dat de Europese Commissie nogal vaag is over wat er precies onder AI valt. Dat hebben ze namelijk super-breed gedefinieerd. Daardoor lijkt alles eronder te vallen wat geautomatiseerd een beslissing neemt. Dus elke vorm van algoritme: van deep learning tot een simpele beslisboom. Dat bekent dan ook dat iedereen zorgvuldig moet omgaan met de bouw en uitrol van algoritmes, en al helemaal als het om een toepassing gaat die binnen de high risk categorie valt. Die categorie wordt overigens al wel duidelijk omschreven. Het gaat dan bijvoorbeeld om AI-toepassingen voor vliegtuigonderdelen en medische apparatuur, maar bijvoorbeeld ook om AI-systemen die worden ingezet bij law enforcement of bij het toekennen van subsidies. De EU heeft al een uitgebreide lijst gepubliceerd, met daarbij de kanttekening dat een deel daarvan nog gewijzigd kan worden.”
Alvast voorsorteren
“Het is natuurlijk nog maar een voorstel. Er gaat nog een hoop worden gelobbyd. Vervolgens moeten ook het Europees Parlement en de Europese Raad zich er nog over uitspreken. Dus het kan nog wel een jaar of twee duren voor dat regelgeving van kracht wordt”, verwacht Bart. “En net als bij de AVG zal er ook hier ongetwijfeld een overgangsperiode van twee jaar komen, voordat er echt handhaving volgt. We zitten dan al in 2025. Maar ik verwacht niet dat er nog hele grote wijzigingen zullen komen. Mijn advies aan AI-ontwikkelaars is dan ook om alvast voor te sorteren op wat er onvermijdelijk komen gaat.”
Of zelfs al voor de troepen uitlopen
En dat voorsorteren gebeurt momenteel ook al, weet Jos van der Wijst als partner/vennoot bij BG.legal en tevens lid van de werkgroep Mensgerichte AI. “Er zijn partijen die nu al op de voorstellen van de EU anticiperen en kijken of ze op dat vlak voorop kunnen lopen. Ze verwachten dat ze daardoor positiever in beeld komen bij hun klanten. Het lastige daarbij is dat op dit moment nog niet altijd duidelijk is wat er precies met bepaalde termen wordt bedoeld.”
Nog veel vragen…
“Aan de andere kant is veel van de regelgeving ook common sense. Want natuurlijk moet je kunnen uitleggen hoe een algoritme werkt en waarom je bepaalde datasets gebruikt. Wat daarbij nog wel een probleem kan worden, is dat je een AI-systeem pas kunt beoordelen als het helemaal klaar is. En daarna moet je ook gedurende het proces constant checken of het systeem nog wel aan alle vereisten voldoet.”
…en nog niet altijd een antwoord
“Een aanpassing van het systeem zou er zomaar voor kunnen zorgen dat de AI in een andere risicocategorie valt”, licht hij toe. “En stel: je ontwikkelt een systeem dat uit meerdere AI-componenten bestaat, waarvan er maar één binnen de high risk-categorie valt? Wat dan? Moet dan meteen het hele systeem aan de hogere eisen voor een high risk-toepassing voldoen? Ook dat is een veelvoorkomende vraag, waarop we op dit moment helaas het antwoord nog niet weten.”
Streep in het zand
“Er is dus nog veel onduidelijk. Ondertussen staan we als werkgroep Mensgerichte AI wel volledig achter het besluit van Europa om met speciale regelgeving een streep in het zand te zetten. Goed ook dat er daarbij heel expliciet voor ethische uitgangspunten is gekozen, waarbij de menselijke waardigheid centraal staat. Dat gaat ongetwijfeld helpen om tot betrouwbare en mensgerichte AI te komen.”
Multidisciplinair team
“De nieuwe regelgeving is overigens niet alleen een zaak voor juristen”, benadrukt Jos. “Naast juridische kanten, spelen er ook technische en ethische aspecten. Dat betekent dat je er met een multidisciplinair team mee aan de slag moet. Dat kan lastig zijn, want het gaat om totaal verschillende werelden. Maar dat het kan, bewijst onze werkgroep. Want daar komen die juridische, technische en ethische aspecten al mooi bij elkaar.”
Elkaar kritische vragen stellen
“Als je kijkt naar de plannen voor de nieuwe wetgeving, dan zie je dat het werken met multidisciplinaire teams ook wordt aangemoedigd”, vult Sophie Kuijt aan. Zij is als CTO bij IBM werkzaam en eveneens lid van de werkgroep Mensgerichte AI. “Om straks aan de EU-regelgeving te voldoen, moet je binnen je organisatie over de verschillende disciplines heen de juiste discussies met elkaar voeren en elkaar daarbij ook kritische vragen durven stellen.”
Het sluit aan bij waar we voor staan
“Tijdens de ontwerpfase en in de communicatie eromheen kun je al heel veel doen om een AI-systeem meer aan te laten sluiten bij de ethische uitgangspunten waar de regelgeving zich op richt. Die benadering waarbij de mens centraal staat sluit heel goed aan bij waar wij als werkgroep voor staan. Daarbij verwacht ik dat het ons gaat helpen om wat we voor ogen hebben straks makkelijker in de praktijk toe te kunnen passen.”
Veel meer dan een checklist
“Wat ik hoop, is dat de nieuwe regelgeving ervoor gaat zorgen dat meer mensen zich in de mogelijkheden gaan verdiepen om AI-toepassingen op een trustworthy manier te ontwikkelen en dat het een onderwerp wordt in ieder domein”, aldus een positief gestemde Sophie. “Ik zou het jammer vinden als deze regelgeving alleen maar een soort van checklist wordt waar mensen verder niet al te lang bij stilstaan. Dus ik hoop dat de nieuwe regelgeving ervoor gaat zorgen dat mensen bewuster over de risico’s van AI-toepassingen gaan nadenken, en dat ze daarover ook de discussie met elkaar aangaan om passende oplossingen en alternatieven te bedenken.”
“Ook moeten organisaties na gaan denken over hoe ze dit proces binnen hun eigen organisaties het best kunnen begeleiden. Het inrichten van een governance rondom ‘AI en ethiek’ en het inzetten van methodieken zoals ‘Aanpak begeleidingsethiek’ en ‘Design thinking voor AI’ zijn een heel goed begin. Dat zou ik echt mooi vinden, als dat een effect is van de stap die Europa nu zet op weg naar mensgerichte AI.”
Dit artikel verscheen eerder op de site van NL AIC.