“Zeggenschap over technologie geeft grip,
en grip vergroot vertrouwen”
Technologie neemt steeds vaker besluiten die direct ingrijpen in het leven van burgers—van digitale loketten tot risicoselectie en fraudecontrole. Algorithm Audit, winnaar van de eerste prijs van de KHMW Brouwer Vertrouwensprijzen 2026, wil voorkomen dat die systemen mensen buitensluiten of het contact met de overheid ontmenselijken. Directeur Jurriaan Parie vertelt waarom fysieke dialoog, transparantie en onafhankelijke toetsing volgens hem noodzakelijk zijn om vertrouwen in een digitale samenleving te versterken.
Wanneer en hoe is Algorithm Audit ontstaan?
Algorithm Audit is opgericht in 2021. De directe aanleiding was een artikel in de Volkskrant over de Rotterdamse Rekenkamer. Die had onderzoek gedaan naar een algoritme van de gemeente Rotterdam: waarom werd er onderscheid gemaakt op basis van laaggeletterdheid? En: brengt dat geen risico’s met zich mee?
Dat vond ik interessant, omdat je dan direct bij de kern komt. Een algoritme maakt keuzes op basis van kenmerken. Maar hoe bepaal je of die selectie verantwoord is? Welke normatieve afwegingen zitten erin, wie controleert dat, en wat betekent het voor de burger?
Die Rotterdamse casus was voor mij het startpunt om breder te kijken naar digitalisering bij de overheid: juridisch, ethisch én technisch. En vooral ook: wat doet dit met de relatie tussen burger en overheid? Wordt de burger voldoende gehoord, en willen we dat de overheid op deze manier werkt? Samen met filosoof Ariën Voogt wilde ik hier meer aandacht voor vragen. Omdat we merkten dat het om meer gaat dan een ‘technisch probleem’. Om structureel over dit soort vraagstukken te kunnen nadenken, hebben we deze stichting opgericht.
Richten jullie je alleen op de overheid of ook op het bedrijfsleven?
Primair op de overheid, maar we werken ook met bedrijven. We willen burgers en het maatschappelijk middenveld een stem geven in de manier waarop technologie wordt ingezet, door overheden én bedrijven. Technologie beïnvloedt steeds meer ons dagelijks leven. De vraag is: hoeveel grip hebben we daarop, en wie kan daarover meepraten?
Wat zijn volgens jullie de belangrijkste risico’s?
Er zijn er meerdere. Een risico dat vaak onderschat wordt, is ontmenselijking: het menselijke contact verdwijnt. We communiceren prima via schermen, maar dat is iets anders dan elkaar echt spreken.
Daarnaast heb je de bekendere risico’s: vooringenomenheid en ongelijkheid. Het gaat meestal niet om heel grove categorieën, maar om fijnmazige kenmerken, zoals laaggeletterdheid. Dat kan, zonder dat iemand het zo bedoelt, structureel nadelig uitpakken voor bepaalde groepen.
En in dienstverlening zie je het ook: chatbots die je afwimpelen, of processen waarin het moeilijk is om een mens te spreken. Dan is de vraag: hebben burgers altijd recht op menselijk contact? En hoe voorkom je dat technologie leidt tot ongelijkheid?
Belangrijk daarbij: ongelijke behandeling is niet automatisch ‘discriminatie’ in juridische zin. Wij proberen vooral de normatieve laag zichtbaar te maken: willen we deze technologie inzetten, en zo ja, onder welke voorwaarden?
Mensen denken soms: er zit kwade wil achter. Is dat zo, of raken we gewoon de grip kwijt?
Ik denk meestal niet aan intentionele kwade bedoelingen. Maar prikkels spelen wel. Bij bedrijven is de prikkel vaak: kosten reduceren, winst maken. Bij de overheid zie je prikkels in handhaving en controle: onterecht uitgekeerde gelden opsporen en terugvorderen. Ook dat werkt door in de systemen die je bouwt.
Technologie is niet neutraal. Je bouwt voort op structuren die er al zijn in de samenleving. Als je samenleving sterk leunt op economische en individuele prikkels, kan medemenselijkheid onder druk komen te staan, zeker in een tijd van toenemende individualisering.
Laten we jullie onderzoek naar DUO nemen. Wat ging daar mis, en voor wie?
Wat misging, is dat lange tijd niet duidelijk was hoe groot het probleem was. Pas toen journalisten aan de bel trokken, kwam er grondig onderzoek, en toen bleek de schaal veel groter dan gedacht. Studenten met een niet-Europese migratieachtergrond werden onevenredig vaak geraakt.
De oorzaken zijn meervoudig. Er was een controleproces waarin uitwonende studenten een risicoscore kregen. Daarin zat vooringenomenheid. Dat kun je met data-analyse zichtbaar maken, onder meer door koppelingen met de gegevens van het Centraal Bureau voor de Statistiek (CBS).
En er is een tweede mechanisme: als je eenmaal inzoomt op een bepaalde groep, ga je daar vaker controleren. Dan vind je relatief vaker ‘afwijkingen’, wat het systeem bevestigt. Zo ontstaat een zelfversterkend effect. Uiteindelijk is dit ook erkend door de minister, en de rechter heeft ingegrepen door in bepaalde gevallen onrechtmatig verkregen bewijs ongeldig te verklaren.
Wat betekende dat concreet voor die studenten?
Veel vaker controle aan de deur. Een huisbezoek mag je weigeren; iemand mag niet zomaar achter je voordeur komen. Maar er werd ook omheen gewerkt. Er werd bijvoorbeeld met de buren over iemand gesproken: woont die persoon hier echt, zien jullie afwijkend gedrag?
Dat raakt aan iets fundamenteels: welke samenleving wil je creëren? Gemeenschapszin is waardevol, maar je wilt geen angstcultuur of overmatige sociale controle faciliteren. Daar moeten we heel voorzichtig mee zijn.
Wat zegt deze casus over algoritmes, beleid en institutioneel vertrouwen?
Je ziet dat de uitvoerende overheid sneller is gedigitaliseerd dan de controlerende machten zoals toezicht en parlementaire controle. In de vroege digitaliseringsfase, tussen 2010 en 2015, was er veel ruimte voor pilots en experimenten. Dat zie je nu opnieuw bij generatieve AI. Alleen zijn waarborgen en toezicht niet altijd even hard meegegroeid.
Veel evaluatie komt achteraf, als de schade al is ontstaan. Wij proberen als kennisplatform juist aan de voorkant te werken: normontwikkeling, preventie en methoden om risico’s eerder te signaleren. Dat vraagt om het samenbrengen van verschillende werelden: techniek en statistiek, het recht, ethiek, én bestuur en politiek. Het is complex, en het gevaar is dat uiteindelijk steeds minder mensen begrijpen hoe die keuzes in technologie worden gemaakt. Dan ontstaat het risico van een ‘code-elite’, en dát is problematisch voor democratische verantwoording.
U gebruikt het begrip ‘algoprudentie’. Wat bedoelt u daarmee?
Er bestaan veel ethische kaders die vooral vragen stellen. Algoprudentie is nadrukkelijk ook normerend: we willen tot een gedragen oordeel en concrete aanbevelingen komen. Niet als individuele mening, maar via een zorgvuldig proces rondom een concrete casus.
We doen dat juist bij casussen waar voldoende informatie beschikbaar is, zodat je niet in abstracties blijft hangen. Dan breng je verschillende belanghebbenden samen: burgers of gebruikers die met het systeem te maken krijgen, juristen, technici, vertegenwoordigers van getroffen groepen, en waar relevant ook mensen uit de organisatie die het systeem inzet.
Onze ervaring is dat normatieve keuzes vaak in de techniek verstopt zitten. Organisatorische prikkels zijn doorgedrongen tot de techniek. Die keuzes proberen wij expliciet te maken.
Maar jullie adviezen zijn niet afdwingbaar. Wat is dan de status?
Klopt: onze onafhankelijk adviescommissies hebben geen formeel mandaat. Dat is een nadeel, maar ook een voordeel. Het voordeel is dat je een structuur kunt creëren waarin de samenleving eerder – vóór het misgaat – gestructureerd nadenkt over wat wenselijk is. Recht gaat niet alleen om een rechter die een knoop doorhakt in een conflict. Algoprudentie zit aan de voorkant: bottom-up normvorming die gedragen kan worden door de gemeenschap.
Hoe selecteren jullie casussen? En wanneer heeft een casus potentie?
Er is geen vaste formule; we staan open voor verschillende routes. Soms doen we ongevraagd onderzoek, zoals in het geval van dat onderzoek in Rotterdam, op basis van Wob-/Woo-documenten. Soms is er gevraagd advies, bijvoorbeeld bij een bedrijf.
Twee voorwaarden zijn cruciaal: we moeten onafhankelijk kunnen werken, en er moet voldoende relevante informatie beschikbaar zijn (over data, keuzes in het systeem, en de juridische grondslag).
Als een casus geschikt is, werken we in stappen: het probleem scherpstellen, een begrijpelijke probleemdefinitie schrijven, een diverse adviescommissie samenstellen, en vervolgens het advies publiceren. Dat advies heeft drie functies: leren (collectief leerproces), harmoniseren (anderen kunnen het gebruiken als best practice), en participatie (zeggenschap vergroten).
Hoe organiseer je de samenwerking tussen burgers en experts, en voorkom je dat één perspectief domineert?
Het risico is dat mensen langs elkaar heen praten: jargon, verschillende kennisniveaus. Daarom spreken we deelnemers vooraf en vertalen we het vraagstuk naar begrijpelijke taal, met de juiste verwijzingen naar juridische en technische kaders. Tijdens de bijeenkomst faciliteren we actief: we zorgen voor een gelijk speelveld en sturen op de kern.
We proberen dominantie ook procedureel te voorkomen: stukken op tijd, heldere verwachtingen, en deelnemers vragen vooraf een korte schriftelijke reactie op te stellen. Dan zit iedereen er voorbereid in.
Voor het uiteindelijke advies treden wij als penvoerder op. We schrijven namens de groep. Dat doen we in afstemming met alle betrokkenen, omdat het veel tijd, kennis en zorg vergt om zo’n advies goed te formuleren. Het concept wordt nog een keer gedeeld voor commentaar en feedback, die we zo zorgvuldig mogelijk verwerken.
En consensus is niet altijd nodig. Afwijkende meningen kunnen juist helpen om de afwegingen zichtbaar te maken: waar zit de spanning, wat zijn de voor- en nadelen? Dat inzicht is al waardevol voor beleid en samenleving.
Adviescommissie aan het werk
Speelt vertrouwen een rol in die sessies?
Ja, absoluut. We geven de voorkeur aan fysieke bijeenkomsten en beperken ons daarom tot Nederland. Rond een sessie van zo’n drie uur creëren we bewust ruimte om vooraf en achteraf samen koffie te drinken en elkaar beter te leren kennen. Technologie gaat uiteindelijk over menselijke keuzes; dan is het belangrijk om elkaar echt te ontmoeten, in een veilige setting. Je merkt dat mensen elkaar daarna beter begrijpen, elkaar sneller weten te vinden en dat hun eigen horizon wordt verbreed.
Hoe vertaal je één casus naar iets waar de samenleving breder van kan leren?
Het DUO-onderzoek is een goed voorbeeld. Er was een claim in de media die lastig te bevestigen of te weerleggen was. Individuele gegevens kun je niet zomaar gebruiken, maar in Nederland kun je via CBS-data op groepsniveau wel effecten zichtbaar maken zonder persoonsgegevens te openbaren. Deze methode, waarbij we werkten met willekeurige steekproeven, zie je nu breder terug, onder meer bij het UWV. Het UWV werkt aan de voorkant: niet reactief, maar proactief.
We zijn in Nederland al vroeg, zo tussen 2010 en 2015, begonnen met digitaliseren en hebben een zeer uitgebreide digitale infrastructuur opgebouwd. Daarbij is veel geëxperimenteerd, terwijl de effecten niet altijd zorgvuldig zijn gemonitord. Dat heeft soms tot onwenselijke gevolgen geleid. We moeten nu alsnog toetsen of nieuwe technologieën voldoende waarborgen bevatten.
Waarom vinden jullie het belangrijk om jullie werk en werkwijze ook academisch te publiceren?
Academisch publiceren is voor ons een manier om legitimiteit te borgen. Als kennisplatform moet je laten zien dat je weet waar je het over hebt. Het is geen hoofddoel, maar wel een belangrijk middel.
Bij het DUO-onderzoek hadden we toegang tot unieke data en inzichten. Die wilden we niet alleen voor onszelf houden, maar ook inzetten voor bredere juridische en statistische normontwikkeling. Dat heeft geleid tot meerdere academische publicaties.
Daarmee laten we ook zien: het kan wél. In een veld waar veel instanties naar elkaar wijzen en besluitvorming vastloopt, is academisch publiceren een manier om te laten zien dat zorgvuldige, voorafgaande normering mogelijk is.
Jullie ontwikkelen ook open-source instrumenten voor bias-detectie. Waarom open source?
Open source past bij onze missie. We zijn geen bedrijf dat kennis als product vasthoudt. We willen dat anderen kunnen leren van wat we ontwikkelen, zeker omdat we veel met publieke partijen samenwerken.
Kunnen jullie bevindingen ook op Europees niveau overgenomen worden?
Internationaal verschilt de context. Nederland heeft bijvoorbeeld uitgebreide registraties; dat maakt bepaalde analyses mogelijk. Sommige landen kunnen dat makkelijker overnemen dan andere.
Bij grote generatieve AI-taalmodellen van sommige Amerikaanse aanbieders – denk aan Grok waar Elon Musk achter zit – zie je keuzes die op zijn minst omstreden zijn. Als zulke systemen op grote schaal worden ingezet, kan dat gevolgen hebben voor democratische processen, verkiezingen en markten. Daar wil je grip op houden. Dit soort zorgen vormt de achtergrond van het werk dat we samen met onder meer de Rechtspraak en de Europese Commissie doen. We ontwikkelen structuren om gezamenlijk vast te stellen waar de grenzen liggen van gewenst gedrag van generatieve AI, en dragen zo bij aan Europese normstelling en digitale soevereiniteit.
Wat zijn jullie ambities voor de komende vijf jaar?
We willen ons nadrukkelijk verdiepen in generatieve AI. Met generatieve AI verschuift het risicoprofiel. Het gaat niet alleen meer over profilering in handhaving, maar ook over chatbots en taalmodellen die tussen overheid en burger komen te staan. Dan heb je nieuwe evaluatiemethoden nodig: hoe voorkom je misbruik, hoe herken je noodsituaties, hoe borg je kwaliteit in het Nederlands? Daar werken we nu, samen met verschillende partners, hard aan.
Met het geld van de Brouwer Vertrouwensprijs willen we de ‘hete hangijzers’ identificeren en casussen uitwerken waar onze werkwijze echt maatschappelijke waarde toevoegt: normeren, leren, harmoniseren en participatie bevorderen.
De Brouwer Vertrouwensprijzen draaien om vertrouwen. Hoe draagt jullie werk bij aan meer onderling vertrouwen?
In het kort: zeggenschap over technologie geeft grip, en grip vergroot vertrouwen. We creëren zeggenschap door verschillende belanghebbenden samen te brengen en hun afwegingen inzichtelijk te maken in een onafhankelijk gepubliceerd advies. Dat nodigt uit tot publiek debat op basis van argumenten, niet alleen op basis van aannames.
Moet vertrouwen ‘teruggebracht’ worden?
Ik zou het positief formuleren: er is nog steeds veel vertrouwen in Nederland. Kijk naar Marktplaats: dat werkt alleen in een high-trust society. Technologie kan dat vertrouwen ook versterken.
Maar er is ook een keerzijde: technologisering en individualisering, volle levens, veel prikkels. Daarom is het belangrijk om expliciet aandacht te houden voor menselijkheid: efficiëntie en innovatie zijn niet het enige criterium. Mens en machine moeten goed leren samenwerken, met medemenselijkheid als kern.
Wil je tot slot nog iets toevoegen?
Misschien dit: deze werkwijze is ook een Europees antwoord op AI—democratisch, geworteld in de samenleving. Als tegenwicht tegen modellen waarin technologie vooral vanuit grootschalige commerciële belangen wordt uitgerold. Wij beginnen klein en concreet, en schalen inzichten op vanuit de praktijk.
