Je hebt Artificial Intelligence gestudeerd aan de Radboud Universiteit, waar je later de specialisatie Cybersecurity & AI ontdekte. Wat sprak je aan in die richting, en hoe belandde je bij het Duitse Lucht- en Ruimtevaartcentrum (DLR)?
Nadat ik tijdens mijn bachelor vakken had gevolgd over AI-beveiliging wist ik dat ik in die richting verder wilde voor mijn master. De specialisatie Cybersecurity & AI biedt een zeldzame combinatie en het was precies wat ik zocht.
Het contact met het Duitse Lucht- en Ruimtevaartcentrum (DLR) volgde daarna eigenlijk vanzelf. Zij hebben een Institute for AI Safety and Security. Stages die beide vakgebieden combineren zijn lastig te vinden. Dus toen ik DLR ontdekte, was ik meteen enthousiast. Daar kwam nog eens bij dat ruimtevaart mij als hobby altijd al heeft gefascineerd.
Wat maakt DLR een spannende plek om te werken?
Ze werken daar aan een enorme variëteit aan projecten met echte maatschappelijke impact, terwijl het toch onderzoeksgericht blijft. Die combinatie vind ik geweldig. Ik ben erg geïnteresseerd in academisch onderzoek, maar dat kan abstract worden als de toepassing ontbreekt. Bij DLR zie je altijd waarom je werk ertoe doet.
Tijdens je stage ontwikkelde je een nieuwe ‘clean-label image-scaling attack’ op verkeersbordmodellen. Wat maakt, in begrijpelijk taal, jouw aanpak uniek?
Ik ontwikkelde een aanval die voor het menselijk oog vrijwel onzichtbaar is. Tijdens de trainingsfase paste ik afbeeldingen subtiel aan op pixelniveau, zodat ze bij schaalverkleining veranderen, maar voor de verkleining ziet niemand iets afwijkends.
Het bijzondere is dat de aanval ook in het echt werkt. Een specifieke sticker op een verkeersbord zorgt voor een verkeerde classificatie – maar alleen die ene sticker. Een sticker met een andere kleur, vorm of positie heeft geen effect, waardoor het model normaal blijft functioneren. Dat maakt de kwetsbaarheid extreem moeilijk te ontdekken.
Daarna stapte je over naar automatische spraakherkenning voor maritieme radiocommunicatie. Waarom?
Het was compleet nieuw en dat maakte het spannend. Beeldherkenning is al uitgebreid onderzocht, maar automatische-spraakherkenningssystemen voor maritieme communicatie bijna niet. Daardoor had ik grote creatieve vrijheid: niemand had dit aanvalsterrein eerder onderzocht.
Bovendien gelden in maritieme communicatie specifieke voorwaarden: berichten moeten in noodsituaties ongecodeerd blijven. Dat maakt ze kwetsbaarder en moeilijker te beveiligen. Ik wilde begrijpen hoe die kwetsbaarheden ontstaan en vooral hoe je het systeem robuuster kunt maken.
Je was de eerste die een universele black-box aanval op deze automatische-spraakherkenningssystemen beschreef én je stelde een nieuwe semantische verdedigingsmethode voor. Hoe werkt die?
Een universele aanval gebruikt één enkele ruisvector die op elke audio kan worden toegepast, waardoor de transcriptie vaak verandert in iets wat geen Engels meer is. In plaats van zware frequentiegebaseerde modellen ontdekte ik dat een lichte classifier die alleen onderscheid maakt tussen ‘Engels-lijkend’ en ‘niet Engels-lijkend’ verrassend effectief is. Simpel, efficiënt en robuust. Een veelbelovende verdediging dus.
Worden jouw bevindingen al toegepast in de praktijk?
Dat weet ik niet zeker. Het onderzoek is gepubliceerd en instituten die er belang bij hebben, kijken ernaar, maar maritieme systemen zijn oud en grotendeels analoog; die verander je niet van de ene op de andere dag. Deze week presenteren we de resultaten aan het Institute for Maritime Infrastructures dat de verdediging in de praktijk zou kunnen implementeren. Ik hoop dat ze ermee verdergaan.
Jouw onderzoek raakt direct aan veiligheid in de echte wereld. Hoe zie jij de maatschappelijke verantwoordelijkheid van data scientists?
Die verantwoordelijkheid is er absoluut. In mijn vakgebied volgt op iedere aanval een nieuwe verdediging, en op elke verdediging weer een nieuwe aanval. Onderzoekers moeten vooroplopen, anders doen kwaadwillenden dat.
Als we kwetsbaarheden in data negeren, houden we systemen open voor manipulatie met mogelijk ernstige gevolgen. Data scientists spelen een cruciale rol in het dichten van dat gat.
Je bent ook actief als hacker. Betekent dat dat je de wet breekt?
(lacht) Nee, natuurlijk niet. Ik doe mee aan Capture-the-Flag-wedstrijden. Daarbij kraak je systemen die daar speciaal voor bedoeld zijn: geïsoleerde omgevingen met ingebouwde kwetsbaarheden. Het is alsof je samen met vrienden ingewikkelde puzzels oplost. Die wedstrijden hebben mij veel geleerd over hoe systemen falen, en die kennis gebruik ik voortdurend in mijn onderzoek.
Wat heb je tijdens je onderzoek technisch en persoonlijk het meest van geleerd?
Technisch heb ik geleerd hoe moeilijk het is om een systeem in de echte wereld te beveiligen. Er zijn talloze aanvalsvectoren, zeker wanneer systemen zijn verweven met grote infrastructuren. Je moet het probleem opdelen en stap voor stap te werk gaan.
Persoonlijk heb ik veel geleerd over onderzoeksprocessen: papers schrijven, samenwerken en mijn werk helder uitleggen. Wetenschapscommunicatie is essentieel. Als je je werk niet kunt uitleggen aan iemand buiten je vakgebied, heb je het waarschijnlijk zelf nog niet goed genoeg begrepen.
Tot slot: hoe zie je de toekomst van AI-security, en welke rol wil je zelf spelen?
De toekomst wordt spannend én veeleisend. AI-systemen worden razendsnel ingevoerd, en hun beveiliging wordt alleen maar belangrijker. Voor nu zit ik precies waar ik wil zitten: kwetsbaarheden vinden én helpen ze te dichten. Ik hoop dat het vakgebied groeit en dat bedrijven de beveiliging al in de ontwikkelingsfase meenemen, in plaats van achteraf. Er is enorm veel werk te doen, en ik kijk ernaar uit om mijn steentje bij te dragen.
