Dit onderzoek adresseert de vraag hoe een AI systeem beveiligd kan worden tegen ontregeling en tegelijkertijd transparant kan zijn.
Beveiligen van AI staat hoog op de agenda van techbedrijven en academia
Moderne, maar ook traditionele AI oplossingen, blijken vatbaar voor subtiele ontregelingen van buitenaf. Zo kunnen diepe neurale netwerken met voor de mens niet waarneembare manipulaties van input op het verkeerde been gezet worden. Dit speelt onder andere in beeldverwerkende AI, zoals aanwezig in autonoom rijdende voertuigen. Minuscule ruisinjecties in inputs kunnen in dergelijke toepassingen leiden tot het foutief herkennen van verkeersborden, met alle gevolgen van dien. Daarnaast kunnen machine learning modellen 'op afstand' worden uitgelezen door input/output gedrag uit te lokken, of worden gemanipuleerd van buitenaf, een reëel gevaar omdat steeds meer AI beschikbaar komt als (cloud) service.
Het beveiligen van AI is daarmee een onderwerp dat steeds belangrijker wordt op de onderzoeksagenda van techbedrijven als Google, Facebook en Tesla, en de academia. Maatregelen voor het garanderen van privacy met AI (zoals federated machine learning, of homomorfe encryptie) beveiligen de gebruikers van AI-systemen. Beide soorten beveiliging (de AI zelf, en de privacy van gebruikers) voegen echter extra opaciteit toe aan AI-systemen, via -soms destructieve, niet-reversibele- versleuteling van data of algoritmes. Tegelijkertijd neemt in de AI-wereld de roep om uitlegbaarheid toe, onder andere in de context van operator-intensieve toepassingen zoals defensie. De vraag is dus hoe een AI systeem zowel tegen manipulatie beveiligd kan worden, als tegelijkertijd uitlegbaarheid toestaat.
Bijeenkomst
TNO en het Ministerie van Defensie hebben een onderzoeksproject ontwikkeld rond bovenstaand vraagstuk. Een deel van de beschikbare middelen voor dit project zijn bestemd voor onderzoeksactiviteiten van TNO. Een ander deel is beschikbaar voor complementaire aansluiting van andere kennisinstellingen. De call voor dit aanvullende deel van het project zal worden geopend voor universiteiten, KNAW- en NWO-instituten en hogescholen. De omvang is 100.000 Euro en de looptijd 18 maanden; verwachte start medio 2018.
Ter voorbereiding op deze call wordt een bijeenkomst georganiseerd waarin de doelstelling en inkadering wordt toegelicht, en waarin ideeën, suggesties en verduidelijkingen ter verbetering van de call worden besproken. Tijdens de bijeenkomst zal o.a. worden verkend welk complementair onderzoek in de te openen call kan worden opgenomen.
De bijeenkomst vindt plaats op dinsdag 20 februari, 15:00-17:00 uur, locatie: TNO, Anna van Buerenplein 1, Den Haag.
Als u aan de bijeenkomst deel wilt nemen dan vragen wij u dat aan te melden bij Charessa Mak, email: C.Mak@nwo.nl. Ook als u niet aanwezig kunt zijn maar wel geïnteresseerd bent in de call, kunt u dit doorgeven. In dat geval wordt u uitgenodigd schriftelijk te reageren en geïnformeerd over de call. We willen u tevens verzoeken deze uitnodiging door te sturen aan collega-onderzoekers die hier mogelijk interesse in hebben.
Lees hier meer over het VWData-programma.
Dit onderzoek adresseert de vraag hoe een AI systeem beveiligd kan worden tegen ontregeling en tegelijkertijd transparant kan zijn.
Beveiligen van AI staat hoog op de agenda van techbedrijven en academia
Moderne, maar ook traditionele AI oplossingen, blijken vatbaar voor subtiele ontregelingen van buitenaf. Zo kunnen diepe neurale netwerken met voor de mens niet waarneembare manipulaties van input op het verkeerde been gezet worden. Dit speelt onder andere in beeldverwerkende AI, zoals aanwezig in autonoom rijdende voertuigen. Minuscule ruisinjecties in inputs kunnen in dergelijke toepassingen leiden tot het foutief herkennen van verkeersborden, met alle gevolgen van dien. Daarnaast kunnen machine learning modellen 'op afstand' worden uitgelezen door input/output gedrag uit te lokken, of worden gemanipuleerd van buitenaf, een reëel gevaar omdat steeds meer AI beschikbaar komt als (cloud) service.
Het beveiligen van AI is daarmee een onderwerp dat steeds belangrijker wordt op de onderzoeksagenda van techbedrijven als Google, Facebook en Tesla, en de academia. Maatregelen voor het garanderen van privacy met AI (zoals federated machine learning, of homomorfe encryptie) beveiligen de gebruikers van AI-systemen. Beide soorten beveiliging (de AI zelf, en de privacy van gebruikers) voegen echter extra opaciteit toe aan AI-systemen, via -soms destructieve, niet-reversibele- versleuteling van data of algoritmes. Tegelijkertijd neemt in de AI-wereld de roep om uitlegbaarheid toe, onder andere in de context van operator-intensieve toepassingen zoals defensie. De vraag is dus hoe een AI systeem zowel tegen manipulatie beveiligd kan worden, als tegelijkertijd uitlegbaarheid toestaat.
Bijeenkomst
TNO en het Ministerie van Defensie hebben een onderzoeksproject ontwikkeld rond bovenstaand vraagstuk. Een deel van de beschikbare middelen voor dit project zijn bestemd voor onderzoeksactiviteiten van TNO. Een ander deel is beschikbaar voor complementaire aansluiting van andere kennisinstellingen. De call voor dit aanvullende deel van het project zal worden geopend voor universiteiten, KNAW- en NWO-instituten en hogescholen. De omvang is 100.000 Euro en de looptijd 18 maanden; verwachte start medio 2018.
Ter voorbereiding op deze call wordt een bijeenkomst georganiseerd waarin de doelstelling en inkadering wordt toegelicht, en waarin ideeën, suggesties en verduidelijkingen ter verbetering van de call worden besproken. Tijdens de bijeenkomst zal o.a. worden verkend welk complementair onderzoek in de te openen call kan worden opgenomen.
De bijeenkomst vindt plaats op dinsdag 20 februari, 15:00-17:00 uur, locatie: TNO, Anna van Buerenplein 1, Den Haag.
Als u aan de bijeenkomst deel wilt nemen dan vragen wij u dat aan te melden bij Charessa Mak, email: C.Mak@nwo.nl. Ook als u niet aanwezig kunt zijn maar wel geïnteresseerd bent in de call, kunt u dit doorgeven. In dat geval wordt u uitgenodigd schriftelijk te reageren en geïnformeerd over de call. We willen u tevens verzoeken deze uitnodiging door te sturen aan collega-onderzoekers die hier mogelijk interesse in hebben.
Lees hier meer over het VWData-programma.