RATE Analytics: Human-in-the-loop

Het project RATE Analytics: Next Generation Predictive Analytics for Data-Driven Banking and Insurance is een baanbrekend onderzoeksproject dat zich richt op het ontwikkelen van betrouwbare en transparante analysemethoden voor de financiële sector. Dit project werd uitgevoerd in samenwerking met Rabobank, Achmea, Tilburg University en de Technische Universiteit Eindhoven (TU/e), met als doel nieuwe technieken te ontwikkelen om complexe modellen beter te verklaren en te verbeteren. Dit artikel belicht de belangrijkste resultaten van het project en de overgang naar praktische toepassingen via het NWO Take-off traject.

Achtergrond en doelstellingen

Met de opkomst van big data worden banken en verzekeringsmaatschappijen geconfronteerd met enorme hoeveelheden gegevens die kunnen worden ingezet voor toepassingen zoals fraudeopsporing, kredietrisicoanalyse en productontwikkeling. Een belangrijk obstakel bij het gebruik van machine learning (ML)-modellen in deze context is echter het gebrek aan transparantie en vertrouwen. Hoewel modellen vaak goed presteren op testdata, kunnen ze gebaseerd zijn op verborgen vooroordelen of niet-representatieve gegevens, wat kan leiden tot fouten met mogelijk grote financiële en ethische gevolgen. Daarnaast worstelen ML-modellen vaak met conceptdrift, waarbij ze veranderingen in gegevenspatronen over tijd niet goed verwerken. Dit kan ertoe leiden dat modellen die eerder nauwkeurig waren, later falen.

Innovaties van het RATE Analytics-project

Het RATE Analytics-project is opgezet om deze uitdagingen aan te pakken door technieken voor uitlegbare AI (XAI) te ontwikkelen. Hierbij werd een human-in-the-loop-benadering toegepast, waarbij menselijke expertise werd gecombineerd met geavanceerde algoritmes om de prestaties en betrouwbaarheid van de modellen te verbeteren. Dit was cruciaal voor partners zoals Achmea en Rabobank, die behoefte hadden aan betrouwbare en ethisch verantwoorde modellen voor toepassingen als fraudeopsporing en klantbeheer.

Een van de innovaties van het project was de ontwikkeling van interactieve visualisatietools, zoals ExplainExplore, die datawetenschappers in staat stelt om lokale verklaringen te onderzoeken voor individuele modelvoorspellingen. Deze tool bleek bijzonder nuttig bij het verfijnen van modellen en het identificeren van problemen met voorspellende nauwkeurigheid. Een andere tool, StrategyAtlas, bood een globaal overzicht van complexe modellen, waardoor patronen en strategieën binnen de data konden worden blootgelegd.

Samenwerking met partners

Een van de sterke punten van het RATE Analytics-project was de nauwe samenwerking met industriële partners. Rabobank en Achmea leverden praktijkvoorbeelden, zoals fraudedetectie en voorspellende analyses voor klantbeheer. Door de tools van RATE op deze use cases toe te passen, werd verzekerd dat academische innovaties direct bruikbaar waren in de praktijk.

Bijvoorbeeld, de afdeling debiteurenbeheer van Achmea gebruikte ExplainExplore om hun model voor het voorspellen van de effectiviteit van strategieën voor het contact met debiteuren te verbeteren. De inzichten die uit deze tools voortkwamen, verhoogden niet alleen de voorspellende nauwkeurigheid, maar gaven Achmea ook een beter begrip van hun datamodellen, wat leidde tot betere besluitvorming.

De samenwerking ging verder dan alleen technische ontwikkelingen. Onderzoekers van TU/e en Tilburg University presenteerden regelmatig hun bevindingen aan het senior management van Achmea en Rabobank, wat bijdroeg aan voortdurende discussies over het verantwoorde gebruik van AI in de financiële sector. Deze uitwisseling droeg ook bij aan het bredere debat over AI-ethiek en naleving van regelgeving binnen de sector.

Verbinding met het NWO Take-off traject

Het RATE Analytics-project maakte niet alleen significante academische vooruitgang, maar speelde ook een sleutelrol in de overgang van voorspellende analysetechnologie naar de markt. Het project kreeg toegang tot het NWO Take-off-programma, een initiatief dat academische innovaties ondersteunt bij hun commercialisatie. Hierdoor kon het team €40.000 aan financiering verkrijgen om de haalbaarheid van een startup te onderzoeken.

Deze startup zou bedrijven helpen omgaan met de groeiende complexiteit van machine learning-modellen, vooral in contexten met besluitvorming met hoge inzet. Aangezien bedrijven steeds meer afhankelijk zijn van AI, wordt het essentieel om te zorgen dat modellen interpreteerbaar zijn en voldoen aan de regelgeving. Het Take-off programma stelde het team in staat om potentiële klanten te identificeren, interviews af te nemen en de levensvatbaarheid van hun tools verder te onderzoeken.

Hoewel het project zich aanvankelijk richtte op de financiële sector, wordt verwacht dat de technologieën ook relevant zullen zijn voor andere sectoren, zoals de gezondheidszorg en voorspellend onderhoud.

Toekomst

Met de resultaten van het RATE Analytics-project heeft het team niet alleen belangrijke academische vooruitgang geboekt, maar ook een duidelijke route naar commercialisatie uitgezet. De innovatieve XAI-tools die zijn ontwikkeld, hebben het potentieel om breed te worden ingezet, vooral nu machine learning een steeds grotere rol speelt in besluitvorming met hoge impact.