Belangrijke vragen waar dr. Martin van den Berg van de Hogeschool Utrecht en dr. Alexander Boer van KPMG hun licht op lieten schijnen tijdens de derde livestream over het Ethisch Kader Datatoepassingen in januari 2021. Aan het eind van het webinar was duidelijk dat dit thema verdere aandacht verdient. Verzekeraars die concreet willen nadenken over de toepassing van uitlegbaarheid binnen een use case kunnen zich melden bij Martin van den Berg (Hogeschool Utrecht) of Robert de Snoo (Human & Tech Institute). De Hogeschool Utrecht heeft namelijk een raamwerk ontwikkeld voor uitlegbare AI en Van den Berg nodigt zijn gehoor al bij de start van zijn verhaal uit vooral deel te nemen aan het praktijkgerichte onderzoek dat hij doet naar uitlegbare AI. “Uiteindelijk staat of valt het gebruik van AI met het vertrouwen dat consumenten hebben in het toepassen ervan door bedrijven. Tel daarbij op dat het gebruik van AI alleen maar toeneemt en steeds complexer wordt. Dan ontkom je er niet aan om de ‘black box’ transparant te maken”, stelt Van den Berg. “Waar de AVG al veel eisen stelt aan het gebruik van persoonsgegevens, heeft de consument ook recht op een verantwoorde inzet van AI.”
Definitie AI
Daarbij speelt de gehanteerde definitie een belangrijke rol. Van den Berg hanteert de volgende: ‘Uitlegbare AI is een set van bekwaamheden (methoden, technieken en processen) die een uitleg genereert die het functioneren en/of de uitkomsten van een AI toepassing voldoende duidelijk maakt zodat deze begrijpelijk is voor die stakeholder en tegemoet komt aan de belangen van die stakeholder.’
Holistische benadering
Een hele mond vol. Uitlegbare AI is dus meer dan alleen methoden en technieken, ook de omgeving en stakeholders zijn van belang. Daarom kiest de Hogeschool Utrecht voor een holistische benadering. “Dat is logisch want je moet je stakeholders het gebruik van AI uitleggen. Daarom gaan wij niet alleen uit van de eindgebruiker (explainee), maar ook van de explainer: de externe adviseur voor AI-toepassing, de zogeheten 1e lijn plus de interne adviseurs operationele controle (2e lijn), de AI-ontwikkelaar (audit 3e lijn) én de domeinexpert. Denk hierbij ook aan toezichthouders”, legt Van den Berg uit.
Veel vragen
Het raamwerk voor uitlegbare AI is, net als het Ethisch kader van het Verbond, vertaald naar normen waar heel veel vragen aan ten grondslag liggen. “Over de context waarbinnen je het toepast waardoor meerdere soorten uitleg relevant zijn. Maar ook over het AI-model dat je kiest en of de uitleg de concurrentie niet in de kaart speelt? En dat de uitleg niet ten koste gaat van de accuraatheid? Kortom: heel veel vragen en daarom is onderzoek hard nodig, want er is nog zoveel te leren”, stelt Van den Berg. “Laten we dat samen doen aan de hand van door jullie ingebrachte casuïstiek.”
Een goede uitleg is contextueel
Het raamwerk van de HU bevat vier karakteristieken: begrijpelijk, specifiek (voldoet aan vragen/behoeften), reflectie en volledigheid. “Een goede uitleg is zeer contextueel. Als je een AI-toepassing ontwikkeld dan moet je de hele keten in ogenschouw nemen wat betreft uitleg. In de verschillende stadia heb je behoefte aan vormen van uitleg. Veelgehoorde begrippen zijn volgens Van den Berg transparantie in enge zin gekoppeld aan de eigenschappen van het AI-model: traceerbaarheid en controleerbaarheid, uitlegbaarheid en begrijpelijkheid. “En transparantie in brede zin: de eigenschap van het AI-systeem als geheel waarbij je altijd een beroep moeten kunnen doen op menselijk handelen. Met uitlegbare AI kijk je dus naar de sociale kant en die kant wint terrein, net als de communicatie met stakeholders. “Men wil weten en men heeft er recht op te weten hoe het zit, dat neemt alleen maar toe.” Van den Berg eindigt zijn betoog met een oproep aan alle deelnemers aan de workshop: “Doe mee aan ons onderzoek! Wij zoeken drie tot zes verzekeraars met wie wij een aanpak delen voor een uitgewerkte case, een toets op de werking van AI en de implicaties ervan. De verzekeraar krijgt er praktische handreikingen voor terug.” Het onderzoek loopt in Q2/Q3 2020. Juist omdat AI een jong kennisgebied is, is de beste manier van leren door van elkaar te leren door het samen te doen, meent Van den Berg. “Wij zijn graag de katalysator door als kennisinbrenger te fungeren en die kennis weer terug te brengen naar de praktijk. “Het belooft spannend en leuk te worden. Dus doe mee aan de gratis kick off en daarna de drie betaalde werksessies.” Voor meer informatie kunnen geïnteresseerde verzekeraars contact opnemen met: Martin van den Berg (Hogeschool Utrecht) of Robert de Snoo (Human & Tech Institute). Voor meer informatie zie ook de flyer.
Risicofactoren en beheersingsmaatregelen
Vervolgens nam Alexander Boer, senior manager Trusted Analytics van KPMG de deelnemers mee in de theorie rondom uitlegbare AI en het toetsen van uitlegbaarheid: het in kaart brengen van de risicofactoren waarbij uitlegbaarheid wordt ingezet als beheersingsmaatregel voor het verkleinen van risico’s. “Als we kijken naar beheersing, dan gaat het om het proces en de governance structuur daaromheen”, legt Boer uit. “Welke risicofactoren vragen om uitlegbaarheid als beheersingsmaatregel, wat moet er, afhankelijk van de risicofactoren uitgelegd worden en welke rol kan explainable AI (XAI) daarin spelen en welke rollen niet?”
Leren van fouten
Volgens Boer beschouwen mensen technologie als begrijpelijk als ze in hun hoofd kunnen simuleren wat de technologie doet. Het gebruik van van explainable AI (XAI) technieken kan daar een zekere, maar beperkte, bijdrage aan leveren. Daarnaast kan analyse van de fouten die het systeem maakt, belangrijke inzichten verschaffen in de werking van data-gedreven toepassingen. Ook de kwaliteit van de manier waarop een organisatie het meten en evalueren van performance aanpakt, draagt dus bij aan uitlegbaarheid,” zo benadrukt Boer.
Uitlegbaarheid is organisatieopgave
“Uitlegbaarheid heeft vooral als doel diverse belanghebbenden in staat te stellen om te beoordelen hoe de toepassing werkt net als de individuele uitkomsten, ook om er eventueel bezwaar tegen te kunnen maken. Effectieve bezwaren richten zich vaak niet tegen de toepassing, maar tegen de kwaliteit en keuze voor de data die gebruikt is, of tegen het gebruik van de uitkomst van de toepassing, bijvoorbeeld als bewijs bij een belangrijke beslissing met grote gevolgen. Goede vastlegging van de keuzes en overwegingen op dit vlak, periodieke heroverweging van die keuzes, en een breed gedeeld bewustzijn van risico’s en overwegingen op dit vlak bij degenen die om uitleg gevraagd kan worden, draagt ook in belangrijke mate bij aan uitlegbaarheid.”
Boer ziet uitlegbaarheid van data-gedreven toepassingen als een organisatiebreed probleem, waarvoor we de oplossingen moeten zoeken in data management, XAI, training & awareness en in allerlei andere ondersteunende processen en structuren. Kan je als verzekeraar hulp gebruiken bij de implementatie van het Ethisch kader? Via Data & Insurance van KPMG Nederland kan je bij diverse specialisten terecht.
Lees ook ons interview met Robert de Snoo over het Ethisch kader
Hij heeft een IT-achtergrond en kent het klappen van de zweep in de verzekeringssector. Robert de Snoo is positief kritisch over het Ethisch kader, dat deze zomer is goedgekeurd door de ledenvergadering van het Verbond. “Een Ethisch kader is een mooi vertrekpunt, maar het gaat vooral om de praktijk.” Ga naar deze longread