Fairness-problemer og bias opstår ofte i AI-understøttet beslutningstagning. Det enkleste eksempel er, når en AI-model fungerer mere præcist for ét køn eller én gruppe end for andre. Der er flere udfordringer på dette område, f.eks. at identificere kilden til bias, som kan være indlejret i samfundet eller i det datasæt, der er indsamlet.

Amir Aminifar

Gender bias og fairness

Q: Hvordan forstår og arbejder du med problematikken omkring kønsbias i prædiktive modeller eller AI-systemer – og hvad ser du som de største udfordringer i håndteringen af det?

A: Fairness-problemer og bias opstår ofte i AI-understøttet beslutningstagning. Det enkleste eksempel er, når en AI-model fungerer mere præcist for ét køn eller én gruppe end for andre. Der er flere udfordringer på dette område, f.eks. at identificere kilden til bias, som kan være indlejret i samfundet eller i det datasæt, der er indsamlet.

Data og repræsentation

Q: I hvilken grad mener du, at nuværende datasæt og modelleringspraksisser repræsenterer køn og andre sociale forskelle tilstrækkeligt – og hvad er konsekvenserne, når de ikke gør det?

A: Det afhænger af den konkrete patologi, men generelt lever mange datasæt og modelleringspraksisser ikke op til at repræsentere køn og andre sociale forskelle tilstrækkeligt. Det kan føre til fairness- og biasproblemer og hæmme den generelle tillid.

Robusthed og generaliserbarhed

Q: Hvad betyder robusthed i dit felt, og hvordan sikrer du, at modeller forbliver valide og pålidelige på tværs af forskellige populationer eller kontekster?

A: Robusthed betyder, at en lille ændring i en egenskab (f.eks. en lille ændring i en patients vægt) ikke bør ændre det AI-forudsagte sundhedsresultat. For at sikre robusthed og generaliserbarhed skal AI-modeller tage sådanne dimensioner i betragtning gennem hele deres livscyklus, f.eks. under træningen.

Tillid og fortolkbarhed

Q: Hvilke faktorer mener du styrker (eller undergraver) tilliden til AI-modeller – både blandt forskere og slutbrugere – og hvilken rolle kan fortolkbarhed spille?

A: Fortolkbarhed kan øge vores tillid til de beslutninger, AI-modeller træffer, men det kan også skabe en opfattet tillid. Derfor bør man være varsom med at drage konklusioner, når det gælder fortolkbarhed specifikt og tillid til AI-beslutninger generelt. Det er en af de største udfordringer, som det medicinske fagmiljø skal håndtere.

Etik og ansvar

Q: Hvem bør have ansvar for at sikre fairness, robusthed og transparens i prædiktiv modellering – og hvilke mekanismer eller praksisser kan styrke denne ansvarlighed?

A: At sikre fairness, robusthed og transparens i prædiktiv AI er et delt ansvar mellem modeludviklere og dataforskere, institutioner og organisationer samt regulatorer og beslutningstagere. En systemisk tilgang til ansvarlighed er afgørende for at sikre overensstemmelse med regulatoriske og juridiske rammer såsom GDPR og EU’s AI-forordning.