AI kan løfte borgere – eller holde dem nede

Kunstig intelligens kan forudsige problemer, før de opstår. Men computere har en stærk tendens til at opbygge fordomme, der betyder, at bestemte grupper i befolkningen systematisk bliver udpeget som potentielt problematiske.  

Peter Hesseldahl

AI i det offentlige

Kunstig intelligens er på vej ind i den offentlige sektor. I en serie artikler ser vi nærmere på, hvordan avanceret automatisering og dataanalyse påvirker sagsbehandlingen og lovgivningen, og hvilke etiske dilemmaer kunstig intelligens fører med sig.

AI kan løfte borgere – eller holde dem nede

Skal kunstig intelligens fiske med net eller harpun?

Nu bliver den offentlige sektor kunstigt intelligent

AI i det offentlige sætter borgernes tillid på spil

Udviklingen af kunstig intelligens åbner op for et væld af muligheder for at lave forudsigelser og forebyggelse i det offentliges sagsbehandling. Men der følger en række svære dilemmaer med.

Der er to danske projekter, som meget tydeligt illustrerer de dilemmaer: Gladsaxe Kommunes dataovervågning og jobcentrenes profileringsværktøj.

Der kan siges meget positivt om projekterne. I begge tilfælde handler det offentlige proaktivt ved at analysere data for at forebygge, at borgerne løber ind i alvorlige problemer.  

I Gladsaxe forsøgte man så tidligt som muligt at identificere børn, der var i risiko for mistrivsel, fordi tidlige indsatser giver langt bedre chancer for at undgå langsigtede problemer. På jobcentrene bruger man en algoritme til at finde de personer, der er i særlig risiko for at blive langtidsledige og derfor bør have særlig støtte af systemet.

Man kan spørge, om det ikke er præcis den form for rettidig omhu og forebyggende indsats, vi kunne ønske os af det offentlige?

Alligevel er de to projekter især blevet eksempler på diskrimination og snagen i borgernes privatliv – og på, hvordan AI-projekter kan køre af sporet, når offentligheden hører, hvad der foregår.

I jobcentrenes profileringsværktøj til at forudsige, hvem der har størst risiko for at blive langtidsledige, indgår det, at personer, der er indvandrere eller efterkommere af indvandrere, statistisk har større risiko. Den vurdering blev af mange opfattet som diskrimination snarere end positiv særbehandling.

I Gladsaxe Kommune var det planen – indtil systemet måtte skrinlægges – at en algoritme skulle identificere familier, hvor børnene formentlig mistrives, ved at vurdere alle familier ud fra faktorer som forældrenes ledighed, uddannelsesbaggrund, sundhedsdata og eventuelt misbrug. Også faktorer som at udeblive til aftaler i skoletandplejen indgik i den samlede vurdering.

Hanne Marie Motzfeldt, lektor i digital forvaltning ved Københavns Universitets Juridiske Fakultet, er yderst betænkelig ved Gladsaxe-modellen.

”Det er det, der kaldes profilering: Man udtrykker en vurdering af menneskers personlige egenskaber og sociale færdigheder. Det kan være en risikabel form for persondatabehandling – lidt afhængig af konteksten. Der er først risikoen for, at du tegner et forkert billede af en person, og det kan være dybt krænkende. Omvendt kan statistisk korrekte profiler også have slagsider, for eksempel ved at fastholde sociale mønstre og fjerne den sociale mobilitet i samfundet,” siger Hanne Marie Motzfeldt.

Fra diagnose til forudsigelse

Kunstig intelligens handler om at forstå mønstre i data. Maskinen kan lære, hvordan visse kombinationer af tilstande typisk er sammenfaldende med et eller andet faktum – hvad enten det er bestemte mønstre i et røntgenbillede, der tyder på en kræftknude, eller bestemte forhold i et regnskab, der antyder, at der bliver lavet sort arbejde. 

Systemerne kan kategorisere og diagnosticere og finde tegn på afvigelser fra det normale.

Det næste skridt er imidlertid, at den kunstige intelligens også forsøger at forudsige problemer, før de opstår.

I industrien kan AI overvåge maskiner med sensorer, og hvis maskinen begynder at vise de tegn, som normalt antyder, at der er ved at opstå en defekt, kan man sætte en reparation i gang, før fejlen sker, og undgå store og kostbare nedbrud.

Ud fra nøjagtig den samme logik kan man forsøge at få maskiner til at holde øje med, om personer i en befolkning viser tegn på, at de er ved blive kriminelle, kronisk syge eller er i risiko for langtidsledighed eller mistrivsel – ligesom på jobcentrene og i Gladsaxe-modellen.

Bias – et lille, centralt ord

Der er imidlertid et lille ord, der giver store problemer, nemlig bias, der betyder fordom eller partiskhed.

Når man arbejder med algoritmer, der skal afgøre, hvad der er normalt, og hvad der er problematisk, risikerer man, at den model, som computeren tolker verden ud fra, indeholder fordomme og skævheder, der betyder, at nogle grupper systematisk diskrimineres.

Princippet i maskinlæring er, at computeren finder sammenhænge i data. Ved at analysere et stort antal eksempler kan maskinen opbygge en model for, hvordan forskellige faktorer spiller ind på det, man ønsker at identificere eller forudsige.

Men maskinens forståelse af verden afhænger fuldstændigt af, hvilke data den præsenteres for og instrueres i at medregne.

Et klassisk eksempel er en algoritme, der skal finde de bedst egnede kandidater til en chefstilling. Det datasæt, der bruges til at træne computeren til at forstå, hvilke kvalifikationer der tyder på, at en person er egnet som leder, kan være beskrivelser af tidligere chefer i virksomheden, og hvorvidt de har haft succes eller ej.

Men fordi de fleste lederstillinger hidtil har været besat af mænd, vil systemet konkludere, at de bedste ledere er mænd.

På den måde har kunstig intelligens en stærk tilbøjelighed til at forstærke de fordomme, der allerede findes i historiske data.

I dag er de fleste computermodeller stadig bygget af menneskelige programmører, der bestemmer, hvilke data der skal vurderes, og hvilken vægt de skal tillægges i forhold til hinanden.

Men når man bruger maskinlæring, er det computeren selv, der finder mønstre i dataene og opbygger en model for sammenhængene. Den model, computeren opbygger, er ofte en black box, hvor mennesker ikke kan gennemskue processerne.

Det er muligt, at resultaterne af analysen er korrekte, men man forstår ikke, hvordan maskinen når frem til resultatet.

Vi risikerer at fastholde et bestemt menneskesyn

Et ofte nævnt eksempel på bias i offentlige systemer er det amerikanske politi, hvis algoritmer i højere grad udtager sorte til undersøgelse og er mindre tilbøjelige til at prøveløslade sorte.

For Johan Busse, formand for Dataetisk Råd, illustrerer det amerikanske eksempel, at når man bruger historiske data, risikerer man at fastholde et bestemt menneskesyn og perspektiv på, hvad der er vigtigt eller ej:

”Så snart faktorer som herkomst eller etnicitet indgår, så skal man være særlig på vagt – men problemet kan være, at det er usynligt for alle andre end maskinen,” siger Johan Busse.

Men hvis der som én blandt mange andre faktorer er en statistisk sammenhæng mellem det at have indvandrerbaggrund og risikoen for at blive langtidsledig, skal man så undlade at medtage data, som godt kan være sande, men er kontroversielle?

”Ikke nødvendigvis, men jeg synes, vi skal være skeptiske over for, om det er rigtigt, at det har en betydning. Det kunne jo være, fordi de mennesker, der arbejder med det og udvælger kriterierne, har en tendens til at lægge særlig vægt på det, fordi de har en fordom – berettiget eller uberettiget – om at herkomst eller etnicitet har en betydning."

"Vi er også nødt til at se nøje på, med hvilken vægt det indgår, så der ikke er nogle kriterier, der vejer så tungt, at de er med til at fastfryse billeder af mennesker,” mener Johan Busse og uddyber:

”Når vi har et sæt af menneskerettigheder, der forbyder diskrimination af bestemte grunde, og det er indbygget i vores lovgivning og samfund, at skal vi holde os for gode til at lægge vægt på de faktorer, så er det som udgangspunkt altid betænkeligt at gøre det, selv om det kan være ment som en hjælp.”

”Hvis vi begynder at bruge de faktorer i algoritmer til sortering eller profilering, risikerer vi at forbryde os mod det, vi i virkeligheden ville beskytte de her minoriteter eller individer imod.”

Hvor meget har vi egentlig lyst til at forudsige

Rikke Zeberg, direktør for Datastyrelsen, mener, at udviklingen af kunstig intelligens vil give anledning til en diskussion af, hvad vi ønsker at forudsige:

”Hvis man har store mængder af data, så kan man pludselig forudsige ting, som man måske egentlig ikke ønsker at vide. Hvis jeg bliver undersøgt, så kan man for eksempel forudsige med en vis sandsynlighed, om jeg dør af kræft inden en vis alder. Men spørgsmålet er: Vil jeg vide det?”

”Når man bruger kunstig intelligens, kan man ikke forudsige 100 procent sikkert – kun med en vis sandsynlighed. Men hvis man begynder at forudsige ting som en kriminel løbebane, kan man så påvirke en person, hvis de får hæftet det mærkat på sig? Hvilken betydning vil den forudsigelse have på et liv? Det er et etisk dilemma, man skal drøfte,” mener Rikke Zeberg.

For Johan Busse er det umuligt at trække en fast grænse for, hvornår det er i orden at lade en maskine vurdere et menneske. Det kommer an på anvendelsen af maskinens bedømmelse:

”I sundhedsvæsenet i forbindelse med sygdomsbekæmpelse og forebyggelse er der en klar individuel interesse i at få så detaljeret en indsigt som muligt. Men når vi taler om kontrol med borgerne for at afværge problemer, så er det, at man skal have den etiske brevvægt frem for at afveje individets ret til at leve frit og privat og beskyttet i forhold til kollektivets interesse i at anvende data.”

Johan Busse mener, at diskussionen let bliver meget kategorisk, fordi man bruger ”trylleord” som terrorbekæmpelse eller forebyggelse og omsorgssvigt over for børn, altså ord, som er så stærke, at de fejer alle andre argumenter af banen:

”Det er jo ikke noget, man kan være imod. Vi er alle interesserede i at hjælpe udsatte børn og unge så tidligt som muligt, men derfor kan man godt lave en afvejning af, hvilke redskaber der er rimelige at bruge. Har vi lyst til, at vi vurderer mennesker på den måde? Og helt lavpraktisk, virker det? Vil man kunne opnå det, man postulerer, at man vil opnå?” spørger Johan Busse:

”Vi står som samfund over for forandringer, der gør, at vi bør have en offentlig samtale om de ting. Det må ikke bare være noget, der er styret i regnskabskontorer og it-afdelinger, for det er noget, der påvirker os alle sammen fundamentalt. Det går hurtigt, så vi kan ikke sidde i rundkreds og vente på at gå i gang med teknologien. Men vi må have diskussionen undervejs og ikke først efterfølgende, når der viser sig nogle kedelige effekter, som vi ikke rigtig havde overvejet,” siger formanden for Dataetisk Råd.


Få Mandag Morgens overskrifter direkte i din mail.

Tilmeld dig nyhedsbrevet nu




Få Mandag Morgens overskrifter direkte i din mail.

Tilmeld dig nyhedsbrevet nu