”Når computersystemet har klassificeret dig som en risiko, bliver du fanget i et giftigt feedback-loop. Hvis du bor i et fattigt nabolag, hvis nogen i din familie har en kriminel historie, eller hvis du er sort eller latino, så vil politiet holde nærmere øje med dig, og dermed vil de typisk indsamle flere belastende informationer om dig.”

Sådan lyder advarslen fra den amerikanske matematiker Cathy O’Neil, der står bag bestselleren med den sigende titel ’Weapons of math destruction’. For når først en borger på den måde er kommet i politiets søgelys, så risikerer datafælden på flere måder at klappe hårdere, end den ellers ville, og den kan sågar være medvirkende til at fastholde tidligere dømte i en kriminel løbebane.

”Med en højere risikoprofil i systemet kan du få hårdere domme i en retssag og sværere ved at blive prøveløsladt. Og dermed øges risikoen for, at du begår kriminalitet en anden gang. Resultatet er, at vi kriminaliserer fattigdom. På den måde kan algoritmer fungere som masseødelæggelsesvåben,” siger Cathy O’Neil. 

I ’Weapons of math destruction’, der udkom i 2016, gennemgår hun, hvordan algoritmer – altså de programmer, som computere bruger til at analysere og træffe beslutninger – systematisk kan diskriminere bestemte befolkningsgrupper og fastholde folk i bestemte aspekter af deres fortid. Som eksempel nævner hun bl.a. det amerikanske politis stigende brug af algoritmer, den såkaldte predictive policing, der bl.a. benyttes i storbyerne Chicago og Los Angeles. Her får politiets computere løbende forskellige indberetninger om, hvad der foregår i byen, og kombineret med den viden, man i forvejen har om beboere, og lokale statistikker for kriminalitet, kan systemet udpege områder, hvor beregningerne antyder, at der er størst risiko for ny kriminalitet eller ballade. På basis af de forudsigelser kan politiet forebygge og forberede sig ved at sende flere patruljevogne derhen.

Et af problemerne er bare, at når der er flere betjente i et område, er der også en tendens til, at de registrerer flere kriminelle hændelser, og dermed kommer kvarteret med algoritmens logik til at se endnu mere belastet og risikofyldt ud, end det reelt er.

Svage og fattige rammes

Cathy O’Neils pointe er, at computeres algoritmer langt fra er så matematisk neutrale og nøgterne, som man skulle tro. Som udgangspunkt skal en algoritme instrueres i, hvilke mål den skal opnå, og hvilke parametre den skal måle og analysere. Dermed indlejrer den menneskelige programmør uvægerligt en række værdier og skævheder i algoritmen, som typisk vil afspejle og understøtte interesserne hos den instans, eller i dette tilfælde myndighed, der driver computersystemet. 

Cathy O’Neil påpeger, at algoritmer også er tilbøjelige til at forstærke de eksisterende magtstrukturer, fordi algoritmerne typisk bruges til at automatisere behandlingen af den svageste og mindst velstående del af befolkningen.

”Fattige og minoriteter bliver bebyrdet med en stadig større ophobning af uheldige og belastende data, der følger dem gennem livet, og de udsættes for en mere og mere snæver målretning af indhold og reklamer på nettet. Men hvis man har penge, et godt job og er betydningsfuld, bliver man ikke sendt gennem automatiske processer. De rige og hvide kommer ikke i systemet, for de skal ikke søge social hjælp eller gennem kreditvurderinger til mindre lån. De har snarere fordelene ved at bygge og bruge algoritmerne,” konstaterer Cathy O’Neil.

Cathy O’Neil er selv en særdeles sammensat person og har bl.a. arbejdet fire år som quant, dvs. dataanalytiker i den finansielle sektor, men hun forlod investeringsselskaberne på Wall Street for at blive aktiv i Occupy Wall Street-bevægelsen. I sine TED Talks optræder hun med turkisblåt hår, og hun lægger ikke skjul på sine politiske holdninger og sin indignation over den forskelsbehandling, som algoritmer udsætter de svageste for i USA.

Samtidig er hun knivskarp, nøgtern og yderst velfunderet, når hun beskriver og vurderer, hvordan algoritmerne fungerer teknisk. O’Neil er en rigtig nørd med en ph.d. i matematik fra Harvard, og hun har været leder af et program med fokus på anvendelse af data ved Columbia Universitys School of Journalism. Hendes personlige blog hedder mathbabe. 

Kun få forstår, hvad der foregår

O’Neil store force er, at hun har den matematiske indsigt til at gennemskue, hvordan algoritmernes uheldige bivirkninger opstår. For som hun siger:

”De fleste, der udsættes for en urimelig behandling af de automatiske systemer, opdager aldrig, hvad der foregår. Computersystemerne er sorte bokse, og det er kun et fåtal, der overhovedet har den tekniske indsigt og viden til at forstå, hvordan algoritmerne når frem til deres konklusioner, når de f.eks. laver kreditvurderinger eller frasorterer jobansøgninger.”

”Det er ikke nødvendigvis for bevidst at manipulere og skade, at algoritmerne bliver konstrueret, så de ender med at diskriminere. Men de er optimeret til en definition på succes, der passer bedst på den, som bruger algoritmen,” siger Cathy O’Neil.

Som et eksempel på, at algoritmen ubevidst forstærker den eksisterende logik, nævner hun et eksempel med en stor virksomhed, der skal rekruttere medarbejdere til lederstillinger. I den proces anvender virksomheden en algoritme til at foretage den første vurdering af, hvem blandt de mange ansøgere der skal kaldes til samtale. Algoritmen fungerer på den måde, at den leder efter kendetegn ved ansøgningerne, som svarer til det, der har kendetegnet de chefer, der plejer at have størst succes i firmaet. Typisk vil de ledere være hvide mænd med en særlig uddannelsesbaggrund mv., og dermed risikerer man, at algoritmen automatisk sorterer alle andre fra, der ikke ligner den beskrivelse.  

”Vi har masser af love, der forbyder diskrimination på grund af race eller køn, men når det er en algoritme, der forskelsbehandler, er det svært at opdage – og tilsvarende svært at klage over,” påpeger Cathy O’Neil. 

I nogle tilfælde har borgere i USA krævet at få indsigt i den algoritme, der var med til at få dem fyret, eller som afgjorde en retssag, men det er blevet afvist, fordi de selskaber, der leverer algoritmerne, betragter dem som forretningshemmeligheder.

I andre tilfælde ved programmørerne ikke engang præcist, hvordan algoritmerne tager beslutninger. Med maskinlæring kan computeren selv tage ved lære og opbygge erfaringer, efterhånden som den analyserer stadig flere data, og derfor kan det i praksis være umuligt for mennesker at se, hvad det er for antagelser og principper, den arbejder ud fra.

Mærkningsordning for algoritmer

I dag, efter den store succes med bogen, fokuserer Cathy O’Neil på at udvikle metoder til at inspicere algoritmer og vurdere, om deres beslutninger er tilbøjelige til at diskriminere eller på andre måder har skadelige bivirkninger for dem, der bliver vurderet af systemet. O’Neill har startet en konsulentvirksomhed, der tilbyder grundig revision af virksomheders algoritmer. Hun har udarbejdet en række minimumskrav for, at en algoritme kan siges at fungere på en fair og forsvarlig måde, og hvis en virksomheds algoritmer lever op til det sæt af normer, tildeler Cathy O’Neil dem et certifikat. 

Hun kalder metoden for en ’etisk matrix’. Ved at køre tests på forskellige datasæt laver man en vurdering af resultaterne på parametre som præcision, bias, gennemskuelighed, og hvorvidt konklusionerne er tidstro. De effekter vurderes herefter i forhold til hver af de parter, der påvirkes af beslutningerne, såsom virksomhed, kunder, samarbejdspartnere, osv.

Cathy O’Neil indrømmer, at der endnu ikke er så mange kunder til den form for revision, som hun havde håbet på.

”Men jeg tror, at det om 5-10 år vil være et helt almindeligt krav fra investorer eller myndigheder, at virksomheder kan dokumentere, at deres algoritmer tager beslutninger på en rimelig og etisk forsvarlig måde. Det vil aktionærerne forlange,” forudser Cathy O’Neil.

For nylig efterlyste EU-Kommissionen i en rapport om etik og kunstig intelligens, at algoritmer skal være ’explainable’, dvs. at man skal kunne inspicere en algoritme og gennemskue, hvordan den når frem til sine konklusioner. 

Alt i alt mener Cathy O’Neil, at revision og mærkning af algoritmer vil blive et vigtigt signal, som kan bruges som en konkurrencefordel af de virksomheder, der er certificerede, på samme måde som fairtrade-, økologi- og energimærkning fungerer i dag.