En rekordstor bøde for algoritmiske afskedigelser
Den hollandske datatilsynsmyndighed (AP) har besluttet at pålægge Uber en bøde på 825 millioner euro, svarende til cirka 966 millioner dollars, ifølge et dokument, som Reuters har gennemgået. Bøden stammer fra Ubers praksis med at deaktivere chaufførers konti gennem automatiserede systemer – en proces, som tilsynsmyndighederne mener er i strid med europæiske regler for databeskyttelse. Reuters-rapporten, der bygger på intern dokumentation, markerer en af de største kendte bøder, der er udstedt i henhold til EU's generelle forordning om databeskyttelse (GDPR), og sætter fokus på en GDPR-bøde for automatiseret beslutningstagning af hidtil uset omfang.
I centrum af sagen står en velkendt klage fra arbejdere i gig-økonomien: chauffører, hvis konti blev suspenderet eller opsagt med få forklaringer, tilsyneladende udløst af en algoritme frem for en menneskelig vurdering. Når en persons levebrød afhænger af en app, kan en automatisk deaktivering føles mindre som en forretningsbeslutning og mere som at blive slettet af et system, ingen kan stille spørgsmålstegn ved.
Hvordan GDPR's artikel 22 begrænser automatiserede beslutninger
GDPR indeholder specifikke beskyttelser mod beslutninger, der træffes "udelukkende på grundlag af automatisk behandling", når disse beslutninger har retsvirkning eller på tilsvarende vis betydeligt påvirker en person. At miste adgangen til en platform, der giver dig din indkomst, kvalificerer klart som betydeligt. Under denne ramme skal virksomheder generelt have et lovligt grundlag for at anvende fuldt automatiseret beslutningstagning, og de skal give berørte personer en mulighed for at få menneskelig gennemgang, give udtryk for deres synspunkt og bestride afgørelsen.
Reglen findes, fordi automatiserede systemer kan være uigennemsigtige. En chauffør, der deaktiveres af en algoritme, har ofte ingen klar vej til at forstå, hvorfor det skete, hvilke data der udløste det, eller hvordan man appellerer. Tilsynsmyndigheder har i stigende grad behandlet denne uigennemsigtighed som et problem i sig selv, ikke blot en bivirkning af effektiv forretningsdrift. Den hollandske AP's afgørelse mod Uber tyder på, at når en virksomhed automatiserer beslutninger med høje indsatser om folks konti eller indkomst uden tilstrækkelig gennemsigtighed og menneskeligt tilsyn, kan de økonomiske konsekvenser være alvorlige.
Hvorfor dette rækker ud over samkørsel
Det er fristende at læse dette som en historie, der er specifik for gig-arbejde, men det underliggende problem strækker sig langt ud over samkørselsapps. Enhver platform, der bruger automatiserede systemer til at træffe beslutninger om brugere, hvad enten det drejer sig om at markere konti for svindel, afvise låneansøgninger, justere forsikringspræmier eller filtrere jobkandidater, står over for samme grundlæggende krav: personer, der berøres af disse beslutninger, har rettigheder, herunder retten til at vide, at en beslutning var automatiseret, og retten til at bestride den.
Størrelsen på denne bøde sender et signal til virksomheder langt uden for transportsektoren. Efterhånden som flere tjenester læner sig op ad algoritmer til at håndtere alt fra kontosikkerhed til kundeberettigelse, ser tilsynsmyndighederne ud til at være villige til at håndhæve, at automatisering ikke fjerner ansvarlighed. Hvis noget, hæver den barren, fordi et black-bokssystem, der ikke kan forklare sig selv, er sværere at forsvare end en menneskelig beslutningstager, der i det mindste kan formulere sin begrundelse.
Hvad dette betyder for dig
Hvis du nogensinde har fået suspenderet en app-konto, afvist en låneansøgning eller fået begrænset en tjeneste med en vag automatisk meddelelse, er denne sag en påmindelse om, at du måske har flere retsmidler, end grænsefladen antyder. Under GDPR kan personer i EU (og ofte dem, hvis data behandles af EU-baserede eller EU-rettede virksomheder) spørge, om en beslutning, der påvirker dem, var automatiseret, anmode om menneskelig gennemgang og bestride afgørelsen. Selv uden for EU har den tilskyndelse, der skabes af afgørelser som denne, en tendens til at presse virksomheder i retning af klarere politikker og bedre appelprocesser globalt, da det ofte er dyrere at opretholde separate systemer for forskellige regioner end at hæve standarderne alle steder.
Dette er også et godt tidspunkt at tænke over det bredere aftryk af dine personlige data. Hver app, der profilerer din adfærd, hvad enten det er for at godkende en tur, give kredit eller personalisere en annonce, træffer beslutninger baseret på data, du har givet, ofte uden fuld indsigt i, hvordan disse data vægtes.
Pointer til læserne
Hvis du er afhængig af gig-platforme, finansielle apps eller andre tjenester, der bruger automatiserede kontobeslutninger, så overvej et par konkrete skridt. Gennemgå privatlivspolitikkerne og servicevilkårene for apps, du bruger regelmæssigt, for at se, om de oplyser om automatiseret beslutningstagning. Hvis du nogensinde bliver deaktiveret, afvist eller markeret af en algoritme, så bed virksomheden direkte om en menneskelig gennemgang, da GDPR og lignende love i andre jurisdiktioner i stigende grad kræver denne mulighed. Og vær opmærksom på, hvor mange personlige data du afgiver til apps, der træffer beslutninger med konsekvenser, fordi en rekordstor GDPR-bøde for automatiseret beslutningstagning som denne viser, at tilsynsmyndighederne følger nøje med, selvom individuelle brugere ofte ikke får det fulde billede.
