Rekordbot for algoritmiske oppsigelser
Det nederlandske datatilsynet (AP) har besluttet å bøtelegge Uber med 825 millioner euro, omtrent 966 millioner dollar, ifølge et dokument gjennomgått av Reuters. Boten stammer fra Ubers praksis med å deaktivere sjåførenes kontoer gjennom automatiserte systemer, en prosess som tilsynsmyndighetene sier brøt med europeiske databeskyttelsesregler. Reuters-rapporten, basert på intern dokumentasjon, markerer en av de største kjente bøtene utstedt under EUs personvernforordning (GDPR) og setter søkelys på en GDPR-bot for automatiserte beslutninger av enestående omfang.
I sentrum av saken står en kjent klage fra arbeidere i delingsøkonomien: sjåfører som fikk kontoene sine suspendert eller avsluttet med liten forklaring, tilsynelatende utløst av en algoritme snarere enn en menneskelig kontrollør. Når en persons livsopphold avhenger av en app, kan en automatisert deaktivering føles mindre som en forretningsbeslutning og mer som å bli slettet av et system ingen kan stille spørsmål ved.
Hvordan GDPR-artikkel 22 begrenser automatiserte beslutninger
GDPR inneholder spesifikke beskyttelser mot beslutninger truffet «utelukkende på grunnlag av automatisert behandling» når disse beslutningene har rettsvirkninger eller tilsvarende betydelige konsekvenser for en person. Å miste tilgangen til en plattform som gir deg inntekt kvalifiserer klart som betydelig. Under dette rammeverket må selskaper generelt ha et lovlig grunnlag for å basere seg på fullautomatisert beslutningstaking, og de må gi berørte personer en måte å få menneskelig gjennomgang, uttrykke sitt synspunkt og bestride resultatet.
Regelen eksisterer fordi automatiserte systemer kan være ugjennomsiktige. En sjåfør som deaktiveres av en algoritme, har ofte ingen tydelig vei til å forstå hvorfor det skjedde, hvilke data som utløste det, eller hvordan man kan anke. Tilsynsmyndigheter har i økende grad behandlet denne ugjennomsiktigheten som et problem i seg selv, ikke bare en bivirkning av effektiv forretningsdrift. Den nederlandske APs beslutning mot Uber antyder at når et selskap automatiserer høyinnsatsbeslutninger om folks kontoer eller inntekt uten tilstrekkelig åpenhet og menneskelig tilsyn, kan de økonomiske konsekvensene bli alvorlige.
Hvorfor dette betyr noe utover kjøring/samkjøring
Det er fristende å lese dette som en historie som er spesifikk for gig-arbeid, men det underliggende problemet strekker seg langt utover samkjøringsapper. Enhver plattform som bruker automatiserte systemer til å ta beslutninger om brukere, enten det er å flagge kontoer for svindel, avslå lånesøknader, justere forsikringspremier eller filtrere jobbkandidater, står overfor det samme grunnleggende kravet: personer som påvirkes av disse beslutningene har rettigheter, inkludert retten til å vite at en beslutning var automatisert og retten til å bestride den.
Størrelsen på denne boten sender et signal til selskaper godt utenfor transportsektoren. Ettersom flere tjenester lener seg på algoritmer for å håndtere alt fra kontosikkerhet til kundeberettigelse, ser tilsynsmyndighetene ut til å være villige til å håndheve ideen om at automatisering ikke fjerner ansvarlighet. Hvis noe, hever den listen, fordi et svart-boks-system som ikke kan forklare seg selv, er vanskeligere å forsvare enn en menneskelig beslutningstaker som i det minste kan artikulere sin begrunnelse.
Hva dette betyr for deg
Hvis du noen gang har fått en app-konto suspendert, en lånesøknad avslått eller en tjeneste begrenset med en vag automatisk melding, er denne saken en påminnelse om at du kan ha flere rettsmidler enn grensesnittet antyder. Under GDPR kan enkeltpersoner i EU (og ofte de hvis data behandles av EU-baserte eller EU-rettede selskaper) spørre om en beslutning som påvirker dem var automatisert, be om menneskelig gjennomgang og bestride resultatet. Selv utenfor EU har presset som skapes av slike kjennelser en tendens til å presse selskaper mot klarere retningslinjer og bedre klageprosesser globalt, siden å opprettholde separate systemer for ulike regioner ofte er dyrere enn å heve standardene overalt.
Dette er også et godt tidspunkt å tenke på det bredere fotavtrykket av dine personopplysninger. Hver app som profilerer atferden din, enten for å godkjenne en tur, utvide kreditt eller personalisere en annonse, tar beslutninger basert på data du har gitt, ofte uten full innsikt i hvordan disse dataene vektes.
Tips til leserne
Hvis du er avhengig av gig-plattformer, finansapper eller andre tjenester som bruker automatiserte kontobeslutninger, bør du vurdere noen konkrete steg. Gå gjennom personvernpolicyene og tjenestevilkårene for apper du bruker jevnlig for å se om de opplyser om automatisert beslutningstaking. Hvis du noen gang blir deaktivert, avslått eller flagget av en algoritme, be selskapet direkte om en menneskelig gjennomgang, siden GDPR og lignende lover i andre jurisdiksjoner i økende grad krever dette alternativet. Og vær oppmerksom på hvor mye personopplysninger du gir fra deg til apper som tar konsekvensrike beslutninger, fordi en rekordsettende GDPR-bot for automatiserte beslutninger som denne viser at tilsynsmyndigheter følger nøye med, selv om individuelle brukere ofte ikke får hele bildet.
