Rekordní pokuta za algoritmické propouštění
Nizozemský úřad pro ochranu osobních údajů (AP) se rozhodl udělit Uberu pokutu ve výši 825 milionů eur, což je zhruba 966 milionů dolarů, podle dokumentu, který přezkoumala agentura Reuters. Pokuta vyplývá z praktiky Uberu deaktivovat účty řidičů prostřednictvím automatizovaných systémů, což je proces, který podle regulátorů porušil evropská pravidla ochrany osobních údajů. Zpráva agentury Reuters, založená na interní dokumentaci, představuje jednu z největších známých pokut udělených podle obecného nařízení Evropské unie o ochraně osobních údajů (GDPR) a upozorňuje na pokutu za automatizované rozhodování podle GDPR v nebývalém rozsahu.
V centru případu stojí známá stížnost pracovníků v takzvané gig ekonomice: řidiči, jejichž účty byly pozastaveny nebo ukončeny s minimálním vysvětlením, což se zdálo být spuštěno algoritmem spíše než lidským posuzovatelem. Když živobytí člověka závisí na aplikaci, automatizovaná deaktivace může působit méně jako obchodní rozhodnutí a spíše jako vymazání systémem, který nikdo nemůže zpochybnit.
Jak článek 22 GDPR omezuje automatizovaná rozhodnutí
GDPR obsahuje specifickou ochranu proti rozhodnutím učiněným „výhradně automatizovaným zpracováním", pokud tato rozhodnutí mají právní účinky nebo podobně závažný dopad na osobu. Ztráta přístupu k platformě, která poskytuje váš příjem, jednoznačně splňuje podmínku závažného dopadu. V tomto rámci společnosti obecně potřebují zákonný základ pro spoléhání se na plně automatizované rozhodování a musí dotčeným osobám poskytnout způsob, jak získat lidské přezkoumání, vyjádřit svůj názor a napadnout výsledek.
Toto pravidlo existuje, protože automatizované systémy mohou být neprůhledné. Řidič deaktivovaný algoritmem často nemá jasnou cestu k pochopení, proč se to stalo, jaká data to spustila nebo jak se odvolat. Regulátoři stále častěji považují tuto neprůhlednost za problém samotný, nejen za vedlejší účinek efektivních obchodních operací. Rozhodnutí nizozemského AP proti Uberu naznačuje, že když společnost automatizuje vysoce riziková rozhodnutí o účtech nebo příjmech lidí bez odpovídající transparentnosti a lidského dohledu, finanční důsledky mohou být závažné.
Proč to přesahuje služby přepravy osob
Je lákavé vnímat to jako příběh specifický pro gig práci, ale základní problém sahá daleko za aplikace pro přepravu osob. Jakákoli platforma, která používá automatizované systémy k rozhodování o uživatelích, ať už jde o označování účtů pro podvod, zamítání žádostí o úvěr, úpravu pojistného nebo filtrování uchazečů o zaměstnání, čelí stejnému základnímu požadavku: lidé dotčení těmito rozhodnutími mají práva, včetně práva vědět, že rozhodnutí bylo automatizované, a práva je napadnout.
Rozsah této pokuty vysílá signál společnostem daleko za dopravním sektorem. S tím, jak se stále více služeb spoléhá na algoritmy při správě všeho od bezpečnosti účtů po způsobilost zákazníků, se regulátoři zdají být ochotni prosazovat myšlenku, že automatizace neodstraňuje odpovědnost. Naopak, zvyšuje laťku, protože systém typu černé skříňky, který se nedokáže vysvětlit, se obhajuje hůře než lidský rozhodovatel, který může alespoň formulovat své zdůvodnění.
Co to znamená pro vás
Pokud vám někdy byl pozastaven účet v aplikaci, zamítnuta žádost o úvěr nebo omezena služba s vágním automatizovaným oznámením, tento případ je připomínkou, že můžete mít více možností nápravy, než rozhraní naznačuje. Podle GDPR mohou jednotlivci v EU (a často i ti, jejichž údaje zpracovávají společnosti se sídlem v EU nebo působící pro EU) požádat o informaci, zda rozhodnutí, které se jich týká, bylo automatizované, požádat o lidské přezkoumání a napadnout výsledek. I mimo EU tlak vytvořený takovými rozhodnutími obvykle tlačí společnosti k jasnějším politikám a lepším odvolacím procesům globálně, protože udržovat oddělené systémy pro různé regiony je často nákladnější než zvyšovat standardy všude.
Toto je také vhodná chvíle k zamyšlení nad širší stopou vašich osobních údajů. Každá aplikace, která profiluje vaše chování, ať už pro schválení jízdy, poskytnutí úvěru nebo personalizaci reklamy, přijímá rozhodnutí na základě dat, která jste poskytli, často bez plné viditelnosti toho, jak jsou tato data zohledňována.
Co si odnést pro čtenáře
Pokud spoléháte na gig platformy, finanční aplikace nebo jakékoli služby, které používají automatizovaná rozhodnutí o účtech, zvažte několik konkrétních kroků. Přečtěte si zásady ochrany osobních údajů a podmínky služby aplikací, které pravidelně používáte, abyste zjistili, zda zveřejňují automatizované rozhodování. Pokud jste někdy deaktivováni, odmítnuti nebo označeni algoritmem, požádejte společnost přímo o lidské přezkoumání, protože GDPR a podobné zákony v jiných jurisdikcích tuto možnost stále častěji vyžadují. A zůstaňte ostražití, kolik osobních údajů předáváte aplikacím, které přijímají zásadní rozhodnutí, protože rekordní pokuta za automatizované rozhodování podle GDPR, jako je tato, ukazuje, že regulátoři věnují velkou pozornost, i když jednotliví uživatelé často nemají úplný obraz.
