Rekordowa kara za algorytmiczne zwolnienia

Holenderski Urząd Ochrony Danych Osobowych (AP) zdecydował o nałożeniu na Ubera kary w wysokości 825 mln euro, czyli około 966 mln dolarów, zgodnie z dokumentem przejrzanym przez Reutersa. Kara wynika z praktyki Ubera polegającej na dezaktywacji kont kierowców za pomocą zautomatyzowanych systemów – procesu, który – zdaniem regulatorów – naruszył europejskie przepisy o ochronie danych. Raport Reutersa, oparty na wewnętrznej dokumentacji, oznacza jedną z największych znanych kar nałożonych na mocy unijnego ogólnego rozporządzenia o ochronie danych (RODO) i zwraca uwagę na bezprecedensową skalę kary za zautomatyzowane decyzje na mocy RODO.

W centrum sprawy leży znajoma skarga pracowników gospodarki gig: kierowcy, których konta zostały zawieszone lub zakończone z niewielkim wyjaśnieniem, pozornie w wyniku działania algorytmu, a nie człowieka dokonującego przeglądu. Gdy czyjeś źródło utrzymania zależy od aplikacji, zautomatyzowana dezaktywacja może wydawać się mniej decyzją biznesową, a bardziej wymazaniem przez system, którego nikt nie może zakwestionować.

Jak art. 22 RODO ogranicza zautomatyzowane decyzje

RODO zawiera szczególne zabezpieczenia przed decyzjami podejmowanymi „wyłącznie na podstawie zautomatyzowanego przetwarzania”, gdy decyzje te wywołują skutki prawne lub w podobnie istotny sposób wpływają na osobę. Utrata dostępu do platformy, która zapewnia dochód, wyraźnie kwalifikuje się jako skutek istotny. W ramach tego systemu firmy generalnie muszą mieć podstawę prawną do polegania w pełni na zautomatyzowanym podejmowaniu decyzji i muszą zapewnić osobom, których to dotyczy, możliwość uzyskania przeglądu przez człowieka, wyrażenia swojego stanowiska oraz zakwestionowania wyniku.

Zasada ta istnieje, ponieważ systemy zautomatyzowane mogą być nieprzejrzyste. Kierowca dezaktywowany przez algorytm często nie ma jasnej ścieżki do zrozumienia, dlaczego to się stało, jakie dane to wywołały ani jak się odwołać. Regulatorzy coraz częściej traktują tę nieprzejrzystość jako problem sam w sobie, a nie tylko efekt uboczny wydajnego prowadzenia działalności. Decyzja holenderskiego AP przeciwko Uberowi sugeruje, że gdy firma automatyzuje decyzje o wysokiej stawce dotyczące kont lub dochodów osób bez odpowiedniej przejrzystości i nadzoru człowieka, konsekwencje finansowe mogą być dotkliwe.

Dlaczego to ma znaczenie wykraczające poza przejazdy na żądanie

Kuszące jest odczytanie tego jako historii specyficznej dla pracy w gospodarce gig, ale podstawowy problem sięga znacznie dalej niż aplikacje do przewozów. Każda platforma, która wykorzystuje zautomatyzowane systemy do podejmowania decyzji o użytkownikach, czy to oznaczanie kont za oszustwa, odrzucanie wniosków kredytowych, dostosowywanie składek ubezpieczeniowych czy filtrowanie kandydatów do pracy, stoi przed tym samym podstawowym wymogiem: osoby, których dotyczą te decyzje, mają prawa, w tym prawo do wiedzy, że decyzja była zautomatyzowana, oraz prawo do jej zakwestionowania.

Skala tej kary wysyła sygnał do firm spoza sektora transportowego. W miarę jak coraz więcej usług opiera się na algorytmach do zarządzania wszystkim, od bezpieczeństwa kont po kwalifikowalność klientów, regulatorzy wydają się gotowi egzekwować zasadę, że automatyzacja nie usuwa odpowiedzialności. Jeśli już, to podnosi poprzeczkę, ponieważ system działający jak czarna skrzynka, który nie potrafi się wytłumaczyć, jest trudniejszy do obrony niż ludzki decydent, który przynajmniej potrafi przedstawić swoje uzasadnienie.

Co to oznacza dla Ciebie

Jeśli kiedykolwiek zawieszono konto w aplikacji, odrzucono wniosek kredytowy lub ograniczono usługę na podstawie niejasnego automatycznego powiadomienia, ta sprawa przypomina, że możesz mieć więcej środków odwoławczych, niż sugeruje interfejs. Na mocy RODO osoby w UE (a często także te, których dane są przetwarzane przez firmy z siedzibą w UE lub obsługujące UE) mogą zapytać, czy decyzja ich dotycząca była zautomatyzowana, poprosić o przegląd przez człowieka i zakwestionować wynik. Nawet poza UE presja wywierana przez takie orzeczenia zwykle skłania firmy do wprowadzania jaśniejszych polityk i lepszych procesów odwoławczych na całym świecie, ponieważ utrzymywanie oddzielnych systemów dla różnych regionów jest często bardziej kosztowne niż podnoszenie standardów wszędzie.

To także dobry moment, aby zastanowić się nad szerszym śladem, jaki pozostawiają Twoje dane osobowe. Każda aplikacja, która profiluje Twoje zachowanie – czy to w celu zatwierdzenia przejazdu, przyznania kredytu, czy personalizacji reklamy – podejmuje decyzje na podstawie danych, które dostarczyłeś, często bez pełnego wglądu w to, jak te dane są ważące.

Wnioski dla czytelników

Jeśli polegasz na platformach gig, aplikacjach finansowych lub jakichkolwiek usługach wykorzystujących zautomatyzowane decyzje dotyczące kont, rozważ kilka konkretnych kroków. Przejrzyj polityki prywatności i regulaminy aplikacji, z których regularnie korzystasz, aby sprawdzić, czy ujawniają zautomatyzowane podejmowanie decyzji. Jeśli kiedykolwiek zostaniesz dezaktywowany, odrzucony lub oznaczony przez algorytm, poproś firmę bezpośrednio o przegląd przez człowieka, ponieważ RODO i podobne przepisy w innych jurysdykcjach coraz częściej wymagają takiej opcji. I bądź czujny na to, ile danych osobowych przekazujesz aplikacjom, które podejmują decyzje o konsekwencjach, ponieważ rekordowa kara za zautomatyzowane decyzje na mocy RODO, taka jak ta, pokazuje, że regulatorzy zwracają szczególną uwagę, nawet jeśli indywidualni użytkownicy często nie mają pełnego obrazu.