Rekordna kazna za algoritamsko otkazivanje
Nizozemsko tijelo za zaštitu podataka (AP) odlučilo je kazniti Uber s 825 milijuna eura, otprilike 966 milijuna dolara, prema dokumentu koji je pregledao Reuters. Kazna proizlazi iz Uberove prakse deaktiviranja vozačkih računa putem automatiziranih sustava, procesa za koji regulatori kažu da je prekršio europska pravila o zaštiti podataka. Izvješće Reutersa, temeljeno na internim dokumentima, označava jednu od najvećih poznatih kazni izdanih prema Općoj uredbi o zaštiti podataka (GDPR) Europske unije te stavlja u fokus kaznu za automatizirano donošenje odluka prema GDPR-u bez presedana.
U središtu slučaja je poznata pritužba radnika u ekonomiji honorarnih poslova: vozači čiji su računi suspendirani ili ukinuti uz malo objašnjenja, naizgled pokrenuti algoritmom, a ne ljudskim pregledom. Kada nečija egzistencija ovisi o aplikaciji, automatizirano deaktiviranje može se činiti manje kao poslovna odluka, a više kao brisanje od strane sustava kojeg nitko ne može dovesti u pitanje.
Kako članak 22. GDPR-a ograničava automatizirane odluke
GDPR uključuje posebne zaštite protiv odluka donesenih "isključivo na temelju automatizirane obrade" kada te odluke proizvode pravne učinke ili slično značajno utječu na osobu. Gubitak pristupa platformi koja osigurava vaš prihod jasno se kvalificira kao značajan. U okviru ovog sustava, tvrtke općenito moraju imati zakonsku osnovu za oslanjanje na potpuno automatizirano donošenje odluka te moraju pogođenim pojedincima omogućiti način da dobiju ljudski pregled, izraze svoje stajalište i ospore ishod.
Pravilo postoji jer automatizirani sustavi mogu biti neprozirni. Vozač kojeg je algoritam deaktivirao često nema jasan put do razumijevanja zašto se to dogodilo, koji su podaci to pokrenuli ili kako se žaliti. Regulatori sve više tretiraju tu neprozirnost kao problem sam po sebi, a ne samo kao nuspojavu učinkovitog poslovanja. Odluka nizozemskog AP-a protiv Ubera sugerira da kada tvrtka automatizira odluke od visokog značaja o računima ili prihodima ljudi bez odgovarajuće transparentnosti i ljudskog nadzora, financijske posljedice mogu biti ozbiljne.
Zašto je ovo važno izvan prijevoza putnika
Primamljivo je ovo čitati kao priču specifičnu za honorarne poslove, ali temeljno pitanje seže daleko izvan aplikacija za prijevoz. Bilo koja platforma koja koristi automatizirane sustave za donošenje odluka o korisnicima, bilo da se radi o označavanju računa za prijevaru, odbijanju zahtjeva za kredit, prilagođavanju premija osiguranja ili filtriranju kandidata za posao, suočava se s istim temeljnim zahtjevom: ljudi na koje te odluke utječu imaju prava, uključujući pravo znati da je odluka bila automatizirana i pravo na osporavanje.
Razmjer ove kazne šalje signal tvrtkama daleko izvan sektora prijevoza. Kako sve više usluga koristi algoritme za upravljanje svime, od sigurnosti računa do podobnosti korisnika, regulatori izgledaju spremni provoditi ideju da automatizacija ne ukida odgovornost. Ako ništa drugo, podiže ljestvicu, jer sustav crne kutije koji se ne može objasniti teže je braniti nego ljudski donositelj odluka koji može barem artikulirati svoje obrazloženje.
Što to znači za vas
Ako vam je ikada račun aplikacije suspendiran, zahtjev za kredit odbijen ili usluga ograničena nejasnom automatiziranom obavijesti, ovaj slučaj je podsjetnik da možda imate više pravnih sredstava nego što sučelje sugerira. Prema GDPR-u, pojedinci u EU (a često i oni čiji podaci se obrađuju od strane tvrtki sa sjedištem u EU ili koje posluju u EU) mogu pitati je li odluka koja na njih utječe bila automatizirana, zatražiti ljudski pregled i osporiti ishod. Čak i izvan EU-a, pritisak stvoren ovakvim presudama obično gura tvrtke prema jasnijim politikama i boljim procesima žalbe globalno, jer je održavanje odvojenih sustava za različite regije često skuplje od podizanja standarda svugdje.
Ovo je također dobar trenutak za razmišljanje o širem otisku vaših osobnih podataka. Svaka aplikacija koja profilira vaše ponašanje, bilo da odobrava vožnju, produžuje kredit ili personalizira oglas, donosi odluke na temelju podataka koje ste dali, često bez pune vidljivosti o tome kako se ti podaci vrednuju.
Poruke za čitatelje
Ako se oslanjate na platforme za honorarne poslove, financijske aplikacije ili bilo koju uslugu koja koristi automatizirane odluke o računima, razmotrite nekoliko konkretnih koraka. Pregledajte politike privatnosti i uvjete korištenja aplikacija koje redovito koristite kako biste vidjeli otkrivaju li automatizirano donošenje odluka. Ako vas ikada algoritam deaktivira, odbije ili označi, izravno zatražite od tvrtke ljudski pregled, jer GDPR i slični zakoni u drugim jurisdikcijama sve više zahtijevaju tu opciju. I ostanite svjesni koliko osobnih podataka dajete aplikacijama koje donose odluke od posljedica, jer rekordna kazna za automatizirano donošenje odluka prema GDPR-u poput ove pokazuje da regulatori posvećuju veliku pozornost, čak i ako pojedinačni korisnici često nemaju potpunu sliku.
