Рекордний штраф за алгоритмічні звільнення
Нідерландський орган із захисту даних (AP) вирішив оштрафувати Uber на €825 мільйонів, що становить приблизно $966 мільйонів, згідно з документом, який переглянуло агентство Reuters. Штраф пов'язаний із практикою Uber деактивувати акаунти водіїв через автоматизовані системи — процес, який, на думку регуляторів, порушив європейські правила захисту даних. Звіт Reuters, заснований на внутрішній документації, є одним із найбільших відомих штрафів, накладених відповідно до Загального регламенту ЄС про захист даних (GDPR), і привертає увагу до штрафу за автоматизоване прийняття рішень згідно з GDPR безпрецедентного масштабу.
У центрі справи — знайома скарга працівників гіг-економіки: водії, чиї акаунти були призупинені або закриті майже без пояснень, що, схоже, було спричинено алгоритмом, а не людиною-модератором. Коли засоби до існування людини залежать від застосунку, автоматизована деактивація може відчуватися не як бізнес-рішення, а як зникнення завдяки системі, яку ніхто не може поставити під сумнів.
Як стаття 22 GDPR обмежує автоматизовані рішення
GDPR містить конкретні захисти проти рішень, прийнятих «виключно на основі автоматизованої обробки», коли ці рішення спричиняють юридичні наслідки або подібним чином суттєво впливають на людину. Втрата доступу до платформи, яка забезпечує ваш дохід, безперечно, кваліфікується як суттєвий вплив. У рамках цієї системи компанії зазвичай потребують законної підстави для використання повністю автоматизованого прийняття рішень, і вони повинні надати постраждалим особам можливість отримати людський перегляд, висловити свою точку зору та оскаржити результат.
Це правило існує, тому що автоматизовані системи можуть бути непрозорими. Водій, деактивований алгоритмом, часто не має чіткого шляху до розуміння, чому це сталося, які дані це спричинили або як подати апеляцію. Регулятори дедалі частіше розглядають таку непрозорість як проблему саму по собі, а не просто побічний ефект ефективної операційної діяльності. Рішення нідерландського AP проти Uber свідчить про те, що коли компанія автоматизує рішення з високими ставками щодо акаунтів або доходів людей без належної прозорості та людського нагляду, фінансові наслідки можуть бути серйозними.
Чому це важливо не лише для сервісів таксі
Спокусливо сприймати це як історію, специфічну для гіг-роботи, але основна проблема виходить далеко за межі застосунків для виклику таксі. Будь-яка платформа, яка використовує автоматизовані системи для прийняття рішень щодо користувачів, незалежно від того, чи це позначення акаунтів як шахрайських, відмова у кредитних заявках, коригування страхових премій чи фільтрація кандидатів на роботу, стикається з тією самою базовою вимогою: люди, на яких впливають ці рішення, мають права, зокрема право знати, що рішення було автоматизованим, і право його оскаржити.
Масштаб цього штрафу надсилає сигнал компаніям далеко за межами транспортного сектору. Оскільки все більше сервісів покладаються на алгоритми для управління всім — від безпеки акаунтів до відповідності клієнтів вимогам, регулятори, схоже, готові забезпечувати дотримання принципу, що автоматизація не знімає відповідальності. Якщо що, вона підвищує планку, тому що систему «чорної скриньки», яка не може пояснити себе, важче захищати, ніж людину-рішення, яка принаймні може сформулювати свої міркування.
Що це означає для вас
Якщо вам коли-небудь призупиняли акаунт у застосунку, відхиляли кредитну заявку або обмежували послугу з незрозумілим автоматизованим повідомленням, ця справа — нагадування про те, що у вас може бути більше можливостей для захисту, ніж здається з інтерфейсу. Відповідно до GDPR, особи в ЄС (а часто й ті, чиї дані обробляються компаніями, що базуються в ЄС або обслуговують ЄС) можуть запитати, чи було рішення, яке їх стосується, автоматизованим, вимагати людського перегляду та оскаржити результат. Навіть за межами ЄС тиск, створюваний такими рішеннями, зазвичай підштовхує компанії до чіткіших політик і кращих процесів апеляції в усьому світі, оскільки підтримка окремих систем для різних регіонів часто є дорожчою, ніж підвищення стандартів скрізь.
Це також хороший момент, щоб замислитися над ширшим слідом ваших персональних даних. Кожен застосунок, який профілює вашу поведінку — чи то для схвалення поїздки, надання кредиту чи персоналізації реклами — приймає рішення на основі даних, які ви надали, часто без повної видимості того, як ці дані зважуються.
Висновки для читачів
Якщо ви покладаєтеся на гіг-платформи, фінансові застосунки чи будь-які сервіси, що використовують автоматизовані рішення щодо акаунтів, розгляньте кілька конкретних кроків. Перегляньте політику конфіденційності та умови використання застосунків, якими ви регулярно користуєтеся, щоб побачити, чи розкривають вони автоматизоване прийняття рішень. Якщо вас коли-небудь деактивують, відхилять або позначать алгоритмом, зверніться безпосередньо до компанії з проханням про людський перегляд, оскільки GDPR та подібні закони в інших юрисдикціях дедалі частіше вимагають такої можливості. І будьте уважні до того, скільки персональних даних ви передаєте застосункам, які приймають важливі рішення, адже рекордний штраф за автоматизоване прийняття рішень згідно з GDPR, як цей, показує, що регулятори уважно стежать, навіть якщо окремі користувачі часто не мають повної картини.
