알고리즘 기반 해고에 대한 기록적 벌금
네덜란드 개인정보보호감독기구(AP)가 로이터가 검토한 문서에 따르면 우버에 약 9억 6,600만 달러에 해당하는 8억 2,500만 유로의 벌금을 부과하기로 결정했다. 이번 제재는 우버가 자동화 시스템을 통해 운전자 계정을 비활성화한 관행에서 비롯됐으며, 규제당국은 이 과정이 유럽 데이터 보호 규정을 위반했다고 밝혔다. 내부 문서를 기반으로 한 로이터의 보도는 유럽연합 일반개인정보보호법(GDPR)에 따라 부과된 가장 큰 벌금 중 하나로 기록되며, 전례 없는 규모의 GDPR 자동 의사결정 벌금에 주목을 끌고 있다.
이 사건의 중심에는 긱 이코노미 노동자들의 익숙한 불만이 있다. 바로 설명도 거의 없이 계정이 정지되거나 해지된 운전자들로, 이는 인간 검토자가 아닌 알고리즘에 의해 촉발된 것으로 보인다. 사람의 생계가 앱에 달려 있을 때, 자동화된 비활성화는 비즈니스 결정이라기보다 아무에게도 이의를 제기할 수 없는 시스템에 의해 지워지는 것처럼 느껴질 수 있다.
GDPR 제22조가 자동 의사결정을 제한하는 방식
GDPR은 해당 결정이 개인에게 법적 효과 또는 이와 유사하게 중대한 영향을 미칠 때 "오직 자동화된 처리에만" 기반한 결정에 대한 특별한 보호 조항을 포함한다. 소득을 제공하는 플랫폼에 대한 접근 권한을 잃는 것은 분명히 중대한 영향에 해당한다. 이 틀 아래에서 기업은 완전 자동화된 의사결정에 의존하기 위해 일반적으로 합법적 근거가 필요하며, 영향을 받는 개인에게 인간 검토를 받고 자신의 관점을 표명하며 결과에 이의를 제기할 수 있는 방법을 제공해야 한다.
이 규정이 존재하는 이유는 자동화 시스템이 불투명할 수 있기 때문이다. 알고리즘에 의해 비활성화된 운전자는 왜 그런 일이 발생했는지, 어떤 데이터가 이를 촉발했는지, 어떻게 항소해야 하는지 이해할 수 있는 명확한 경로가 없는 경우가 많다. 규제당국은 점점 더 이러한 불투명성 자체를 효율적인 비즈니스 운영의 부수적 효과가 아닌 문제 자체로 간주하고 있다. 네덜란드 AP의 우버에 대한 결정은 기업이 적절한 투명성과 인간의 감독 없이 사람들의 계정이나 소득에 대한 중대한 결정을 자동화할 때 재정적 결과가 심각할 수 있음을 시사한다.
라이드헤일링 너머에서 중요한 이유
이것을 긱 워크에만 국한된 이야기로 읽고 싶은 유혹이 있지만, 근본적인 문제는 라이드헤일링 앱을 훨씬 넘어선다. 사기 계정 신고, 대출 신청 거부, 보험료 조정, 구직자 필터링 등 사용자에 대한 결정을 내리기 위해 자동화 시스템을 사용하는 모든 플랫폼은 동일한 기본 요구사항에 직면한다. 즉, 그러한 결정의 영향을 받는 사람들은 결정이 자동화되었음을 알 권리와 이에 이의를 제기할 권리를 포함한 권리를 가진다는 것이다.
이번 벌금의 규모는 운송 부문을 훨씬 벗어난 기업들에게 신호를 보낸다. 더 많은 서비스가 계정 보안부터 고객 자격 관리까지 모든 것을 알고리즘에 의존함에 따라, 규제당국은 자동화가 책임을 제거하지 않는다는 개념을 집행할 의지를 보이고 있다. 오히려 이는 기준을 높인다. 스스로를 설명할 수 없는 블랙박스 시스템은 최소한 자신의 추론을 설명할 수 있는 인간 의사결정자보다 방어하기 어렵기 때문이다.
여러분에게 의미하는 바
앱 계정이 정지되거나, 대출 신청이 거부되거나, 모호한 자동화 공지와 함께 서비스가 제한된 적이 있다면, 이 사건은 인터페이스가 제시하는 것보다 더 많은 구제 수단이 있을 수 있음을 상기시킨다. GDPR에 따라 EU 내 개인(그리고 종종 EU 기반 또는 EU 대상 기업이 데이터를 처리하는 개인)은 자신에게 영향을 미치는 결정이 자동화되었는지 물어보고, 인간 검토를 요청하며, 결과에 이의를 제기할 수 있다. EU 밖에서도 이와 같은 판결이 만들어내는 압력은 기업들이 전 세계적으로 더 명확한 정책과 더 나은 항소 절차를 향해 나아가도록 만드는 경향이 있다. 지역별로 별도의 시스템을 유지하는 것이 모든 곳에서 기준을 높이는 것보다 비용이 더 많이 드는 경우가 많기 때문이다.
이것은 또한 개인 데이터의 광범위한 발자취에 대해 생각해 볼 좋은 기회이기도 하다. 라이드를 승인하거나, 신용을 확장하거나, 광고를 개인화하기 위해 여러분의 행동을 프로파일링하는 모든 앱은 제공한 데이터를 기반으로 결정을 내리고 있으며, 종종 그 데이터가 어떻게 평가되는지에 대한 완전한 가시성 없이 이루어진다.
독자를 위한 핵심 요점
긱 플랫폼, 금융 앱 또는 자동화된 계정 결정을 사용하는 서비스에 의존한다면 몇 가지 구체적인 조치를 고려해 보라. 정기적으로 사용하는 앱의 개인정보 보호정책과 이용약관을 검토하여 자동화된 의사결정을 공개하는지 확인하라. 알고리즘에 의해 비활성화되거나, 거부되거나, 플래그가 지정된 적이 있다면 회사에 직접 인간 검토를 요청하라. GDPR과 다른 관할권의 유사한 법률이 점점 더 이 옵션을 요구하기 때문이다. 그리고 중대한 결정을 내리는 앱에 얼마나 많은 개인 데이터를 넘겨주고 있는지 계속 주의를 기울이라. 이와 같은 기록적인 GDPR 자동 의사결정 벌금은 개별 사용자에게 전체 그림이 주어지지 않는 경우가 많더라도 규제당국이 면밀히 주시하고 있음을 보여주기 때문이다.




