アルゴリズムによる解雇に対する過去最高額の罰金

オランダデータ保護庁（AP）は、ロイターが確認した文書によると、ウーバーに対し8億2500万ユーロ（約9億6600万ドル）の罰金を科すことを決定した。この罰金は、ウーバーが自動化システムを通じてドライバーのアカウントを無効化した慣行に起因しており、規制当局はこのプロセスが欧州のデータ保護規則に違反したとしている。内部文書に基づくロイターの報道は、欧州連合の一般データ保護規則（GDPR）に基づいて科された既知の罰金の中で最大級のものの一つであり、前例のない規模のGDPR自動意思決定に対する罰金にスポットライトを当てている。

この事件の中心にあるのは、ギグエコノミー労働者からよく聞かれる不満である。つまり、ドライバーがほとんど説明もなくアカウントを停止・終了され、それが人間の審査者ではなくアルゴリズムによって引き起こされたと思われるケースだ。人の生計がアプリに依存している場合、自動化された無効化は、ビジネス上の決定というよりも、誰にも問いただせないシステムによって消されるように感じられることがある。

GDPR第22条が自動意思決定をどのように制限するか

GDPRには、「自動処理のみに基づく」決定が、法的効果または個人に対する同様に重大な影響を生み出す場合に、そのような決定に対する特定の保護規定が含まれている。収入を提供するプラットフォームへのアクセスを失うことは、明らかに重大な影響として該当する。この枠組みの下では、企業は完全に自動化された意思決定に依存するための法的根拠を一般的に必要とし、影響を受ける個人に人間による審査を受け、自分の見解を表明し、結果に異議を申し立てる方法を提供しなければならない。

この規則が存在するのは、自動化されたシステムが不透明であり得るからだ。アルゴリズムによって無効化されたドライバーは、なぜそれが起こったのか、どのデータが引き金となったのか、どのように不服申し立てをすればよいのかを理解する明確な道筋がないことが多い。規制当局は、この不透明さを、効率的な業務運営の単なる副次的影響ではなく、それ自体が問題であるとますます見なすようになっている。ウーバーに対するオランダAPの決定は、企業が十分な透明性と人間による監督なしに、人々のアカウントや収入に関する高いリスクを伴う決定を自動化した場合、経済的な結果は厳しいものになり得ることを示唆している。

なぜこれがライドヘイリングを超えて重要なのか

これをギグワークに固有の話として読むのは魅力的だが、根本的な問題はライドヘイリングアプリをはるかに超えて広がっている。自動化システムを使用してユーザーに関する決定を下すプラットフォームは、詐欺のフラグ付け、ローン申請の拒否、保険料の調整、求職者のフィルタリングなど、どのようなものであっても、同じ基本的な要件に直面している。つまり、それらの決定の影響を受ける人々には、決定が自動化されたことを知る権利と、それに異議を申し立てる権利を含む権利があるということだ。

この罰金の規模は、運輸部門以外の企業にもシグナルを送っている。より多くのサービスがアカウントセキュリティから顧客の資格までを管理するためにアルゴリズムに依存するにつれて、規制当局は自動化が説明責任を排除しないという考え方を執行する用意があるように見える。むしろ、それはハードルを上げる。なぜなら、自分自身を説明できないブラックボックスシステムは、少なくとも自分の推論を明確に述べることができる人間の意思決定者よりも弁護が難しいからだ。

これがあなたにとって何を意味するか

アプリのアカウントが停止されたり、ローン申請が拒否されたり、漠然とした自動通知でサービスが制限されたりした経験があるなら、この事件は、インターフェースが示唆する以上にあなたに救済手段があるかもしれないことを思い出させるものだ。GDPRの下では、EU内の個人（およびEU拠点またはEU向けサービスの企業によってデータが処理されることが多い人々）は、自分に影響を与える決定が自動化されたものかどうかを尋ね、人間による審査を要求し、結果に異議を申し立てることができる。EU外であっても、このような判決によって生み出される圧力は、企業が地域ごとに異なるシステムを維持することがすべての場所で基準を引き上げるよりもコストがかかることが多いため、世界的に明確なポリシーとより良い不服申し立てプロセスへと企業を押しやる傾向がある。

また、これはあなたの個人データのより広いフットプリントについて考える良い機会でもある。あなたの行動をプロファイリングするすべてのアプリは、ライドの承認、クレジットの拡張、広告のパーソナライズを問わず、あなたが提供したデータに基づいて決定を下しており、そのデータがどのように評価されるかについて完全な可視性がないことが多い。

読者へのポイント

ギグプラットフォーム、金融アプリ、または自動化されたアカウント決定を使用するサービスに依存している場合は、いくつかの具体的な手順を検討してください。定期的に使用するアプリのプライバシーポリシーと利用規約を確認して、自動化された意思決定を開示しているかどうかを確認してください。アルゴリズムによって無効化、拒否、またはフラグ付けされた場合は、GDPRおよび他の管轄区域の同様の法律がこのオプションをますます要求しているため、直接会社に人間による審査を依頼してください。そして、重要な決定を下すアプリにどれだけの個人データを渡しているかに注意を払ってください。なぜなら、このような記録的なGDPR自動意思決定罰金は、個々のユーザーが完全な全体像を与えられていないことが多いとしても、規制当局が非常に注意深く見ていることを示しているからだ。