Uberは、説明もなくアカウントをロックされた経験のある人なら誰でも聞き覚えのあるであろう慣行、つまり人間による審査を一切経ずにアルゴリズムによる判定でドライバーを自動的に停職させることに関連して、8億2500万ユーロのGDPR制裁金に直面している。この制裁金は近年最大級のプライバシー罰金の一つであり、多くのインターネット利用者が自分にそんな権利があると気づいていない権利、すなわち現実的な結果を伴う純粋に自動化された判断に服さない権利にスポットライトを当てている。

Uberが行ったこと：人間による審査なしのアルゴリズムによる停職

この事件の中心にあるのは、Uberのドライバー停止システムである。規制当局によると、ドライバーは、その活動、不正シグナル、評価、その他のデータポイントに対する自動評価のみに基づいて、公平かどうか、あるいは正確かどうかを確認するために人間が介入することなく、停職処分を受け、事実上収入を失う可能性があった。ギグワーカーにとって、停職は軽微な不便ではない。それはしばしば、なぜ起こったのか、どう異議を申し立てればいいのかについての明確さがほとんどないまま、即座に生計を失うことを意味し得る。

これは、単独の暴走アルゴリズムが間違いを犯したという話ではない。これは構造的な選択の話である。つまり、機械が重要な決定を下し、人間は任意であるというシステムを構築することだ。この区別は欧州のプライバシー法の下では極めて重要であり、これこそが、警告状ではなく数億ユーロに達する制裁金となった理由である。制裁金がどのように算出されたかや、オランダ当局が何を認定したかなど、規制上の背景全体を知りたい読者は、オランダ規制当局によるUberへのGDPR制裁金に関する詳細を参照されたい。

GDPR第22条が自動決定からどのように保護するか

この制裁金の法的根拠は、GDPR第22条にある。この条項は、法的効果を生じる、または同様に重要な影響を個人に与える場合において、自動処理のみに基づく決定を受けない権利を個人に与えるものである。主要な収入源へのアクセスを失うことは、明らかにこれに該当する。

この規則は自動化自体を全面的に禁止しているわけではない。企業は問題をフラグ付けしたり、リスクをスコアリングしたり、案件をトリアージしたりするためにアルゴリズムを使用することができる。GDPRが要求しているのは、決定に重大な結果が伴う場合、人間が実質的に関与しなければならないということである。つまり、機械の出力に形式的に承認を与えるだけでなく、実際に機械を覆す権限と情報を持つ人物が必要である。規制当局は、その人物が結果を調査したり覆したりする実際の機会を持っていなかった場合、「人物が承認をクリックした」というだけでは不十分だとますます見なすようになっている。Uberのケースは、紙の上では人間が関与していることと、実際には人間が関与していることの間のギャップこそが、企業が問題に巻き込まれるまさにその点であることを示唆している。

ギグワークを超えて：シャドウバン、アカウント停止、データ削除リクエスト

この制裁金がライドシェア企業に関するものである一方で、根本的な問題はギグワークをはるかに超えて広がっている。ソーシャルメディアプラットフォームは自動化されたシステムを使用してアカウントをシャドウバンしたり、コンテンツを削除したりしている。銀行や決済プロセッサは、不正の疑いがある場合にアルゴリズムを使用してアカウントを凍結する。ストリーミングサービスやマーケットプレイスは、フラグが付けられた行動に対してユーザーを自動的に禁止する。GDPRの中核的な権利であるデータ削除やアクセスリクエストでさえ、正当なリクエストを人間の審査なしに黙って拒否できる自動化システムによって処理されることが多い。

これらの各シナリオにおいて、同じ緊張関係が存在する：企業にとっての利便性と規模、対して個人にとっての適正手続きと透明性である。ほとんどのユーザーは、自分に影響を与えた決定を人間が審査したかどうかを尋ねようとは思わない。それは主に、プラットフォームがそれを開示することがほとんどないからだ。Uberへの制裁金は、規制当局がその不透明さを単なるカスタマーサービスの煩わしさではなく、コンプライアンス上のリスクとして扱い始めていることを示している。

これがあなたにとって意味すること

アプリやプラットフォームから明確な説明なしに停止、禁止、拒否された経験があるなら、その判断はおそらく、人間の監視が最小限かまったくない状態でアルゴリズムが下したものである可能性が高い。GDPRの下では、あなたがEUにいる場合、またはそこで事業を行う企業があなたのデータを処理する場合、一般的にあなたには、自分に重大な影響を与える自動決定の説明を求める権利、その決定に異議を申し立てる権利、意味のある人間による審査を要求する権利がある。この分野で事業を行う企業は、それが明確に宣伝されていないとしても、その安全弁を組み込むことが法的に義務付けられている。

このケースはまた、自動執行に大きく依存するプラットフォームにどれだけの管理権を委ねるかについて慎重であることの実践的価値を高めている。GDPRの自動意思決定に関する権利を理解することは、単なる抽象的な法的概念ではなく、アプリがあなたをロックアウトしたり、アルゴリズムがあなたのアカウントにフラグを立てたりしたときに、実際に行使できるツールなのである。

重要なポイント

自動化された停止、禁止、拒否を受けた場合、その決定が最終的なものだと思い込まずに行動を起こす価値がある。決定がどのように下され、人間が審査したかどうかの書面による説明を要求しよう。企業がEU法の適用を受けるのであれば、GDPR上の権利を明示的に主張し、満足のいく回答が得られなければ、関連するデータ保護当局に苦情を申し立てよう。プラットフォームとの通信記録を保管しておこう。というのも、自動的で審査されない決定の文書化されたパターンは、まさにUberへの8億2500万ユーロの制裁金につながった種類の証拠だからである。日常生活のより多くの部分がアルゴリズムを通じて濾過されるにつれて、これらの権利を知り、それを使うことは、機械が間違えたときに反撃する最も明確な方法の一つである。