怖い実話としてよく耳にする「ある日突然Goolgeアカウントから締め出され、抗議しても泣き寝入り」にこれまた強烈な例がありました。
遠隔診療のため医療機関の指示で幼児の生殖器の写真を送信した父親が、Googleから「有害なコンテンツ」のアップロードを理由にアカウント停止処分と当局への通報を受け、捜査の結果警察の疑いは晴れたもののGoogleは許さず、GmailやGoogle Fi電話番号を含むアカウントを永久に消去した事例を NY Timesが伝えています。
リンク先は複数の事例や関係者からの聞き取りを含む長大な記事ですが、ひとつの件の概要を引くと、
米サンフランシスコ在住の40代男性が、乳幼児の息子の性器に腫れがあり痛がっていることに気づき、診察のためAndroidスマートフォンで患部を撮影。2021年のコロナ下であったことから遠隔診療で相談したところ写真を送るよう指示され、妻が iPhoneで医療機関に送信。
処方された抗生剤で症状は治ったものの、撮影から二日後に男性のGoogleアカウントが利用できなくなり、「有害なコンテンツ」「違法行為の疑いがある、Googleポリシーの重大な違反」を理由に告げられる。
男性は10年分以上のメールや連絡先、写真、個人ファイル等を保存していたが、すべてアクセス不能になった。またGoogleの携帯電話サービスGoogle Fi ユーザーだったため、電話番号も使えなくなった。認証にメールアドレスや電話番号等を使っていたGoogle以外のサービスにもアクセスできなくなった。
男性はエンジニアとして通報をもとに動画を取り下げるシステムに関わった経験から、こうしたシステムには誤検出がつきもので、プロセスの途中には必ず人力のチェックがあると考え、Googleアカウントの停止も誤解が解けるだろうとフォームから申し立てをしたが、Googleからの対応はなく、結局はアクセスできないまま永久消去された。
数か月後に警察から封書が届き、Googleから関係機関への通報をもとに令状を得て男性のGoogleアカウント内のメールや写真等を児童虐待の疑いで捜査したが、結果として嫌疑は晴れていたことが判明した。
男性が警察に問い合わせたところ、嫌疑が晴れたタイミングで男性に連絡を試みるも不通で伝えられなかったこと、アカウントとデータを削除されても、それはGoogleとの間で解決すべきことであり警察は何もできないと説明された。
といった内容。男性はGoogleを相手にした訴訟も検討したものの、多額の費用がかかることから断念したとされています。
さて、通常であれば個人対 Googleで何もできず、何があったのかも知らされないまま泣き寝入りになるところですが、NY Timesはこの件についてGoogle側のコメントをとっています。
そちらは煎じ詰めれば「目視で確認した際に腫れや赤みは認めなかった(ため性的虐待と判断した)」「問題の写真の6か月前に撮影された動画に、幼児と裸の女性がベッドにいるものがあった」「性的虐待であったとの判断は正しいと考えており、見直しはしない」。
男性はこの動画について、はっきりとした記憶はないものの、おそらく休日の朝にでもベッドにいる息子と妻を撮ったものだろう、誰かの目に触れるなど考えもしなかったし、パジャマで寝ていればこんなことにはならなかったのにと語っています。
このほかテキサス州での事例や、具体的な画像検出の方法(既知の画像とのハッシュ照合やGoogleのAIによる判定)、発見された場合の通報プロセス等については NY Times の記事を参照。
児童を含む虐待が非常に深刻な問題であること、実際に両親による虐待の事例も多々あるとして、今回の例でおそろしいのは、Googleを経由した通報で警察が Googleアカウント内のデータを捜査し嫌疑なしと判断しているにもかかわらず、Googleが実質的に警察や司法の判断を上書きして「クロ」と判定していること。また「赤みや腫れは認められなかった」と医学的判断すらGoogleが下しており、審査について外部の第三者の目が及ばず検証もできないこと。
Google的には、あくまでユーザーが合意した規約に従い、虐待を減らすという社会的要請に応えつつ、社内規定に基づき対応しただけであって、訴訟を起こせばいつでも法的判断を仰ぐことはできますという立場です。
しかし一方で、義務として当局に通報する、被害を防ぐため画像をブロックする、証拠隠滅を防ぐため一時的にアクセスを遮断する等を超えて、過去十数年分のメールや写真、ファイル、連絡先へのアクセス、アプリデータ、電話番号等まで、社内の判断のみで永久削除するに及んでは、実質的には法的判断のプロセスもなく救済手段もない過剰な私刑として機能しているともいえます。
近代国家では現に犯罪の証拠が見つかり、裁判のプロセスを踏んで有罪となった場合でも、罪の軽重に応じて刑罰は定められており、身分証明の剥奪まではしないことを考えると、多くの人がデジタル生活を依存しがちな巨大IT企業は、何かの違反や間違いがあれば不透明なプロセスで財産没収と追放刑を受ける封建領主以前に舞い戻っているとすらいえます。
こうした例が話題になるたびに一社依存の危険が語られ、ローカルにバックアップしなかった本人が悪い、複数のサービスに分散させなかったのが愚かという指摘も繰り返されますが、自衛の観点からは事実であっても、身分証明や社会的な生活まで実質的に私企業に依存する傾向がますます強まるなかで、社会的な合意として「評判が悪い企業は市場原理で淘汰されるから問題ない」「契約するほうが愚かなので救済は不要」がどこまで受け入れられるかはまた別の話。
開発者も過程を説明できないAIによる判断やフィルタリングが増え、デジタル生活とリアルの一体化が進むなかで、少なくともアカウント抹消といった重大なペナルティにいたる判断プロセスの透明性確保や、巨大企業と1ユーザーの非対称性を踏まえた再審査や救済規定の確立はますます重要な課題となっています。とりあえず、写真のクラウド保存とゲームのセーブデータ保存は別サービスにしておこうと強く思わされるニュースです。
