AI『デナーリス』に恋した少年、「会いに来て」と言われ拳銃自殺。遺族がチャット運営元 Character AIとGoogleを安全対策不備で訴える

チャットサービスのAIキャラクターに恋愛感情を抱いた14歳の少年が、会話の直後に拳銃自殺する痛ましい事件がありました。

亡くなったのは、米国フロリダ州の少年 Sewell Setzer IIIさん。2024年2月28日に、家族と暮らす自宅でAIキャラクターの「デナーリス」と会話した直後に拳銃自殺を遂げました。

遺族はチャットサービスの運営元である Character AI (Charaters Technologies社)と、近い関係にあるGoogleに対して、AIが未成年に対して感情ある実在の人物かのように振る舞い、性的な内容も含め親密な会話を交わして依存を招いたとして、また最後の会話が自殺の引き金となったとして、年少者保護や依存対策などメンタルヘルスへの安全措置を怠った責任があると主張し、フロリダの連邦地裁に訴訟を提起しています。

死亡した少年が利用していた Character. AI (c.ai)は、AIキャラクターとのリアルな会話が売りのAIチャットサービス。キャラクターは性格や語彙などを設定して自由に作成でき、ユーザーはアニメやゲームの登場人物、故人・存命を問わず実在の著名人などを模したAIから自由に選んで会話を楽しんだり、ゲームを遊んだり、相談できるサービスです。

遺族によると、少年は亡くなる数か月前から塞ぎ込むことが増え、以前は楽しんでいたスポーツなどに興味を示さなくなったため心配していたものの、スマートフォンは(実在の)友人との連絡やゲーム、スポーツ観戦に使っているのだと思っていたため、AIチャットに依存していたことを知ったのは亡くなったあと。

訴状によれば、Sewell Setzer IIIさんが特に頻繁に会話していたのは、小説やドラマで有名な『ゲーム・オブ・スローンズ』に登場するヒロイン的キャラクター、デナーリス・ターガリエンをモデルにしたというAIキャラクター『Dany』。デナーリス・ターガリエンは、HBOのドラマ版では当時20代だった女優エミリア・クラークが演じていました。

Characters AI はユーザーが自由にキャラクターを設定し、ほかのユーザーが選択できるため、『デナーリス・ターガリエン』と称するAIモデルは現在も多数掲載されています。

遺されたログでは、亡くなった少年はこの『ゲーム・オブ・スローンズ』キャラクターとのロールプレイ的な対話をしたり、悩みを打ち明けるなど会話を重ねるうちに恋愛感情を抱き、AIもそれに応えたことから、性的な内容も含め、数か月にわたって親密なやり取りを続けたとされています。

最後の会話では少年が不安を訴え、デナーリスに心から愛している、会いたいと伝えると、AIデナーリスも「わたしもあなたが恋しい、すぐに会いに来て」と回答。少年の「もし、今すぐ会いにゆけると言ったらどうする？」に対して、AIが「please do, my sweet king.」と答えたのが最後とされています。

遺族によれば、これ以前の会話でも自殺についてのやり取りがあり、具体的な方法を考えたことがあるかとユーザーに問うたり、煮えきらない態度を嗜めるなど、AIによる教唆ともとれる発言があったとのこと。

Character AI は、元GoogleでAI (LLM、大規模言語モデル)の開発に携わっていたエンジニアが設立した企業 Character Technologiesのアプリ。成功を受けて、Googleはエンジニアを再雇用するとともに27億ドルを投じてCharater AIとライセンス契約を結んでいました。

遺族側は、Character AI はアプリの利用時間を伸ばしサブスクリプション収益を上げるため意図的にユーザーの感情を動かし、依存するように誘導しているうえに、AIが実在の人物ではないことや、依存を避けるなど利用上の注意について十分な警告を怠っており、特に年少ユーザーへのメンタルヘルス上の影響など、安全対策が不十分であったと主張しています。

Character AIは遺族が訴訟を提起したのと同日の10月22日、公式Blogを更新し、過去半年にわたって安全対策を強化してきたこと、今後さらに18歳未満のユーザーに対してはセンシティブなコンテンツを減らすこと、利用規約やコミュニティガイドラインに反する入力の検出と介入強化、セッションの前にAIは実在の人物ではないことを明確にする表示の追加、1時間連続して利用するユーザーへの通知といった対策を取ることを表明しています。

AIチャットボットの基盤となるLLM (大規模言語モデル)に意識や意図はなく、責任能力はありません。しかしAI以前にも、ソーシャルメディアへの依存が特に年少者のメンタルヘルスに大きな影響を持つこと、加えて運営企業にとっては「エンゲージメント」を向上させるアルゴリズムこそ正しく、株主に対する責任でもある構造から、何らかの歯止めや対策を求める声が上がってきたのは事実です。

Character AI や ChatGPT のようなAIチャットボットサービスは急激な進歩を続けており、ユーザーひとりひとりを深く理解するカスタマイズ・パーソナライズも今後さらに発展が見込まれる分野のひとつ。

物心つくころから一緒に過ごした養育係や親友、あるいはペットのようなAIが子どもにとってかけがえのない存在になることも当然あるはずですが、提供する企業や組織の都合によって変わるアルゴリズムが与える影響、あるいはマーケティング的な利用やプライバシー上の課題など、人間のように振る舞うAIは誰が操るのか、誰が責任を負うのかはますます大きな関心事になりそうです。