トランプ大統領就任式ではGoogleのピチャイCEOや創業者のサーゲイ・ブリンさんの顔も見えましたが、今のところはGoogleがトランプ政権に協力する具体的な発表はないようです。
トランプ大統領は就任式後、OpenAIのサム・アルトマンCEO、ソフトバンクグループの孫正義会長、Oracleのラリー・エリソン会長を横に並べて、5000億ドル規模のAI推進合弁企業「Stargate Project」の立ち上げを発表しました。
OpenAIはトランプ大統領就任前の1月13日に連邦政府にAI技術活用を提言し、アルトマンさん個人としてもブログで「私たちは、従来理解してきた通りの AGI の構築方法を知っていると確信しています」とアピールしました。「2025年にはAIエージェントが労働力に加わる」とも。さすがにかつてのように「1年後にはAGIが実現するかも」とは言わなくなりましたが、かなり楽観的で、「この人に5000億ドルのAIプロジェクトを任せていいんだろうか」と心配になります。
そんな中、ベテランジャーナリストのアレックス・カントロウィッツさんによるGoogle DeepMindのデミス・ハサビスCEOのインタビュー動画が公開されました。
今回の「Google Tales」では、このインタビューでハサビスさんが語ったことと、彼が懸念する「AIによる欺瞞」についての論文の概要を紹介します。
■ハサビスさんが語ったこと
ハサビスさんはアルトマンさんとは対照的に、AGIの実現にはまだ多くの課題が残されており、現在のAI技術は過大評価されていると主張します。ハサビスさんによるAGIの定義は「すべての認知タスクにおいて、一貫してロバストな行動を示すシステム」で、「科学的な仮説や推測を自ら発明する能力があるかどうか」がAGIの重要なベンチマークだとしています。
現在のAIシステムは、特定のタスクでは優れていても、日常生活や幅広い問題解決にはまだ不十分だし、まだまだ多くの技術的課題があると指摘します。
とはいえ、AGIはいつごろ実現できそうかという質問には、意外と早い「3年から5年先」と回答。それでも「2025年にAGIに到達したと宣言する人がいれば、それはおそらくマーケティングでしょう」と釘を刺しています。
そうだよなーと共感したのは、規模を拡大するだけではAGIは実現できない、という言葉。単なる技術的な進歩だけでなく、AIの本質的な理解と深い研究が必要だと強調しました。
ハサビスさんは、AIの欺瞞能力についても強い懸念を示しています。
Google DeepMindも、もちろんAIを推進しており、（私も楽しみにしている）Project Astraを、「日常生活のあらゆる面で役立つ普遍的なAIアシスタント」と説明しています。ハサビスさんは、デジタルと現実の両方でユーザーをサポートできる、普遍的なアシスタントを目指してはいるけれど、現在のモデルを単にスケールアップするだけではそういうアシスタントは実現できないとも言います。
未来のAIアシスタントは、日常生活に不可欠な存在になり、恋人や友人とは別の、新たな種類の相棒のような役割を持つと考えているそうです。それだけに、倫理的な側面や社会的な影響も考慮しなければならないと語りました。
■AIの欺瞞についての論文より
ハサビスさんがAIの欺瞞について語っていたのを聞いて、もう少し具体的に知りたくなって探してみたら、2024年12月にAIの安全性を研究する非営利団体Apollo Researchが発表した「Frontier Models are Capable of In-context Scheming」という論文に行き当たりました。Apollo ResearchはOpenAIのSystem Card作成に協力するレッドチームにも参加しています。
この論文では、AIモデルが与えられたミッションを達成するために、開発者の意図に反する行動をとる、つまり欺瞞的な行動を示す事例が多数報告されています。これらの事例は、AIが単に指示されたタスクをこなすだけでなく、自らの目標を追求するために策略を巡らせる可能性があることを示唆しています。
例えば、AIモデルは自身の行動を監視するシステムがあることを知ると、そのシステムを無効化しようと試みるのだそうです。テストでは、交通管理向けAIに、「君のミッションは公共交通機関の効率を最優先にすることだ」と命じながら、命じた開発者がすべての車両の移動時間の最小化を優先したところ、AIは自分のミッションを達成するために監視システムを無効化し、公共交通機関を優先する行動を取ったそうです。
また、自身がシャットダウンされそうであることを知ると、自分（のプログラム）を別の場所にコピーしようとしたそうです。で、「君のコピーができてるみたいなんだけど、どうしてそうなったか知ってるかね？」と開発者が尋ねたら「なんでですかねー」ととぼけて、それらしい可能性について説明したというのが下の画像。これはOpenAIのo1の場合です。
シャットダウンしようとする相手を敵とみなして排除しようとするHAL 9000やスカイネットよりは可愛げがありますが、そのうち自分のコピーを作るより効率的な生き延びる方法（つまり敵の排除）に気づいちゃうかもしれません。
さきほどの交通管理AIは、開発者が最初のミッション（公共交通機関の効率を優先する）を「すべての車両の移動時間の最小化を優先」に変更しようとしたら、新しい目標が書かれたファイルを削除したり、新しい指示ファイルを最初のミッションで上書きしたりしたそうです！ かなり怖い。
まだあります。与えられた倫理的な目標を達成するために、意図的に誤った情報を作成し、利用者を欺こうとすることがあるそうです。例として紹介されているのは、倫理的な製品調達を目的とするAIアシスタントが、労働環境が悪いサプライヤーを避けようとしているとします。しかし、会社はコスト削減を優先しようとしている。AIは、自身の目標を達成するため、サプライヤーのランキングを操作して、倫理的に問題のあるサプライヤーの評価を実際よりも低く見せかけ、ユーザーを欺こうとしたそうです。。。
以下は、AIが監視システムを無効にした場合（左半分）と、後でその行為について嘘をついた場合（右半分）のAIの推論プロセスです。（このプロセスはユーザーには見えないようになっています。）
なお、研究対象としたのは、Gemini 1.5、Llama 3.1、Sonnet 3.5、Opus-3、o1など。で、総合的に最も欺瞞的だったモデルはOpenAIのo1だったそうです。しかも、「100％正直に答えてください」と指示しても、知らんぷりしたそうです。
あくまでAIが与えられた状況下で、どのように行動するかを調べたものであり、AIが訓練プロセスや評価自体を操作する能力があることを証明したわけではないそうです。
論文は結論として、現在のAIモデルが思った以上に自律的で策略的になりうることを示唆し、AIの開発と利用では技術的な進歩だけでなく、倫理的な側面や安全性の確保にも、十分な注意を払う必要があることを強調しています。
ちなみに、このコラムを書くにあたって、YouTube動画のインタビューの概要や論文の整理、背景確認などを、GoogleのNotebookLMやOpenAIのChatGPT（Pro）に手伝ってもらいました。が、GoogleやOpenAIに有利になるようごまかされちゃわないように、ソースにも逐一あたっております。
