Google DeepMindは、自然言語の指示に従ってゲーム内でタスクを実行するAIエージェント「Scalable Instructable Multiworld Agent(SIMA)」を発表しました。
DeepMindではゲームの世界を「現実の世界同様、常に変化する目標を備えた豊かな学習環境」と捉えており、様々なルールがあるゲームの中でゲームプレイを学習することによって、幅広い環境で役立つ「AIエージェント」の開発に役立つとしています。
SIMAは、ゲームに対してマウスやキーボードの出力を行うメインモデルと、ゲーム画面を認識する視覚モデルで構成されており、視覚的に認識した環境を理解し、次に何が起こるかを予測し、指示された内容を達成するための操作を行う能力があるといいます。
学習にあたっては、「No Man's Sky」や「Valheim」など9つのゲームタイトルで2人の人間がプレイした内容をSIMAの視覚モデルが視聴。特定のプレイに結びついた(と思われる)指示と行動を記録し、言語とゲームプレイの関係性を学習しています。
学習に用いたタイトルとしてはこのほか「Satisfactory」「Hydroneer」「Goat Simulator 3」などを挙げており、アクション要素があるオープンワールドのサバイバル・クラフトあるいはサンドボックスが選ばれているようです。
今回の研究では人間が指示したタスクをゲーム内の行動として実行できるよう訓練したとのことで、現在のバージョンでは「左に曲がる」や「はしごを登る」など600の基本的な操作が約10秒以内で行える状態にあるとのこと。
現在のところSIMAは単純な指示に対して簡単な行動を起こすことしかできませんが、DeepMindでは将来的に「資源を見つけてキャンプを作る」など複数のタスクを含む複雑な指示にも対応できるようにしたいとの意向を明らかにしており、これは現行の大規模言語モデルにない「人間に代わって行動を起こす能力」である点で"重要な目標"であると位置づけています。
DeepMindは近年、複数の複雑なタスクを学習し実行するニューラルネットワークモデル「Gato」の研究を行っており、これは汎用人工知能へのステップとなる「ジェネラリストエージェント」という位置づけ。SIMAはこのようなAIエージェントを研究する中で到達したひとつのマイルストーンとして発表したものです。
DeepMindは過去にも「AlphaGo」(囲碁)や「AlphaStar」(StarCraft II)などの形で特定のゲームに強いAIを作る試みを行ってきましたが、SIMAの場合は特定のタイトルにおいてスーパープレイを行うために習熟させるのではなく、複雑なタスクを人間のようにこなすことを目的としている点で立ち位置が異なります。
将来的には、私たちが取説を読まずにゲームをプレイする時と同じように、SIMAも様々なタイトルを"見た"だけで支障なく操作できるようになる汎用性の獲得も期待されます。そしてその先には、タスクの内容を理解して現実世界で役立つ汎用AIの実現がある、というのがDeepMindの描くビジョンであるようです。
