生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明　モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ）

テクノロジー AI

2024 Sep 17 8:26

山下裕毅（Seamless）

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。

特集

1週間の気になる生成AI技術・研究をピックアップして解説する連載「生成AIウィークリー」から、特に興味深い技術や研究にスポットライトを当てる生成AIクローズアップ。

今回は、大規模言語モデル（LLM）は自身が出力する「幻覚」（ハルシネーション）からは避けられない現象を指摘した論文「LLMs Will Always Hallucinate, and We Need to Live With This」に注目します。幻覚とは、事実と異なる出力をLLMが実行してしまう現象を指します。

この研究では、LLMの幻覚が単なる偶発的なエラーではなく、これらのシステムに内在する避けられない特性であると主張しています。研究者らは、幻覚がLLMの根本的な数学的・論理的構造に由来するものであり、アーキテクチャの改良、データセットの拡充、事実確認メカニズムの導入などによって完全に排除することは不可能であると論じています。

▲LLM生成プロセスの各段階で不可避な幻覚の可能性を示した図

分析は計算理論とゲーデルの第一不完全性定理に基づいており、停止問題、空性問題、受理問題などの決定不能性に言及しています。これらの問題は、コンピュータプログラムが特定の条件下で停止するかどうか、あるいは特定の入力を受け入れるかどうかを事前に決定することが不可能であることを示しています。これらの決定不能性がLLMにも適用され、その結果として幻覚が不可避となると述べています。

まず、訓練データは本質的に不完全であり、世界のすべての知識を含むデータセットを作成することは不可能です。次に、完全なデータがあったとしても、LLMは100%の精度で情報を取り出すことはできません。

さらに、LLMは100%の精度で意図を分類することはできません。自然言語の曖昧さや多義性により、ユーザーの真の意図を完全に理解することは困難です。また、事前のトレーニングだけでは、自身の出力を事前に予測することができず、したがって幻覚を完全に防ぐことはできません。