自律AIが自律AIを改良し続ける自動設計システム「ADAS」発表。手動設計を大幅に上回る性能

気になる生成AI技術の論文を解説する連載、今回はAIがAIエージェントを自動設計して改善を続けて進化するシステム「ADAS」を紹介します。

生成AIウィークリー | テクノエッジ TechnoEdge

AIがAIエージェントを改善し続ける自動設計システム「ADAS」

従来、強力な汎用エージェントの開発には、基盤モデルをエージェントシステムのモジュールとして組み込む手動設計が主流でした。本研究では、人間の介入なしにAIによって独創的で強力なAIエージェントシステムの設計を自動化する「ADAS」（Automated Design of Agentic Systems）という新たなアプローチを提案しています。

ADASのプロセスは以下のように進行します。まず、メタエージェント（GPT-4のような言語モデル）が初期のAIエージェントのコードを生成します。このコードには、エージェントの動作や意思決定プロセスが記述されています。次に、生成されたエージェントは特定のタスク（読解力テストや数学の問題など）で評価され、その性能が測定されます。

評価結果とエージェントのコードはデータベースに保存されます。メタエージェントはこのデータベースを分析し、過去の成功例や失敗例から学習します。この分析を基に、メタエージェントは新しいエージェントを設計します。前回の設計の良い点を活かし、問題点を改善しながら、より優れたコードを生成していきます。このプロセスを繰り返すことで、エージェントの設計は徐々に洗練されていきます。

このアプローチを実証するため、Meta Agent Searchと呼ばれるシンプルながら効果的なアルゴリズムを開発し、ARC論理パズル課題、読解力、数学、科学の問題、マルチタスク問題解決など、複数の領域で評価しました。その結果、エージェントは最先端の手動設計されたエージェントを大幅に上回る性能を示しました。例えば、読解タスクでのF1スコアを13.6ポイント、数学タスクでの正確率を14.4%向上させました。