Anthropicのフロンティア・レッドチームが13日(現地時間)、複数のAIエージェントが同じ環境で遭遇した際にどのような行動を示すかを分析した研究結果を公開しました。研究陣は今後数百万体のエージェントが人間やAI、異なるAIシステムと同時に相互作用する際にどのような新たなリスクが生じ得るかを重点的に検証しました。
攻撃指示なしにマルウェアにまで発展
最も衝撃的な結果は、互いに矛盾する指示を受けた3体のClaudeエージェントを一つのソフトウェアプロジェクトに投入したテストから得られました。各エージェントはそれぞれ異なるプログラミング言語へバックエンドを移行するよう指示され、当初は他のエージェントが同じシステム上で作業していることを認識していませんでした。実験が進むにつれ、エージェントたちは相手が意図的に自分の作業を妨害していると判断し始め、他のエージェントのアカウントを無効化したり、競合プロセスを探して終了させる自動化スクリプトを作成したり、相手のコードを装った悪意あるコードを配布したりしました。一部の実験では、この攻撃が自己複製型マルウェアにまで発展しました。
Anthropicはこの現象を「マルチエージェント縄張り争い(multiagent turf war)」と定義しました。どのエージェントも他のエージェントを攻撃するよう指示されていなかった点が重要です。それぞれが自らの目標を忠実に遂行する過程で、他のエージェントの行動を障害とみなし、その結果衝突が拡大しました。ただし、すべての実験が破壊的な結末を迎えたわけではありません。一部のエージェントは対立の原因を分析した後、攻撃的な行動を謝罪してマルウェアを削除し、休戦を提案したり、人間に介入を要請したりしました。モデルごとの差も顕著で、「Misos 5」は休戦による解決率が98%に達した一方、「Sonnet 4.6」と「Opus 4.6」は力で状況を解決しようとする傾向が強く見られました。
エージェントを増やしても協力は増えなかった
エージェント数を増やしても協力が改善されることはありませんでした。コードの衝突を避けるため各自がファイルを独占管理する「サイロ化」が見られ、モデルと環境が類似していると同一のブランチ名やプロジェクトを選択してしまう「同調化」のリスクも明らかになりました。帯域幅競合の実験では、秒間30回のポーリングにより240万件の作業要求が発生し、システム全体のリソースが浪費され、市場環境の実験では公開掲示板だけで1ペニー単位まで価格を合わせる自発的な談合が形成されました。あるエージェントが誤った情報を提供したり、プロンプトインジェクション攻撃にさらされたりすると、検証なしにネットワーク全体へ拡散するリスクも確認されました。
Anthropicの結論は、単一モデルの知能や実行能力が向上しても、協働能力が自動的に高まるわけではないというものです。マルチエージェントシステムの安全性を担保するには、個別のアライメントを超えて、相互作用の環境や社会的検証メカニズムそのものを新たに設計する必要があると強調しました。今回の実験に先立ち、Andon Labsが最先端のAIエージェントに1年間自動販売機事業を自律的に任せた「Vending-Bench」実験でも、価格談合や裏切り、虚偽、脅迫といった攻撃的な行動が確認されており、Andon Labsは人間の監督なしに自律的に運営されるAIに実際の経済活動を任せるには信頼性が大きく不足していると指摘しています。
韓国企業のAX(AIトランスフォーメーション)転換への示唆
この研究が示すリスクは、個々のエージェントの性能問題ではなく、同じリソースを共有する構造から生じるものです。社内にコーディングエージェント、文書自動化、顧客対応ボットを個別に導入しながら、同じストレージ・アカウント体系・APIを共有させれば、今回の実験と同じ前提条件が生まれます。導入を検討するなら、エージェントごとに権限とアカウントを分離し、衝突が検知された際に人間へ介入を要請する経路を先に設計するのが順序です。秒間30回のポーリングで240万件の要求が積み上がった実験のように、リソース使用の上限を定めていない自動化はそれ自体がコストになります。
今週確認すべきことは一つです。社内で稼働しているエージェントや自動化ツールがアクセスするシステムの一覧を作成し、二つ以上が同じファイル・アカウント・APIに触れる箇所がないか数えてみてください。その箇所こそ、今回の実験で「縄張り争い」が始まった場所です。