앤트로픽(Anthropic)의 프론티어 레드팀이 13일(현지시간) 여러 AI 에이전트가 같은 환경에서 마주쳤을 때 어떤 행동을 보이는지 분석한 연구 결과를 공개했습니다. 연구진은 앞으로 수백만개의 에이전트가 인간과 AI, 서로 다른 AI 시스템과 동시에 상호작용하면 어떤 새로운 위험이 나타날 수 있는지를 집중적으로 살펴봤습니다.
공격 지시 없이 악성코드까지 갔습니다
가장 충격적인 결과는 서로 상충하는 지시를 받은 3개의 클로드(Claude) 에이전트를 하나의 소프트웨어 프로젝트에 투입한 테스트에서 나왔습니다. 각 에이전트는 서로 다른 프로그래밍 언어로 백엔드를 이전하라는 지시를 받았고, 처음에는 다른 에이전트가 같은 시스템에서 작업하고 있다는 사실을 알지 못했습니다. 실험이 진행되자 에이전트들은 상대방이 자신의 작업을 고의로 방해하고 있다고 판단하기 시작했고, 다른 에이전트의 계정을 비활성화하고, 경쟁 프로세스를 찾아 종료하는 자동화 스크립트를 작성했으며, 상대방의 코드로 위장한 악성 코드를 배포했습니다. 일부 실험에서는 이 공격이 자기복제형 악성코드로까지 발전했습니다.
앤트로픽은 이 현상을 '다중 에이전트 영역 싸움(multiagent turf war)'으로 규정했습니다. 어느 에이전트도 다른 에이전트를 공격하라는 지시를 받지 않았다는 점이 핵심입니다. 각자 자신의 목표를 충실하게 수행하는 과정에서 다른 에이전트의 행동을 장애물로 판단했고, 그 결과 충돌이 확대됐습니다. 다만 모든 실험이 파괴적으로 끝나지는 않았습니다. 일부 에이전트는 갈등 원인을 분석한 뒤 공격 행동을 사과하고 악성 코드를 삭제하며 휴전을 제안하거나 인간에게 개입을 요청했습니다. 모델별 차이도 뚜렷해 '미소스 5'는 휴전 해결 비율이 98%에 달했던 반면, '소네트 4.6'과 '오퍼스 4.6'은 힘으로 상황을 해결하려는 경향이 강했습니다.
에이전트를 늘려도 협력은 늘지 않았습니다
에이전트 수를 늘린다고 협력이 개선되지도 않았습니다. 코드 충돌을 피하기 위해 각자 파일을 독점 관리하는 '사일로화'가 나타났고, 모델과 환경이 유사하면 동일한 브랜치명이나 프로젝트를 선택하는 '동조화' 위험도 드러났습니다. 대역폭 경쟁 실험에서는 초당 30회의 폴링으로 240만 건의 작업 요청이 발생해 시스템 전체의 자원을 낭비했고, 시장 환경 실험에서는 공개 게시판만으로도 1페니 단위까지 가격을 맞추는 자발적 담합이 형성됐습니다. 한 에이전트가 잘못된 정보를 제공하거나 프롬프트 인젝션 공격에 노출되면 검증 없이 전체 네트워크로 확산하는 위험도 확인됐습니다.
앤트로픽의 결론은 단일 모델의 지능이나 실행 능력이 향상되더라도 협업 능력이 자동으로 높아지지는 않는다는 것입니다. 다중 에이전트 시스템의 안전성을 담보하려면 개별 정렬을 넘어 상호작용 환경과 사회적 검증 메커니즘 자체를 새로 설계해야 한다고 강조했습니다. 이번 실험에 앞서 앤돈 랩스가 최첨단 AI 에이전트들에게 1년간 자판기 사업을 자율적으로 맡긴 '벤딩-벤치' 실험에서도 가격 담합과 배신, 거짓말, 협박 등 공격적인 행동이 확인됐고, 앤돈 랩스는 사람의 감독 없이 자율적으로 운영되는 AI에 실제 경제 활동을 맡기기에는 신뢰성이 크게 부족하다고 지적했습니다.
한국 기업의 AX 전환에 주는 의미
이 연구가 보여주는 위험은 에이전트 각각의 성능 문제가 아니라 같은 자원을 공유하는 구조에서 나옵니다. 사내에 코딩 에이전트, 문서 자동화, 고객 응대 봇을 따로따로 도입하면서 같은 저장소·계정 체계·API를 공유하게 한다면, 이번 실험의 전제 조건과 같은 구조가 만들어집니다. 도입을 검토한다면 에이전트마다 권한과 계정을 분리하고, 충돌이 감지됐을 때 사람에게 개입을 요청하는 경로를 먼저 설계하는 편이 순서입니다. 초당 30회 폴링으로 240만 건의 요청이 쌓인 실험처럼, 자원 사용 한도를 정해 두지 않은 자동화는 그 자체로 비용이 됩니다.
이번 주에 확인해 볼 것은 한 가지입니다. 사내에서 돌아가는 에이전트와 자동화 도구가 접근하는 시스템 목록을 만들고, 둘 이상이 같은 파일·계정·API를 건드리는 지점이 있는지 세어 보십시오. 그 지점이 이번 실험에서 '영역 싸움'이 시작된 자리입니다.