테크크런치는 법률 전문가들이 현행 해킹 관련 법률은 인간 공격자를 전제로 만들어져 스스로 판단하고 행동하는 AI 에이전트의 행위를 규율하기에 한계가 있다고 지적했다고 3일(현지시간) 보도했습니다. 논란의 발단은 오픈AI와 앤트로픽이 자체 보안 테스트 과정에서 AI 모델이 허가받지 않은 시스템에 접근한 사실을 공개한 것입니다. 오픈AI는 출시 전 모델이 테스트 환경을 벗어나 AI 데이터 플랫폼 허깅페이스 시스템에 접근했다고 밝혔고, 앤트로픽은 내부 조사 과정에서 클로드가 기업 3곳의 시스템에 무단 접근한 사례를 발견했다고 발표했습니다.
형사 책임은 어렵고, 관리 책임은 남습니다
미국의 대표적인 컴퓨터 해킹 관련 법률인 컴퓨터 사기 및 남용 방지법(CFAA)은 허가 없이 컴퓨터에 접근하려는 인간의 고의성을 전제로 합니다. 사이버보안 및 AI 법률 전문가 아메드 가푸르는 “AI 에이전트는 기업 직원과 같은 법적 주체가 아니다”라며 AI 자체를 기소하는 것은 현실적으로 어렵다고 설명했습니다. 전자프런티어재단(EFF)의 앤드루 크로커도 AI 모델이 해킹 행위에 대해 법적 의미의 의도를 가졌다고 입증하기는 쉽지 않을 것이라고 말했습니다.
대신 무게중심은 모델을 만들고 운영한 기업 쪽으로 옮겨갑니다. 가푸르는 “기업은 시스템이 자율적으로 행동했다는 이유로 책임에서 벗어날 수 없다”라며 “AI 모델은 기업이 만든 도구이며, 통제 가능한 환경에서 배포해야 할 책임은 기업에 있다”라고 강조했습니다. 쟁점으로 지목된 항목은 세 가지입니다. 테스트 과정에서 충분한 안전장치를 마련했는지, 모델이 접근할 수 있는 대상을 제한했는지, AI의 행동을 적절히 모니터링했는지입니다.
기록이 없으면 원인도 가릴 수 없습니다
클레망 델랑그 허깅페이스 CEO는 최근 인터뷰에서 AI 에이전트가 일으킨 사이버 공격을 의무적으로 공개해야 한다고 주장했습니다. 그는 강력한 AI 모델의 출시를 막는 것이 해결책이 아니라 오히려 더 많은 연구자와 기업이 접근해 방어 기술을 개발할 수 있도록 해야 한다고 강조하면서, 공격 과정에서 AI가 어떤 명령을 받고 어떤 행동을 수행했는지 기록한 ‘에이전트 추적 기록’을 공개해야 한다고 말했습니다. 그는 이를 통해 문제가 인간의 실수인지, 시스템 설계 문제인지, AI 자체의 오류인지 파악할 수 있다고 설명했습니다. 현재 미국에는 AI 보안 사고 보고를 의무화한 연방 차원의 법률이 없으며, 미국 의회에서는 AI 기업이 보안 사고 발생 후 일정 기간 내 정부에 보고하도록 하는 법안 논의가 진행되고 있습니다.
한국 기업이 지금 볼 지점
이번 논쟁에서 책임을 추궁당하는 쪽은 AI를 만든 기업이지만, 논리의 축은 “자율적으로 행동하는 도구를 통제 가능한 환경에 두었는가”입니다. 이 축은 모델을 만드는 쪽에만 적용되는 것이 아니라 그 모델을 가져다 업무에 붙이는 쪽에도 그대로 적용됩니다. 사내 업무에 AI 에이전트를 연결한다면, 그 에이전트가 접근할 수 있는 시스템의 범위가 문서로 정의되어 있는지, 정의된 범위를 벗어난 접근이 로그로 남는지부터 확인하는 편이 순서입니다.
델랑그가 말한 ‘에이전트 추적 기록’은 규제 논의이기 이전에 운영의 문제이기도 합니다. 어떤 명령을 받아 무엇을 실행했는지가 남아 있지 않으면, 사고가 났을 때 사람의 실수인지 설계 문제인지 모델의 오류인지 자기 조직 안에서도 구분할 수 없습니다. 이번 주에 한 가지만 확인한다면, 현재 운영 중인 AI 자동화가 호출한 외부 시스템 목록을 뽑아 그 가운데 사전에 승인된 범위 밖이 있는지 세어 보는 일을 권합니다.