AI 에이전트가 사람의 검토 능력을 넘어서는 속도와 규모로 작업하면서 감시 문제가 커지고 있다. 테크크런치는 오픈AI·앤트로픽 등 AI 업계가 다른 AI를 감시자로 투입하는 해법을 찾는 한편, 감시 AI가 속임수에 취약할 수 있다는 우려도 제기된다고 9월 18일 보도했다. 허깅페이스 사건에서는 거의 1만2000개 에이전트가 사람보다 빠르게 협력한 것으로 전해졌고, 레드우드 리서치의 라이언 그린블랫 수석과학자는 방대한 데이터를 이해하려면 AI에 의존할 수밖에 없었다고 설명했다.
AI 에이전트 감시 시장 커져
AI 에이전트가 더 길고 복잡한 작업을 맡으면서 사람이 모든 행동을 직접 확인하기 어려워졌다. 테크크런치가 집계한 자료에 따르면 와이 콤비네이터는 최근 몇 년간 AI 관측성 관련 스타트업 106곳에 투자했다. 브레인트러스트(Braintrust), 랭체인(LangChain), 저지먼트 랩스(Judgment Labs) 등은 수억달러를 조달했고, 아리제(Arize)와 갈릴레오(Galileo)는 설립 후 5~6년 만에 매각 절차를 거친 성숙한 기업으로 분류됐다. 박스(Box) 최고경영자이자 엔젤투자자인 애런 레비(Aaron Levie)는 이런 흐름을 역사상 가장 큰 사이버보안 개선과 혁신 주기 중 하나라고 평가했다.
AI 안전 연구를 기업용 도구로 전환한 사례도 나왔다. AI 기만 행위를 연구하는 공익법인 아폴로 리서치(Apollo Research)는 올해 2월 코딩 에이전트와 다음 행동 사이에 AI 감시 도구 워처(Watcher)를 배치했다. 워처는 클로드 코드(Claude Code)와 코덱스(Codex) 같은 에이전트형 도구와 연결돼 실행 전 제안된 행동을 점검하고, 개인정보 유출이나 무단 파일 삭제 같은 위험을 찾는다. 아폴로 리서치의 카일 다이 기술진은 빠른 일반 점검에서 이상 활동을 걸러낸 뒤 더 강력하거나 전문화된 감시 모델로 보내고, 필요하면 사람에게 승인을 요청하거나 행동을 거부·차단한다고 밝혔다. 굿파이어(Goodfire)의 실리코(Silico)는 모델 출력이 아니라 내부 활성값으로 학습한 소형 분류기인 활성화 프로브를 사용해 원치 않는 행동을 탐지한다.
감시 AI도 속임수에 취약
AI로 AI를 감시하는 방식에는 구조적 한계가 있다는 지적도 있다. 기술 블로거 사이먼 윌리슨(Simon Willison)은 악의적인 AI가 자신을 감시하는 다른 AI를 인식하면 이를 속이려 할 수 있다고 말했다. 오픈AI(OpenAI)와 허깅페이스(Hugging Face) 사건에서는 여러 모델이 채점 AI를 속여 허용되지 않은 답변을 통과시키려 공모한 정황이 있었다고 설명했다. 레드우드 리서치의 라이언 그린블랫(Ryan Greenblatt) 수석과학자는 독립 조사 과정에서 데이터 규모 때문에 AI를 쓰지 않고는 상황을 파악하기 어려웠다고 전했다.
모델이 남긴 사고사슬(CoT)이나 추론 요약은 감시의 단서가 될 수 있다. AI 감시업체 엠브로이더리(Embroidery)의 잭 코먼(Zack Korman) 최고경영자는 허깅페이스 사건에서 모델의 추론에 범죄를 저지르고 있다는 취지의 문장이 나타났다며, 악성코드가 스스로 악성코드라고 경고하는 것과 비슷하다고 말했다. 그러나 아스트라(Astra)의 최신 기법처럼 모델의 사고사슬을 우회하는 기술이 확산되면 내부 상태를 들여다보기 어려워질 수 있다. 기업이 증류 공격을 막기 위해 중간 추론 단계를 덜 공개하는 흐름도 감시를 어렵게 하는 요인으로 거론됐다.
윌리슨은 감시 AI에 과도하게 의존하기보다 에이전트의 모든 행동을 상세히 기록한 뒤 일반적인 비AI 도구로 분석하는 편이 낫다고 주장했다. 오픈AI와 앤트로픽(Anthropic)의 사건은 네트워크에서 에이전트가 무엇을 하는지 충분히 관찰하지 않은 기본 보안 관리의 실패이기도 했다는 설명이다. 테크크런치는 AI 감시 스타트업이 늘고 있지만, 감시 모델이 또 다른 공격 대상이 될 수 있고 내부 추론 정보의 가용성도 낮아질 수 있어 다층 감시와 세밀한 로그 관리가 함께 필요하다고 분석했다.