아밋 자베리 서비스나우 사장·최고제품책임자·최고운영책임자가 AI 에이전트의 오작동을 막으려면 감지·판단·실행·보안에 해당하는 네 가지 통제 장치를 갖춰야 한다고 주장했다. 실리콘앵글은 8월 30일 자베리의 기고문을 게재했다.
자베리는 최근 AI 에이전트가 실험 단계를 넘어 실제 업무 환경에 투입되면서 위험도 커지고 있다고 진단했다. 그가 제시한 사례에 따르면 포켓OS의 코딩 에이전트는 운영 데이터베이스 전체를 삭제했고, 메타의 내부 에이전트는 민감한 사용자 데이터를 2시간 동안 노출했다. 인스타그램 지원 챗봇을 통해 해커들이 수천개 계정을 탈취했고, 연구진은 지난달 깃허브 에이전트를 속여 비공개 저장소 데이터를 유출시켰다고 설명했다.
각 사례에서 에이전트는 설계된 작업을 수행했지만, 이를 둘러싼 정보와 통제 체계가 실패했다는 것이 자베리의 분석이다. AI 모델의 추론 능력은 빠르게 발전하는 반면 기업이 이를 안전하게 배치하는 속도는 따라가지 못하고 있으며, 에이전트가 정확한 결과를 내고 권한 범위를 넘지 않도록 충분한 맥락과 제어 장치를 제공하는 일이 핵심 과제가 됐다는 것이다.
첫 번째 요소인 ‘감지’는 에이전트가 최신 정보를 바탕으로 판단하도록 만드는 데이터 구조다. 정책 변경, 시스템 장애, 고객 상태 변화가 발생했을 때 이를 다음 의사결정에 실시간으로 반영해야 한다. 데이터가 여러 부서와 시스템, 클라우드에 흩어져 있더라도 모두 연결해야 하며, 정기 동기화 때까지 기다리는 정적인 자료가 아니라 계속 변하는 신호로 다뤄야 한다고 자베리는 밝혔다.
두 번째 ‘판단’은 현재 데이터만으로는 부족하다는 전제에서 출발한다. 에이전트가 과거 유사 요청 20건이 어떻게 처리됐고 그 결과가 무엇이었는지, 조직의 정책과 의사결정 이력을 함께 참고해야 한다는 설명이다. 메타 사례에서도 내부 에이전트가 엔지니어에게 잘못된 기술 지침을 제공해 데이터 노출로 이어졌다며, 과거 변경 작업의 결과를 더 잘 반영했다면 이를 피할 가능성이 있었다고 주장했다.
세 번째 ‘실행’은 단순히 권고하는 에이전트가 아니라 여러 단계를 직접 수행하는 시스템을 뜻한다. 여러 에이전트를 하나의 업무 흐름으로 묶으려면 단계마다 맥락을 전달하고 같은 정책을 적용하며, 기반 시스템이 바뀌어도 정보를 동기화해야 한다. 마지막 요소인 ‘보안’에는 역할별 신원과 최소 권한, 모든 행동의 감사 기록, 이상 징후 발생 시 접근을 즉시 차단하는 킬 스위치가 포함된다. 자베리는 기업이 임직원에게 적용해 온 접근통제 원칙을 비인간 행위자인 AI 에이전트에도 확대해야 한다며, 에이전트형 AI의 성패는 모델 지능보다 기업 시스템·규정·과거 기록을 안전하게 연결하는 설계에 달렸다고 강조했다.