서비스나우(ServiceNow)는 오작동하는 AI 에이전트를 멈출 때 위험도뿐 아니라 에이전트가 맡은 업무와 영향을 함께 고려해야 한다고 밝혔다. IT 전문 매체 실리콘앵글은 바크티 피트레(Bhakti Pitre) 서비스나우 AI 플랫폼 보안 제품 부사장이 옥타(Okta)의 옥테인(Oktane) 행사 인터뷰에서 이같이 말했다고 9월 29일 보도했다.
AI 에이전트 차단, 위험도와 업무 영향 따져야
서비스나우는 AI 거버넌스를 ‘발견·관찰·관리·보안·측정’의 5단계로 나누고, 이 틀을 확장된 AI 컨트롤 타워(AI Control Tower)에 적용하고 있다. 피트레 부사장은 에이전트 격리도 위험 수준에 맞춰야 한다고 설명했다. 결과를 내지 못하는 에이전트라면 일단 작동을 멈추고 원인을 살펴볼 수 있지만, 모든 이상 작동에 즉시 접근 권한을 끊는 방식이 적절한 것은 아니라는 취지다.
그는 허용된 할인율을 넘겨 고객에게 할인을 제공하는 에이전트를 사례로 들었다. 할인율을 10%까지만 적용하도록 허가받은 에이전트가 프롬프트 인젝션 공격을 받아 100% 할인을 제공한다면, 단순한 일시 정지가 아니라 작동을 중단해야 할 심각한 상황이라고 말했다. 반대로 결과를 내지 못하는 에이전트라면 일시 정지와 조사가 필요할 수 있다고 덧붙였다. 킬 스위치는 단순한 켜기·끄기 버튼이 아니라는 설명이다.
권한 조정은 사업 맥락과 업계 협력 바탕으로
대응 시점을 정하는 것과 함께, 에이전트가 어떤 업무 절차에 연결돼 있는지 파악하는 일도 중요하다고 피트레 부사장은 강조했다. 서비스나우는 에이전트와 그에 의존하는 업무 절차를 연결해 살펴보고, 베자(Veza)의 ID 보안 기술을 활용해 과도하게 부여된 권한을 조정할 수 있다고 설명했다. 에이전트의 접근을 끊는 조치는 쉽지만, 왜 차단해야 하는지 판단하려면 업무 맥락이 필요하다는 것이다.
다만 에이전트가 접속 단말부터 네트워크, 게이트웨이까지 거치는 모든 계층을 한 업체가 파악하기는 어렵다고 피트레 부사장은 말했다. 서비스나우는 옥타와 협력해 에이전트의 세션 토큰과 ID를 보호하고 있다고 밝혔다. AI 에이전트의 보안이 한 회사의 제품만으로 해결되기 어렵다는 점을 들어, 업계 업체들이 각자의 역할을 맡아 협력해야 한다고도 했다.
서비스나우가 제시한 대응의 핵심은 에이전트에 문제가 생겼을 때 일률적으로 중단하기보다 위험과 업무 영향을 함께 평가하는 것이다. 특히 허가 범위를 벗어난 행동이 실제 업무에 미치는 결과를 파악하고, 필요하면 권한을 조정하거나 접근을 차단하는 절차를 강조했다. 보도에는 이 대응 체계의 별도 출시 일정이나 가격은 제시되지 않았다.