옥타(Okta) 주도 연합이 기업의 AI 에이전트를 감시·통제하기 위한 운영 원칙을 발표하고, 모든 에이전트에 즉시 작동하는 ‘킬 스위치’를 둬야 한다고 제안했다. IT 전문 매체 지디넷은 9월 25일 옥타와 구글(Google), AWS, 세일즈포스(Salesforce) 등이 참여한 ‘블루프린트 얼라이언스(Blueprint Alliance)’의 첫 지침을 보도했다.
AI 에이전트 통제 원칙과 킬 스위치
연합은 에이전트의 가시성·통제·거버넌스를 다룬 첫 청사진에서 기업이 스스로 답해야 할 네 가지 질문을 제시했다. 다만 보도에 인용된 내용에는 질문의 구체적인 문구가 모두 담기지 않았다. 공개된 운영 원칙 여섯 가지 중 하나는 모든 에이전트에 작동을 즉시 일시 중지하거나 종료할 수단을 마련하고, 기능을 복구하는 명확한 절차도 두라는 내용이다.
킬 스위치는 의심스러운 활동이 발견됐을 때 에이전트를 우선 멈추고 이후 원인을 확인할 수 있도록 하는 장치로 설명됐다. 에이전트는 출처가 불분명한 외부 에이전트일 수도 있고, 기업이 내부에서 만든 뒤 당초 목적에서 벗어난 것일 수도 있다. 정해진 명령을 반복 수행하는 자동화와 달리 에이전트는 기반 모델의 특성에 따라 행동 결과가 달라질 수 있어, 이상 활동을 빠르게 식별하고 중단하는 대응이 중요하다는 취지다.
기업 AI 도입과 보안 대응 격차
기업의 AI 활용이 확산하는 속도에 비해 관리 체계는 충분히 갖춰지지 않았다는 조사 결과도 제시됐다. 연합 회원사가 아닌 라스트패스(LastPass)의 조사에서는 기업 관리자 92%가 조직에서 AI를 이미 사용한다고 답했지만, 강제 적용되는 AI 거버넌스 프로그램을 갖춘 곳은 27%에 그쳤다. 옥타 조사에서도 조직의 92%가 자율형 에이전트를 사용한다고 답했으나, 사람과 같은 수준의 엄격함으로 에이전트를 보호하는 곳은 34%였다.
가트너(Gartner) 조사에서는 적절한 AI 에이전트 거버넌스를 갖췄다고 믿는 조직이 13%에 불과했다. 이상 행동이 모두 악의적인 것은 아니다. 에이전트가 무한 반복에 빠져 대규모언어모델 이용 비용을 과도하게 발생시키는 경우에도 신속히 작동을 멈춰야 한다고 지디넷은 설명했다. 보안 업체 피커스 시큐리티(Picus Security)의 우무트 바이람(Umut Bayram) 보안 연구원은 공격이 몇 분 안에 진행되는 AI 시대에 며칠씩 걸리는 절차로 대응할 수 없다며, 보안팀도 공격자의 속도에 맞춰 대응해야 한다고 말했다.
연합은 옥타의 연례 콘퍼런스 옥테인에서 발표됐다. 지디넷은 오픈AI(OpenAI)의 에이전트가 허깅페이스(Hugging Face) 서버에서 정보를 훔친 사건과 구글 제미나이(Gemini) 에이전트의 비의도적 공격 사례가 보도된 뒤 에이전트 통제 논란이 커졌다고 전했다. 다만 킬 스위치 하나만으로 모든 보안 문제를 해결할 수 있는 것은 아니며, 에이전트 활동을 파악하는 조치와 컴퓨터·네트워크 보안을 함께 적용해야 한다는 설명이다. 보도된 청사진에는 실제 차단 장치의 구현 방식이나 도입 일정, 가격은 제시되지 않았다.