스케일옵스(ScaleOps)는 쿠버네티스(Kubernetes)에서 AI 에이전트의 자원 배분을 자동 조정해 클라우드 비용을 줄이고, 에이전트 실행의 비용 효율을 90% 높일 수 있다고 밝혔다. IT 전문 매체 실리콘앵글은 요다르 샤프리르(Yodar Shafrir) 스케일옵스 창업자 겸 최고경영자(CEO)가 쿠버네티스·클라우드 네이티브 행사에서 이 같은 내용을 설명했다고 18일 보도했다. 실리콘앵글은 해당 인터뷰가 스케일옵스의 후원으로 제작됐으며, 후원사는 콘텐츠 편집에 관여하지 않았다고 고지했다.
AI 에이전트 자원 배분 자동화
샤프리르는 AI 에이전트가 대규모언어모델(LLM)에 질의한 뒤 작업을 한꺼번에 실행하는 방식으로 움직여 기존 마이크로서비스와 자원 사용 양상이 다르다고 말했다. 에이전트가 사람이나 다른 에이전트의 입력을 기다리는 동안에도 메모리를 계속 점유할 수 있고, 작업이 시작되면 컴퓨팅 수요가 급증한다는 설명이다. 이에 따라 관리자는 최대 사용량에 맞춰 자원을 미리 확보해야 하며, 자원이 부족해 작업이 중단되면 해당 단계를 다시 실행하면서 토큰을 추가로 소모할 수 있다.
샤프리르는 스케일옵스가 관찰한 결과 에이전트는 자원 부족으로 기존 마이크로서비스보다 80% 더 자주 중단된다고 밝혔다. 이 수치는 전체 에이전트 중 80%가 멈춘다는 뜻이 아니라, 두 작업 유형의 자원 부족에 따른 중단 빈도를 비교한 것이다. 스케일옵스 플랫폼은 애플리케이션과 에이전트, 모델 컨텍스트 프로토콜(MCP) 서버별로 자원 할당량과 복제본 수, 노드 배치를 실시간 조정한다. 회사는 이런 조정으로 클라우드 비용을 70~80% 줄일 수 있다고 설명했다.
유휴 자원 활용해 운영 비용 절감
플랫폼에는 에이전트가 작업하지 않는 동안 그 자원을 다른 작업에 쓰도록 하는 기능도 추가됐다. 에이전트가 실제로 필요할 때 메모리를 제공하는 메모리 스왑 기능도 활용한다. 회사는 이 기능들을 통해 쿠버네티스 환경을 바꾸지 않고도 에이전트를 90% 더 비용 효율적으로 운영할 수 있다고 밝혔다. 이 수치는 클라우드 비용을 70~80% 절감한다는 설명과 별도로 제시된 회사 측 주장이다.
샤프리르에 따르면 어도비(Adobe)와 세일즈포스(Salesforce) 등 고객사는 가장 복잡한 환경에서 플랫폼을 먼저 읽기 전용 모드로 실행한다. 이 단계에서 플랫폼은 애플리케이션 간 연결과 통신 관계, 각 애플리케이션의 업무 상태를 파악하고 과거 사용 패턴을 학습한다. 읽기 전용 모드는 자원 배분을 실제로 변경하기 전 환경을 살펴보는 방식으로 소개됐다.
샤프리르는 에이전트 작업량이 급변하는 환경에서는 사람이 설정하고 수요에 맞춰 확장하는 기존 방식이 지나치게 정적이라고 말했다. 에이전트가 실행하는 작업도 결국 CPU와 메모리를 사용하므로, 작업량 변화에 맞춰 인프라 자원을 조정하는 것이 스케일옵스가 제시한 대응 방식이다.