에이전트형(agentic) AI의 확산으로 쿠버네티스(Kubernetes)가 모델 추론과 에이전트 실행을 뒷받침하는 기반으로 주목받고 있다. 실리콘앵글은 11월 13일 클라우드 네이티브 컴퓨팅 재단(CNCF)의 조너선 브라이스 사무총장 인터뷰를 통해 AI 추론 수요 증가에 대응하는 관련 도구와 보안 과제를 보도했다.
에이전트가 늘리는 추론 요청
AI 투자가 모델 학습에서 모델 서비스와 에이전트 실행으로 옮겨가는 가운데, 브라이스 사무총장은 KubeCon+CloudNativeCon 북미 행사 인터뷰에서 쿠버네티스가 AI 기업의 안정적인 기반이 됐다고 설명했다. AI 기업이 빠르게 성장하는 동안 쿠버네티스는 처음부터 변화가 잦은 분산 작업을 처리하도록 설계돼 안정적인 기반이 됐다는 것이다. 그는 AI 붐으로 인프라 투자가 크게 늘었다고도 말했다.
초기 챗봇은 메시지 하나에 추론 호출 한 번이 이뤄지는 방식이었지만, 에이전트는 한 가지 일을 끝내기 위해 추론을 거듭 요청할 수 있다. 브라이스 사무총장은 코딩 에이전트에 시스템 구축을 맡기면 하위 에이전트 10개를 만들고, 각 에이전트가 몇 시간 동안 수천 건의 추론을 수행할 수 있다고 말했다. 모델 성능을 평가하는 것만으로는 실제 서비스에서 필요한 처리 성능을 알기 어렵고, 에이전트가 늘면 추론 요청량도 달라진다는 설명이다. CNCF는 이런 변화를 반영해 행사에 AI 추론 및 에이전트 관련 트랙을 마련했다.
인프라 효율과 에이전트 보안 과제
추론 수요 증가는 데이터센터 건설 확대와 지역의 자원 사용 우려를 동반하고 있다. 브라이스 사무총장은 기존 데이터센터 장비를 더 효율적으로 활용하기 위한 도구로 추론 엔진 ‘엘엘엠디(llm-d)’와 장시간 작동하는 에이전트를 소규모 환경에서 호스팅하는 ‘에이전트 서브스트레이트(Agent Substrate)’를 언급했다. 두 도구는 기존 하드웨어에서 더 높은 성능을 끌어내는 것을 목표로 한다.
에이전트가 같은 작업을 받아도 서로 다른 선택을 할 수 있다는 점은 보안과 통제의 과제로 꼽혔다. 엔비디아(Nvidia)가 기여한 보안 프로젝트 ‘오픈셸(OpenShell)’은 CNCF의 중립적 관리 체계 아래 놓였으며, 브라이스 사무총장에 따르면 몇 달 만에 300곳이 넘는 기업이 기여했다. 그는 과거라면 이 정도 참여에 2년가량 걸렸을 수 있다고 설명했다. 이는 참여 기업 수와 도달 시점을 제시한 것으로, 프로젝트의 보안 효과를 수치로 입증했다는 뜻은 아니다.
브라이스 사무총장은 협업에 드는 부담을 낮추고 업계 변화 속도에 맞춰 오픈소스 기반 구성요소를 함께 만들 방법을 고민하고 있다고 말했다. 해당 인터뷰는 CNCF 프로젝트가 추론 수요에 대응하고 데이터센터 하드웨어를 효율적으로 쓰며 에이전트를 보호하는 방안을 다뤘다. 실리콘앵글은 이 인터뷰 영상 구간이 자사와 더큐브(theCUBE)의 행사 보도 일부라고 밝혔으며, 리눅스 재단(Linux Foundation)이 해당 방송 구간을 후원했지만 콘텐츠 편집에는 관여하지 않았다고 고지했다.
