델 테크놀로지스(Dell Technologies)와 인텔(Intel) 관계자들이 AI 에이전트 사용으로 클라우드 토큰 예산이 예상보다 빨리 소진되는 기업에 온프레미스 인프라와 오픈웨이트 모델을 대안으로 검토하라고 제안했다. 실리콘앵글은 10월 13일 델의 AI 리더십 심포지엄 현장 인터뷰를 통해 두 회사 관계자의 견해를 전했다.
몇 주 만에 소진되는 토큰 예산
델 테크놀로지스의 AI 사업개발 매니저 겸 솔루션 전문가 헬렌 오설리번(Helen O’Sullivan)은 자신이 지원하는 베이 지역 고객 중 일부가 몇 달 동안 쓰려고 책정한 토큰 예산을 몇 주 만에 소진하고 있다고 말했다. 토큰 사용량이 계획보다 빠르게 늘면서 기업들이 추론 작업을 어디서 실행할지 다시 따져보고 있다는 설명이다.
오설리번은 최첨단 모델을 쓰지 말자는 것이 아니라, 필요한 작업에 따라 오픈웨이트 모델과 사내 인프라를 함께 활용해 클라우드 토큰 사용 부담을 낮출 수 있다고 설명했다. 인텔 북서부 지역 영업 책임자 팀 우드(Tim Wood)도 기업이 실제 운영에 앞서 샌드박스 환경에서 오픈웨이트 모델을 시험하면 업무에 필요한 자원과 모델을 살펴볼 수 있다고 말했다. 구체적인 비용 절감률이나 토큰 사용량 수치는 제시되지 않았다.
에이전트형 AI에선 CPU도 검토 대상
오설리번은 에이전트형(agentic) AI 작업이 늘면서 프로세서 수요의 균형도 달라질 수 있다고 말했다. 고객들이 여전히 그래픽처리장치(GPU)를 우선해서 찾지만, 에이전트 작업에서는 중앙처리장치(CPU) 활용이 늘어나는 흐름을 관찰했다는 것이다. 다만 자신이 접한 고객들은 아직 이런 변화를 충분히 반영하지는 않았다고 덧붙였다.
우드는 많은 기업이 데이터센터에 이미 CPU를 보유하고 있어 기존 인프라의 여유 자원이 차세대 애플리케이션과 작업에 쓰일 가능성이 있다고 설명했다. 인텔의 에이전트형 AI 아키텍처는 오케스트레이션, 추론, 엣지 컴퓨팅을 포괄한다고 소개됐다. 두 관계자는 고객의 기존 설비와 필요한 투자·운영 비용을 함께 따져 배치 방안을 검토하는 접근을 강조했다.
GPU 속도보다 업무 목표와 데이터
오설리번은 AI를 도입하는 것 자체가 목표가 돼서는 안 되며, 기업 목표에 맞는 활용 목적이 필요하다고 말했다. 고객이 GPU를 얼마나 빨리 확보할지에만 집중하기보다 데이터와 전체 기술 구성을 살펴야 한다는 설명이다. 인터뷰에서는 특정 제품의 가격이나 출시 일정, 기업별 도입 계획은 언급되지 않았다.
이번 내용은 델의 AI 리더십 심포지엄을 다룬 실리콘앵글과 더큐브(theCUBE)의 인터뷰에서 나왔다. 기사에는 더큐브가 행사 보도를 위한 유료 미디어 파트너였으며, 델과 다른 후원사가 콘텐츠 편집권을 갖지 않았다는 고지도 포함됐다. 두 관계자의 발언은 토큰 예산 압박에 대응하는 선택지로 온프레미스 인프라와 오픈웨이트 모델, 기존 CPU 자원의 활용을 제시했지만, 각 방식의 성능이나 비용을 비교한 수치는 공개하지 않았다.