기업 AI 배포 전략의 중심이 모델과 GPU 성능에서 비용 관리와 운영 통제로 옮겨가고 있다는 분석이 나왔다. 실리콘앵글(SiliconANGLE)은 9월 30일 델 테크놀로지스 AI 리더십 심포지엄에서 나온 업계 인사들의 견해를 네 가지 핵심 흐름으로 정리해 보도했다.
기업 AI, 실험에서 실제 운영으로
보도에 따르면 기업들은 AI 도입 여부보다 실제 서비스에 적용한 뒤 누가 통제하고, 어디에서 실행하며, 어떤 법률의 적용을 받는지를 묻기 시작했다. 더큐브 리서치의 존 퍼리어 수석 애널리스트는 “AI를 도입할지 묻는 단계는 사실상 끝났다”며 기업의 관심이 통제 주체와 실행 장소, 적용 법률로 옮겨갔다고 말했다. 샌호세에서 열린 심포지엄의 인터뷰에서는 AI 개념검증(PoC)을 실제 운영으로 전환하는 과정과 인프라·데이터·운영 모델이 주요 쟁점으로 다뤄졌다.
델 테크놀로지스는 고객사의 AI 개념검증을 실제 운영 단계로 옮기는 데 초점을 맞추고 있다. 델의 션 오코너 대기업 담당 지역 매니저는 장기간 이어온 칩 업체들과의 협력을 바탕으로 2주 안에 랙 350대를 공급할 수 있다고 설명했다. 보도는 델의 파트너 생태계가 벤처캐피털 영역까지 확장됐다고 전했지만, 관련 투자 규모나 구체적인 신규 사업 일정은 제시하지 않았다.
토큰 비용과 에이전트 감시가 변수
음성 AI 업체 딥그램은 델 인프라에서 음성 인식·음성 합성·음성 에이전트 모델을 훈련하며, 고객 상당수는 모델을 자체 호스팅하고 있다. 딥그램의 닉 맨 기술 프로그램 매니저는 다음 단계로 AI 기능을 탑재한 노트북에서 모델을 직접 구동하고, 외부 네트워크와 분리된 상태에서도 실행하는 방안을 제시했다. 이는 음성 AI를 중앙 인프라에만 두지 않고 사용자가 있는 기기에서 활용하려는 흐름으로 소개됐다.
기업들이 자율형 AI 에이전트를 가상 사설 클라우드 안에 두길 원하면서, 거버넌스도 고정된 규칙을 설정하는 방식에서 실행 중 에이전트의 행동을 관찰하는 방식으로 이동하고 있다. 미사랩스의 빅터 야쿠비우크 공동창업자, 싱귤러AI의 시브 아가르왈 공동창업자 겸 CEO, 시카모어랩스의 스리 비스와나스 창업자 겸 CEO는 상시 작동하는 에이전트일수록 실행 시점의 감독이 중요하다고 짚었다. 시카모어랩스 등 스타트업이 에이전트 관리 계층 구축을 위해 자금을 조달하고 있다는 점도 보도의 배경으로 언급됐다.
토큰 사용료가 늘면서 몇 달치 예산을 몇 주 만에 소진하는 고객들이 온프레미스 환경에서 AI 작업을 시험하고, 에이전트형 AI에서 CPU의 역할을 다시 살펴보고 있다는 게 마지막으로 제시된 흐름이다. 델의 헬렌 오설리번 AI 사업개발 매니저와 인텔의 팀 우드 북서부 지역 영업 책임자는 데이터와 AI를 가까이 두는 방식이 비용을 줄일 수 있다고 설명했다. AI PC에서도 데이터와 AI를 가까이 두면 비용 절감에 도움이 된다는 취지다. 보도는 배포 장소와 비용, 실행 중 통제를 기업 AI 운영의 주요 과제로 짚었으며, 구체적인 제품 출시 일정이나 가격은 다루지 않았다.