AI 인프라 업계가 인공지능(AI) 추론 수요 급증에 대응해 CPU·메모리·네트워크를 함께 최적화하는 작업에 속도를 내고 있다. 아마존웹서비스(AWS), 오라클, 브로드컴, 퀄컴, 디매트릭스 등의 기술진은 AI 배치 속도 조절론이 나온 가운데 인프라 확충은 오히려 빨라지고 있다고 설명했다.
실리콘앵글은 18일(현지시간) 미국 캘리포니아주 산타클라라에서 열린 AI 인프라 서밋에서 참석자들이 AI의 전력·메모리·토큰 처리 비용 문제와 대응 기술을 소개했다고 보도했다. 토니 피알리스 퀄컴 데이터센터·AI 부문 총괄 부사장은 발표에서 “와트당 토큰 수가 새로운 핵심 지표가 됐다”며 현재의 추세를 그대로 유지할 수 없고 인프라 업계가 개선해야 한다고 말했다.
AI 추론 수요에 맞춘 인프라 전환
AI 모델 훈련에 GPU가 집중됐던 2025년과 달리 올해는 추론 작업이 늘면서 CPU까지 포함한 이기종 인프라의 필요성이 커졌다. 피터 드산티스 아마존 수석부사장은 앞으로 대부분의 컴퓨팅이 추론 서비스를 제공하는 데 쓰일 것이라며 추론이 거대한 작업 부하가 될 것이라고 설명했다. AWS는 64비트 Arm 기반 CPU 제품군 그래비톤(Graviton)을 중심으로 클라우드 애플리케이션의 전력 효율을 높여왔으며, 6월에는 실시간 AI 추론과 다단계 작업 조율을 지원하는 그래비톤5(Graviton5)를 출시했다.
AI 서버는 기존 서버보다 약 8배 많은 메모리를 사용하는 것으로 분석됐다. AI 서버용 메모리 지출은 2025년 350억달러에서 2027년 1750억~1900억달러로 늘어날 전망으로, 약 5배 증가에 해당한다. 퀄컴은 기존 고대역폭메모리(HBM) 대신 자체 고대역폭 컴퓨트(HBC) 구조에 주목하고 있다. 대규모 배치 작업에서 HBC의 와트당 대역폭은 HBM의 6배, 정적 램(SRAM) 대비 와트당 용량은 200배에 이른다는 게 회사 측 설명이다. 피알리스 부사장은 병목이 연산이 아니라 데이터 이동이라며 연산 기능을 메모리에 더 가깝게 배치하는 방식으로 이를 해결할 수 있다고 말했다.
메모리·네트워크까지 넓어진 경쟁
컴퓨팅 스타트업 디매트릭스(d-Matrix)는 차세대 칩 아키텍처 랩터(Raptor)에 처리량을 높인 3D DRAM을 통합했다. 여러 메모리 셀 층을 수직으로 쌓아 저장 밀도와 성능을 높이는 방식이다. 디매트릭스는 지난주 엔비디아(Nvidia)와 협력해 랩터를 엔비디아의 NV링크 퓨전(NVLink Fusion) 랙 참조 아키텍처에 적용한다고 발표했다. AI 연구소와 대형 클라우드 사업자가 지연 시간이 낮은 토큰 서비스를 구축하도록 지원하는 구상이다.
네트워크 기술도 AI 인프라의 핵심 요소로 부상했다. 오라클(Oracle)은 클라우드용 고성능 네트워크 가상화 및 통합 스마트NIC 기술인 액셀러론(Acceleron)을 개발했고, 엔비디아와 AMD와의 협력을 통해 서버 CPU를 거치지 않고 GPU 호스팅 서버의 데이터 흐름을 처리하는 액셀러론 RoCE를 선보였다. 기업용 AI의 성능·확장성·비용을 높이는 데 네트워크가 핵심 요소가 되고 있다는 설명이다. 카란 바타 오라클 클라우드 인프라 수석부사장은 인프라 스택의 모든 부분을 최적화해야 하며 네트워크가 컴퓨팅 자체만큼 중요해지고 있다고 말했다.