AI 데이터 파이프라인 포럼이 미국 캘리포니아주 새너제이에서 OCP 글로벌 서밋 기간에 열리며, 더큐브(theCUBE)가 10월 13일 현장 토론을 생중계한다. 실리콘앵글은 10월 11일 포럼에서 저장장치·메모리·네트워크·전력·냉각 등 AI 인프라 병목 문제가 다뤄질 예정이라고 보도했다.
AI 인프라, 칩 넘어 데이터 이동이 과제
포럼은 OCP 글로벌 서밋(OCP Global Summit) 기간에 열린다. 더큐브 진행자 존 퍼리어가 스케일플럭스(ScaleFlux), 세레브라스(Cerebras), 시스코(Cisco), 델(Dell) 등 기업 임원들과 대담할 예정이다. 논의 주제는 고밀도 AI 클러스터와 분산 추론 작업을 지원하는 데 필요한 인프라 설계로, 저장장치와 메모리, 고속 네트워크, 액체 냉각, 전력 공급을 포함한다. 개방형 표준과 모듈형 설계가 데이터센터의 병목을 더 키우지 않으면서 이런 시스템을 뒷받침할 수 있는지도 다룬다.
AI 인프라 경쟁은 개별 칩의 속도를 높이는 데서 데이터가 연산·저장·네트워크 장비 사이를 원활하게 오가도록 시스템 전체를 설계하는 방향으로 옮겨가고 있다. 추론 작업이 늘면서 메모리 용량과 대역폭, 데이터 이동 효율이 성능에 영향을 미치는 요소로 부각됐다는 설명이다. 서버 밀도가 높아질수록 전력 공급과 냉각도 함께 고려해야 해 저장장치부터 랙 단위 설비까지 조율하는 설계가 요구된다.
메모리·전력·냉각까지 다루는 포럼
더큐브 리서치의 데이브 벨란테 수석 애널리스트는 최근 분석에서 메모리 제약, 비효율적인 데이터 이동, 추론 비용을 AI 인프라의 주요 과제로 짚었다. 해당 분석은 AI 파이프라인에서 저장장치가 맡는 역할도 커지고 있다고 봤다. 스케일플럭스는 메모리 집약적인 AI 작업의 데이터 이동 제약에 대응하는 기업으로 소개됐다. 델 역시 연산 밀도와 운영 요건에 맞춘 랙 단위 인프라 설계를 추진하고 있다.
스케일플럭스는 7월 PCIe 6세대 SSD 및 CXL 메모리 컨트롤러 FC6116과 MC600을 공개했다. 회사 공동창업자 겸 CEO 하오 중은 두 제품을 통해 실리콘 플랫폼을 PCIe 6세대로 확장하고, 고객이 더 빠르고 효율적이며 유연한 저장장치·메모리 시스템을 설계할 기반을 제공한다고 말했다. 델의 파워엣지 AI 아키텍처·시스템 개발 엔지니어링 디렉터 사라트 크리슈난은 다양한 냉각·전력 조건에 대응하기 위해 모듈형 랙 인프라를 구축해 왔다고 말했다. 이들 발언은 포럼에서 다룰 데이터 이동뿐 아니라 전력과 냉각 문제도 인프라 설계의 일부임을 보여준다.
더큐브의 중계는 10월 13일 진행되며, 생중계 뒤에는 주문형으로 시청할 수 있다. 시청 경로로는 더큐브 전용 웹사이트와 유튜브 채널 등이 안내됐다. 실리콘앵글은 이번 포럼 중계의 유료 미디어 파트너라고 공개했으며, 중계 후원사가 더큐브나 실리콘앵글의 편집권을 갖지는 않는다고 밝혔다. 포럼은 AI 시스템의 성능을 칩 사양만으로 설명하기 어려워진 상황에서 데이터 이동과 설비 운영을 함께 다루는 자리로 마련됐다.