슈퍼마이크로컴퓨터(Super Micro Computer)가 에이전트형 AI 추론에서 GPU 메모리와 시스템 메모리, 로컬 SSD, 네트워크 저장장치 사이의 공백을 메우는 ‘G3.5’ 저장 계층을 제안했다. 실리콘앵글(SiliconANGLE)은 8월 26일 슈퍼마이크로 오픈 스토리지 서밋 인터뷰를 통해 기업들이 모델 훈련에서 에이전트형 AI로 이동하면서 AI 저장 인프라의 중요성이 커지고 있다고 보도했다.
에이전트형 AI는 추론 과정에서 상황을 판단하고 행동한 뒤 결과를 다시 평가한다. 이 과정에서 대화와 작업의 문맥이 길어지고 처리해야 할 데이터도 늘어나기 때문에, 데이터의 규모와 중요도뿐 아니라 필요한 지점까지 얼마나 빠르게 이동하는지가 애플리케이션 응답 속도에 영향을 준다는 설명이다. 솔리다임(Solidigm)의 기술기획 담당 이사 스콧 셰들리는 AI 시대에 저장장치에 대한 관심이 커졌다며, 결국 핵심은 데이터가 한 지점에서 다른 지점으로 이동하는 속도라고 말했다.
문맥 창이 확장되면 GPU 메모리만으로는 추론 작업에 필요한 모든 정보를 담기 어렵다. 이에 따라 데이터와 가까운 고속 메모리부터 용량이 큰 네트워크 저장장치까지 여러 계층을 조합해야 하며, 각 계층이 데이터의 일부를 나눠 처리하게 된다. 셰들리는 과거에는 사용하지 않던 영역으로 여겨졌던 SSD가 문맥을 저장하는 중간 계층으로 들어오고 있다며, NVMe SSD가 등장했기 때문에 이른바 ‘3.5 계층’이 가능해졌다고 설명했다.
구체적인 역할 분담도 제시됐다. 솔리다임은 캐시된 데이터에 빠르게 접근하도록 SSD를 공급하고, 슈퍼마이크로컴퓨터는 이를 랙 단위 시스템에 통합한다. 배스트 데이터(Vast Data)는 AI 운영체제를 통해 네트워크 저장장치와 데이터 서비스를 제공하며, 여러 AI 작업과 함께 데이터를 사용·관리·보호하도록 지원한다. 배스트 데이터의 AI 아키텍처 담당 이사 아나트 하일퍼는 키-값(KV) 캐시를 활용하면 연산을 저장장치로 대체할 수 있고, GPU 사용량과 지연시간을 함께 줄일 수 있다고 말했다.
슈퍼마이크로컴퓨터의 ‘컨텍스트 메모리 익스텐션(CMX)’ 제안은 대규모 AI 클러스터와 많은 데이터를 다루는 조직을 겨냥한다. 다만 모든 기업에 같은 구성이 필요한 것은 아니며, 작업 특성에 따라 메모리와 로컬 SSD, 네트워크 저장장치의 조합이 달라질 수 있다. 슈퍼마이크로컴퓨터의 솔루션 관리 담당 이사 벤 리는 GPU와 고대역폭메모리(HBM)를 계속 늘리는 방식은 비용이 크다며, KV 캐시가 GPU와 HBM에서 시스템 메모리, 로컬 SSD, 네트워크 저장장치로 자연스럽게 넘쳐나는 구조를 설명했다.
배스트 데이터는 여러 소프트웨어 환경의 파트너들과 KV 캐시 오프로딩을 시험하고 있다. 하일퍼는 엔비디아(Nvidia) 다이너모를 활용한 실험에서 첫 토큰 생성까지 걸리는 시간이 20배 빨라졌고 GPU 사용 시간은 90% 절감됐다고 밝혔다. 솔리다임의 성능 중심 SSD D7-PS1010과 고용량 드라이브 D5-P5336은 계층 내 서로 다른 요구를 겨냥하며, 슈퍼마이크로컴퓨터는 고객의 작업에 맞춰 시스템을 구성한다. 셰들리는 저장 계층의 표준도 계속 바뀌고 있다며, 고객과 공급업체가 필요한 성능과 용량을 사전에 조율하는 방식이 향후 인프라 구축을 좌우할 것이라고 덧붙였다. 이번 내용은 실리콘앵글과 더큐브(theCUBE)의 슈퍼마이크로 오픈 스토리지 서밋 인터뷰 시리즈 일부로 공개됐다.