기업이 데이터를 저장·제공·관리하는 방식이 AI 배포의 성능과 비용, 실용성을 좌우하는 과제로 부상했다. 실리콘앵글은 10월 7일 슈퍼마이크로 오픈 스토리지 서밋 인터뷰를 종합해 이같이 보도했다.
AI 저장장치, 성능과 용량을 함께 고려
보도에 따르면 AI 인프라는 GPU가 활발히 처리하는 데이터를 빠르게 공급하면서도 자주 쓰지 않는 대용량 데이터를 비용 효율적으로 보관해야 한다. 스칼리티의 그레그 디프라이아(Greg DiFraia) AI·파트너십 담당 수석부사장은 고객 데이터가 수십·수백 페타바이트에서 엑사바이트 규모로 늘어나는 상황에서 모든 데이터를 플래시 저장장치에 둘 수는 없다며 성능 계층과 용량 계층을 함께 설계해야 한다고 설명했다. 저장장치가 충분한 속도를 내지 못하면 GPU 활용률을 높이기 어렵다는 점도 짚었다.
추론 과정에서 쓰이는 키-값(KV) 캐시도 새로운 저장 수요로 꼽혔다. 에이전트형 AI의 맥락이 길어지면서 중간 계산 결과를 보관하는 캐시가 GPU 메모리보다 커질 수 있고, 이때 빠른 접근 속도와 용량을 모두 고려한 저장 계층이 필요하다는 것이다. 배스트 데이터의 아나트 하일퍼(Anat Heilper) AI 아키텍처 담당 이사는 캐시 적중률이 높으면 연산 부담과 지연 시간을 줄일 수 있다며, 저장장치로 일부 연산을 대체하는 효과를 설명했다. 인터뷰에서는 솔리드igm의 플래시 드라이브와 슈퍼마이크로 시스템, 배스트 데이터의 데이터 플랫폼이 이런 계층 구성의 사례로 언급됐다.
데이터 활용과 운영까지 고려한 인프라
저장 인프라의 성능은 기업의 실제 의사결정에도 영향을 미친다는 설명이 나왔다. 데이터다이렉트네트웍스의 모이즈 코하리(Moiz Kohari) 기업 AI·데이터 인텔리전스 담당 부사장은 블랙록(BlackRock)이나 스테이트스트리트처럼 장부상 자산이 1조달러에 이르고 자본의 6~12%가 묶일 수 있는 금융사를 예로 들었다. 데이터를 빠르게 주고받으면 계산을 수행해 묶인 자본의 6%를 활용할 수 있다는 설명이다. 이는 인터뷰에서 제시된 사례와 주장으로, 업계 전체의 성과를 뜻하는 수치는 아니다.
AI 서비스를 실제 운영 환경에 배치하려면 구성 요소를 연결하는 일뿐 아니라 사용자 증가와 제한된 자원, 보안·성능 관리도 고려해야 한다. 슈퍼마이크로의 빈스 첸(Vince Chen) 솔루션 아키텍처 담당 수석이사는 파트너사와 협력해 사전 검증된 여러 규모의 통합 구성을 제공하는 방식으로 구축 복잡성을 낮추려 한다고 말했다. 뉴타닉스의 루히 세갈(Ruhi Sehgal) 에이전트형 AI 솔루션 마케팅 책임자는 파일럿이 서비스로 확장되면 여러 사용자가 제한된 자원을 공유하게 된다며, 복원력과 멀티테넌시, 보안, 성능 최적화를 운영 과제로 꼽았다.
데이터를 여러 AI·분석 애플리케이션에서 활용할 수 있도록 개방형 형식을 지원하는 데이터 레이크하우스도 주요 요소로 제시됐다. 미니오의 그레그 드미칠리(Greg DeMichillie) 제품·기술 마케팅 담당 부사장은 아파치 아이스버그 테이블과 아이스버그 REST 카탈로그 지원을 저장 계층에 통합하는 흐름을 설명했다. 원문은 AMD 프로세서와 슈퍼마이크로 시스템이 연산·메모리·연결성을 뒷받침한다고 소개했다. 이번 인터뷰의 공통된 초점은 특정 하드웨어 하나보다 데이터 계층화, 캐시, 개방형 데이터 형식과 운영 관리가 함께 작동하는 생산 환경을 갖추는 데 있었다.