바스트데이터(Vast Data)의 본 스튜어트(Vaughn Stewart) 시스템 엔지니어링 부사장은 여러 업체의 도구를 조합한 AI(Artificial Intelligence) 파이프라인이 임베딩과 접근 권한, 원본 데이터를 서로 일치시키기 어렵다고 지적했다. IT 전문 매체 실리콘앵글은 10월 14일 AI 데이터 파이프라인 포럼에서 진행한 인터뷰를 보도했다.
분리형 파이프라인의 데이터 불일치
스튜어트 부사장은 데이터가 갱신돼도 이를 바탕으로 만든 벡터 임베딩이 함께 갱신되지 않거나, 원본 데이터의 사용자 접근 권한이 추론 요청에 제대로 반영되지 않을 수 있다고 설명했다. 개별 기능에 가장 적합한 제품을 골라 연결하는 방식은 구성 요소를 바꿔 끼울 수 있지만, 데이터가 시스템 사이를 오가면서 최신 상태와 권한 정보가 어긋날 위험이 있다는 것이다. 그는 대규모 병렬 요청과 여러 기능을 거의 실시간으로 처리해야 하는 환경에서는 이런 파이프라인이 한계를 드러낼 수 있다고 말했다.
AI 인프라의 요구도 모델 학습 중심에서 추론 중심으로 옮겨가고 있다. 스튜어트 부사장은 추론 시스템에는 성능과 규모뿐 아니라 사용자 식별, 접근 통제, 규제 대상 데이터 처리 능력이 필요하다고 말했다. 바스트데이터는 2026년 4월 약 10억달러를 조달했으며, 당시 기업가치는 300억달러로 평가됐다. 스튜어트 부사장은 바스트데이터의 분리형 공유 구조가 저장 시스템과 데이터 처리 도구의 역할을 통합한다고 설명했다. 그는 하둡 데이터 레이크와 카프카 이벤트 버스가 저장 플랫폼으로 불리지는 않았어도 페타바이트급 데이터를 보관했다며, 두 시스템의 기능을 밀접하게 결합해 성능을 낼 수 있다고 말했다.
규제 데이터에 프런티어 모델 연결
스튜어트 부사장은 바스트데이터의 경쟁 상대로 특정 회사를 꼽기보다, 교체 가능한 여러 제품을 이어 붙이는 기존 접근 방식을 지목했다. 그는 네오클라우드 사업자 등 AI 구축업체가 성능이 기대에 못 미치는 인프라를 오래 용인하지 않고 소프트웨어를 빠르게 교체한다고 말했다. 이는 과거 스토리지 시장의 고객 종속과는 다른 환경이다. 여러 시스템을 거치는 동안 데이터와 권한이 흐트러질 수 있다는 우려가 이런 변화와 맞물려 있다는 설명이다.
스튜어트 부사장은 전 세계 데이터의 절반가량이 기업 데이터센터나 코로케이션 시설에 남아 있다고 말했다. 민감정보와 규제 산업의 데이터는 법적 제약 때문에 퍼블릭 클라우드의 프런티어 모델로 옮기기 어려운 경우가 있어, 데이터 주권이 AI 활용의 제약으로 작용한다는 것이다. 이 문제에 대응하기 위해 바스트데이터는 2026년 9월 엔비디아(Nvidia), 코히어(Cohere) 등과 함께 기밀 AI 실행 환경인 데이터인클레이브(DataEnclave)를 발표했다.
데이터인클레이브는 보안 가상머신에서 모델을 실행하고, 원격 암호학적 증명을 거친 뒤에만 키를 제공한다. 모든 접근 내역은 변경 방지 데이터베이스에 기록된다. 스튜어트 부사장은 검증이 없으면 모델이나 데이터에 사용할 키를 받을 수 없다고 설명하며, 이 방식으로 보안 수준이 높은 데이터에 프런티어 모델을 연결할 수 있다고 말했다. 인터뷰에서는 AI 전용 데이터 플랫폼과 기밀 컴퓨팅을 활용해 규제 데이터에 AI 도구를 적용하는 방안도 논의됐다.