박스(Box)는 엔비디아(Nvidia)의 네모트론(Nemotron) 임베딩 시스템을 제품에 통합할 에이전트용 문서 검색 기능 ‘박스 콘텐츠 리트리벌(Box Content Retrieval)’을 선보였다. 테크크런치는 11월 5일 개발자 콘퍼런스에서 공개된 이 기능이 문서에서 관련 정보를 찾아 AI 에이전트의 질의에 활용한다고 보도했다.
에이전트에 관련 문서 조각 제공
박스 콘텐츠 리트리벌은 네모트론이 만든 임베딩 메타데이터를 바탕으로 사용자의 질문이나 에이전트가 수행하는 작업에 맞는 문서 내용을 검색한다. 박스의 애런 레비 최고경영자(CEO)는 에이전트가 문서 전체를 하나씩 읽는 대신 질문과 가장 관련 있는 문서 조각을 전달할 수 있다고 설명했다. 이용자는 더 빠르고 정확하며 비용이 적게 드는 검색을 할 수 있다는 게 박스의 설명이다.
엔비디아의 생성형 AI 소프트웨어 부문 부사장 카리 브리스키는 질의 응답 속도가 4배 빨라지고 오류는 20% 줄며, 처리에 쓰이는 토큰은 90% 감소할 것으로 예상했다. 이는 실제 이용 결과가 아니라 브리스키가 제시한 기대치다. 토큰 사용량 감소는 에이전트가 처리해야 할 문서 내용을 줄인다는 뜻이며, 속도·오류 개선 수치도 해당 기능에 대한 예상으로 제시됐다.
네모트론 임베딩 모델은 대규모언어모델(LLM)로 데이터를 미리 처리해 자동 검색 시스템에서 활용할 수 있도록 하는 방식이다. 단순히 같은 키워드가 들어간 문서를 찾는 데 그치지 않고 개념상 연관된 정보를 검색할 수 있다. 박스는 법률가가 조항이나 판례를 찾는 사례를 들었다. 질문과 문서의 표현이 서로 달라도 관련 법률 개념을 바탕으로 정보를 찾을 수 있다는 것이다. 7월 공개된 네모트론 모델은 검색 품질을 측정하는 RTEB 벤치마크에서 최고 성적을 냈다.
내년 초 기업 고객에 순차 제공
박스는 이 기능이 특히 능동적으로 작업하는 AI 에이전트와 함께 쓰일 때 유용하다고 설명했다. 법률 문서처럼 관련 조항이나 선례를 찾아야 하는 작업에서, 에이전트가 문서 전체를 훑는 대신 질문에 맞는 부분을 받아볼 수 있다는 구상이다. 다만 검색 결과는 네모트론의 임베딩만으로 만들어지는 것이 아니라 박스가 기존에 갖춘 메타데이터와 접근 권한 관리에도 의존한다. 따라서 모델을 무료로 이용할 수 있다고 해도 박스의 검색 시스템을 그대로 재현하기는 어렵다는 설명이다.
이 기능은 내년 초부터 박스 엔터프라이즈 어드밴스(Enterprise Advance) 고객에게 순차적으로 제공될 예정이다. 레비 CEO는 아마 간단한 API 하나에 다섯 가지 기술을 담았을 것이라고 말했다. 박스는 검색 기능에 에이전트가 필요한 문서 정보를 선별해 제공하는 구조를 적용했고, 이 기능은 엔비디아의 네모트론 임베드(Nemotron Embed) 프로젝트를 구현했다.