엔비디아(Nvidia)가 장기 과업용 AI 에이전트의 성능은 기반 모델보다 메모리·맥락·피드백을 관리하는 하네스에 더 크게 좌우될 수 있다는 연구 결과를 내놨다. 맞춤형 하네스와 감독 에이전트를 적용한 클로드 오푸스 5는 대화형 추론 벤치마크 ARC-AGI-3에서 100%를 기록했지만, 하네스 없이 모델만 사용했을 때는 30%에 그쳤다.
테크크런치(TechCrunch)는 8월 22일 엔비디아의 연구를 인용해 이같이 보도했다. 엔비디아 AI 부문의 제품 담당 부사장 아델 엘 할락(Adel El Hallack)은 에이전트가 모델 자체뿐 아니라 모델 주변의 도구 집합인 하네스, 실행 환경, 접근 가능한 기술과 라이브러리까지 포함한다고 설명했다.
장기 과업은 단순히 프롬프트에 답하는 것이 아니라 수일에 걸쳐 여러 결정을 연결해 결과물을 완성하는 작업을 뜻한다. 하네스는 이 과정에서 에이전트의 메모리와 맥락, 피드백을 관리하며 모델이 작업 도중 주의가 흐트러지거나 목표에서 벗어나지 않도록 돕는다. 엘 할락 부사장은 일반적으로 에이전트를 모델의 API처럼 이해하지만 실제로는 모델과 이를 둘러싼 실행 구조의 결합이라고 말했다.
엔비디아 연구진은 지시사항 없이 제공되는 2차원 게임들로 구성된 ARC-AGI-3를 시험에 활용했다. 모델은 게임 규칙을 스스로 파악해 이겨야 하며, 100%는 인간처럼 모든 게임을 해결했다는 뜻이다. 클로드 오푸스 5는 하네스 없이도 시험 모델 가운데 최고인 30%를 기록했지만, 메모리 관리 기능을 조정하고 감독 에이전트를 추가하자 100%로 올라갔다.
감독 에이전트는 주 에이전트가 작업을 수행하는 동안 일종의 최고경영자처럼 방향을 점검하는 역할을 한다. 길이 막히거나 실패할 가능성이 큰 경로를 탐색하면 다른 방향을 권하고, 이전에 시도한 경로를 다시 검토하도록 유도한다. 오픈AI(OpenAI)도 지난달 ARC-AGI-3에서 자사 모델 점수가 10% 미만에 그치자 하네스 설정 두 가지를 바꿔 성적을 세 배 높였지만, 엔비디아 연구처럼 100%에 도달하지는 못했다.
엔비디아 연구진은 에이전트 변형 연산자(Agentic Variation Operators·AVO)라는 자체 하네스를 만들었다. AVO는 새 엔비디아 제품이 아니라 이번 연구에 사용한 구조이며, 현재 많은 이용자가 클로드 코드(Claude Code), 코덱스(Codex), 헤르메스(Hermes)처럼 단일 계층 하네스에 의존하는 것과 대비된다. 엔비디아는 니모(NeMo) 브랜드 아래 하네스 구축에 필요한 기술 구성요소를 제공하고 있으며, 상용 기술과 공개 기술이 함께 포함돼 있다.
이번 결과는 에이전트 성능뿐 아니라 비용에도 하네스 선택이 영향을 준다는 분석과 맞닿아 있다. 데이터브릭스(Databricks) 최고경영자 알리 고드시(Ali Ghodsi)는 테크크런치에 같은 모델이라도 하네스가 다르면 비용이 크게 달라지고, 잘못된 하네스는 비용을 두 배로 늘릴 수 있다고 말했다. 엔비디아는 개방형 하네스를 사용하면 정확도와 인프라, 실행 환경을 직접 조정할 수 있어 보안 침해에 대응하면서 에이전트 생태계를 발전시키는 데 유리하다고 주장했다.