터미널벤치 사이언스(Terminal-Bench-Science)가 과학 연구 업무를 수행하는 AI 에이전트를 평가하며, 클로드 오푸스 5가 30%의 과제 해결률을 기록했다고 발표했다. 터미널벤치 사이언스는 8월 28일 웹사이트에 공개한 발표문에서 스탠퍼드대 연구진이 주도하고 터미널벤치 개발팀과 여러 과학 분야·연구기관 전문가들이 함께 구축했다고 밝혔다.
첫 공개 버전인 터미널벤치 사이언스 0.1은 생명과학, 물리과학, 지구과학, 수학, 공학 분야의 70개 과제로 구성됐다. 과학 데이터 분석과 통계적 추론, 시뮬레이션, 최적화, 정리 증명, 이미지 복원, 신호 처리, 역문제, 센서 보정, 모델 적합, 분류, 과학적 머신러닝 등이 평가 대상이다.
각 모델은 70개 과제에서 세 차례씩 독립 시험을 치렀다. 클로드 오푸스 5(Claude Opus 5)는 클로드 코드(Claude Code)와 함께 30%의 해결률로 가장 높았고, GPT-5.6 솔(GPT-5.6 Sol)은 코덱스(Codex)와 함께 22.4%, 클로드 페이블 5(Claude Fable 5)는 클로드 코드와 함께 21.4%를 기록했다. 클로드 오푸스 4.8(Claude Opus 4.8)은 10.5%였으며, GPT-5.6 테라(GPT-5.6 Terra), 키미 K3(Kimi K3), 그록 4.6(Grok 4.6)은 모두 10%에 못 미쳤다.
오픈 모델 가운데서는 GLM 5.3이 8.1%로 가장 높았다. GPT-5.6 루나(GPT-5.6 Luna)는 3.3%로 최하위였다. 터미널벤치 사이언스는 터미널벤치 3.0과 비슷한 수준으로 모델을 구분하면서도, 두 평가에 모두 참여한 모든 모델의 해결률을 10%포인트 이상 낮췄다. 최신 프런티어 AI(frontier AI) 모델을 겨냥해 과제를 조정한 결과라는 설명이다.
평가는 단순한 정답률에 그치지 않는다. 에이전트가 현실적인 연구 환경에서 생성한 분석 결과, 시뮬레이션, 증명, 코드, 데이터 산출물을 과제별 재현 가능 검증 방식으로 채점한다. 이를 통해 과학 연구에서 실제로 수행되는 업무를 얼마나 처리하는지, 기능이 개선됐는지와 한계가 어디에 남았는지를 확인하도록 설계됐다.
과제는 깃허브(GitHub)에서 연구자들이 공개 절차로 제안한다. 검토자들은 과학적으로 근거가 있고 측정할 가치가 있는지 논의한 뒤 구현 요청을 심사하며, 과학 분야 검토자는 타당성과 현실성을, 기술 검토자는 과제 구성과 검증 방식을 살핀다. 920개 제안 중 464개가 구현 승인을 받았고 386개 풀 리퀘스트가 열렸지만, 0.1 버전에 포함된 과제는 70개에 그쳤다.
터미널벤치 사이언스는 모델 발전에 맞춰 정기적으로 과제를 추가·개선하는 연속형 평가를 지향한다. 연구자들이 실제 업무를 제시하고 결과를 검증하면, 과학 현장의 요구와 AI 개발 사이에 피드백 순환이 만들어진다는 구상이다. 전체 70개 과제 평가에 든 비용과 해결률을 비교한 분석에서는 GPT-5.6 루나, 키미 K3, GPT-5.6 테라가 저비용 구간에 위치했다.
원문 보기 (terminal-bench-science.ai)