메타 뮤즈 스파크는 어디에 쓰나…빠른 상담엔 맞고 서버 작업엔 안 맞는다

핵심 요약

1

장문 정보 회수:뮤즈 스파크 1.3은 512K~1M 토큰 구간의 정보 회수 시험에서 98.1%를 기록해 대용량 문서에서 특정 정보를 찾는 업무에 적합하다.

2

정형 상담 강점:규정에 따라 도구를 호출하는 은행 상담 시험에서 50.5%로 1위를 기록했고, max 모드의 첫 응답 시간은 측정된 프런티어 모델 중 가장 짧은 65초다.

3

운영 자동화 취약:터미널 작업 시험에서 33.3%, 기업용 SaaS 연동 자동화 시험에서 57.9%를 기록해 서버 운영과 복합 워크플로에는 적합하지 않다.

4

지식 응답 한계:사실 기반 질의응답에서 전체 질문의 37.8%에 답하지 않았고 정답률은 43.6%로 비교 모델 8종 중 최하위였다.

5

저가 요금의 대가:출력 단가가 낮은 기여자 요금제는 입력과 답변을 메타의 차기 모델 학습에 제공해야 하며 max 모드도 사용할 수 없어 민감 정보를 다루는 서비스에는 일반 요금제가 적합하다.

기사 목차 펼치기 / 접기

메타(Meta)의 뮤즈 스파크 1.3(Muse Spark 1.3)은 긴 문서에서 정보를 찾아오는 일과 규칙이 정해진 고객 상담에 최적화돼 있고, 응답 속도도 프런티어 모델 가운데 가장 빠르다. 하지만 서버를 제어하는 운영 자동화와 여러 업무 애플리케이션을 잇는 워크플로, 지식을 묻는 질의응답은 경쟁 모델에 맡기는 편이 낫다.

종합 점수만 놓고 보면 뮤즈를 도입할 이유가 잘 드러나지 않는다. 독립 평가기관 아티피셜 애널리시스(Artificial Analysis)의 지능지수에서 뮤즈 1.3(max)은 48점으로 프런티어 8종 가운데 7위에 그쳤다. 평가기관의 항목별 세부 측정치를 실제 기업 업무 단위로 재분류하면 전혀 다른 실무 평가가 도출된다. 기준은 지능지수 v4.3.2, 10월 12일 조회 값이다.

메타는 10월 12일 상위 모델 뮤즈 원더(Muse Wonder)와 뮤즈 원더 풀(Muse Wonder Full)을 내놨다. 원더의 API 단가는 100만토큰당 입력 4달러, 출력 20달러로 스파크 1.3보다 입력은 3.2배, 출력은 4.7배 비싸다. 원더 풀은 월 50달러 이상인 뮤즈 코드 구독에서만 쓸 수 있다. 메타는 개발자 문서에서 원더를 비용보다 성능이 중요한 장시간 작업에, 스파크를 물량이 많거나 지연과 비용에 민감한 작업에 배정했다. 이 기사는 그중 스파크 1.3을 다룬다.

성적표가 가린 것

메타가 9월 2일 내놓은 성적표는 뮤즈를 최상위 프런티어와 같은 체급으로 묘사한다. 11개 평가 지표 가운데 뮤즈가 단독 1위에 오른 종목이 셋, 공동 1위가 하나다. 비교 상대는 오픈AI(OpenAI)의 GPT-5.6 솔(GPT-5.6 Sol)과 앤트로픽(Anthropic)의 클로드 오푸스 5(Claude Opus 5)였다.

두 경쟁 모델은 7월에 출시됐고, 뮤즈 1.3이 공개된 이튿날부터 4주 사이 경쟁사의 차세대 모델 8종이 쏟아졌다. 메타가 견준 여름 세대와는 동급이 맞지만, 클로드 오푸스 5.5(58점)나 GPT-6.1 솔(52점) 같은 가을 세대에는 한 걸음 뒤진다.

자기가 고른 상대와 고른 과목으로 치른 모의고사다.

메타가 내세운 1위 4개 항목도 다른 독립 벤치마크와 맞대면 둘만 남는다.

메타 성적표에 기재된 경쟁사 점수는 시험 버전과 평가 과제 세트가 제각각이다. 업무 자동화 벤치마크인 오토메이션벤치(AutomationBench)에서 동일한 오푸스 5가 메타 표에서는 50.3%로 적혔으나, 앤트로픽 시스템 카드에서는 26.9%로 명시됐다. 메타가 자체 공개 과제 세트를 별도로 채택했기 때문이다. SWE-Atlas 지표의 오푸스 5 점수 52.7% 역시 메타가 공시한 원문 출처에서 확인되지 않는다. 메타 역시 방법론 문서에서 아래와 같이 한계를 인정했다.

“우리의 측정은 가능한 한 공통 설정을 쓰지만 최선의 노력에 그친다. 프롬프트와 도구, 실행 환경이 독점 모델에 맞게 조정되지 않았을 수 있고, 각 회사가 최적화한 최고 성능을 반영하지 못할 수 있다.”

진짜 질문은 등수가 아니라 쓰임새다.

뮤즈 스파크 1.3은 어떤 업무에 맞나

가장 뛰어난 역량을 발휘하는 영역은 방대한 문서에서 정확한 정보를 찾아내는 색인 작업이다. 100만토큰 분량의 대화 기록 속에 유사한 문장 8개를 분산 배치하고 정확한 타깃 1개를 회수하도록 요구하는 시험이 MRCR이다. 뮤즈는 512K~1M 토큰 구간에서 98.1%를 기록했다. 오픈AI가 GPT-6 아스트라 발표문에 수록한 동일 구간 점수가 96.3%였고, 비교 대상이었던 GPT-5.6 솔은 73.8%에 머물렀다.

과금 체계에서도 문맥 길이에 따른 추가 할증이 붙지 않는다. 메타 모델 API 공식 문서에 따르면 문맥 창을 최대치까지 채워도 동일한 토큰 단가가 청구된다. 수백 쪽에 달하는 기업 계약서 묶음에서 특정 조항을 추출하거나, 수개월 치 서버 로그에서 단일 보안 이벤트를 색출하는 실무에 부합한다.

사전에서 단어를 빨리 찾는 일과 논술을 쓰는 일은 별개다.

정보를 찾아내는 탐색 역량과 내용을 따져 묻는 심층 추론은 전혀 다른 차원의 문제다. 장문 독해 추론을 평가하는 AA-LCR 벤치마크에서 뮤즈는 83%에 그치며 클로드 페이블 5.1(85.3%)과 오푸스 5.5(84.7%)에 밀렸다. 회수한 데이터를 요약·비교하고 전략적 판단까지 모델에 일임해야 하는 업무라면 다른 모델을 채택해야 한다.

규칙이 엄격히 정해진 정형 고객 상담도 뮤즈의 유력한 활동 무대다. 타우3 뱅킹(τ³-Banking)은 가상 은행 고객을 응대하며 사내 규정에 따라 정밀하게 도구를 호출해 업무를 처리하는 시험이다. 뮤즈는 50.5%를 획득해 아티피셜 애널리시스가 측정한 전체 모델 중 1위를 기록했다. 페이블 5.1이 47.2%, 아스트라가 41.4%에 그쳤다. 오푸스 5.5와 클로드 소넷 5.5, GPT-6.1 솔, 제미나이 4 아르곤(Gemini 4 Argon)은 아직 해당 시험을 치르지 않았다.

상담 환경에서는 지연시간도 결정적인 품질 척도다. 질문을 입력받고 첫 번째 토큰을 출력하기까지 뮤즈(max)는 65초가 소요돼 측정치가 존재하는 프런티어 7종 가운데 가장 짧았다. 오푸스 5.5는 749초, 아스트라는 391초, GPT-6.1 솔은 348초가 걸렸다. 이 지연시간에는 모델이 답변을 생성하기 전에 내부적으로 추론하는 ‘생각 시간’이 포함된다. 추론 강도를 xhigh로 한 단계 낮출 경우 첫 응답 시간은 22초로 급감하며, 지능지수는 48점에서 45점으로 3점 조정된다.

규정집을 지키면서 손님을 오래 세워 두지 않는 창구 직원이다.

메타의 제품 설계 기조도 이와 궤를 같이한다. 메타는 모호한 사용자 요청에는 재차 반문하고, 영향도가 큰 금융·결제 액션에 앞서 사전 승인을 구하며, 비가역적인 데이터 삭제 작업에 신중하도록 모델 행동을 조율했다고 공식 발표문에서 명시했다. 메타가 자체 배포한 개인용 AI 비서 뮤즈도 지금은 뮤즈 스파크 엔진 위에서 식료품 장보기나 매장 예약 같은 생활 밀착형 업무를 처리한다. 메타는 이 비서를 유료 구독자부터 상위 모델 원더로 옮기겠다고 밝혔지만 일정은 내놓지 않았다.

일반 오피스 문서 작업에서는 중상위권 성능을 유지한다. 보고서, 스프레드시트, 프레젠테이션 제작 능력을 종합 평가하는 GDPval-AA 지표에서 뮤즈는 1681점을 받아 아스트라(1574점), GPT-6.1 솔(1592점), 아르곤(1624점)을 제쳤다. 다만 클로드 오푸스 5.5(1866점)와 소넷 5.5(1838점)의 완성도에는 미치지 못한다.

중간 난도의 코딩 과제를 빠르게 매듭짓는 작업에도 적합하다. 아티피셜 애널리시스 코딩 벤치마크가 메타 전용 개발 도구인 ‘뮤즈 코드(Muse Code)’로 측정한 딥SWE 점수는 71.7%로 오푸스 5.5(68.4%)와 아스트라(67.6%)를 앞질렀다. 단일 과제 해결에 소요된 시간은 18분, 비용은 3.98달러(약 5300원)였던 반면, 소넷 5.5는 87분과 14.19달러를 소모했다.

동영상 데이터 처리에서는 가능성이 확인됐다. 메타 개발자 문서에 따르면 뮤즈는 동영상 파일을 별도 전처리 없이 직접 입력받아 화면 프레임과 오디오 트랙을 통합 해석한다. 클로드와 GPT의 주력 모델이 영상 직접 입력을 지원하지 않아 초당 프레임 이미지로 분할 추출해야 하는 구조와 대조적이다. 구글(Google)의 제미나이 3.8 플래시가 뮤즈와 유사하게 비디오 네이티브 입력을 수용한다. 다만 해당 문서에서도 1.3의 음성 인식과 이해 기능은 “아직 완전하게 지원되지 않는다”고 명시돼 있으며, 동영상 이해 성능에 대한 공인 독립 벤치마크 수치는 아직 부재한 상태다.

맡기면 안 되는 일

운영체제 셸과 터미널 환경을 제어하는 인프라 운영 업무는 뮤즈의 투입을 피해야 한다. CLI 명령어를 실행해 소프트웨어 패키지를 배포하고 빌드 오류를 디버깅하는 터미널벤치 4.0(Terminal-Bench 4.0)에서 뮤즈는 33.3%라는 초라한 성적을 거뒀다. 소넷 5.5(63.6%)와 오푸스 5.5(59.6%)의 절반 수준에 불과하다. 쿠버네티스(Kubernetes) 클러스터 장애 원인을 규명하는 ITBench 평가에서도 33.2%에 머물며 페이블 5.1(49.5%)과 아스트라(48.6%)에 크게 뒤처졌다.

이종 엔터프라이즈 SaaS 소프트웨어를 연동하는 워크플로 자동화 역시 취약 지점이다. 이메일 클라이언트, CRM 시스템, 메신저를 가상화한 환경에서 복합 업무를 처리하는 AutomationBench-AA에서 뮤즈는 57.9%로 프런티어 8종 중 꼴찌에 머물렀다. 1위인 제미나이 4 아르곤(77.5%)과의 격차는 19.6%p에 달한다.

일반 지식 질의응답 지표는 수치 착시에 유의해야 한다. 사실 기반 질의응답 벤치마크인 AA-옴니사이언스(AA-Omniscience)에서 뮤즈의 환각률은 32.9%로 오푸스 5.5(58.6%)보다 현저히 낮아 보인다. 하지만 해당 평가의 환각률은 정답을 내지 못한 문항 중 허위 정보를 날조한 비율을 뜻한다. 뮤즈는 전체 질문의 37.8%에 대해 답변 자체를 기권했으며, 정답률은 43.6%로 8개 모델 중 최하위였다.

질문 100개를 기준으로 정규화해 다시 산출하면 실체가 분명하게 드러난다.

정답 수에서 오답 수를 차감한 값은 아티피셜 애널리시스의 공식 옴니사이언스 지수(뮤즈 25점, 오푸스 5.5 46점)와 일치한다. 허위 날조 오답의 절대 건수는 오푸스 5.5와 유사하지만, 정작 답을 내놓았을 때 적중할 확률은 8개 모델 중 가장 낮다.

손은 자주 들지만, 낸 답의 정답률은 반에서 꼴찌인 학생이다.

허위 답변을 극단적으로 통제해야 하는 업무라면 구글 아르곤이 적합하다. 다만 아르곤은 10월 12일 기준 구글 클라우드 공식 API 카탈로그에 아직 등재되지 않았다.

단 하나의 날조가 치명적인 리스크로 직결되는 도메인에서는 답변을 극도로 사리는 성향이 방어막이 되기도 한다. 단 1건의 환각도 실격 처리하는 법률 에이전트 시험인 하비 랩(Harvey LAB-AA)에서 뮤즈는 8.9%로 그록 4.7(Grok 4.7, 9.4%)과 함께 상위권에 올랐다. 오푸스 5.5는 4.2%였다. 메타는 10월 12일 뮤즈 원더 발표문에서 상위 모델 원더 10%, 원더 풀 13.1%를 제시했지만, 아티피셜 애널리시스 공개 페이지에는 아직 원더의 이 시험 값이 없다. 가장 높은 값을 넣어도 통과율이 13%대여서, 복잡한 법무 계약 검토를 AI 에이전트에 단독으로 맡길 단계는 아니다.

외부 웹 페이지를 실시간 크롤링하는 에이전트 파이프라인에서도 각별한 경계가 요구된다. 웹 문서 내부에 은닉된 비인가 명령어로 모델의 통제권을 탈취하는 간접 프롬프트 주입(프롬프트 인젝션) 공격이 대표적이다. 앤트로픽이 오푸스 5.5 시스템 카드에서 공개한 15회 시도 기준 방어율 테스트에서 이전 세대 뮤즈 1.2는 24.2% 침투를 허용한 반면, 오푸스 5.5의 피습률은 1%에 불과했다. 메타는 1.3 버전에서 보안 방벽을 강화했다고 밝혔으나 정량적 실측치는 공개하지 않았다.

그러면 GPT-6.1 솔을 쓰면 되나

상당수 기업 업무에서는 그 선택이 합리적이다. 9월 29일 배포된 GPT-6.1 솔은 지능지수 52점으로 뮤즈보다 4점 높고, 과제당 소요 비용은 0.72달러(약 960원)로 뮤즈(1.6달러)의 절반을 밑돈다. 코딩 에이전트 지수 역시 63점 대 54점이며, 코딩 과제 1건 처리에 1.04달러와 16분이 소요돼 뮤즈 코드보다 저렴하고 신속하다.

공식 토큰 단가는 입력 2달러, 출력 10달러로 뮤즈의 두 배가 넘는다. 그럼에도 최종 청구서가 저렴한 핵심 요인은 토큰 효율성이다. 지능지수 벤치마크 단일 과제당 6.1 솔은 출력 토큰 3만8000개를 소비한 반면, 뮤즈는 6만개를 소모했다.

메타가 성적표에서 꺾은 상대는 과거의 모델이다.

뮤즈가 우위를 지켜낸 영역은 세 가지로 압축된다. 첫 응답 속도는 뮤즈가 65초로 6.1 솔(348초)보다 훨씬 빠르다. 512K 이상 긴 문서 회수 역량은 오픈AI가 6.1 솔 측정치를 공개하지 않았으며, 전작 5.6 솔은 73.8%에 그쳤다. 동영상 파일을 프레임 이미지로 나누지 않고 그대로 입력하는 기능도 6.1 솔에는 없다.

“자기가 고른 상대와 고른 과목으로 치른 성적표 뒤에는, 좁은 창구와 팽창된 토큰 청구서라는 냉혹한 실무 현실이 기다린다.”

요금제로 고르는 법

메타 모델 API는 동일한 뮤즈 1.3 모델을 두 가지 상반된 요금 체계로 판매한다. 기여자(Contributor) 요금제는 출력 토큰 단가가 일반 요금제보다 95% 저렴하다. 그 대가로 기업의 프롬프트와 생성 답변 데이터를 메타의 차세대 파운데이션 모델 학습에 제공하는 데 동의해야 한다.

기여자 요금제의 출력 단가는 소형 경량 모델인 GPT-6 루나(GPT-6 Luna)와 클로드 하이쿠 5.5(Claude Haiku 5.5)의 0.5달러보다도 저렴하다. 하지만 메타 공식 추론 가이드는 최상위 지능 모드인 max를 일반 요금제 전용으로 못 박았다. 분당 150회 호출 한도로는 상용 엔터프라이즈 서비스를 운영하기 어렵다.

공개 데이터 실험엔 헐값 요금제가 맞고, 실서비스는 정가다.

사외 유출이 무방한 공개 데이터로 파이프라인 타당성을 검증하는 프로토타입 단계에서만 기여자 요금제가 유효하다. 민감 고객 정보를 다루는 상용 워크플로는 정가 일반 요금제를 채택해야 한다.

작업 성격별 추천 조합

종합 48점짜리 모델이 설 자리는 생각보다 좁다.