에이전트 스킬 100개 깔았더니, 맞는 걸 고를 확률 3.3%로 주저앉았다

스킬 창고를 5개에서 100개로 늘렸다. 에이전트가 맞는 스킬을 실제로 집어 든 비율은 29.6%에서 3.3%로 주저앉았다. 하지만 과제 성공률은 거의 움직이지 않았다.

지난 14일 arXiv에 올라온 논문 Demystifying Agent Skills: Why They Work-Until They Don’t의 실측값이다. 프린스턴대(Princeton University)와 스탠퍼드대, UC샌디에이고, 서던캘리포니아대(USC), 존스홉킨스대 연구진이 함께 썼다. 이들은 벤치마크 세 종과 에이전트 두 벌을 오가며 얻은 시행 기록 8135건을 정규화하고, 그중 240건을 손으로 코딩해 238개 라벨을 남겼다.

지금까지 스킬 평가는 성공률 한 줄로 끝났다. 이 논문은 스킬이 언제 도움이 되고 무엇 때문에 도움이 되며 어디서 무너지는지를 따로 떼어 재는 쪽으로 질문을 바꿨다.

스킬은 왜 유행했나

에이전트 스킬은 절차 지식을 마크다운 문서 한 장으로 묶은 꾸러미다. 앤트로픽(Anthropic) 공식 문서는 스킬을 세 단계로 나눠 읽어 들인다고 설명한다. 시작할 때 컨텍스트에 올라가는 건 이름과 설명뿐이고, 스킬 하나당 약 100토큰이다. 본문은 그 스킬이 걸렸을 때만 5000토큰 미만으로 들어오고, 첨부 파일과 스크립트는 실제로 열어보기 전까지 0토큰이다.

점진적 공개(progressive disclosure)라 부르는 이 구조가 스킬을 띄웠다. 앤트로픽 문서는 이 설계 덕분에 컨텍스트 부담 없이 많은 스킬을 설치할 수 있다고 적었고, 툴 정의 전체가 컨텍스트에 상주하는 MCP와 견주며 스킬이 부각된 근거도 여기다.

효과는 이미 수치로 확인된 바 있다. 지난 2월 공개된 벤치마크 SkillsBench는 8개 도메인 87개 과제에서 다듬은 스킬을 붙였더니 평균 통과율이 33.9%에서 50.5%로 올랐다고 보고했다. 같은 실험에서 모듈 3개 이하의 좁은 스킬이 큰 묶음보다 성적이 좋았다.

이번 논문이 찌른 지점이 여기다. 토큰은 아꼈다. 하지만 100개 가운데 맞는 걸 골라내는 문제는 없어진 게 아니고, 컨텍스트 창에서 검색 정확도로 자리를 옮겼을 뿐이다.

네 갈래로 쪼갠 실험

논문은 질문을 넷으로 나눴다. 절차를 어떤 형식에 담느냐, 성공·실패 표시가 무슨 구실을 하느냐, 다른 에이전트 프레임워크로 옮겨도 통하느냐, 스킬 창고를 어떻게 짜느냐가 검색과 실제 사용을 어떻게 바꾸느냐다. 재료를 고정한 채 한 번에 한 조건만 흔들어 효과를 갈라내는 설계다.

평가는 Terminal-Bench 2.0과 Pro, 그리고 SkillsBench에서 돌렸다. Terminal-Bench는 명령줄 환경의 실무 과제 89개를 검증 테스트로 채점하는 벤치마크로, 프런티어 모델도 65%를 넘기지 못한다. SkillsBench는 과제와 스킬의 정답 짝을 미리 달아둬서 검색 실험을 통제할 수 있다.

에이전트 조합은 두 벌이다. 코덱스(Codex)에 GPT-5.3-Codex를 얹은 쪽, 제미나이(Gemini) CLI에 Gemini-3.1-Pro-Preview를 얹은 쪽이다. 스킬 없이 맨몸으로 돌린 기준선은 코덱스 조합에서 Terminal-Bench-2 59.35%, SkillsBench 50.83%, Terminal-Bench-Pro 53.94%였다.

비교 대상은 워크플로 메모리(Workflow Memory)다. 지난 실행 기록을 다듬어 흔적 그대로 남겨두는 방식으로, 스킬은 똑같은 기록을 표준 절차 문서 한 장으로 압축한다.

재료는 같고 담는 그릇만 다르다.

실패 기록으로 만든 스킬이 더 나았다

연구진은 스킬을 빚는 재료를 성공 궤적과 실패 궤적으로 섞어가며 바꿨다. 5s0f는 성공 5건, 0s5f는 실패 5건이라는 뜻이다.

코덱스 조합의 Terminal-Bench-2 성적을 보자. 성공만 다섯 건 넣었을 때 워크플로 메모리는 44.5%, 스킬은 75.5%였다. 성공 셋에 실패 둘을 섞었더니 스킬은 오히려 78.1%로 올랐다.

압권은 마지막 줄이다. 실패 궤적만 다섯 건 넣어 만든 스킬이 51.6%를 냈다. 성공 궤적만 다섯 건 넣어 만든 워크플로 메모리의 44.5%보다 높다.

무엇이 잘못됐는지만 담긴 문서가, 무엇이 잘됐는지 담긴 기록을 앞질렀다.

실험을 통틀어 스킬은 같은 재료로 만든 워크플로 메모리를 6.06%포인트 앞섰고, 95% 부트스트랩 신뢰구간은 0.76에서 11.36 사이로 나왔다. 하한이 0.76인 만큼 차이가 있기는 하나 여유가 크지는 않다.

성공·실패 표시를 지우면 얘기가 달라진다. 제미나이 조합의 3s2f 구성에서 표시를 붙인 스킬은 74.6%를 냈고, 표시를 뗀 스킬은 40.0%로 주저앉았다. 실패가 섞일수록 라벨이 무거워진다.

실패 기록이 값을 하려면 실패라는 사실이 문서에 적혀 있어야 한다.

절차 앵커라는 대답

왜 실패 기록이 도움이 되는가. 논문의 답은 스킬이 지식을 넣어주는 물건이 아니라는 데 있다.

연구진은 스킬이 개입한 사례를 열두 갈래로 분류했다. 절차 앵커(procedural anchor)가 65.7%였다. 없던 사실을 채워 넣는 지식 주입(knowledge injection)은 4.5%에 그쳤다.

절차 앵커는 순서, 체크리스트, 툴 호출 차례, 검증 계획처럼 무엇을 어떤 차례로 하라는 뼈대를 말한다. 실패 궤적에도 이 뼈대는 고스란히 남는다. 어디서 넘어졌는지가 다음 사람에게는 걸어갈 순서가 되기 때문이다.

실패 유형별 감소폭이 이를 뒷받침한다. 맨몸 상태에서 5.3%를 차지하던 환경·인프라 실패는 스킬을 붙이자 0.2%로 사라지다시피 했다. 출력 형식 불일치는 7.4%에서 3.2%로, 백그라운드 서비스 관리 실패는 2.7%에서 0.8%로 줄었다.

전부 몰라서 나는 사고가 아니라 순서를 놓쳐서 나는 사고다.

절차를 담은 문서라는 성격은 이사도 견뎠다. 연구진이 코덱스 쪽에서 만든 스킬을 제미나이 쪽으로 옮겨 붙였더니 성적이 목표 프레임워크의 맨몸 기준선 위에서 유지됐다. 다만 이 대목은 논문이 그래프로만 제시해 정확한 수치는 확인되지 않는다.

그러면 스킬을 많이 만들면 되는가

여기서 논문이 방향을 튼다. 네 번째 질문은 스킬 창고를 5개, 10개, 20개, 50개, 100개로 키우며 세 갈래를 따로 쟀다.

1번은 Qwen3-Embedding-0.6B로 순위만 매기는 임베딩 검색이다. 2번은 모델에게 쓸 만한 스킬을 지목만 시키는 단계다. 3번은 창고 전체를 열어두고 실제로 과제를 풀게 한 뒤, 손에 쥔 게 정답 스킬이었는지 확인하는 단계다. 세 값은 서로 넘겨주지 않고 독립해서 쟀다.

무작위로 채운 창고에서 임베딩 검색 정밀도는 스킬이 100개로 불어난 뒤에도 84.1%를 유지했다. 모델에게 지목만 시킨 단계는 69.8%였다. 실제 사용 정밀도는 4.4%로 떨어졌다.

검색기가 못 찾은 게 아니다. 찾아준 걸 에이전트가 손에 쥐지 않았다.

헷갈리는 스킬을 일부러 채워 넣은 창고에서는 임베딩 정밀도가 53.4%까지 떨어졌지만, 성공률은 39.6%로 거의 그대로였다. 반대로 서로 안 닮은 스킬만 모은 창고는 임베딩 정밀도가 93.2%로 가장 높았는데도 실제 사용 정밀도는 1.7%로 가장 낮았고, 성공률은 36.4%에 머물렀다.

세 창고를 평균 내면 5개에서 29.6%, 100개에서 3.3%다. 초록에 실린 그 숫자다.

검색이 무너져도 성공률은 왜 버티나

성공률 쪽을 다시 보면 기묘하다. 무작위 창고의 성공률은 스킬 5개일 때 31.8%였다가 100개에서 41.9%로 오히려 올랐다. 유사 창고는 41.7%와 39.6%, 비유사 창고는 35.7%와 36.4%로 사실상 평평하다.

앞의 65.7%가 이 역설을 풀어준다. 스킬이 건네는 값어치가 그 스킬 고유의 지식이 아니고 절차 뼈대에 있다면, 조금 어긋난 스킬을 집어도 뼈대는 그대로 나온다. 논문은 정답 스킬 호출이 성공의 충분조건도 필요조건도 아니라고 못 박았다.

앤트로픽 문서가 스킬 설명문에 무엇을 하는지와 언제 쓰는지를 함께 적으라고 강조하는 이유도 같은 자리에 있다. 발동을 가르는 건 설명문 한 줄인데, 그 한 줄이 100개로 늘어나면 서로를 가린다.

같은 벽은 툴 쪽에서도 확인됐다. 메타(Meta) 연구진은 지난 5월 툴 3251개를 늘어놓은 ToolBench 실험에서, 상위 5개만 보여주면 6~20위에 정답이 있는 어려운 질의를 하나도 건지지 못한다고 보고했다. 후보 개수를 질의마다 늘렸다 줄였다 하자 그 구간에서 16.7%를 되찾았다. 툴 370개짜리 BFCL에서는 평균 7개만 보여주고도 50개를 보여준 설정과 같은 90%대를 냈다.

스킬이든 툴이든 후보를 쌓아 올리는 방식은 같은 지점에서 걸린다.

점진적 공개는 컨텍스트 비용을 지웠지 선택 문제를 지우지 않았다.

어디서 무너지는가

논문은 실패를 두 덩어리로 갈랐다. 실행과 검증 층위, 그리고 호출과 적용 범위 층위다.

스킬을 붙인 상태에서 지침을 잘못 갖다 쓰거나 아예 무시한 사례가 10.0%다. 실제로 돌려보지 않고 코드만 훑어 통과시킨 정적 검증이 11.7%, 알고리듬 오류가 7.4%, 시간·예산 초과가 4.4%로 뒤를 이었다. 스킬은 환경 설정 사고를 거의 지웠지만, 판단이 필요한 대목은 손대지 못한 채 그대로 남겼다.

연구진이 정리한 실패 조건은 셋이다. 전제가 취약할 때, 맥락이 안 맞을 때, 상황에 맞춰 고쳐 쓰지 못할 때다.

이 결과를 어디까지 믿을 수 있나

논문은 스스로 선을 그었다. 실험은 터미널과 툴 사용 과제에 한정됐고, 긴 호흡의 웹 조작이나 열린 협업은 다루지 않았다. 에이전트와 모델 조합도 두 벌뿐이다.

열두 갈래 분류는 정규화 기록의 약 3%를 층화 표집해 손으로 코딩한 결과다. 드물게 나타나는 행동은 과소 대표됐을 수 있다고 연구진이 직접 적었다.

네 번째 실험에는 구멍이 하나 더 있다. 도중에 GPT-5.3-Codex를 쓸 수 없게 돼 GPT-5.4로 갈아탔다. 연구진은 이 구간의 값을 다른 실험과 나란히 놓고 비교하지 말라고 단서를 달았다.

스킬 창고를 몇 개까지 두는 게 적정인지, 검색을 어떻게 고쳐야 실제 사용 정밀도가 올라가는지는 이 논문이 풀지 않았다. 실측하고 문제를 특정한 데서 멈춘다.

연구진은 논문을 이렇게 닫았다.

“스킬 사용은 기억을 한 번 주입하는 장치가 아니라 수명주기 문제로 봐야 한다. 더 나은 자기진화 에이전트를 만들려면 스킬을 더 많이 찍어내는 것만으로는 부족하고, 에이전트가 절차 지식을 어떻게 표현하고 검색하고 활용하는지를 함께 고쳐야 한다.”