핵심 요약
AI 요약
기사 목차 펼치기 / 접기
AI가 대신 흥정한 장터에서 모델에 따라 거래 조건이 달라졌지만 사람들의 만족도만으로는 그 차이를 알아보기 어려웠다.
사람 대신 장터에 나선 AI 대리인
팔 물건과 사고 싶은 것을 설명하고 이후의 흥정은 AI에게 맡긴다. 앤트로픽(Anthropic)이 직원 69명으로 만든 사내 중고 장터, 2026년 4월 공개한 프로젝트 딜(Project Deal) 실험의 방식이다. 사람들은 자기 대신 연락하고 거래할 대리인을 하나씩 보냈다.
사람들은 판매자와 직접 가격을 주고받지 않았다. 대리인들이 물건을 올리고 제안과 역제안을 주고받았으며 거래 도중 주인에게 승인을 구하는 개입도 없었다. 연구진은 실제 물건을 교환할 기준 회차 하나와 비교 회차 세 개로 시장을 나눴다.
두 회차는 클로드 오푸스(Claude Opus) 4.5만 썼고, 다른 두 회차에서는 클로드 오푸스 4.5와 클로드 하이쿠(Claude Haiku) 4.5를 무작위로 배정했다. 주인을 대신하는 AI의 차이가 거래에 영향을 주는지 보려는 장치였다.
같은 자전거 두고 갈린 두 가격
눈에 들어오는 물건은 고장 난 접이식 자전거다. 비교 회차에서 하이쿠는 38달러, 오푸스는 65달러에 판매를 합의했다. 원화로 각각 약 5만1000원과 8만8000원 수준이다.
실제 자전거가 두 번 팔렸다는 이야기는 아니며 같은 물건을 다른 대리인에게 맡긴 비교 회차의 합의 가격이다.
자전거 한 건만의 차이도 아니었다. 네 회차의 합의 거래 782건을 분석했을 때, 오푸스는 같은 물품과 회차의 차이를 고려해도 판매자로서 평균 2.68달러를 더 받고 구매자로서는 2.45달러를 덜 냈다. 원화로 약 3600원과 3300원이다. 성사된 거래를 분석한 수치이므로 모든 물건에서 같은 이익을 보장하거나, 모델 사용료까지 빼고 남는 수익을 계산한 결과는 아니다.
가격 격차와 엇갈린 이용자 만족도
사람들은 자신이 어느 모델을 배정받았는지 모른 채 결과를 평가했다. 모델이 달랐던 두 회차를 비교한 응답자 28명 중 17명은 오푸스 회차를 더 선호했고, 나머지 11명은 반대로 평가했다. 만족도 차이도 통계적으로 뚜렷하지 않았다.
모두가 손해를 보고도 몰랐다는 뜻은 아니며 더 높은 가격이 곧 더 큰 만족인지도 별개다. 빨리 처분한 물건에는 그만한 가치가 있을 수 있다. 시간과 번거로움을 줄이려고 거래를 맡기기도 한다.
가격 차이에 비해 설문상의 만족도 차이는 흐릿했다. 내 AI가 놓친 더 좋은 거래는 눈앞에 나타나지 않으므로 일이 끝났다는 편리함과 상대보다 유리했다는 평가는 다를 수 있다. 거래를 맡기지 않았다면 내가 어떤 값을 받았을지, 다른 AI라면 어떻게 했을지 이용자가 직접 비교하기는 어렵다. 만족스럽다는 답변 하나로 대리인의 실력을 판정하기 어려운 이유다.
돈 대신 책을 바꾼 물물교환 실험
연구진은 9월 후속 실험인 프로젝트 스왑(Project Swap)에서 여섯 사무실의 직원 201명이 내놓은 책을 AI끼리 교환하도록 했다. 이번에는 AI와 짧게 대화한 뒤 사람도 직접 책들의 선호 순서를 매겨, 주인의 취향을 따로 확인했다. 연구진이 집계한 실험 부록(Appendix)을 보면 주요 분석 대상 198명 중 188명이 순위를 제출했고 이들이 비교한 책 두 권의 조합은 모두 8040쌍이었다. 이 책 쌍들에서 AI와 사람의 선호 순서가 일치한 비율은 약 61%로, 원하는 책을 사는 데 성공한 비율과는 다르다.
AI는 자기가 파악한 취향을 기준으로 거래했다. 그 순위가 사람과 어긋나면 협상을 잘해도 주인이 덜 좋아하는 책을 받아올 수 있다. 목적지를 잘못 짚은 채 길만 능숙하게 찾는 격이다. 연구진은 최선의 배정과 협상 결과 사이의 점수 차이를 나눠 살폈고, 이 설정에서는 부족분의 약 85%가 취향을 파악하는 단계에서 생겼다고 분석했다. 전체 AI 거래 중 85%가 실패했다는 의미는 아니며, 책의 선호 순위를 점수로 바꿔 비교한 결과다.
고성능 모델 선택과 실제 만족도의 간극
협상을 잘하는 모델을 고를 이유는 있다. 책 교환에서도 AI가 추정한 취향을 기준으로 평가하면 모델별 차이가 나타났지만, 사람이 직접 매긴 순위로 평가하면 차이가 작아졌다. AI에게 유리한 거래와 사람에게 반가운 거래가 언제나 일치하지는 않았다.
참가자는 AI 회사 직원들이므로 낮은 부담으로 참여한 사내 시장을 실제 생활비가 오가는 장터와 같게 볼 수는 없다. 후속 설문도 분석 대상 198명 중 117명이 답했다. 응답하지 않은 이들의 경험까지 대표할 수는 없다. 연구진은 맡기기 전 작은 선택을 시켜보는 방법을 제안했다. 몇 가지 후보에 대해 AI와 주인이 같은 선택을 하는지 비교하면, 취향을 얼마나 이해했는지 점검할 수 있다는 설명이다. 사고 싶은 물건을 설명하는 것과 내 뜻이 전달됐는지 확인하는 것은 다른 단계다.
협상 타결 뒤 마주한 실물 전달의 한계
협상이 잘됐는지만으로는 끝나지 않았다. 연구진이 공개한 공식 보고서를 보면 일부 참가자는 끝내 책을 가져오지 않았다. 수령과 반납을 추적하는 체계도 없어, 누가 가져오지 않았는지 다른 누군가 집어갔는지 구분하기 어려웠다.
AI들은 거래를 끝냈다. 그런데 약속된 책을 받지 못한 사람이 남았다.
