핵심 요약
AI 요약
기사 목차 펼치기 / 접기
작은 언어 모델도 스마트폰 속 복잡한 개인비서 작업을 온전히 완결할 수 있을까. 테더(Tether)의 경량화 에이전트 모델 봇사이(BotPsy)는 공식 벤치마크에서 2배 이상 큰 경쟁 모델들을 앞선 성능 수치를 기록했다. 하지만 이 결과를 모바일 기기 기반의 완성형 에이전트 안착으로 직결하기에는 실제 구동 환경과 자체 실험실 지표 사이의 간극이 적지 않다.
스테이블코인 발행사 테더의 온디바이스 개인비서 구상
테더의 AI 연구 조직인 테더 AI 리서치(Tether AI Research)는 공식 발표 자료를 통해 봇사이를 공개하며 사용자 기기 내부에서 직접 구동되는 온디바이스 개인비서 아키텍처를 제시했다. 사용자의 일정 관리와 메시지 처리를 로컬에서 완결함으로써 중앙 클라우드 서버로 전송되는 민감 정보를 원천 차단하겠다는 방향이다. 8억 매개변수(0.8B)라는 초소형 크기를 채택한 배경 역시 모바일 하드웨어 탑재라는 목적과 직결된다.
봇사이는 큐백(QVAC) 개발 플랫폼 생태계에서 시각·음성·번역 모델과 연계 구동될 행동 특화 모델로 기획됐다. 복잡하고 무거운 연산이 요구될 때 스마트폰이 가정 내 PC나 신뢰할 수 있는 분산 P2P 노드로 작업을 넘겨 처리하는 구조는 장기적인 로드맵으로 제시됐다. 테더가 설계한 전체 생태계 청사진은 광범위하지만, 현재 공개된 단일 가중치 파일이 해당 분산 환경 전체를 구현한 것은 아니다.
지식 암기와 도구 선택의 분리… 함수 호출 중심의 소형화
공식 리포지토리에 따르면 봇사이는 큐웬(Qwen) 3.5 계열의 큐웬3.5-0.8B를 기반으로 구축된 8억 매개변수 모델이다. 일반적인 상식 질의응답 대신 정형화된 도구 호출(Tool Calling)과 다단계 실행 흐름에 최적화된 파인튜닝을 거쳤다. 사용자의 질의에 장문의 줄글로 응답하기보다, 애플리케이션이 전달한 도구 목록 중 적합한 함수를 선택해 정확한 파라미터로 호출하는 역할에 집중한다. 일정 확인 후 회의 시간을 변경하는 식의 단계별 작업이 대표적이다.
여기서 모델의 언어 추론과 실제 앱의 실행 권한을 엄격히 구분해야 한다. 서비스 API 연동과 운영체제 접근 권한, 실제 기능 실행은 전적으로 개발자의 모바일 앱 프레임워크가 담당한다. 함수 호출을 받아 백엔드를 실행할 어댑터가 필수적이며, 개별 서드파티 서비스의 인증 토큰이 개입된다. 모델이 일정 변경용 JSON 포맷을 성공적으로 생성했다고 해서 실제 캘린더 데이터베이스가 즉시 갱신되는 것은 아니다.
애플(Apple) 머신러닝 리서치가 발표한 툴샌드박스(ToolSandbox)처럼 상태 변화를 수반하는 평가 환경은 가상 사용자 시뮬레이터와 중간·최종 마일스톤 도달 여부를 측정한다. 이전 호출의 결과가 다음 호출의 매개변수와 제약 조건을 변경하는 동적 시나리오를 검증하는 방식이다. 단순한 1회성 함수명 매핑보다 현실적인 평가 체계이지만, 실물 스마트폰의 운영체제와 하드웨어 환경을 전수 검증한 시험과는 성격이 다르다.
6개 도구 벤치마크 중 5개 우위와 동급 소형 모델 비교군
테더 자체 평가 결과에 따르면 봇사이는 6개 도구 사용 벤치마크 중 5개 부문에서 비교 대상 소형 모델들을 제치고 최고점을 기록했다. 비교 대상군은 큐웬3.5-0.8B 및 2B 모델, LFM2.5-1.2B, MiniCPM5-1B 등 20억 매개변수 이하의 소형 모델군으로 한정됐다. 대형 프런티어 모델과의 직접 대결은 포함되지 않았다.
| 평가 벤치마크 | 봇사이 0.8B | 큐웬3.5-2B-Think |
|---|---|---|
| BFCL V4 | 44.0 | 37.7 |
| ACEBench | 58.7 | 55.4 |
| τ-bench (소매·통신·은행 평균) | 51.5 | 46.5 |
| Claw-Eval | 46.5 | 48.9 |
| BrowseComp-Plus | 4.5 | 2.8 |
| 툴샌드박스 | 64.6 | 41.2 |
위 수치는 공식 모델카드의 집계치를 정리한 결과다. 모든 시험이 0에서 100점 척도로 표기되지만, 정답률·가중 점수·임베딩 유사도 등 세부 산정 방식은 상이하다. 예컨대 τ-bench 점수는 소매·통신·은행 도메인의 평균값이며 항공 부문은 제외됐다. 각 벤치마크 점수를 실제 업무 완료율과 1:1로 직결해 해석해서는 안 된다.
BFCL V4 평가의 경우 다단계 도구 실행 평가에 40%, 다중 대화 턴 평가에 30%의 가중치를 배정했다. 나머지 30%는 실시간 호출과 부적절한 호출 거부 능력으로 구성된다. 다섯 개 모델은 동일한 평가 환경에서 연산 손실이 없는 원본 정밀도인 BF16 가중치와 vLLM 추론 엔진으로 측정됐다. 개발사가 설정한 비교군과 시험 조건 내에서의 성과이며, 공개 데이터 대조 과정에서 독립된 외부 연구진의 재현 검증은 확인되지 않았다.
“8억 매개변수 모델이 벤치마크에서 앞섰다는 점보다 중요한 것은, 529MB 가중치 파일을 내려받은 뒤 실제 모바일 기기에서 안정적으로 구동할 실행 인프라와 권한 제어망을 누가 설계하는가다.”
4비트 529MB 양자화와 H100 벤치마크의 간극
공식 GGUF 파일 저장소에는 BF16(1.52GB) 원본뿐 아니라 8비트(812MB), 4비트(529MB) 압축 포맷이 등록돼 있다. 신경망 가중치를 압축하는 양자화(Quantization)는 고해상도 원본 사진(RAW)을 육안상 화질 저하를 느끼기 어렵게 압축한 고효율 사진 포맷(WebP)과 같다. 그러나 이 GGUF 성능 평가는 모바일 기기가 아닌 엔비디아(Nvidia) H100 GPU 서버 환경에서 llama.cpp로 측정됐다. 4비트 양자화 버전은 10개 지표 평균 48.9점을 기록해 원본 BF16(50.4점) 대비 소폭의 점수 하락을 보였다.
가장 결정적인 한계는 공개 모델카드와 기술 문서 어디에서도 실제 휴대전화 기기별 추론 지연시간(Latency), 배터리 전력 소모량, 피크 메모리 점유율 실측 데이터를 공개하지 않았다는 점이다. 디바이스 내 구동을 목표로 경량화했다는 모델 스펙과 실제 손에 쥔 스마트폰에서 매끄럽게 반응한다는 체감 평가는 전혀 다른 검증의 영역이다.
다중 턴 지시 이행력 저하와 프롬프트 인젝션 취약점
개발진 기술 블로그 역시 복잡한 정보 탐색 작업을 뚜렷한 약점으로 짚었다. BrowseComp-Plus 평가에서 비교군을 앞서기는 했으나 절대 점수는 4.5점에 불과했다. 특히 누적된 지시를 일관되게 따르는 Multi-IF 평가 점수는 첫 번째 대화 84.3점에서 세 번째 대화 턴에 이르자 51점으로 급락했다. 단일 함수 호출을 성공시키는 작업과 대화가 길어지는 동안 복합적인 업무 규칙을 기억하고 준수하는 작업 사이의 격차를 보여준다.
보안성 지표도 면밀히 살펴야 한다. 개발진은 프롬프트 인젝션 공격에 대한 불안전 응답 비율을 31%로 보고했다. 기반 모델(46%) 대비 방어율을 개선했다고 밝혔으나, 구체적인 테스트 케이스 수량과 공격 페이로드 구성, 위험 판정 기준은 공개되지 않았다. 비신뢰 웹 문서나 악의적 이메일 본문 속에 숨겨진 공격 스크립트가 도구 실행 에이전트를 교란할 수 있는 공격 표면은 여전히 열려 있다.
공식 제품 가이드 역시 금융 자산 결제나 민감한 개인 식별 정보, 의료 건강 데이터 등 고위험 자동화 작업은 본 모델의 권장 용도가 아니라고 명시한다. 개인 비서 역할을 내세우면서도 고위험 데이터 처리를 경계하는 만큼, 정보 수집과 전송, API 실행 통제는 애플리케이션 개발자의 설계 역량에 좌우된다. 현재 공개된 봇사이 가중치는 아파치(Apache) 2.0 라이선스로 배포됐으나, 사전 학습 코드와 데이터셋은 공개되지 않았으며 즉시 설치 가능한 완제품 모바일 앱도 존재하지 않는다. 모델을 도입하려는 엔지니어 앞에는 안전한 실행 샌드박스와 권한 통제망을 직접 구축해야 하는 실무 과제가 주어진다.
