네이티브 코덱스(Codex) CLI의 AWS 베드록(Bedrock) 네이티브 연동에서 프롬프트 캐시 쓰기 토큰 비용이 4일간 1182.09달러로 추정됐다는 보고가 나왔다. 캐시 쓰기 비용이 모델 추정 총비용의 약 85%를 차지했다는 내용이다.
이 내용은 8월 21일 깃허브(GitHub)에서 제기됐다. 보고서는 코덱스 CLI 0.147.0과 베드록 맨틀(Mantle) 리스폰스 API의 미국 동부(us-east-1) 엔드포인트, GPT-5.6 솔(Sol) 모델을 사용한 결과를 근거로 들었다.
2026년 8월 5일부터 8일까지 완료된 날짜를 기준으로 AWS 비용 탐색기와 베드록 요금표를 대조한 결과, 요청 3656건에서 캐시 쓰기 토큰이 1억7194만개 발생한 것으로 집계됐다. 캐시 쓰기 비용 추정치는 1182.09달러, 전체 비용 추정치는 1386.46달러였다. 보고서는 최종 AWS 청구서가 아니라 사용량을 바탕으로 계산한 추정치라고 밝혔다.
한 로컬 코덱스 세션에서는 솔 요청 76건에 대해 캐시 쓰기 입력 토큰 670만9000개가 기록됐고, 캐시 읽기 입력 토큰은 0개였다. 요청 1건당 캐시 쓰기 토큰은 평균 약 8만8000개로 나타났다. 해당 기간 클라우드워치(CloudWatch) 지표에서는 클라이언트 오류가 확인되지 않아, 통신 장애보다 캐시 설정 부재가 비용 증가와 관련됐을 가능성이 제기됐다.
문제의 핵심은 코덱스가 세션 단위의 `prompt_cache_key`를 이미 생성하지만, HTTP와 웹소켓 리스폰스 요청 형식에 `prompt_cache_options`와 `prompt_cache_breakpoint` 항목이 없다는 점이다. 코덱스의 기본 아마존(Amazon) 베드록 제공업체 설정은 전송·인증 정보만 노출해 요청 본문을 구조적으로 바꾸는 설정을 `config.toml`에서 지정할 수도 없다.
보고서는 AWS가 에이전트형(agentic) 작업에서 긴 지시문과 도구 정의처럼 안정적인 접두부 뒤에 변경되는 도구·사용자 콘텐츠가 이어지는 경우 GPT-5.6의 명시적 캐시 모드를 사용하도록 안내한다고 설명했다. 이번 사용 패턴이 이에 해당하지만, 네이티브 베드록 연동에서는 해당 기능을 선택할 방법이 없다는 것이다.
개선안으로는 GPT-5.6을 지원하는 리스폰스 제공업체에 `prompt_cache_options` 직렬화를 추가하고, 입력 콘텐츠 블록에 형식이 지정된 `prompt_cache_breakpoint` 필드를 도입하는 방안이 제시됐다. 제공업체와 모델별 기능 지원 여부를 판별한 뒤 안정적인 지시문·도구 접두부의 끝에 캐시 지점을 배치하고, 턴별 사용량 정보에 캐시 읽기·쓰기량을 표시해야 한다는 요구도 포함됐다.
보고서는 모든 캐시 쓰기가 결함을 뜻하는 것은 아니라고 선을 그었다. 초기 실행, 서로 다른 프롬프트, 분기 실행, 문맥 압축 과정에서는 캐시 쓰기가 필요할 수 있으며, 문제는 안정적인 접두부를 재사용할 수 있는 상황에서도 명시적 캐시 기능을 사용할 수 없다는 데 있다는 설명이다.