지닷에이(z.ai)가 중국산 AI 가속기 10만개 이상으로 GLM-5.3-Flash의 생산용 추론 서비스를 구축하고, 초기 모델 적용부터 서비스 준비까지 2주도 걸리지 않았다고 밝혔다. 회사는 9월 17일 공식 블로그에서 이 과정의 상당 부분을 GLM-5.3 기반 인프라 에이전트가 수행했다고 설명했다.
GLM-5.3-Flash 추론 서비스 구축
이번 시스템은 GLM-5.3-Flash의 모든 생산 추론을 처리하도록 설계됐다. 중국산 가속기를 이 정도 규모로 묶어 배치한 사례가 없었던 데다 칩 메모리 용량과 대역폭이 제한적이었고, 100만토큰 컨텍스트 창과 멀티모달 요청까지 지원해야 했다. 관련 생태계가 성숙하지 않아 커널 지원이 불완전했고 문서화되지 않은 부분도 많았지만, 인프라 엔지니어뿐 아니라 GLM-5.3으로 구동되는 인프라 에이전트가 작업에 참여해 구축을 마쳤다는 설명이다.
최적화에는 연산과 대역폭, 통신과 디바이스 메모리를 맞바꾸는 방식이 활용됐다. 구체적으로 선형 어텐션과 LM 헤드에 대한 노드 내 텐서 병렬화, ReplaySSM, W8A8 양자화, INT8·FP8·BF16 혼합 정밀도 캐시 양자화, 레이어 분할을 적용했다. 여기에 인코드·프리필·디코드(EPD) 분산 구조를 더해 전체 추론 서비스 성능을 약 3배 높였으며, 하드웨어 활용 효율과 토큰당 비용은 주류 엔비디아(Nvidia) GPU와 비슷한 수준에 도달했다고 밝혔다.
오픈라우터에서 확인된 사용량
GLM-5.3-Flash는 오픈코드(OpenCode)와 오픈라우터(OpenRouter)에서 옥스알파(Ox-Alpha)라는 익명 모델명으로 실제 사용 환경 테스트를 거쳤다. 출시 1주일 안에 두 플랫폼에서 가장 많이 사용된 모델이 됐고, 6일 동안 62조토큰 이상을 처리했다는 것이다.
회사는 이번 사례를 AI가 AI 개발 인프라를 직접 만드는 초기 형태로 규정했다. GLM은 사이버보안 연구에서도 실제 코인베이스(codebase)에서 취약점 수천개를 발견하는 데 활용됐고, 이에 따라 회사는 해당 기능의 책임 있는 사용을 위해 신뢰할 수 있는 접근 프로그램이 필요해졌다고 밝혔다. 또 GLM-4.7 이전에는 코딩에 모델을 쓰는 데 의무감이 있었지만, 현재 GLM-5.3은 구성원 모두의 일상적인 코딩 파트너가 됐다고 설명했다.
지닷에이는 충분한 컴퓨팅 자원과 시간이 주어지면 AI가 후속 모델을 설계하고 학습하는 재귀적 자기개선(RSI)으로 나아갈 수 있다고 내다봤다. 다만 현재는 그 단계에 이르지 않았으며, 이번 인프라 구축은 초기 형태의 사례라는 입장이다. 회사는 최적화 과정에서 코드 생성 능력만큼이나 커널, 병렬화, 통신, 메모리 관리, 서비스 운영 각 계층에서 원인을 추적할 수 있는 피드백이 중요했다고 덧붙였다. 원문에는 향후 출시 일정이나 가격 정보는 담기지 않았다.