엔비디아(Nvidia)가 추론 전용 가속기 그록 3 LPX(Groq 3 LPX)의 양산에 들어갔으며, 독립 벤치마크에서 세레브라스(Cerebras)보다 4배 빠른 토큰 생성 속도를 기록했다고 밝혔다. 더 디코더(The Decoder)는 8월 25일 엔비디아의 발표를 전하면서도 이 비교가 엔비디아에 유리하게 구성됐다는 전문가들의 지적을 함께 보도했다.
엔비디아는 핫 칩스 2026(Hot Chips 2026) 콘퍼런스에서 그록 3 LPX가 완전 생산 단계에 들어갔다고 발표했다. ‘대화형 AI 추론 가속기’로 설명된 이 칩은 베라 루빈(Vera Rubin) 플랫폼을 확장하며, 에이전트형 AI 시스템의 토큰을 빠르게 생성하도록 설계됐다. 실제 서비스는 올해 말 시작될 예정이다.
아티피셜 애널리시스(Artificial Analysis)의 측정에서 그록 3 LPX 랙은 오픈 모델 젬마(Gemma) 4 31B와 10만 토큰 문맥을 사용해 초당 3400토큰을 생성했다. 50건의 요청을 연속으로 처리한 결과이며, 입력 길이가 1만~10만 토큰일 때도 성능이 유지됐다. 이는 해당 모델에서 지금까지 기록된 최고 수치로, 엔비디아는 세레브라스의 차세대 칩이 아닌 기존 장비의 초당 882토큰보다 4배 빠르다고 설명했다.
그록은 학습보다 추론에 맞춘 프로세서를 개발해온 업체로, 엔비디아는 지난해 12월 말 그록의 라이선스에 약 200억달러를 지급하고 창업자 조너선 로스(Jonathan Ross)와 사장 서니 마드라(Sunny Madra)를 영입했다. 에이전트형 AI는 수백~수천 단계의 추론을 거치며 많은 토큰을 소모하기 때문에 생성 속도가 빠를수록 같은 대기 시간 안에 더 많은 추론과 도구 호출을 수행할 수 있다. 엔비디아는 이에 따라 코딩 작업이 ‘몇 시간에서 몇 분’으로 줄어든다고 주장했다.
다만 더 레지스터(The Register)는 그록의 SRAM 중심 데이터흐름 구조가 메모리 측면에서 제약을 가진다고 지적했다. LPU 한 개의 메모리는 500MB로, 288GB를 탑재한 루빈 GPU보다 576배 적다. 모델은 이더넷을 통해 여러 가속기에 분산되며, 한 랙에는 최대 256개의 LPU가 들어간다. 이 혼합 구성에서는 GPU가 계산량이 많은 프리필 단계를 맡고, LPU가 대역폭을 많이 요구하는 디코드 단계를 처리한다.
젬마 4 31B는 한 랙에 들어가는 밀집형 모델이어서 그록 3 LPX에 가장 유리한 사례라는 분석이 나온다. 반면 더 큰 전문가 혼합 모델에서 구조가 어떻게 확장될지는 확인되지 않았다. 딥시크(DeepSeek) V3를 구동하려면 1342개의 가속기, 즉 5개가 조금 넘는 랙이 필요하다. 세레브라스는 같은 모델에 가속기 1~2개를 쓰지만 엔비디아는 최소 64개가 필요하며, 비교에는 세레브라스의 최신 CS-4 세대도 포함되지 않았다.
클라우드 사업자 네비우스(Nebius)는 토큰 팩토리(Token Factory)를 통해 이 칩을 제공하는 첫 사업자가 될 예정이며, 그록 자체도 초기 사용자로 참여한다. 따라서 이번 기록은 특정 모델과 구성에서의 토큰 생성 성능을 보여주지만, 가속기 수와 랙 규모, 최신 경쟁 제품을 함께 따지면 단순히 ‘4배 빠르다’고 결론 내리기는 어렵다는 것이다.