AI 하드웨어 업계가 대규모 모델 훈련 중심에서 실제 서비스 실행인 추론 중심으로 무게를 옮기고 있다. IEEE 스펙트럼(IEEE Spectrum)은 9월 15일 추론 수요 폭증이 하드웨어 업체들의 설계와 협력 구도를 바꾸고 있다고 보도했다.
GPT-4o 정확도 향상 뒤 추론량 급증
오픈AI(OpenAI)의 GPT-3 최대 버전은 2020년 지식·추론 벤치마크에서 43.9%의 정답률을 기록했지만, 4년 뒤 GPT-4o는 같은 시험에서 88.7%를 기록해 인간 전문가 수준에 근접했다. 모델이 실제로 유용해지면서 이용자가 늘었고, 2026년에는 학습보다 추론이 AI 업계의 주요 화두로 떠올랐다는 분석이다.
추론 수요를 키운 요인으로는 사고사슬(CoT)을 활용하는 추론 모델과 에이전트형(agentic) AI의 확산이 꼽힌다. 추론 모델은 한 번 답을 내는 데 그치지 않고 스스로 여러 차례 질의하며 답을 다듬는다. 높은 추론 노력을 적용하면 낮거나 적용하지 않았을 때보다 최대 20배 많은 텍스트를 생성할 수 있다. 에이전트형 AI는 사용자의 질문에 실시간으로 응답하는 것을 넘어 목표를 향해 자율적으로 계속 작업하면서 추론을 상시 실행한다.
학습과 추론에 필요한 칩 구조 달라
AI 학습은 대규모 텍스트에서 다음 토큰(token)을 예측하고, 그 결과를 바탕으로 수십억~수조개 매개변수의 값을 반복 조정하는 과정이다. 역전파를 통해 예측 오차를 계산하고 매개변수를 수정하기 때문에 거대한 데이터센터와 높은 연산 능력이 필요하다. 학습이 끝나면 매개변수는 고정되고, 파인튜닝(fine-tuning)을 거쳐 모델이 배포된다.
추론은 배포된 모델이 입력에 맞춰 토큰을 순서대로 생성하는 과정이지만, 계산 부담이 단순히 줄어드는 것은 아니다. d-매트릭스(d-Matrix)의 수딥 보자는 다음 토큰을 만들 때마다 모델의 모든 가중치와 앞선 대화·프롬프트·업로드 파일의 문맥을 읽어야 한다고 설명했다. 추론은 프리필과 디코드의 두 단계로 나뉘며, 프리필에서는 입력 문장의 모든 토큰을 한꺼번에 처리하면서 토큰 사이의 관계를 계산한다. 이때 사용되는 어텐션은 현대 대규모언어모델의 트랜스포머 구조를 규정하는 핵심 연산이다.
빅테크도 추론용 하드웨어 확보 경쟁
추론 수요 증가는 예상 밖의 협력을 낳고 있다. 아마존(Amazon)웹서비스는 자체 트레이니엄 칩을 보유하고도 복잡한 연산에는 트레이니엄을, 메모리 집약적인 작업에는 세레브라스(Cerebras)의 웨이퍼 규모 엔진을 활용하는 방식으로 추론을 나눴다. 오픈AI와 아마존은 세레브라스가 설계한 접시 크기의 칩을 배치했고, 엔비디아(Nvidia)는 추론용 스타트업 그록(Groq)의 핵심 인력과 지식재산을 200억달러 규모의 논란이 된 거래로 확보했다. 앤트로픽(Anthropic)은 경쟁 LLM 업체인 스페이스XAI(SpaceXAI)의 여유 연산 자원을 임대하는 데 매달 10억달러 이상을 지불하고 있다.
엔비디아의 그록3 언어처리장치는 온칩 SRAM 메모리와 연산 블록을 필요한 순서에 맞춰 배치해 데이터 이동을 줄이는 방식으로 설계됐다. 텐서다인(Tensordyne)의 네이피어 칩도 AI 추론 가속을 목표로 한다. 업계의 움직임은 앞으로 AI 인프라가 학습용 대형 칩만으로 구성되지 않고 메모리 접근과 응답 속도, 지속적인 작업 수행에 맞춘 서로 다른 하드웨어 조합을 요구할 수 있음을 보여준다.