IBM이 다운로드해 자체 호스팅할 수 있는 오픈 웨이트 대규모 언어 모델 신제품 그라나이트 4.2(Granite 4.2)를 출시했다. 3B, 8B, 30B 매개변수 모델로 구성된 이번 제품군은 로컬 환경에서의 추론과 도구 사용에 초점을 맞췄다.
아스 테크니카(Ars Technica)는 8월 26일 IBM이 그라나이트 언어 모델 제품군의 최신 버전을 공개했다고 보도했다. 세 모델 모두 디코더 전용 구조를 채택했으며, 기본적으로 128000토큰의 컨텍스트 창을 지원한다. 사용자가 모델을 내려받아 직접 운영할 수 있다.
8B와 30B 모델에는 에이전틱 강화학습 단계가 추가됐다. 이 과정에서 터미널 사용, 웹 검색, 외부 도구 호출 등 여러 단계의 작업을 수행하는 능력을 학습했다는 설명이다. 3B 모델도 도구를 지원하지만, 8B와 30B에 적용된 것과 같은 수준의 특화 훈련은 거치지 않았다. 모델 크기에 따라 도구 사용 역량과 처리 부담에 차이가 생기는 구조다.
IBM은 이번 버전을 그라나이트 제품군의 추론 중심 출시라고 설명했다. 여기서 추론은 사람이 문제를 의식적으로 이해하는 방식과 같은 의미가 아니라, 여러 중간 결과를 이어가며 단계적으로 답을 구성하는 기능적 추론을 뜻한다. 이른바 사고 연쇄를 활용하면 일부 작업에서 더 엄밀하고 정확한 답변을 낼 수 있지만, 응답 시간이 길어지고 더 많은 컴퓨팅 자원이 필요할 수 있다.
그라나이트 모델은 가장 빠르거나 공격적으로 새로운 기능을 내세우기보다는 예측 가능한 배포를 강조해 왔다. 아스 테크니카는 이를 엔비디아(Nvidia)의 네모트론 같은 다른 로컬 기업용 모델과 비교하면서, IBM의 제품 전략이 안정적인 운영을 우선하는 방향으로 보인다고 평가했다.
최근 앤트로픽(Anthropic)과 오픈AI(OpenAI) 같은 기업의 프런티어 클라우드 모델을 둘러싸고 비용과 컴퓨팅 자원 부족에 대한 논의가 이어지면서 로컬 모델에 대한 관심도 커졌다. 개인 개발자와 기업은 사용량에 따라 API 비용을 내는 대신 자체 하드웨어에서 모델을 실행하는 방안을 검토하고 있다. 취미 개발자와 AI 연구자도 토큰별 API 요금 없이 로컬 장비에서 모델을 수정하고 실험할 수 있다는 점 때문에 이런 모델을 활용한다.
이와 함께 사용자의 프롬프트나 작업을 분석해 적절한 모델로 보내는 모델 라우터도 주목받고 있다. 라우터는 작업의 난도에 따라 성능·속도·비용 사이의 균형을 맞추는 역할을 한다.