코어위브(CoreWeave)가 AI 모델 서빙과 관측, 후속학습, 평가를 연결한 플랫폼 ‘코어위브 포지(CoreWeave Forge)’를 출시하고, 강화학습 과정의 모델 재적재 지연을 기준 구성보다 15배 개선한 기능을 공개했다. IT 전문 매체 실리콘앵글은 9일 코어위브의 제품·AI 서비스 부사장 우르바시 초드리의 설명을 인용해 이같이 보도했다.
추론 수요 늘자 하드웨어 위 소프트웨어도 최적화
코어위브 고객과 잠재 고객을 대상으로 한 더큐브 리서치 조사에서는 한 의료 분야 고객의 전체 작업 중 추론이 차지하는 비중이 첫해 약 10%에서 이듬해 40%로 늘었다. 해당 고객은 향후 12개월 안에 이 비중이 약 50%에 이를 것으로 예상했다. 이는 개별 고객 사례로, 조사에서 확인된 추론 수요 증가의 한 사례다.
초드리 부사장은 추론 성능을 높이기 위해 하드웨어뿐 아니라 그 위에서 작동하는 소프트웨어 층도 조정하고 있다고 설명했다. 최적화 대상에는 vLLM 추론 엔진과 양자화 모델, 자체 제작한 추측 디코더가 포함된다. 코어위브는 오픈소스 도구와 기술을 활용하고 오픈 시스템에 기여해 고객이 선택권을 갖도록 하며, 그 위에 관리형 서비스를 쌓는다는 방침이다. 관리형 서비스는 모델 훈련과 후속학습, 추론 작업을 지원한다.
강화학습 모델 배포 지연 줄이는 기능도
강화학습으로 에이전트형(agentic) 모델을 훈련할 때는 보상과 검증기를 이용해 모델을 반복 개선한다. 이 과정에서는 롤아웃이 진행되는 동안 추론이 병목이 된다고 초드리 부사장은 말했다. 코어위브 RL 롤아웃(CoreWeave RL Rollouts)은 엔비디아(Nvidia)의 다이너모(Dynamo) 프레임워크를 기반으로 개발 중인 미리보기 기능으로, 새 체크포인트를 서비스가 운영되는 환경에 불러온다. 시험 결과 모델 재적재 지연 시간이 기준 구성보다 15배 개선됐다.
이 기능은 모델을 계속 훈련하면서 새 체크포인트를 추론 환경에 반영하고, 추론 처리 규모를 훈련 작업과 별도로 조정하도록 설계됐다. 코어위브 포지는 모델 서빙과 관측, 후속학습, 평가 기능을 한 플랫폼으로 연결한다. 초드리 부사장은 개발자가 문제를 빠르게 해결하면서 성능과 확장 비용을 함께 고려할 수 있도록 인프라 위에 관리형 서비스를 더해 왔다고 설명했다.
포지는 무료로 시작…유료 기능 범위는 공개 안 해
포지는 무료로 이용을 시작할 수 있으며, 추가 기능을 제공하는 유료 등급도 마련됐다. 초드리 부사장은 개인 개발자도 가입해 성능과 안정성을 갖춘 도구를 이용할 수 있도록 하겠다고 말했다. 다만 보도에는 유료 등급의 구체적인 기능 범위나 가격, 정식 출시 일정은 제시되지 않았다. 포지가 제공하는 기능을 무료 이용 단계와 유료 단계별로 어떻게 나눌지도 공개되지 않았다.
초드리 부사장은 더큐브 리서치의 데이브 벨란테와 존 퍼리어가 진행한 인터뷰에서 추론 서비스와 전체 개발 과정에 걸친 관리형 서비스, RL 롤아웃을 설명했다. 인터뷰는 퓰리 커넥티드 행사와 연계해 더큐브에서 방송됐다. 실리콘앵글은 행사 보도가 유료 미디어 파트너십의 일부라고 공개하면서도, 코어위브를 포함한 후원사가 콘텐츠 편집권을 갖지는 않는다고 밝혔다.