바이트댄스가 최대 10조 파라미터 규모의 AI 모델을 학습 중인 것으로 전해졌다. 파이낸셜타임스(Financial Times)에 따르면 복수의 업계 관계자들은 이 모델이 사전학습(pretraining) 단계에 있다고 말했다. 사전학습은 통상 3~6개월이 걸린다. 파라미터 수는 모델이 저장할 수 있는 양을 좌우하지만 성능은 데이터 품질과 학습 방식에 따라 달라진다고 한다. 관계자 중 한 명은 바이트댄스가 1년 넘게 다른 회사 모델의 출력물을 재학습하는 지식증류(distillation)를 피했다고 전했다. 앞서 알려진 문샷AI의 키미(Kimi) K3는 중국 최대 모델이며, 바이트댄스 모델은 그 3배 크기다. 앤트로픽(Anthropic)의 최상위 시스템인 미소스(Mythos) 5는 업계 추정치로 약 8조 파라미터 수준으로 거론된다고 파이낸셜타임스는 전했다. 또 장이밍(장 이밍) 창업자가 내부의 시드(Seed) 팀에 장기적으로 세계 최고 수준의 모델 역량을 목표로 하라고 지시했다고도 보도됐다. 같은 보도에서 xAI는 콜로서스 2(Colossus 2) 클러스터에서 6조·10조 파라미터의 그록(Grok) 변형 모델을 학습 중이라고 일론 머스크가 언급한 내용도 함께 실렸다.
