디퓨전젬마, 젬마4 개조한 텍스트 확산 공개

구글 딥마인드(DeepMind)가 텍스트 확산 모델 ‘디퓨전젬마(DiffusionGemma)’를 공개했다. 딥마인드는 8월 9일 더디코더(The Decoder) 보도를 통해 “새 모델을 처음부터 학습하지 않고, 기존 젬마4(Gemma 4)를 확산 모델로 개조했다”고 설명했다. 공개된 보고서에 따르면 디퓨전젬마는 256개 토큰 블록을 병렬로 정제하며, 엔비디아(Nvidia) H100 가속기에서 초당 약 1500토큰을 처리한다. 원래 학습 토큰 예산의 10% 미만으로 변환 작업을 진행했으며, 두 단계 학습을 통해 추론 벤치마크에서 평균 10점 가량의 품질 개선과 연산 단계당 토큰 수의 약 4배 증가를 이뤘다고 밝혔다. 답변 길이는 약 50% 짧아져 속도가 더 빨라지는 부수 효과도 언급됐다.

원문 보기 (the-decoder.com)

RELATED ARTICLES