인공지능(AI) 코딩 도구 개발사인 커서 리서치(Cursor Research)가 AI 모델 학습 속도를 올린 MoE(Mixture of Experts·전문가 혼합) 전용 메가커널(megakernel·여러 연산을 하나로 융합한 프로그램) ‘MoK(Mixture-of-Kittens)’를 공개했다.
차세대 AI 서버 인프라 환경에서 병목 현상을 해결해 처리량을 최대 2.37배 높였다고 마크테크포스트(MarkTechPost)가 8월 4일 전했다. 커서는 미국 샌프란시스코에 본사를 둔 생성형 AI 프로그래밍 도구 개발 스타트업이다. 독자 모델 ‘컴포저(Composer)’를 보유하고 수만 개의 GPU(그래픽 처리 장치)에서 대규모 학습을 진행한다.
[MoE 학습 병목 극복과 3가지 핵심 설계] MoE는 일부 전문가 네트워크만 선택적으로 활성화하지만 통신 지연이 전체 학습 시간의 절반 이상을 차지하는 병목을 유발한다. GB300 NVL72 환경은 72개 GPU가 하나의 NVLink(엔비디아의 고속 패킷 통신 기술) 영역으로 묶이지만, 내장 CPU 연산 저하로 동기화 지연을 줄여야 한다.
MoK는 데이터 수신을 풀(Pull·당겨오기) 구조로 바꿔 대역폭 활용도를 높이고 교신 대기 시간을 5.8배 단축했다. 또한 연산·통신 오버랩(overlap·병렬 중첩 처리) 단위를 최적화하고 CPU를 제외하는 링 토큰 버퍼(Ring Token Buffer·순환 구조 메모리)를 도입했다. 커서(Cursor)는 이날 “MoK는 결정론적(deterministic·동일 입력에 동일 출력을 보장하는 성질)으로 동작하며 아파치 2.0(Apache-2.0·상업 이용이 자유로운 오픈소스 라이선스)으로 배포된다”고 발표했다.
[초고성능 인프라 필수… 프론티어 연구소 중심 활용] 운용 하드웨어 기준은 블랙웰(Blackwell) 아키텍처 기반 SM100·SM103 GPU가 탑재된 GB200·GB300 NVL72 서버 랙 환경으로 매우 높다. 소프트웨어도 파이썬 3.12, 파이토치 2.10, 쿠다 13.0 이상이 필요해 초거대 모델을 개발하는 프론티어 연구소나 대형 AI 스타트업 등을 중심으로 도입될 전망이다.
