독일 AI 기업 알레프 알파(Aleph Alpha)가 독일어·영어를 지원하는 오픈 웨이트 대규모언어모델(LLM) 콜리브리(Kolibri)를 공개했다. 해외 기술 블로그에 실린 콜리브리 분석은 알레프 알파가 10월 3일 모델을 출시했다고 전했다.
781억개 매개변수 중 토큰당 34억6000만개 작동
콜리브리는 전체 매개변수 781억개 가운데 입력·출력 토큰마다 약 34억6000만개만 활성화하는 전문가 혼합(MoE) 모델이다. Apache 2.0 라이선스로 공개됐고, 모델 가중치는 허깅페이스(Hugging Face)에 올라왔다. 독일과 핀란드의 인프라에서 처음부터 학습했으며, 알레프 알파는 독일·유럽 법률 아래 외국의 통제 없이 개발했다고 설명한다.
모델은 50개 층으로 구성되며 각 층에는 전문가 384개와 모든 토큰이 거치는 공통 전문가가 있다. 라우터는 토큰마다 384개 중 6개 전문가를 선택한다. 따라서 실제 연산량은 매개변수 35억개 규모 모델에 가깝지만, 모델 카드에 따르면 전체 모델을 메모리에 올려야 해 메모리 요구량은 781억개 매개변수 모델과 비슷하다. 128000개 토큰 어휘를 쓰는 토크나이저는 독일어 단어 형성에 맞춘 자체 알고리즘 ‘유니BPE(UniBPE)’로 만들었다.
독일어 토큰 처리와 배포 선택지
알레프 알파의 기술 보고서는 콜리브리 토크나이저가 비교 대상 9종 가운데 GPT-5 토크나이저보다 독일어에 필요한 토큰을 11.2% 줄였다고 밝혔다. 분석 작성자가 독일 기본법 원문과 공식 영어 번역을 각각 비교한 실험에서는 독일어 토큰 수가 GPT-5보다 15% 적었고, 영어에서는 비슷한 결과가 나왔다. 같은 분량의 독일어를 더 적은 토큰으로 처리하면 문맥 창에 더 많은 텍스트를 담을 수 있다.
알레프 알파는 ‘주권형’이라는 표현을 개발 장소·법적 관할과 고객의 배포 통제권을 가리키는 말로 사용한다. 정부 기관이나 자동차 부품업체 등이 자체 서버에서 모델을 운영해 데이터를 외부로 보내지 않을 수 있다는 설명이다. 다만 학습 데이터가 모두 유럽에서 만들어진 것은 아니다. 모델 카드에는 영어 웹 문장을 구글(Google)의 젬마(Gemma) 4로 바꾸고, 독일어 문장에는 미스트랄-네모(Mistral-NeMo)를 사용했으며, 큐원3-32B(Qwen3-32B)로 품질 필터용 데이터를 표시했다고 적혀 있다.
콜리브리 50개 층 가운데 40개는 직전 512개 토큰만 살피는 슬라이딩 윈도 어텐션을 사용하고, 다섯 번째 층마다 앞선 문맥 전체를 확인한다. 이 설계 덕분에 100만 토큰 문맥을 감당 가능한 비용으로 구현할 수 있다. 회사 자체 평가에서는 독일어와 영어 모두에서 비슷한 크기의 비교 모델을 앞섰다고 주장했다. 공개 자료에는 가격이나 별도 출시 일정이 제시되지 않았으며, 실제 도입 때는 연산량뿐 아니라 전체 모델을 적재할 메모리도 고려해야 한다.