프리즘ML(Prism ML Inc.)이 27B 규모의 멀티모달 생성형 AI 모델 ‘본사이 2 27B(Bonsai 2 27B)’를 출시했다. 모델 크기를 약 5.9GB로 줄이면서 기반 모델 역량의 약 98.2%를 유지했으며, 소비자용 PC와 일부 고성능 모바일 기기에서 구동할 수 있다고 회사는 설명했다. IT 전문 매체 실리콘앵글이 18일(현지시간) 보도했다.
5.9GB로 줄인 27B 멀티모달 모델
본사이 2 27B는 Qwen3.8 27B를 기반으로 개발됐다. Qwen3.8의 비압축 16비트 모델 크기는 약 56GB지만, 본사이 2 27B는 이를 약 5.9GB로 축소했다. 프리즘ML은 축소 이후에도 원래 모델 역량의 약 98.2%를 보존했다고 밝혔다. Qwen3.8이 작동하는 데 필요한 최소 메모리는 약 9.4GB다.
핵심에는 가중치를 세 가지 값으로 표현하는 삼진화 방식이 있다. 가중치는 AI 모델이 정보를 처리하고 결과를 생성하는 방식을 조절하는 수치 매개변수로, 일반적인 대형 모델에서는 16비트로 저장된다. 프리즘ML은 이를 +1, 0, -1로 표현해 저장 공간을 줄였다. 양자화 같은 기존 압축 기법도 모델을 작게 만들 수 있지만 정확도와 지식, 여러 기능을 떨어뜨릴 수 있는 반면, 삼진화는 작은 메모리 사용량과 성능 유지 사이의 균형을 겨냥한 방식이다.
로컬 AI 구동과 개인정보 보호
벤치마크에서 본사이 2 27B는 에이전트형 작업과 도구 호출 능력에서 Qwen3.8과 각각 77.6점, 79.8점을 기록해 3점 이내의 차이를 보였다. HumanEval+, LiveCodeBench v6, MBPP+, BigCodeBench를 합산한 코딩 평가에서는 본사이 2 27B와 Qwen3.8이 각각 81.6점과 82.2점을 기록했다. MMLU-Redux, GPQA 다이아몬드(GPQA Diamond), AA-LCR을 활용한 지식·추론 평가에서는 각각 82.7점과 81.3점으로 집계됐다.
본사이 2 27B는 양자화하지 않은 상태로 엔비디아(Nvidia) 지포스 GTX 5090에서 초당 143토큰을 처리한다. 애플(Apple)의 M5 맥스 칩에서는 초당 46.8토큰을 처리할 수 있다. 토큰당 전력 사용량은 0.714MWh로, 회사는 완전한 정밀도로 실행되는 다른 8B 모델보다 에너지 효율이 40% 높다고 설명했다. 엔비디아 GPU에서는 CUDA를, 맥·아이폰·아이패드 등 애플 기기에서는 MLX를 사용하며 저비트 커널을 지원한다.
작은 모델은 사용자의 기기에서 AI를 직접 실행할 수 있어 추론 데이터를 클라우드로 보내지 않아도 된다. 인터넷 전송 과정에서 발생할 수 있는 응답 지연이나 제3자 정보 공유를 줄이고, 프롬프트와 응답을 기기 안에 남겨 개인정보 보호와 보안 요건을 충족하는 데 도움이 될 수 있다는 설명이다. 번역·요약·검색 결과 정리처럼 단순한 작업은 로컬 모델로 처리하고, 장기 과제 이해나 심층 연구는 고성능 클라우드 모델로 넘기는 방식도 가능하다.
모델 가중치는 이날부터 Apache 2.0 라이선스로 제공된다. 이에 따라 사용자는 지원되는 엔비디아 GPU와 애플 기기에서 본사이 2 27B를 내려받아 실행할 수 있다. 프리즘ML은 소비자용 하드웨어에서 비교적 높은 성능의 AI를 구동하면서도 민감한 데이터를 외부로 보내지 않는 선택지를 제시한 셈이다. 다만 원문에는 별도의 가격이나 향후 출시 일정은 제시되지 않았다.