MoE

AI 모델

사양표의 맹점과 토큰 속도의 배신… 맥미니 12종 로컬 LLM 실측

M1부터 M5 프로까지 맥미니 12종 구성의 메모리 대역폭과 라마씨피피 실측 데이터를 분석해, 거대언어모델(LLM) 구동 시 발생하는 토큰 생성 속도의 한계와 32GB 램의 역설을 짚어본다.