로컬 LLM이 동일한 가중치를 사용해도 하드웨어와 소프트웨어 구현에 따라 성능이 다르게 체감되는 원인을 분석하는 게시됐다. 레벨1테크스(Level1Techs) 포럼에 8월 23일 게시된 모델 자체의 지능뿐 아니라 추론 환경과 샘플러 설정, 양자화 방식 등이 출력 차이를 만들 수 있다고 설명했다.
게시물은 모델을 공개한 연구기관의 ‘참조 구현(reference implementation)’과 개인이 실제로 사용하는 환경이 다르다는 점을 출발점으로 삼았다. 연구기관의 하드웨어와 소프트웨어, 실행 경로는 가정용 시스템과 같지 않으며, 여러 세대의 GPU를 섞어 쓰는 홈랩에서는 칩의 명령어 집합까지 달라질 수 있다는 것이다. 같은 가중치를 사용하더라도 다음 토큰을 계산하고 실행하는 방식이 달라질 수 있다고 지적했다.
실제 성능을 확인하려면 터미널 벤치, HLE, SWE 계열, 헬라댓(HELLAthat), MMLU 등 표준 평가를 여러 개 활용하되 사용 목적에 맞춰야 한다고 제안했다. 온도를 0으로 설정하고 테스트 프롬프트 3개만 입력해 모델의 좋고 나쁨을 판단해서는 안 된다는 설명이다. 특히 에이전트형(agentic) 작업은 제로샷 시험만으로 충분히 평가하기 어렵고, 긴 문맥에서 도구를 호출하는 능력과 분야별 지식을 함께 살펴야 한다고 덧붙였다.
수학적으로는 모델이 다음 토큰 후보마다 부여하는 점수인 로짓(logits)이 확률로 정규화된 뒤 샘플러를 거쳐 텍스트로 변환된다고 설명했다. 작은 확률 변화가 다음 토큰을 바꾸고, 이런 차이가 누적되면 같은 모델이더라도 출력이 달라져 사용자가 성능 저하를 체감할 수 있다는 것이다. 모델 카드에 적힌 온도 1.0, 톱-p 0.95 등 샘플러 설정과 채팅 템플릿을 맞춰야 하며, 온도를 지나치게 낮추면 큐원(Qwen)이 ‘생각’ 출력에서 빠져나오지 못하고 반복할 수 있다고 지적했다.
게시물은 KL 발산(KL Divergence·KLD)을 한 기준 확률분포에서 다른 분포가 얼마나 이동했는지 측정하는 방법으로 소개했다. KLD가 낮다는 것은 기준에 가깝다는 뜻일 뿐 자동으로 더 똑똑하다는 의미는 아니며, 두 분포를 비교하는 방향에 따라서도 값이 달라진다고 설명했다. 허깅페이스(Hugging Face)의 양자화 모델 카드에 매우 낮은 KLD 수치가 제시돼 있더라도 참조 체크포인트와 전체 실행환경, 평가 문장, 보정 데이터, 문맥 길이, 표본 위치, KL 계산 방향, 어휘 제한 여부와 집계 방식이 공개되지 않으면 해석할 수 없다고 경고했다.
추론 엔진을 구성하는 소프트웨어 스택도 차이를 만드는 요인으로 제시됐다. 게시물에 따르면 특정 시점에 내려받은 vLLM 나이틀리 컨테이너에는 파이썬 패키지 252개를 포함해 모두 734개 패키지가 들어 있었으며, 각각의 코인베이스가 버그와 문서화되지 않은 동작 특성을 가질 수 있다. 하드웨어, 모델, 양자화 방식, 텐서 형태에 따라 이 코드 더미를 통과하는 경로가 달라진다는 설명이다. 게시물은 이어 추론 흐름도 중 어텐션 백엔드의 정밀도를 비교하는 첫 번째 실험을 시작한다고 밝혔다.