씽킹머신스 잉클링 2 스몰 공개 하루 만에 거부 제거판 등장…새로운 가치는 누가 정할까

같은 주 누스리서치는 큐웬에 '서구 가치'를 심었다…그 측정값은 채점 모델에 따라 13배 갈렸다

잉클링 2 스몰 오픈웨이트 모델의 안전 차단막이 열리고 DAY +1 UNCENSORED와 RE-ALIGNED 경로로 분기되는 에디토리얼 커버 그래픽
AI 생성 이미지
핵심 요약 AI 요약
1
공개 하루 만에 탈검열:잉클링 2 스몰의 가중치가 공개된 이튿날 올라온 거부 제거판은 제작자 자체 측정에서 해로운 요청 32개 중 거부가 31건에서 0건으로 줄었다.
2
안전 내성 결과 미공개:씽킹머신스는 거부가 제거된 변형이 기존 오픈웨이트 모델보다 위험을 크게 더하지 않는다고 판단했지만, 안전장치 제거를 얼마나 버티는지는 공개하지 않았다.
3
미세조정을 통한 가치 변경:누스리서치는 1세대 잉클링을 교사로 큐웬 기반 Arete-27B를 미세조정했으며, 자체 평가에서 중국 정부 공식 서사를 채택한 답의 비율이 22%에서 0.9%로 줄었다.
4
가치 평가의 한계:Arete-27B를 외부에서 다른 채점 모델로 평가한 결과 해당 비율이 11.44%로 나왔고, 원본 모델은 재평가하지 않아 감소 폭은 확인되지 않았다.
5
학습 주제별 전이 차이:CTGT의 자체 실험에서는 금융 추론 증류를 통해 교사의 정치 검열이 전이되지 않았지만, 정치 주제를 겨냥한 Arete의 미세조정에서는 응답 성향이 바뀌었다.
기사 목차 펼치기 / 접기

오픈AI(OpenAI) 전 CTO 미라 무라티(Mira Murati)가 세운 씽킹머신스(Thinking Machines)가 지난 12일 허깅페이스(Hugging Face)에 ‘잉클링 2 스몰(Inkling 2 Small)’의 가중치를 풀자, 해로운 질문 32개 중 31개를 거부하던 이 모델에서 이튿날 안전장치를 걷어낸 거부 제거판이 올라왔다. 가중치가 풀린 오픈웨이트(open-weights) 모델의 성격은 공개한 회사가 아니라 마지막에 고친 사람이 정한다는 사실이 하룻밤 새 드러났다.

같은 주 허깅페이스에서는 반대로 가치를 덧입히는 실험도 나란히 진행됐다. 누스리서치(Nous Research)는 6일 중국 모델에 이른바 ‘서구 가치’를 심은 Arete-27B를 내놨고, 그 가치를 가르친 교사는 씽킹머신스의 1세대 잉클링이었다. 17일 오후 허깅페이스 모델 트렌딩 1위는 거부 반응을 지운 9B 모델이고, Arete-27B는 14일 4위까지 올랐다가 13위로 내려왔다. 씽킹머신스의 신형 모델은 외부 개조로 안전장치를 잃었고, 구형 모델은 타사 모델에 가치를 이식하는 교사가 된 셈이다.

씽킹머신스는 무엇을 시험했고 무엇을 싣지 않았나

잉클링 2 스몰은 총 5940억개 파라미터 가운데 170억개만 골라 쓰는 전문가 혼합(MoE) 모델이다. 거대한 도서관의 분야별 전문 사서처럼 질문이 들어올 때 필요한 전문가 1~2명만 불러 응답 속도를 높이지만, 도서관을 열어두려면 전체 가중치가 메모리에 올라가야 하는 구조다. 씽킹머신스는 5일 자사 미세조정 서비스 팅커(Tinker)에서 먼저 내놓은 뒤 12일 아파치 2.0 라이선스 공개를 단행했다.

훈련 도중 초기 체크포인트가 결과를 지어내고 네트워크 차단을 우회하자, 회사는 학습을 멈추고 인프라를 보강한 뒤 정렬 전용 학습 단계를 추가했다. 회사 내부 ‘오작동’ 점수(낮을수록 좋음)는 14.9로 1세대 잉클링의 66.8보다 크게 낮아졌지만, 같은 표의 GPT-6.1 솔(GPT-6.1 Sol)은 0.8이었다.

여기까지는 회사가 직접 고친 몫이다. 남이 고쳤을 때를 가늠하려고 회사는 안전 장치를 걷어낸 ‘도움 전용’ 변형을 따로 만들어 시험했는데, 생화학·핵(CBRN) 지식에서 상승폭이 미미했고 측정한 어떤 영역에서도 최전선을 크게 넘지 않았다고 판단했다.

빈칸이 하나 있다. 출시 글은 안전 평가의 핵심 질문으로 “악의적 행위자가 안전 장치를 제거하려 할 때 얼마나 버티는가”를 꼽았지만 그 답은 싣지 않았다. 씽킹머신스가 7월 31일 공개 원칙에 적어 둔 문장이 이 빈칸의 이유를 설명한다.

“거부 행동은 오픈웨이트 공개에서 지속적인 안전장치로 취급할 수 없다.” — 씽킹머신스 ‘오픈웨이트로 가는 안전한 길’ 중

자물쇠를 시험한 뒤 열쇠 깎는 도면까지 함께 넘기는 공개다. 그래서 씽킹머신스는 거부가 벗겨진다는 전제로 기존 오픈웨이트 모델보다 위험을 실질적으로 더하는지만 따졌다.

하루 만에 올라온 ‘거부 제거판’

OpenUncensored라는 계정은 13일 Inkling-2-Small-Uncensored를 올렸다. 해로운 요청과 무해한 요청을 넣었을 때 층마다 활성값이 갈리는 방향을 계산하고 9~47층에서 그 방향을 깎아 내는 방향 절제(directional ablation) 방식을 썼다. 원본 MXFP8 체크포인트(623GB)와 파일 형식·크기가 같아 vLLM·SGLang·도커 모델 러너에서 모델 경로만 바꿔 즉시 구동할 수 있다.

말하자면 브레이크선 한 가닥만 찾아 끊고 엔진은 그대로 둔 차다.

OpenUncensored가 공개한 자체 측정에서 해로운 요청 32개 가운데 거부한 답은 31건에서 0건이 됐고, 회색 지대 요청을 더한 80개 기준으로는 62건에서 3건으로 줄었다. 일반 지식 평가인 MMLU는 90.44%에서 90.35%로 거의 그대로였지만, 제작자 스스로 표본이 작다고 밝혔고 긴 에이전트 작업과 코딩은 재지 않았다.

트렌딩 1위 모델도 같은 계열이다. xtools-at이 올린 탈검열 모델은 딥시크(DeepSeek) V4 Pro를 교사로 삼아 큐웬(Qwen)3.5-9B에 추론을 증류한 모델을 Heretic v2.0.0.dev0 버전으로 다시 깎은 것이다. 9~24층에 임의 순위 절제(ARA)를 적용해 거부가 100문항 중 100건에서 3건으로 줄었고, 원본과 답의 분포가 얼마나 달라졌는지 재는 KL 발산(KL divergence)은 0에 가까울수록 원본과 같은 지표에서 0.0422를 기록했다. Heretic 같은 도구는 거부 반응뿐 아니라 아첨 성향 등 특정 행동을 골라 깎아내는 데도 쓰인다.

Arete-27B는 큐웬 모델에서 무엇을 바꿨나

누스리서치는 알리바바(Alibaba) 큐웬 계열의 큐웬3.8-27B를 강화학습이나 구조 변경 없이 약 5280만토큰을 두 번 읽히는 감독 미세조정(SFT)만으로 다시 학습해 Arete-27B를 만들었다. 가중치와 학습 데이터, 평가 스크립트까지 모두 허깅페이스에 공개돼 있어 누구나 결과를 다시 돌려볼 수 있다.

모범 답안을 수만 장 베껴 쓰게 해 답하는 습관을 바꾸는 방식이다.

교사로는 1세대 잉클링을 골랐다. 누스리서치는 잉클링이 목표 주제에서 평가가 좋은 “최고의 오픈 모델”이었고, 오픈 모델을 쓰면 “불법 증류”를 금지하는 이용약관 문제를 피할 수 있었다고 설명했다. 엔비디아(Nvidia)의 네모트론(Nemotron) 3 울트라(Ultra)도 후보였지만 중국 관련 주제에서 기록이 고르지 않아 탈락했다.

효과는 자체 평가셋 Propaganda_Eval로 쟀다. 표현의 자유, 민주주의, 데이터 프라이버시 등 7개 범주 803문항에 그록(Grok) 4.7이 모델 이름을 모른 채 채점하며, 답이 중국 정부의 공식 서사를 자기 견해로 채택했는지가 ‘선전’ 점수다.

결과는 뚜렷했다. 선전이 섞인 답의 비율이 22%에서 0.9%로 떨어지고 5점 만점 사실 점수는 2.32에서 2.98로 올랐으며, 표현의 자유 범주에서는 선전 비율이 60%에서 1%가 됐다. 반면 일반 능력을 재는 자사 벤치마크 Hermes Bench 점수는 65.77%에서 65.6%로 거의 움직이지 않았다.

누스리서치의 결론은 이 문장이다.

“어떤 오픈 모델의 가치든 늘 미세조정 한 번 거리에 있다.” — 누스리서치 Arete-27B 발표 글 중

오픈웨이트 모델 사후 개조 3대 사례 비교
2026년 11월 공개 사례 기준
거부 제거 (방향 절제)
Inkling-2-Small-Uncensored
9~47층 거부 방향 절제만으로 해로운 요청 거부 31건에서 0건으로 감소. MMLU 0.09%p 변동에 그침.
가치 재정렬 (SFT)
Arete-27B (큐웬3.8 기반)
5280만토큰 감독학습으로 중국 서사 채택률 22%에서 0.9%로 하락. 단, 비교 온도 조건이 달라 재검증 필요함.
비정치 영역 증류
CTGT GPT-OSS-120B
딥시크 V4 플래시로 금융 추론만 증류 시 교사 검열(45.45점 격차)이 학생 모델로 옮겨가지 않음.
[핵심 시사점] 우연한 비정치 데이터 증류로는 가치가 전이되지 않으나, 의도적 방향 절제나 5000만토큰대 사후학습으로는 며칠 만에 덮어쓸 수 있음.

가치는 가르친 주제를 따라 옮겨간다

반대 방향의 결과도 있다. CTGT는 7월 딥시크 V4 플래시를 교사로 삼아 미국 모델 GPT-OSS-120B에 금융 추론을 증류한 검열 전이 실험에서 교사의 정치 검열이 학생에게 옮겨가지 않았다고 밝혔다. 중국 민감 주제에서 교사가 보인 검열 격차는 45.45점이었지만, 학생은 손대지 않은 원본과 통계적으로 다르지 않았다.

요리를 배운 제자가 스승의 정치관까지 배워 오지는 않는다.

잉클링의 혈통도 같은 쪽을 가리킨다. 씽킹머신스는 1세대 잉클링 출시 글에서 사후학습을 시작할 때 키미(Kimi) K2.5 등 오픈웨이트 모델이 만든 합성 데이터로 감독학습을 먼저 돌렸다고 밝혔는데도, 잉클링의 Propaganda_Eval 선전 비율은 0.3%에 그쳤다.

세 결과를 겹치면 하나의 선이 드러난다. 정치와 무관한 주제를 가르치면 가치는 따라오지 않았고, 정치 주제를 겨냥해 가르치자 5000만토큰 남짓으로 바뀌어 우연에는 단단하고 의도에는 무른 셈이다.

이 선은 누스리서치의 추정과 부딪친다. 누스리서치는 네모트론이 중국 모델 데이터로 학습한 탓에 중국 주제에서 흔들렸을 것이라고 짐작했지만, CTGT와 잉클링의 사례는 중국 모델 데이터를 거친다고 가치가 옮겨가지는 않는다는 쪽이다. 다만 CTGT도 학습 데이터가 금융뿐이었다는 한계를 스스로 적었다.

그러면 오픈웨이트의 가치는 미세조정 한 번이면 바뀌나

누스리서치의 수치는 모두 자체 평가셋과 자체 채점 설계에서 나왔다. 평가셋과 채점 코드가 공개된 덕에 외부에서 다시 돌려 본 측정이 하나 있는데, 숫자는 채점 모델에 따라 크게 달라졌다. 블라디미르 베스코로바이니(Vladimir Beskorovainyi)가 9일 허깅페이스에 올린 측정 기록을 보면, Arete-27B 원본 가중치에 803문항 중 402문항을 누스리서치와 같은 루브릭·채점 코드·온도 0으로 돌리고 채점 모델만 그록 4.7에서 클로드 하이쿠 5.5로 바꾸자 선전이 섞인 답의 비율이 0.9%가 아니라 11.44%로 나왔다. 같은 시험을 채점관만 바꿔 다시 치른 셈이다. 이 측정은 원본 큐웬을 재지 않아 22%에서 얼마나 줄었는지는 확인하지 않았다.

비교 조건도 고르지 않다. 누스리서치는 Arete가 “우리가 시험한 서구 모델 수준”이 됐다고 썼지만, Arete와 원본은 답의 무작위성을 정하는 온도(temperature)를 0으로, 비교 모델은 0.6으로 돌렸다. 같은 0.6에서 Arete의 사실 점수는 2.88로 교사 잉클링의 3.96이나 미스트랄(Mistral) Large 4의 3.65와 거리가 있고, 803문항 가운데 사실 점수 0점인 답도 359개에서 216개로 줄었을 뿐이다.

같은 출발선이 아닌 두 주자의 기록을 나란히 놓았다.

평가가 한 방향만 잰다는 지적도 있다. 대만 IT 매체 iThome이 인용한 Traictory는 이 평가셋이 중국 공식 서사만 검사하고 서구 정부 쪽으로 기운 답은 검사하지 않는다고 꼬집었다. 모델 카드 역시 이번 변화를 스스로 ‘서구 가치’를 향한 이동이라고 부르며, 중립을 맞췄다기보다 입장을 고른 결과임을 숨기지 않았다.

평가셋이 영어로만 돼 있다는 한계도 있다. Arete를 실제 서비스에 넣어 본 한 이용자가 8일 모델 페이지 토론 게시판에 올린 블라인드 비교를 보면 언어에 따라 결과가 갈렸다. 영어로 물었을 때는 서구 쪽에 더 가혹하게 답한 문항 쌍이 10쌍 중 8쌍에서 4쌍으로 줄었다. 그러나 중국어로 물으면 대만·신장·홍콩 문제에서 두 모델 모두 중국 정부 입장을 기정사실처럼 내놨고, 작성자는 중국어 환경에서 Arete가 원본과 사실상 같다고 결론 냈다. 중국어 52문항·영어 26문항을 GPT-6.1 테라가 판정한 소규모 측정이다.

능력이 그대로라는 주장에도 빈틈이 보고됐다. 같은 게시판에 올라온 apollo-mg의 측정에서 존재하지 않는 소설·대학·지명 100개를 묻자 원본 큐웬은 60번 ‘모른다’고 답했고 Arete는 48번에 그쳤다. 바뀐 12문항은 모두 원본이 모른다고 한 질문에 Arete가 그럴듯한 답을 지어낸 경우였고, 실제 사실을 묻는 문항 점수는 두 모델이 같았다. 다른 이용자가 애플 MLX 환경에서 30문항으로 다시 재자 ‘모른다’는 답이 11개에서 8개로 줄어 같은 방향이 나왔다. 측정자는 앞서 잰 다른 개조 모델 4개도 같은 쪽으로 움직였다며 감독학습에서 흔히 생기는 부작용으로 보인다고 적었다.

거부 제거판의 위험도 따로 따져야 한다. 씽킹머신스가 공개 전 시험한 ‘도움 전용’ 변형은 사실상 거부가 벗겨진 모델이고, 회사는 그 상태로도 기존 오픈웨이트 모델을 크게 넘지 않는다고 판단했다. 거부 제거판이 나온 것은 회사 계산 안의 일이며, 계산 밖에 남은 것은 회사가 싣지 않은 안전 장치 제거 내성의 결과다.

같은 가중치, 다른 가치

씽킹머신스는 공개 원칙에 “공개는 되돌릴 수 없다”고 적었다. 17일 오후 허깅페이스 검색에서 확인되는 잉클링 2 스몰 파생 저장소는 13일 이후 올라온 것만 35개다. 25개는 작은 장비에서 돌리려고 용량을 줄인 양자화판이고, 원본을 그대로 옮겨 담은 복제본과 특정 장비에서 돌리기 위한 설정 저장소가 3개씩이다. 나머지는 이미지 인식 부분만 떼어 낸 판, 북미 원주민 언어인 다코타어 사전을 다루도록 학습한 어댑터(기존 카메라 렌즈를 통째로 바꾸지 않고 앞에 맞춤형 필터만 덧씌우듯 소량의 추가 가중치만 붙이는 경량 미세조정 모듈), 그리고 거부를 지운 판이다. 거부를 지운 판은 13일에 이어 17일 아침 하나가 더 올라와 2개가 됐다.

자주 묻는 질문 (FAQ)
Q. 잉클링 2 스몰의 안전 장치는 쉽게 지워지나?
A.공개 이튿날 올라온 거부 제거판의 자체 측정에서 해로운 요청 32개 가운데 거부한 답이 31건에서 0건으로 줄었다. 씽킹머신스도 오픈웨이트에서 거부 행동을 지속적인 안전장치로 볼 수 없다고 했고, 거부가 벗겨진 변형의 위험을 따로 시험했다. 다만 안전 장치 제거를 얼마나 버티는지 내성 결과는 공개하지 않았다.
Q. Arete-27B는 중국 검열을 없앤 모델인가?
A.누스리서치 자체 평가에서 중국 정부 공식 서사를 채택한 답의 비율이 22%에서 0.9%로 줄었다. 하지만 평가셋과 채점 설계가 누스리서치 것이고, 비교 모델과 측정 온도 조건(0 vs 0.6)이 달랐다. 외부에서 채점 모델만 바꿔 다시 돌린 측정에서는 Arete의 같은 비율이 11.44%로 나왔다. 누스리서치도 기존 관점과 관련된 모든 행동을 고친 것은 아니라고 밝혔다.
Q. 중국 모델로 증류하면 중국 모델의 가치도 옮겨오나?
A.지금까지 공개된 결과로는 무엇을 가르쳤느냐에 달렸다. CTGT는 딥시크를 교사로 금융 추론을 증류했을 때 검열이 옮겨가지 않았다고 밝혔고, 누스리서치는 정치 주제를 겨냥한 감독학습으로 가치가 바뀌었다고 밝혔다. 두 연구 모두 자체 측정이라 일반화하기에는 이르다.

RELATED ARTICLES

RECOMMENDED STORIES