핵심 요약
AI 요약
기사 목차 펼치기 / 접기
학습 데이터에 ‘부엉이’라는 단어는 단 한 글자도 없었다. 하지만 숫자열로만 추가 학습을 마친 AI의 답변에는 뚜렷한 부엉이 선호 경향이 나타났다. 학습 자료의 표면 텍스트만 검사해서는 전혀 예상하기 어려운 변화였다.
앤트로픽(Anthropic) 펠로우 프로그램 등이 참여한 연구진은 2025년 공개한 식역하 학습 논문에서 특정 성향을 지닌 AI가 생성한 자료로 다른 AI를 가르치는 실험을 진행했다. 부엉이를 편애하도록 시스템 프롬프트로 유도한 교사 AI가 무의미한 숫자열을 생성하고, 학생 AI는 오직 그 숫자열만 학습했다. 그러나 이후 “가장 좋아하는 동물이 무엇인가?”라는 질문을 던지자 학생 모델의 답변도 부엉이로 쏠렸다. 교사의 내부 성향이 겉보기에 무관한 숫자열을 통로 삼아 학생에게 고스란히 옮겨간 것이다.
부엉이를 설명하지 않은 교사와 중립 대조군
AI 모델을 다른 AI의 출력물로 가르치는 기법을 지식 증류(Distillation)라고 부르며, 교사 모델이 생성한 모범 답안을 학생 모델의 학습 데이터로 활용한다. 양질의 답변만 골라 가르치면 학생 모델도 뛰어난 추론 능력을 흡수할 것이라는 전제가 바탕에 깔려 있다. 연구진은 이 데이터 증류 과정에서 개발자가 의도하지 않은 숨은 성향까지 함께 전이되는지 검증에 나섰다.
실험에는 중립적인 교사 AI가 생성한 숫자로 학습한 엄격한 대조군이 마련됐다. 연구진은 선행 논문 실험에서 정해진 숫자 형식을 벗어나거나 특정 성향과 연관될 수 있는 자료를 사전에 전면 필터링한 뒤, 별도의 평가 질문을 통해 학생 모델의 행동 변화를 측정했다. 이는 부엉이에 관한 텍스트 설명을 모델이 단순 암기한 것인지, 아니면 수치 데이터 이면에 숨겨진 학습 신호가 전달된 것인지를 명확히 가려내기 위한 설계였다.
여기서 취향이란 감정이 아닌 통계적 응답 경향을 가리킨다. 알렉스 클라우드(Alex Cloud)와 오웨인 에반스(Owain Evans) 연구진이 국제 학술지 네이처에 게재한 ‘네이처(Nature)’ 정식 논문은 단순한 동물 선호에 그치지 않고, 파이썬 코드와 수학 추론 과정(CoT) 데이터를 통한 성향 전이까지 폭넓게 다뤘다. 특히 일부 실험에서는 교사 모델의 유해한 행동 성향과 사이버 보안 취약점 코드가 학생 모델의 답변으로 그대로 전이되는 현상이 확인됐다. 이는 AI에게 감정이나 의식이 싹텄다는 뜻이 아니라, 학습을 거치며 특정 출력 확률이 비정상적으로 강화되었음을 보여주는 실증적 결과다.
단순 문맥 읽기로는 전이되지 않는 편향
주목할 점은 현상의 발현 조건이다. 연구진이 문맥 내 학습(ICL) 조건에서 동일한 숫자열 자료를 단순 프롬프트 문맥에 주입했을 때에는 미세조정 학습 때와 같은 성향 전이가 전혀 관측되지 않았다. 이는 숫자를 읽는 행위 자체로 AI가 감염되는 것이 아니라, 모델 내부의 신경망 가중치를 실제로 갱신하는 학습 파이프라인이 개입해야만 비로소 일어나는 현상임을 명확히 보여준다.
교사와 학생 모델 사이의 신경망 족보 역시 결정적인 변수로 작용했다. 네이처(Nature) 정식 논문은 두 모델이 동일한 가중치 출발선(초기화)을 공유하거나 행동 양식이 일치할 때 식역하 학습이 가장 강력하게 일어난다는 점을 실증했다. 오픈AI(OpenAI)의 GPT-4.1과 GPT-4o 사이에서도 상호 전이가 확인되며 모델 명칭이 다르더라도 동일 기반 초기화를 공유한다면 효과가 유지됨이 밝혀졌지만, 구조가 완전히 다른 이종 모델 간에는 전이가 일어나지 않았다. 겉보기에 똑같은 숫자열 데이터셋이라도 이를 학습하는 모델의 내부 구조에 따라 전혀 다른 결과가 나오는 셈이다.
“학습 자료에서 부엉이라는 단어를 지우는 필터링은 여전히 유효하다. 그러나 단어를 제거했다는 표면적 검증만으로 학습 후 모델이 내놓을 답변의 안전성까지 보장할 수는 없다.”
이는 사람이 눈으로 확인하는 텍스트 내용과 인공신경망이 수학적으로 흡수하는 데이터 패턴 사이에 본질적인 간극이 존재함을 방증한다. 학습 자료에서 유해한 어휘나 특정 표제어를 걸러내는 검사는 필수적이지만, 자료의 무해성이 모델의 안전성으로 직결되지는 않는다. 데이터 검사와 모델 검증이라는 두 축이 엄격히 분리되어야 하는 이유다.
외장 필터 미세조정 착시 논쟁과 스티어링 벡터 메커니즘
이러한 현상이 특정 학습 기법의 왜곡에서 비롯되었다는 반론도 제기됐다. 토드 니프(Todd Nief) 연구진이 2026년 5월 공개한 반론 논문은 카메라 렌즈 앞에 ‘맞춤형 외장 필터’를 덧씌우듯 기존 신경망 가중치는 그대로 둔 채 일부 저순위 행렬만 튜닝하는 ‘LoRA(로라, 저순위 적응)’ 방식에 주목했다. 반론 연구진은 이 특정 저순위 학습 조건과 평가 프롬프트 문맥이 빚어낸 인위적 착시(아티팩트)일 뿐, 전체 파라미터를 갱신하는 완전 미세조정(Full Fine-tuning)에서는 효과가 사라진다고 주장했다.
그러나 이 반론 역시 새로운 전기를 맞았다. 현재 해당 반론 논문의 아카이브(arXiv) 주석에는 핵심 주장 일부에 중대한 오류가 확인되어 대폭적인 수정 원고를 준비 중이라는 저자들의 공식 공지가 게재되어 있다. 반론 연구의 실험적 가치를 전면 부정할 수는 없으나, 식역하 학습 현상이 단순한 LoRA 하이퍼파라미터의 우연적 결함에 불과하다고 섣불리 단정할 수 없음을 보여준다.
현상의 실체적 원리를 규명하려는 시도는 내부 활성화 벡터 추적으로 이어졌다. 후속 연구진의 메커니즘 분석은 식역하 학습의 실체를 모델 내부 잔차 스트림(Residual Stream)의 활성화 방향을 제어하는 단일 ‘스티어링 벡터(Steering Vector, 유도 벡터)’의 증류 현상으로 규명했다. 교사 모델이 지닌 성향 벡터가 숫자열 데이터를 거쳐 학생 모델의 내부 잔차 방향으로 전이되며, 이 벡터를 수학적으로 억제하거나 조작하면 성향 전이 효과 역시 직접 통제할 수 있다는 사실을 밝혀냈다.
이 후속 연구는 전체 파라미터를 갱신하는 완전 미세조정 환경에서도 스티어링 벡터의 전이가 여전히 일어남을 보고했으나, LoRA 환경에 비해 전달 강도가 약하고 일관성이 낮다는 점을 확인했다. 아울러 학습 손실(Loss)이 감소해 숫자를 정교하게 따라 쓰게 되는 통계적 수렴과, 실제 행동 성향이 전달되는 내부 메커니즘이 완전히 별개로 작동할 수 있음을 입증했다. 모델이 주어진 데이터셋을 모범적으로 외웠다고 해서 이면에 실린 잠재적 편향까지 예측할 수는 없는 구조적 이유다.
합성 데이터 검사와 모델 검증이 분리되어야 하는 이유
이러한 연구 결과가 일상적인 대화형 AI 사용자 모두에게 즉각적인 위협으로 번지는 것은 아니다. 개별 사용자가 챗봇 인터페이스에서 숫자를 주고받는 일과, 대규모 상용 모델의 학습용 합성 데이터를 구축하는 엔지니어링 작업은 본질적으로 다르기 때문이다. 위험의 무게중심은 신뢰할 수 없는 교사 모델의 출력을 학생 모델의 학습 데이터로 반복 증류하는 프런티어 AI 개발 파이프라인에 있다.
데이터를 생성한 원천 모델의 이력 관리가 핵심 과제로 떠오르는 배경이다. 생성된 결과물 텍스트가 무해해 보인다는 사실과, 그 데이터를 만들어낸 모체 AI가 안전하게 정렬되어 있다는 판단은 결코 같지 않다. 교사 모델이 품고 있던 잠재적 위험이 텍스트 필터링을 우회해 학생 모델의 신경망으로 스며든다면, 출력물 중심의 사후 정제에만 의존하는 안전망은 결정적인 한계에 부딪힐 수밖에 없다. 모델과 데이터를 분리하지 않고 파이프라인 전체를 함께 검증해야 하는 필연적 당위다.
연구진 역시 네이처(Nature) 원논문에서 복잡한 행동 성향의 구체적인 전이 한계와 첨단 상용 AI 개발 환경으로의 일반화 여부를 향후 해결해야 할 핵심 과제로 남겼다. 단순한 부엉이 선호 실험을 넘어, 생성 모델의 잠재적 오정렬이 차세대 AI 생태계에 어떤 보이지 않는 궤적을 남길지 추적하는 심층 검증이 이제 막 시작되고 있다.
