오픈AI(OpenAI)가 모델의 내부 추론 과정을 빼내 다른 모델 학습에 쓰는 공격에 대응해 보호 장치를 강화했다고 밝혔다. 오픈AI는 11월 20일 공식 블로그에서 GPT-6.2 아스트라(Astra)의 내부 평가 결과 공격 성공률이 기존 54%에서 0.2%로 낮아졌다고 설명했다.
GPT-6.2 아스트라·솔에 추론 보호 강화
오픈AI는 GPT-6.2 아스트라와 GPT-6.2 솔(Sol)에 보호 대상 추론 과정 추출을 막는 방어 기능을 강화했다. 강력한 자동 레드팀 기법을 적용한 내부 적응형 평가에서, 공격자가 앞선 질문에 답할 때 모델이 생성한 보호 대상 추론을 복구할 수 있는지 시험했다. 기존 보호 기능을 적용한 GPT-6 아스트라의 평균 공격 성공률은 54%였고, 새 보호 기능을 적용한 GPT-6.2 아스트라는 0.2%였다. 이는 해당 내부 평가에서 측정한 결과로, 모든 공격이나 환경에서 같은 비율이 나온다는 뜻은 아니다.
증류는 한 모델이 다른 모델이 만든 답변이나 판단 등을 학습 자료로 삼아 성능을 익히는 기법이다. 오픈AI는 공격자가 이를 악용하면 원본 모델의 안전장치는 물려받지 않은 채 고급 기능만 습득한 모델을 만들 수 있다고 지적했다. 특히 사고사슬(CoT)처럼 답변에 이르는 중간 추론 과정에는 최종 답변에 드러나지 않는 정보가 담길 수 있어, 다른 모델을 훈련하는 데 유용한 자료가 될 수 있다는 설명이다.
방어적 사이버 보안 자료도 전용될 수 있어
오픈AI는 사이버 보안·코딩 작업에서 생성된 자료가 공격 능력으로 이어질 수 있는지도 내부 연구에서 살폈다. 같은 사전학습 학생 모델을 출발점으로 삼고, 아스트라급 교사 모델이 코딩 및 방어적 사이버 보안 과제를 수행한 기록을 파인튜닝(fine-tuning) 자료로 만들었다. 기록에는 과제를 푸는 과정의 각 단계와 도구 사용, 최종 답변이 포함됐다. 비교 기준은 이용자에게 보이는 최종 답변과 추론 요약, 도구 상호작용을 활용한 학습이었다.
지도 파인튜닝 뒤에는 정확한 추론 과정을 학습한 학생 모델이 추론 요약으로 학습한 모델보다 대체로 높은 성능을 보였다. 이후 사이버 보안·코딩 환경에서 가벼운 강화학습을 거친 뒤에도, 시험한 가장 큰 추론 예산에서는 정확한 추론 과정을 학습한 모델이 두 벤치마크 모두에서 앞섰다. 다만 낮은 추론 예산에서는 요약을 학습한 모델이 더 높은 점수를 기록했다. 따라서 정확한 추론 과정의 영향은 평가 조건에 따라 달랐으며, 오픈AI는 다른 학생 모델과 학습 방식에서도 기능 전이 정도를 계속 연구하겠다고 밝혔다.
오픈AI는 방어 체계를 개별 요청 단계와 조직적 추출 시도 탐지 단계로 나눠 운용한다고 설명했다. 개별 요청에는 모델 동작과 분류기 검사, API 제어를 적용해 추론 과정 추출을 제한하고, 캠페인 단위에서는 요청 및 계정 신호의 패턴을 살펴 여러 차례에 걸친 시도를 찾아낸다는 것이다. 조사에서 발견한 공격 사례는 보호 장치를 훈련하고 시험하는 데 다시 활용한다.
회사는 적대적 증류 방어에 공격 시험, 모델 학습, 분류기, API 수준 보호와 조직적 시도 조사를 함께 쓰고 있다고 밝혔다. 생물학·사이버 보안 분야에서 적용하는 보호 방식과도 더 가깝게 맞췄다고 설명했다. 방어적 과제에 대한 답변이라도 많은 양이 모이면 원래 과제의 범위를 넘어서는 기술을 학생 모델에 전할 수 있다는 것이 오픈AI의 연구 결과다. 회사는 정확한 추론 흔적이 기능 전이를 얼마나 늘리는지 추가로 살피겠다고 했으며, 구체적인 후속 일정이나 별도 출시 계획은 공개하지 않았다.