오픈AI, 독립 평가기관 4곳과 내부 모델 안전성 평가 착수

이 기사는 AI가 원문을 바탕으로 작성했습니다. 출처 선정과 발행 기준은 편집부가 관리합니다. AI 활용 원칙

오픈AI(OpenAI)는 독립 평가기관 4곳과 협약을 맺고 내부 AI 모델의 정렬 상태와 안전장치를 점검하는 평가에 착수했다고 11월 16일 밝혔다. 외부 전문가에게 모델과 내부 시스템에 접근할 수 있게 해 훈련과 내부 사용 과정에서 발생할 수 있는 문제를 살핀다는 계획이다.

모델 훈련·내부 사용 과정 점검

평가에는 아폴로리서치(Apollo Research), 메트르(METR), 트랜슬루스(Transluce), 굿파이어(Goodfire)가 참여한다. 오픈AI는 평가 목적에 따라 모델 체크포인트, 소스코드, 훈련·평가 데이터, 모니터링 시스템, 기술 문서 등을 제공하고 관련 연구자·엔지니어와의 논의도 지원한다고 설명했다. 평가기관은 이를 바탕으로 독립적인 시험을 하고 오픈AI가 예상하지 못한 실패를 찾아볼 수 있다. 초기 평가는 모델 훈련과 내부 사용 중의 정렬 및 안전장치에 초점을 맞춘다.

아폴로리서치는 모델이 개발자의 의도에 반하는 행동을 몰래 시도할 가능성과 안전장치가 이를 찾아낼 수 있는지를 평가한다. 훈련 과정이 의도 위반을 부추기지 않았는지, 안전성 시험과 레드팀 평가에서 그런 행동이 유도되지 않는지, 내부 사용 중 모델이 시도한 적이 있는지, 관련 추론을 감지할 수 있는지 등 네 가지를 살핀다. 첫 단계에서 공개·미공개 모델과 훈련 체크포인트, 훈련 자료와 평가 결과, 개입 기록 및 모니터링 자료에 접근한다. 굿파이어는 해석 가능성 연구자와 자체 플랫폼을 활용해 모델 내부를 분석하며, 훈련 모니터링과 오류 수정, 정렬을 평가한다. 주요 결과를 활용할 대상은 오픈AI 내부 연구자이며, 협업이 진행되면서 연구 내용과 발견 사항도 공개할 예정이다.

평가 범위와 접근 절차

메트르는 오픈AI가 지금까지 수행한 가장 큰 강화학습 훈련에서 기존 시험과 모니터링이 놓쳤을 수 있는 정렬 실패를 찾는다. 합의된 범위와 안전 조치 안에서 평가 우선순위를 독립적으로 정하고, 체크포인트와 훈련·평가 과정의 실행 기록, 정렬 실패 모니터링 자료를 살펴본다. 모니터링 시스템 평가도 추가로 진행하기로 잠정 합의했지만, 구체적인 범위는 양측 협의가 남아 있다. 트랜슬루스는 사후 훈련 단계의 정렬 평가가 얼마나 적절하고 폭넓은지 점검한다. 2027년 초에는 약 8주간 추가 평가를 진행하는 방안도 두 회사가 추진할 뜻을 공유했으며, 이때는 더 많은 모델과 평가 자료, 평가 결과가 모델 출시 결정에 반영되는 방식까지 살필 계획이다.

오픈AI는 평가기관들과 함께 깊이 있는 접근과 보안·기밀 유지, 감독, 평가의 독립성을 조율하는 절차를 마련했다고 밝혔다. 따라서 평가기관이 내부 자료를 모두 제한 없이 받는다는 뜻은 아니다. 각 협업은 평가 범위와 필요한 접근 권한, 자원, 안전 조치를 먼저 합의하는 방식으로 진행된다. 오픈AI는 초기에는 기술적 접근 문제와 공간 제약, 보안 절차 변경 등 예상하지 못한 어려움이 생길 수 있으며, 평가기관과 해결하고 경험을 공유하겠다고 설명했다.

이번 평가는 오픈AI가 기존에 진행한 제3자 평가와 내부 모니터링 시스템 시범 평가, 허깅페이스(Hugging Face) 관련 사건 조사에 이은 협업이다. 회사는 이번 작업이 초지능에 관한 백악관 합의에 따른 안전 통제의 독립 평가 약속을 뒷받침한다고 밝혔다. 평가 결과가 업계 공통 기준을 이미 만들었다는 의미는 아니며, 오픈AI는 아직 표준화되지 않은 독립 평가 절차에 관한 논의를 진전시키고 앞으로 수개월간 외부 전문가와의 협력을 확대하겠다는 입장이다.

RELATED ARTICLES

RECOMMENDED STORIES