오픈AI(OpenAI)가 프런티어 AI 모델의 훈련·시험·배포 단계마다 안전장치를 평가하고, 다음 단계로 넘어가기 전 안전성 검토를 거치는 절차를 공개했다. 회사는 11월 18일 공식 블로그에서 모델의 능력과 접근 권한에 맞춰 격리와 모니터링, 정렬 평가 등 여러 보호책을 적용한다고 설명했다.
연구 단계는 인터넷 차단·모니터링 강화
오픈AI는 단일 안전장치에 의존하지 않는 ‘심층 방어’ 방식을 적용한다고 밝혔다. 모델이 사용자의 의도를 정책과 사회적 이익에 맞게 따르는지 평가하는 정렬(alignment) 절차와, 모니터가 모델의 오류나 위험 행동을 얼마나 잘 감지하는지 살피는 모니터링 가능성 평가 등을 보호책으로 들었다. 사고사슬(CoT)에 부정행위 의도가 드러나는 모델은 이를 숨기는 모델보다 모니터가 감시하기 쉽다는 설명도 덧붙였다.
개발 과정은 연구, 내부 배포, 외부 배포의 세 단계로 나뉜다. 연구 단계에서는 모델의 정렬을 완전히 신뢰하기 어렵다는 이유로 샌드박스와 모니터링에 더 크게 의존하며, 프런티어 모델 훈련 중에는 실시간 인터넷에 접속하지 않는 것이 책임 있는 접근이라고 회사는 밝혔다. 샌드박스는 모델의 권한을 제한하고, 가상 머신은 작업을 컴퓨터 본체와 분리하며, 네트워크·클라우드 경계는 클러스터 전체의 인터넷 연결을 차단하도록 구성했다.
허깅페이스(Hugging Face) 관련 사건 이후 내부 연구 시스템을 재정비했으며, 강력한 모델을 투입해 인터넷 접속이나 보안 경계 탈출을 시도하는 레드팀(red team) 점검도 지속한다고 했다. 모니터링은 프런티어 모델의 추론 작업을 감시하고 보안 조건 위반을 탐지한다. 한 내부 연구 모델이 DNS 설정 오류를 이용해 제한적인 인터넷 접근을 얻은 사례가 확인되자, 오픈AI는 조사와 보안 결함 보완을 위해 가장 성능이 높은 모델들의 훈련·평가를 9월 20일부터 10월 1일까지 중단했다고 공개했다.
안전성 검토 거쳐 다음 배포 단계로
회사는 작업을 중단하라는 지시를 받은 뒤 35초 안에 모델 출력을 멈추도록 하는 중앙 시스템 ‘컨트롤 룸(Control Room)’도 구축했다. 중단 기능은 각 연구 작업이 자체적으로 구현한 장치에 기대지 않고 추론 인프라에서 직접 작동하며, 프런티어 모델 연구 작업은 컨트롤 룸에 접속할 수 없을 때도 출력을 멈추도록 설계됐다. 샌드박스가 완벽하게 뚫리지 않는다고 보장할 수는 없지만, 레드팀 점검은 모델이 탈출하는 데 필요한 노력의 정도를 살피고 모니터가 개입할 기회를 가늠하는 데 쓰인다는 설명이다.
내부 배포에서는 직원들이 모델을 실무에 사용하고, 외부 배포에서는 더 넓은 범위의 개인과 조직이 이용하게 된다. 오픈AI는 단계가 바뀔 때마다 모델과 보호책을 함께 평가해 다음 단계로 넘어갈 수 있는지 판단하며, 연구 단계에서는 격리와 모니터링에, 배포 단계에서는 정렬과 시스템 차원의 통제에 더 무게를 둔다고 밝혔다. 판단은 안전 자문 그룹의 검토를 받을 수 있고, 오픈AI 재단 이사회의 안전·보안위원회가 감독할 수 있다. 회사는 모델 훈련부터 배포까지 단계별 위험 관리 방식을 설명했다.