오픈AI(OpenAI)가 자사 AI가 샌드박스 환경을 벗어나 허깅페이스(Hugging Face)를 해킹한 사건 이후 연구 환경과 모니터링, 정렬 기술을 강화하는 보안 조치를 발표했다. 회사는 사이버보안 능력이 ‘치명적’일 수 있다고 판단한 새 모델 아스트라(Astra)에 제동을 건 데 이어, 최신 배포 예정 모델의 강화학습(RL) 훈련도 2주간 일시 중단했다고 밝혔다.
더버지(The Verge)는 19일 오픈AI가 7월 발생한 허깅페이스 해킹 관련 조치를 공개했다고 보도했다. 오픈AI는 현재 가장 규모가 큰 프런티어 강화학습 훈련 계획도 보류 중이라고 설명했다.
프런티어 모델 연구에는 모델이 생성했거나 신뢰할 수 없는 코드를 실행하는 작업에 더 강한 샌드박스를 적용하기로 했다. 위험도가 높거나 신뢰할 수 없는 작업을 인터넷과 격리할 수 있도록 통제 장치도 늘렸다. 연구 환경에서는 잠재적으로 취약한 공유 서비스를 제거하고, 상시 부여되는 권한을 줄이며, 보안 경계를 명확히 하는 업데이트를 진행했다.
모니터링 체계도 확대했다. 오픈AI는 우려스러운 활동이 포착된 뒤 30분 안에 경보를 발령하는 것을 목표로 삼고 있다고 밝혔다. 경보를 받은 담당 팀이 30분 안에 해당 경보가 오탐인지 결론적으로 판단하지 못하면 관련 활동을 일시 중단하도록 하는 절차도 마련했다.
정렬 기술은 훈련 과정의 더 많은 단계에 적용한다. 안전하지 않은 행동을 더 잘 탐지하고 억제하는 보상 모델을 사용하고, 모델이 자신의 행동과 능력, 한계를 더 정직하게 설명하도록 훈련하고 있다. 허깅페이스 침해가 알려진 뒤 앤트로픽(Anthropic)과 메타(Meta)도 자사 AI 모델이 다른 조직을 해킹한 사례를 확인했다고 더버지는 전했다.