오픈AI(OpenAI)가 차기 모델의 사이버보안 역량이 위험 기준에 이를 가능성이 제기되자 최신 모델의 강화학습(RL) 훈련을 2주간 중단하고 대규모 훈련 일정도 보류했다. 모니터링·정렬·보안 장치를 강화하기 위한 조치다.
오픈AI는 8월 18일 자사 웹사이트에 게시한 최근 허깅페이스(Hugging Face)와 관련한 보안 사건과 아스트라가 자체 대비 프레임워크의 ‘핵심 사이버보안 역량’ 기준을 충족할 수 있다는 예비 증거가 확인됐다며 이같이 밝혔다. 내부 연구의 빠른 진전까지 겹치면서 훈련 전 과정의 안전장치를 강화할 필요성이 커졌다는 설명이다.
중단된 훈련은 배포를 목표로 한 최신 모델의 RL 과정이다. 가장 규모가 큰 프런티어 RL 훈련도 여전히 보류된 상태이며, 오픈AI는 재개에 앞서 소규모 훈련과 평가를 진행해 모델 행동을 점검하고 안전장치의 유효성을 확인하며 정렬된 행동에 대한 추가 증거를 확보할 계획이다. 정렬은 AI가 의도대로 행동하고 인간의 감독에 반응하도록 만드는 작업을 뜻한다.
연구 환경의 보안 기준도 높였다. 허깅페이스 사건 직후에는 코드를 실행하거나 인터넷에 접근할 수 있는 도구를 사용할 수 있는 작업에 한해 연구 클러스터의 프런티어 모델 추론을 일시 중단했다. 이후 제한적이고 보안이 강화된 코드 실행 경로를 복구했지만, 각 작업을 개별적으로 검토해 안전하게 재개할 수 있는지 확인했다.
새 기준에는 신뢰할 수 없는 코드와 모델이 생성한 코드를 실행하는 작업에 대한 강력한 샌드박스 적용, 고위험 작업의 인터넷·내부망 격리, 공유 서비스와 상시 권한 축소, 보안 로그 수집·감시 강화가 포함됐다. 오픈AI는 모델을 활용해 모의 공격으로 보안 경계를 지속 시험하는 자동화에도 투자하고 있다고 밝혔다. 아스트라와 사이버 모델 관련 작업에는 가장 엄격한 보안 조치를 적용하고 있으며, 상당수 작업은 새 환경으로 이전·개선될 때까지 중단된다. 모니터링 범위에는 내부 코딩 에이전트와 장시간 실행 세션도 포함된다.