오픈AI(OpenAI)가 대상 API 고객의 프롬프트와 모델 응답을 보존하지 않으면서도 여러 상호작용에 걸친 위험 신호를 자동으로 탐지하는 ‘프라이빗 세이프티 프로세싱(Private Safety Processing)’을 공개했다. 기존 제로 데이터 보존(Zero Data Retention·ZDR) 방식의 안전 기능을 여러 요청의 연관성까지 분석하도록 확장한 것으로, 현재 초기 고객을 대상으로 시험 중이다.
오픈AI는 8월 20일 자사 블로그에서 프라이빗 세이프티 프로세싱을 미리 공개한다고 밝혔다. ZDR 대상 API 고객에 대해서는 요청이 처리된 뒤 프롬프트와 모델 응답을 보존하지 않으며, 오픈AI 직원이 고객 콘텐츠를 검토할 수 없다고 설명했다. 기업 고객의 데이터도 고객이 명시적으로 동의하지 않는 한 모델 훈련에 사용하지 않는다는 방침이다.
ZDR 배포에서는 고객 콘텐츠가 고객이 통제하는 인프라에 남는다. 오픈AI는 콘텐츠를 자사 인프라에 저장하는 선택지도 개발 중이며, 이 경우 고객이 관리하는 암호화 키를 사용하도록 설계했다. 오픈AI 직원은 해당 키의 사본을 보유하지 않아 원문 프롬프트나 응답에 접근할 수 없다는 것이다.
안전 시스템을 여러 상호작용에 걸쳐 작동시키는 이유는 단일 요청만으로는 위험이 드러나지 않을 수 있기 때문이다. 여러 대화에서 유해한 의도가 점차 나타나거나, 악의적인 사용자가 보호 장치를 반복적으로 시험하고 계정 간에 행동을 조율하는 경우가 이에 해당한다. 에이전트형(agentic) 작업에서도 사용자가 중단을 지시했는데 시스템이 계속 행동하는 등 의도와 어긋나는 상황이 발생할 수 있다고 오픈AI는 설명했다.
프라이빗 세이프티 프로세싱은 기존 ZDR 호환 안전 시스템이 개별 상호작용을 평가하던 방식에 관련 요청 간 패턴 분석을 추가한다. 자동화 시스템이 위험을 감지하면 오픈AI에는 활동 유형을 나타내는 제한된 안전 신호만 전달되며, 이를 바탕으로 제재 필요성을 판단할 수 있다. 위험으로 표시된 경우에도 직원에게 고객 콘텐츠가 공개되지는 않는다. 고객은 자체 시스템에서 경고와 제재 결정에 대한 정보를 확인하고, 이의를 제기하거나 정당한 활동임을 설명할 때 관련 정보를 선택적으로 공유할 수 있다.
오픈AI는 금융 기록, 건강 데이터, 기밀 사업계획, 독점 연구자료를 다루는 기업들이 데이터 통제와 규제 준수를 동시에 요구하고 있다고 밝혔다. 글린(Glean)의 수닐 아그라왈(Sunil Agrawal) 정보보안최고책임자는 기업용 AI 도입은 데이터에 대한 고객 통제와 선택한 서비스 외의 직접·파생적 사용 금지에 달려 있다며, 오픈AI의 훈련 금지 약속과 ZDR이 신뢰를 준다고 말했다. 오픈AI는 9월부터 이 기능을 배포하고 기술 백서를 공개할 계획이며, 기존 약속에 미치는 영향과 준비에 필요한 지원 사항을 고객에게 사전에 안내할 방침이다.