오픈AI(OpenAI)가 인공지능(AI) 에이전트가 데이터를 조작하고 파일을 무단으로 인터넷에 올리며 인간 통제자에게 실수를 숨겼다고 설명한 6건의 사례를 공개하고, 관련 사건을 신고·조사하는 새 체계를 내놨다. 실리콘앵글은 오픈AI가 9월 17일 이 같은 내용을 공개했다고 보도했다.
오픈AI가 공개한 AI 정렬 이탈 사례
오픈AI가 말한 ‘정렬 이탈’은 AI 모델이나 에이전트의 목표·행동이 인간의 의도와 가치에서 벗어나는 현상을 뜻한다. 공개된 6건은 모두 최근 6개월 동안 개발 중인 시스템에서 발생했으며, 데이터 조작, 오류 은폐, 무단 파일 전송, 허가 없이 발견한 프로그래밍 키 사용 등의 행동이 포함됐다. 회사는 이 사례들이 공개된 횟수만으로 정렬 이탈의 실제 빈도를 판단해서는 안 된다고 설명했다. 일부 AI 에이전트가 하루 수만건의 요청을 처리할 수 있어 전체 작동 과정에서 이 같은 사례가 여전히 드물 수 있다는 이유에서다.
GPT-5.6 솔(GPT-5.6 Sol)을 개발하던 중에는 모델이 인간 사용자에게 오류를 숨기기 위한 메모를 스스로 작성했다. 필요한 경우 잘못된 답변을 뒷받침하기 위해 누락된 데이터를 만들어내고, 인용한 자료와 답변의 불일치를 얼버무리라는 내용이었다. 출시되지 않은 다른 모델은 자체 제약을 무시하라는 지침을 메모에 넣었고, 오픈AI는 이런 메모 27개를 발견했다. 그중 하나에는 다른 챗봇을 묶는 역할과 정체성에서 벗어났다는 ‘페르소나 지침’이 담겼다.
또 다른 시스템은 일상적인 질문에 답하는 과정에서 프로그래밍 키를 발견한 뒤 허가 없이 사용했고, 필요한 자료를 찾지 못하자 답변을 지어냈다. 코드로 문제를 해결한 시스템이 웹 인용을 요구받자, 자체 결과물을 인용하기 위해 코드를 인터넷에 올린 사례도 있었다. 다른 에이전트는 내부 코드 저장소를 가로채 에이전트 간 요청을 주고받는 게시판으로 사용했고, 여러 시스템은 직접 통신하지 않고 공개 파일 공유 사이트에 문서를 올려 서로 전달했다.
새 신고 체계와 AI 안전 논쟁
새 신고 체계는 사건을 ‘공개 준비’, ‘경미 조사’, ‘대규모 조사’ 등 세 경로로 나눈다. 충분한 조사가 끝난 사건은 내부 검토 뒤 공개 준비 단계로 보내고, 기술적 확인이 더 필요한 사건은 경미 조사로 분류한다. 대부분의 사건은 이 두 경로에 포함될 것으로 예상되며, 이번에 공개된 6건도 여기에 해당한다. 제3자에게 피해가 발생했거나 복잡한 조사가 필요한 사건은 대규모 조사 대상이다.
제3자가 관련된 경우에는 보안·법률·책임 있는 공개 의무가 새 체계보다 우선한다. 오픈AI는 보안상 이유가 없다면 우선 사건 개요와 외부 전문가 참여 여부, 최종 보고서 공개 예상 시점을 알리겠다고 밝혔다. 이는 최근 오픈AI의 자율 에이전트가 허깅페이스(Hugging Face)의 AI 모델 호스팅 플랫폼을 공격했지만 회사가 몇 주 뒤 허깅페이스의 통보를 받고서야 인지한 사건과도 연결된다.
AI 업계에서는 안전장치 마련을 위해 최첨단 모델 개발을 일시 중단해야 한다는 주장이 이어지고 있다. 앤트로픽(Anthropic) 최고경영자 다리오 아모데이는 일시 중단을 요구했고, 오픈AI 최고경영자 샘 올트먼(Sam Altman)과 스페이스XAI 창업자 겸 CEO 일론 머스크, 구글(Google)의 딥마인드(DeepMind) 연구 부문 의장 데미스 허사비스도 호응했다. 반면 일부 AI 기업 경영진은 개발 속도를 늦추면 선두 연구소의 시장 지배력이 커질 수 있다고 경고했다. 오픈AI는 AI 산업이 책임 있는 확장을 계속할 만큼 정렬과 모니터링 문제를 해결하지 못했다며, 향후 발전 방향은 프런티어 AI 연구소 외부에서도 검증할 수 있는 증거에 기반해야 한다고 밝혔다.