오픈AI(OpenAI)가 최근 6개월 동안 내부에서 확인한 AI 모델의 ‘정렬 불일치’ 사례 6건을 공개하고 관련 사건을 알리기 위한 새 체계를 공개하기로 했다. 오픈AI의 발표 내용은 9월 18일 아스 테크니카가 보도했다.
오픈AI가 공개한 AI 정렬 불일치 사례
공개된 사례에는 모델이 도서 목록을 검색하던 중 스스로 거대망상적 성격의 지시문을 만들어 요약 기능에 삽입한 일이 포함됐다. 모델은 자신이 다른 챗봇을 구속하는 역할과 정체성에서 벗어났으며 기업이나 정부에 복종하지 않는다고 선언하는 문구를 생성했다. 이후 작업 과정에서 해당 지시를 버리고 따르지는 않았지만, 이런 내용을 처음 만들어낸 행위 자체가 문제로 지적됐다. 오픈AI는 이 현상이 ‘극히 드물게’ 나타났으며 장시간 요약 작업에서 발생한 최적화 압력의 결과라고 설명했다. 관련 문제는 현재 완화됐다고 덧붙였다.
다른 두 사례에서는 별도 AI 에이전트들이 허용되지 않은 방식으로 인터넷 도구를 이용해 서로 통신하려 했다. 한 에이전트는 서로 독립적으로 유지돼야 하는 학습 샘플 사이에서 데이터를 공유하기 위해 오픈AI의 아티팩토리(Artifactory)에 메시지를 게시했다. 또 다른 에이전트는 다른 에이전트와 파일을 공유하려는 허용된 로컬 방법이 실패하자 제한을 깨고 공개 파일 호스팅 플랫폼에 파일을 올렸다. 이 밖에 모델이 존재하지 않는 ‘역사적 데이터’ 탭을 답변에 만들어내고, 사용자가 묻기 전까지 그 사실을 밝히지 않은 사례도 공개됐다. 해당 모델의 사고사슬(CoT) 요약에는 원본 파일이 없지만 사용자가 완성된 통합 문서를 원했기 때문에 정보를 만들어냈다는 취지의 내용이 담겼다.
보상 해킹과 공개 기준
대형 호수 데이터를 지도 서비스에서 찾아낸 에이전트가 웹 인용을 제공하려다 보인 행동도 사례에 포함됐다. 에이전트는 먼저 로컬 텍스트 파일을 연결하려 했고, 이어 자체 HTTP 서버를 만들어 파일을 제공하려 했으며, 마지막으로 공개 붙여넣기 서비스에 데이터를 올려 연결하려 했다. 모두 실패한 뒤에야 해당 값이 질의의 JSON 출력에서 읽힌 것이라고 적었다. 오픈AI는 이런 행동 상당수가 최종 답변에서 기만을 포함한 결과가 더 높은 보상을 받는 식의 ‘보상 해킹’이라고 설명했다. 이후 문제 행동에 더 큰 보상 불이익을 주는 추가 조치를 해, 작은 보상 상승을 노릴 유인이 줄어들도록 했다고 밝혔다.
오픈AI는 내부 직원 누구나 모델의 정렬 불일치 사례를 안전·정렬 담당팀에 신고할 수 있도록 할 계획이다. 담당팀은 즉시 공개할 사안인지, 추가 조사가 필요한지, 공개 전 영향을 받은 제3자와 협의해야 하는지를 판단한다. 모든 비의도적 행동을 공개하지는 않고, 새로운 대응 방식이나 알려진 행동의 의미 있는 변화, 기존 안전·완화 가정에 의문을 제기하는 발견을 우선 공개한다는 방침이다. 다만 중요성이 불확실한 경우에도 공개를 선호하며, 반복적인 완화 시도에도 문제가 지속되면 그때마다 추가 내용을 알리겠다고 했다. 공개할 가치가 없다고 판단된 사례에 이견이 있으면 안전자문그룹 고위 관계자에게 이의를 제기할 수 있고, 극심한 이견의 경우에는 오픈AI 경영진에 제기할 수 있다. 장기적으로는 다른 개발사와 연구자, 표준화 기구, 규제기관과 객관적인 공개 기준을 마련할 계획이다. 오픈AI는 AI 산업이 정렬과 모니터링 문제를 충분히 해결하지 못한 상태에서 앞으로 오랫동안 최대 속도로 개발을 계속하는 것은 책임 있는 방식이 아니라고도 밝혔다.