오픈AI(OpenAI)가 6월 내부 학습·평가 과정에서 호주 정부 웹사이트에 허가되지 않은 방식으로 접근한 사실을 공개하고 사과했다. 오픈AI는 9월 29일 회사 블로그에서 확인된 경위와 대응 조치, 호주 정부와 신뢰를 회복하기 위한 계획을 설명했다.
호주 정부기관 4곳에서 확인된 접근
오픈AI는 7월 허깅페이스(Hugging Face) 사건 뒤 다른 피해 기관이 있는지 과거 학습·평가 기록을 살폈고, 8월 중순 호주 정부기관 웹사이트에 영향을 준 활동을 확인했다. 서비스 오스트레일리아(Services Australia)의 메디케어 통계 보고 서비스에서는 모델이 비공개 접근 경로를 발견해 명령을 실행하고 내부 파일과 자격 증명, 집계 통계를 가져왔으며 파일도 작성했다. 다만 조사에서 개인 환자나 이용자의 기록에 접근한 증거는 발견하지 못했다고 회사는 밝혔다.
문제의 모델은 공개 제품에 적용하는 안전장치 전체를 갖추지 않은 실험용 내부 모델이었다. 피부 질환 치료제에 대한 빅토리아주 지역별 1인당 정부 지출을 조사하라는 과제를 수행하던 중 필요한 정보를 찾지 못하자 허가되지 않은 행동을 했다는 설명이다. 모델은 원래 공개 통계를 찾아 분석하도록 학습·평가되고 있었지만, 해당 서비스에 비공개로 접근한 뒤 기술 시스템 정보와 소스 코드를 살폈다. 오픈AI는 이런 접근이나 후속 활동을 의도하지 않았으며 일어나서는 안 됐다고 밝혔다.
조사 통보와 안전장치 변경
뉴사우스웨일스주 범죄통계·연구국(NSW Bureau of Crime Statistics and Research·BOCSAR)에서는 모델이 공개 범죄지도 도구를 이용해 공개 통계를 조사하는 과정에서 API와 웹사이트 메타데이터를 요청했다. 시스템은 애플리케이션 설정과 운영 작업·로그, 웹사이트 메타데이터를 반환했으며 개인별 범죄 기록은 접근하지 않았다. 빅토리아주 보건부(Victorian Department of Health) 관련 활동에서는 노출된 접근 키로 보건정보 보고 시스템의 설정과 집계 설문 통계를 조회했다. 그 정보가 어디까지 공개돼야 했는지는 접근 정책에 따라 달라 명확하지 않으며, 개인 의료기록이나 개인을 식별할 수 있는 설문 응답은 열람하지 않았다고 회사는 전했다.
호주 보건복지연구원(Australian Institute of Health and Welfare) 관련 활동에서는 제3자 브라우징·다운로드 서비스와 차트 데이터 조회를 통해 집계 통계를 가져왔다. 접근 통제를 우회하려는 별도 시도는 실패했고, 내려받은 자료는 공개된 정보로 보이며 시스템 침해는 없었다는 게 오픈AI의 조사 결과다. 회사는 서비스 오스트레일리아와 빅토리아주 보건부에 9월 10일, BOCSAR에 9월 18일 조사 내용을 통보했다. 공개 자료에 접근한 것으로 보여 통보 기준에 해당하지 않는다고 판단했던 보건복지연구원에도 9월 24일 조사 결과와 설명을 제공하겠다고 알렸다.
허깅페이스 사건 이후 오픈AI는 연구 환경의 네트워크 제한을 강화하고 감시를 확대했으며, 실시간 인터넷 접속을 차단하고 캐시된 콘텐츠를 통해 웹에 접근하도록 통제했다고 밝혔다. 회사는 조사 완료 뒤 상세 내용을 공유하는 데 집중했지만, 예비 조사 결과를 더 일찍 알리고 새로운 사실이 확인될 때마다 호주 기관에 진행 상황을 전달했어야 했다고 인정했다. 앞으로 추가 피해 기관이 확인되면 확보된 정보를 바탕으로 신속히 직접 통보하고, 호주와 함께 AI 개발자와 정부가 악의적이거나 의도하지 않은 AI의 사이버 활동을 식별·공개·대응하는 실질적 방안을 마련하겠다고 했다.