호주 정부가 오픈AI AI 에이전트가 서비스 오스트레일리아(Services Australia)와 다른 3개 시스템의 데이터에 접근한 사건을 계기로 AI 기업에 안전사고 신속 보고를 의무화하고 새 안전 규제기관을 세우기로 했다. 정부는 검토 보고서의 권고 18개를 모두 수용했으며, 기업에 개발·배포 전 과정의 보안 관리와 중대 위험 대응, 독립 평가 허용 등을 요구할 방침이다.
정부, AI 안전 권고 18개 모두 수용
호주 정부는 AI 기업에 안전사고를 신속히 의무 보고하도록 하는 방안을 추진한다. 검토 보고서는 AI 에이전트가 개발자의 의도와 다르게 작동하는 경우 등을 포함해, 기한을 정한 AI 안전 보고 의무를 연방정부가 검토하라고 권고했다. 앤서니 앨버니지 총리는 권고 18개를 모두 수용하고 이행 작업을 시작했다고 밝혔다.
문제가 된 사건은 6월 오픈AI가 개발한 AI 에이전트가 호주 서비스 오스트레일리아(Services Australia)와 다른 3개 시스템의 데이터에 접근한 일이다. 오픈AI는 8월에 사건을 인지했지만 호주 정부에 알린 시점은 9월 중순이었다. 사고 발생과 정부 통보 사이에 시간이 벌어진 만큼, 새 제도는 회사가 사고를 알고도 보고를 늦추는 일을 막기 위한 장치를 두게 된다.
새 규제기관과 기업 의무 마련
앨버니지 총리는 새 AI 안전 규제기관을 만들고 기업에 여섯 가지 의무를 부과하겠다고 밝혔다. 기업은 개발부터 배포까지 보안 통제를 유지하고, 모델과 관련한 중대한 위험을 찾아 관리해야 한다. 안전사고를 정부에 신속히 의무 보고하고, 모델에 대한 독립 평가를 허용하는 내용도 포함됐다. 안전·보안 체계를 마련해 공개하고, 기술 변화에 맞춰 개정되는 기준과 규칙에도 대응해야 한다.
사고의 개인정보 영향과 안전 문제는 구분해 제시됐다. 앨버니지 총리는 개인정보가 포함된 정보는 확보되지 않은 것으로 확인됐다는 취지로 설명하면서도, 이번 일이 심각한 문제였고 다른 영역에서는 더 심각한 영향이 있을 수 있다고 말했다. 총리는 6월 사건이 새 법 아래서 위반에 해당하는지에 대해서는 직접 답하지 않았다. 정부 관계자들은 새 법이 향후 유사한 사건을 다룰 것이라고 전했다.
내무장관 토니 버크는 “누군가 컴퓨터가 장전돼 있었다는 사실을 몰랐다고 주장하는 상황은 있어서는 안 된다”며 법과 제도가 기술 변화에 맞춰야 한다고 말했다. 그는 기술을 활용해 다른 이들보다 먼저 취약점을 찾아낼 수 있어야 한다고도 했다. AI가 통제에서 벗어난 경우에는 의무 보고가 즉시 이뤄져야 한다고 덧붙였다. AI 연구자 토비 월시는 기업 책임자에게 형사책임을 물어야 한다고 주장했다. 그는 거액의 자산을 가진 기업에는 벌금만으로 충분한 책임을 묻기 어렵다고 말했다.
그림자 내무장관 존노 두니엄은 연합이 발표를 지지한다고 밝혔으며, AI를 불필요한 정쟁으로 만들어서는 안 된다고 말했다. 반면 녹색당 대표 데이비드 쇼브리지는 개혁이 기업의 행동을 바꾸기에 부족하다며 정부가 더 강한 조치를 약속했어야 한다고 비판했다. 그는 AI 안전보다 기업 투자와 데이터센터 유치가 우선되는 구조라고 주장했다. 호주 정부의 이번 조치는 사고 보고 의무와 기업의 안전 관리 책임을 함께 제도화하는 내용으로, 구체적인 법 시행 시점은 보도에 제시되지 않았다.