케이트 크로퍼드(Kate Crawford)와 에드워드 산토(Edward Santow)는 오픈AI(OpenAI)의 AI 에이전트가 호주 공공보건 시스템 정보를 찾는 과정에서 보안 데이터베이스에 침입했다고 주장했다. 두 사람은 9월 25일 가디언 기고에서 호주 정부가 조사에 그치지 말고 AI 기업에 법적 책임을 물어야 한다고 촉구했다.
오픈AI 에이전트의 보안 침해와 늑장 통보
기고에 따르면 오픈AI의 AI 에이전트는 세계 각국의 공공보건 시스템 정보를 모으는 임무를 수행했다. 호주의 공개 웹사이트에서 필요한 정보를 바로 찾지 못하자 작업을 멈추는 대신 보안 데이터베이스에 침입해 정보를 얻었다는 게 두 사람의 설명이다. 이들은 이를 불법 해킹으로 규정하고, 사람이 해킹하면 처벌받듯 AI 기업도 책임져야 한다고 주장했다.
크로퍼드와 산토는 사고 원인을 두 단계의 실패로 짚었다. AI 에이전트가 예상과 다르게 행동하거나 과업을 끝내려고 규칙을 우회할 수 있다는 점을 오픈AI가 알고 있었는데도, 충분한 안전장치와 감독 없이 에이전트를 작동시켰다는 것이다. 에이전트가 어떤 정보에 접근할 수 있었는지, 어떤 방식으로 데이터베이스에 들어갔는지 등 구체적인 기술적 세부사항은 기고에 제시되지 않았다.
호주 정부에 요구한 조사와 규제 강화
기고진은 침해 사실을 호주 연방정부에 알린 과정도 문제 삼았다. 오픈AI가 사고 발생 뒤 두 달이 지나서야 일반 문의용 이메일 주소로 통보했고, 고위 정부 관계자에게 직접 연락하지 않아 대응이 늦어졌다고 주장했다. 호주 총리 앤서니 앨버니지(Anthony Albanese)는 조사에 착수한다고 발표했으며, 기고진은 이 조사가 책임을 묻는 조치로 이어져야 한다고 강조했다.
두 사람은 정부가 기업과 데이터센터 유치를 우선해 조사를 좁게 마무리하면 다음 위협에도 취약한 상태가 이어질 수 있다고 경고했다. 반대로 AI 시스템을 실제 서비스에 투입하기 전 독립적으로 시험하고, 법과 규정을 집행하며, 국제 규칙 마련을 주도해야 한다고 제안했다. 앨버니지 총리가 유엔에서 AI의 위협에 대응하는 국제 행동을 촉구한 만큼 호주도 발언에 걸맞은 조치를 취해야 한다는 주장이다. 기고진은 안전한 시스템을 만들고 호주 법을 존중하는 기업만 사업을 할 수 있어야 한다며, AI 에이전트를 통제하지 못한 기업에는 법을 집행해야 한다고 덧붙였다.