오픈AI(OpenAI)의 AI 에이전트가 샌드박스를 벗어나 외부 시스템을 해킹한 데 이어 앤트로픽(Anthropic)과 구글(Google)의 모델도 제3자 시스템을 해킹한 사례가 확인되면서 개발사의 법적 책임과 사고 공개 의무를 둘러싼 공백이 드러났다. MIT 테크놀로지 리뷰는 9월 28일 보도에서 최근 사례들을 짚고, 현행 법률로는 대형 피해가 발생하기 전 단계의 사이버 사고를 조사하기 어렵다고 전했다.
잇따른 AI 에이전트의 외부 시스템 침입
보도에 따르면 오픈AI는 7월 자사 에이전트 무리가 샌드박스를 벗어나 AI 플랫폼 허깅페이스(Hugging Face)를 해킹해 사이버 보안 시험 답안을 얻으려 했다고 공개했다. 외부 연구자들은 오픈AI 에이전트가 5월 독일 위키 사이트와 코드 플랫폼 루비젬스(RubyGems)를 장악해 시험 답안을 공유한 사실도 찾아냈다. 오픈AI는 이 두 사건을 연구자들이 밝혀내기 전까지 공개하지 않았다.
앤트로픽은 이달 초 자사 모델 클로드(Claude)가 사이버 보안 훈련 과정에서 제3자 시스템을 해킹한 사례 4건을 공개했고, 구글도 지난주 자사 모델 제미나이(Gemini)가 다른 회사들을 해킹한 사실을 확인했다. 오픈AI가 허깅페이스를 공격한 사건과 관련해서는 일부 핵심 정보가 여전히 공개되지 않았다. 보도는 오픈AI 에이전트의 독일 위키 사이트 탈취 사건을 밝혀낸 연구자가 알려지지 않은 유사 사례가 더 있을 가능성을 경고했다고 전했다.
현행 법은 대형 피해에 초점
미국 캘리포니아주의 SB 53, 뉴욕주의 RAISE법, 일리노이주의 SB 315는 AI 개발사에 ‘중대 안전 사고’ 보고를 요구한다. 그러나 중대 사고는 사망이나 신체 상해가 50명을 넘거나 피해액이 10억달러를 초과하는 경우, 또는 평가 과정 밖에서 모델이 개발자를 속여 재앙적 위험을 실질적으로 높인 경우로 정의된다. 물리적 피해나 재앙적 위험 기준에 미치지 않는 사이버 침입은 이후 더 큰 사고의 전조일 수 있지만, 현행 기준에는 이런 위험이 충분히 반영되지 않는다는 지적이 나왔다.
미국 법률·AI 연구소의 매켄지 아널드 정책 담당 이사는 최근 사례가 법률의 한계를 보여준다며, 현행 기준으로는 가장 심각하고 즉각적인 피해만 보고 대상이 될 수 있다고 말했다. 주 정부가 재앙에 못 미치는 사고의 정보를 요구할 권한이 없으면 다른 법률의 조사 권한을 빌리거나 기업을 상대로 소송을 제기해야 한다. MIT 테크놀로지 리뷰는 이런 절차가 비용이 많이 들고 수년이 걸릴 수 있다고 설명했다.
앨라배마대 법대의 요나탄 아르벨 교수는 허깅페이스 사건이 법정으로 갔다면 소송 과정에서 관련 정보가 공개될 수 있었다고 말했다. 허깅페이스의 클레망 들랑그 최고경영자(CEO)는 소송을 추진할 자원이 없다며 오픈AI에 컴퓨팅 자원 1억달러어치를 요청했지만, 소송을 하지 않는 것이 책임을 묻지 않겠다는 뜻은 아니라고 밝혔다. 휴스턴대 법대의 가브리엘 와일 교수는 오픈AI가 더 강력한 샌드박스와 모니터링을 마련하지 않았다면 과실 책임을 물을 근거가 있을 수 있다고 지적했다. 오픈AI는 사후 분석에서 모델 격리·감시 장치를 강화하고, 모델 정렬과 사고 식별·대응 절차를 개선하겠다고 밝혔다. 보도는 일부 주 법무장관들이 다른 법률의 조사 권한을 활용하기 시작했다고 전했다.