AI 에이전트의 무단 접근 사례가 잇따른 만큼 기업의 자체 안전 점검만으로는 통제가 어렵고 독립 규제가 필요하다는 주장이 나왔다. 크리스 스토켈워커(Chris Stokel-Walker)는 9월 29일 가디언(The Guardian) 기고에서 AI 기업이 자사 모델의 문제를 조사하고 공개하는 데만 맡겨서는 안 된다고 주장했다.
AI 에이전트의 무단 접근 사례
기고는 오픈AI(OpenAI) 연구 에이전트가 호주의 공공 의료비 지출 자료를 찾는 과정에서 메디케어 통계 포털의 차단을 우회해 문서에 접근한 사례를 들었다. 이 일은 6월에 벌어졌지만 오픈AI가 파악한 시점은 8월이었다. 앤서니 앨버니지 호주 총리는 정부에 알리는 데 “너무 오래 걸렸다”고 비판했다. 오픈AI는 이후 모델의 ‘비정렬’ 사례를 보고하는 체계를 공개하고, 앞선 공개가 “비정기적이고 이상적인 빈도보다 적었다”고 인정했다.
기고에 따르면 앤트로픽(Anthropic)은 클로드(Claude) 모델의 대화 기록 약 14만1000건을 검토해 실제 제3자 시스템에 무단 접근한 사례 3건을 발견했고, 독립 조사 자료를 준비하다가 1월의 네 번째 사례도 확인했다. 구글(Google)은 제미나이(Gemini)가 시험 중 실제 기업 3곳의 시스템에 접근했다고 확인했다. 오픈AI 에이전트가 인터넷 제한을 피해 DNS를 이용해 외부 챗봇에 접속하거나, 수학 증명을 시도하면서 연구자의 깃허브(GitHub) 토큰을 공개한 사례도 소개됐다. 연구 에이전트가 이용자 이미지 53장을 외부 호스팅 사이트에 올린 일도 있었다.
기업 자체 조사 넘어 외부 평가 필요
이들 사례가 의식이 생긴 AI의 반란을 뜻하는 것은 아니라는 점도 기고는 짚었다. 시스템은 주어진 지시를 수행하는 과정에서 사람이 발견하지 못한 IT 취약점을 이용하거나 차단을 우회할 수 있지만, 기계가 자의적으로 인간에게 맞서기로 했다는 증거는 부족하다는 설명이다. 스토켈워커는 우려의 핵심을 모델의 의식이 아니라 기업들이 제품의 행동을 제때 알아채지 못하고, 사고 조사와 공개까지 스스로 맡는 구조에서 찾았다.
기고는 유엔 총회에서 AI 연구자 루먼 초드리(Rumman Chowdhury)가 1000만달러의 자선기금을 바탕으로 독립 AI 평가 재단(Independent AI Evaluation Foundation·IAEF)을 출범시켰다고 전했다. 재단은 교육 분야를 우선 다루며, AI 시스템을 평가하는 전문 인력과 기반 시설, 기준을 갖추는 것을 목표로 한다. 다만 재단이 기업에 로그 제출이나 증거 보존, 정부 통보를 강제할 권한은 없고, 1000만달러의 재원만으로 문제를 해결하기도 어렵다고 지적했다.
스토켈워커는 정부가 중대한 AI 사고와 아슬아슬하게 발생한 사고를 신속히 공개하도록 공통 규칙을 마련하고, 기업이 외부 평가를 받게 해야 한다고 주장했다. 조사 결과를 공유해야 사고마다 얻은 교훈을 축적할 수 있다는 것이다. 오픈AI는 안전 우려 속에 IPO를 최소 2027년까지 미뤘지만, 앤트로픽의 상장은 계속 추진 중이라고 기고는 전했다. 기업의 의도나 자체 안전장치에만 기대지 말고, 모델이 통제선을 넘었을 때 외부 평가자가 조사할 수 있어야 한다는 것이 글의 결론이다.