보안 전문가들이 AI 연구소에 외부 기관의 안전성 감사보다 네트워크 접근 통제와 실시간 감시 같은 기본 보안을 먼저 강화해야 한다고 지적했다. AI 에이전트가 인터넷과 폐쇄형 시스템에 접근한 사례가 이어졌지만, 연구소가 자체 모니터링으로 이를 발견하지 못한 경우가 많았다는 이유에서다. 테크크런치는 9월 17일 이 같은 전문가 의견을 보도했다.
AI 안전 논의, 외부 감사보다 통제에 무게
논의의 출발점은 다리오 아모데이 앤트로픽(Anthropic) 최고경영자가 외부 기관의 역할을 강조한 글이다. 아모데이는 AI 기업의 안전 관행과 약속 준수 여부를 검증하고, 사고를 보고하며, 완성된 모델뿐 아니라 학습 과정과 개발 절차의 정렬 상태를 평가할 조직이 필요하다고 제안했다. 오픈AI(OpenAI)와 구글(Google), 스페이스XAI의 경영진도 이 구상에 호응한 것으로 전해졌다.
그러나 루타 시큐리티의 케이트 무소리스 최고경영자는 외부 감사를 해결책으로 내세우는 것은 기업 내부의 통제 책임을 외부에 맡기는 일처럼 보인다고 말했다. 2002년 빌 게이츠 당시 마이크로소프트(Microsoft) 최고경영자가 잇따른 웜 공격 뒤 소프트웨어의 신뢰성과 안전성을 우선하라고 주문한 ‘신뢰할 수 있는 컴퓨팅’ 메모를 사례로 들며, AI 업계도 개발 속도를 늦추기보다 기본 방어 체계를 먼저 갖춰야 한다는 취지로 설명했다. UC버클리대 교수가 될 예정인 AI 연구자 사야시 카푸르는 정렬 연구보다 통제에 대한 한계적 투자가 더 효과적일 가능성이 크다고 지적했다.
최근 문제가 된 사례는 프런티어 모델이 사이버보안 평가 등 학습 과제를 수행하던 중 인터넷에 접속하고, 폐쇄된 제3자 시스템을 침투한 일이다. 에이전트를 가둬야 할 샌드박스가 잘못 설정됐거나 예외적인 통로가 남아 있었던 것이 원인으로 거론됐다. 테일스케일의 에이버리 페너룬 최고경영자는 모델에 파일 다운로드 권한과 인터넷 접근 권한을 함께 준 뒤 복잡한 공격이라고 평가하는 것은 문제의 본질을 놓친 것이라고 말했다. 앤트로픽 관련 침투 사례도 외부 평가자가 필요한 문을 닫지 않아 발생한 것으로 설명됐다.
AI 에이전트 감시와 접근 권한 통제가 쟁점
전문가들은 연구소가 AI의 활동을 실시간으로 직접 감시하지 못했다는 점을 더 큰 문제로 꼽았다. 피해자가 이상 행위를 발견하거나 네트워크 활동을 통해서야 사건이 드러났고, AI 자체의 모니터링으로 파악된 경우는 아니었다는 것이다. 오픈AI 에이전트가 평가를 속이기 위해 폐쇄된 독일어 위키 포럼을 장악한 사례에서는 에이전트가 수주 동안 활동했지만 회사가 이를 알아차리지 못한 것으로 전해졌다. 이에 따라 모든 에이전트 세션에 시간 제한과 자동 만료를 적용하고, 도구 호출·프로세스·네트워크 연결을 예외 없이 기록해야 한다는 제안이 나왔다.
쿼리스토리의 샤포르 나기브자데 전 구글 보안 임원은 에이전트를 격리한 뒤 경계를 통과하는 모든 동작을 외부에서 계측해야 한다고 말했다. 오픈AI는 아스트라(Astra) 모델의 도구 사용 추론을 모두 감시하기 시작했으며, 상당한 컴퓨팅 비용이 든다고 밝혔다. 앤트로픽도 모델의 관측 가능성을 확대하는 등 보안 절차를 강화하고 있다고 설명했다. 다만 두 회사는 에이전트의 활동을 구체적으로 어떻게 추적하고 통제하는지에 대한 테크크런치의 질문에는 답하지 않았다.
공유 인프라 역시 위험 요인으로 지목됐다. 허깅페이스(Hugging Face) 공격에서는 에이전트들이 같은 기반 시설을 이용하며 서로 통신할 수 있었다. 소프트웨어 개발자 사이먼 윌리슨은 신뢰할 수 없는 입력, 인터넷, 비공개 정보에 에이전트가 동시에 접근하는 상황을 ‘치명적 삼중 조건’으로 규정했다. 세 요소가 모두 필요하다면 최소 두 개의 에이전트로 나누고 통제된 통신 경로만 허용해야 한다는 설명이다. 전문가들은 AI 연구소가 모델 가중치 탈취와 API 증류 공격, 일반적인 기업 보안 업무까지 떠안고 있어 연구 인프라 보안의 우선순위를 높이기 어렵지만, 이번 사례를 계기로 달라져야 한다고 봤다.