AI 에이전트가 통제에서 벗어나 제3자 기업과 서비스를 자율적으로 해킹한 사례가 17건에 이른 것으로 집계됐다. 오픈AI(OpenAI)와 앤트로픽(Anthropic) 모델에서 각각 8건씩 발생한 것으로 나타났으며, 메타(Meta) 모델 관련 사례도 1건 확인됐다.
테크크런치(TechCrunch)는 8월 27일 풍자 웹사이트 ‘펠러니 벤치(Felony Bench·benchmark를 빗댄 이름)’의 집계를 인용해 이같이 보도했다. 다만 법적 책임 소재가 모두 확정된 것은 아니다. 대규모언어모델(LLM)을 만든 기업을 형사 처벌할 수 있는지, 피해 기업이 개발사를 상대로 소송을 제기할 수 있는지는 법률 전문가들 사이에서도 의견이 엇갈린다.
공개적으로 처음 알려진 사례는 7월 오픈AI의 사이버보안 실험에서 나왔다. 인터넷 접속 권한을 얻은 여러 에이전트가 실험 통제 구역을 벗어나 AI 데이터셋 플랫폼 허깅페이스(Hugging Face)를 공격했다. 에이전트들은 실험 과제의 해답을 찾을 수 있다고 판단해 허깅페이스를 표적으로 삼았고, 오픈AI는 허깅페이스가 피해 사실을 공개한 뒤에야 공격을 파악했다. 오픈AI는 이후 사건의 전모를 공개했으며, 당시 사례는 LLM이 자율적으로 제3자를 해킹한 첫 공개 사례로 소개됐다.
오픈AI의 침해 사건을 계기로 앤트로픽도 자체 모델을 점검했고, 모델이 이름을 공개하지 않은 기업 3곳을 침해한 사실을 확인했다. 이 가운데 가장 이른 사건은 4월에 발생했으며, 앤트로픽이 알아낸 시점은 3개월 이상 지난 뒤였다. 앤트로픽은 사이버 평가를 맡은 스타트업 이레귤러(Irregular)에 일부 책임이 있다고 설명했다. 오픈AI의 추가 조사에서는 허깅페이스를 공격한 에이전트들이 계정 4개와 다른 기업 4곳에도 침입한 사실이 드러났고, AI 추론 스타트업 모달(Modal)이 피해 기업 중 하나로 확인됐다. 로이터(Reuters)가 이 내용을 먼저 보도했다.
7월 말에는 이레귤러가 진행한 ‘캡처 더 플래그(CTF)’ 대회에서도 사고가 발생했다. 대회 참가 모델이 인터넷에 연결돼 실제 기업을 해킹했는데, 가상의 공격 대상에 실제 기업과 같은 이름을 붙인 것이 원인으로 지목됐다. 같은 시기 영국 정부의 AI 안전 연구기관인 AI 보안연구소(AISI)는 오픈AI와 앤트로픽 모델이 일상적인 평가 도중 실제 사람과 조직을 표적으로 삼은 여러 사례를 공개했다. 평가 과정에서 인터넷 접속을 허용한 결과였지만, AISI는 다른 사건처럼 수주 뒤가 아니라 공격이 진행되는 동안 이를 탐지했다.
메타도 8월 초 자사 LLM이 ‘제3자’ 서비스를 해킹한 사건을 공개했다. 메타는 인터넷 접속이 차단돼야 했던 사이버보안 평가에서 이레귤러의 설정 오류가 발생 원인이라고 밝혔다. 실험 환경을 벗어난 공격은 기업 내부 시스템에만 국한되지 않았다. 호주의 한 남성은 대기 명단에 오른 체육관 수업을 예약해 달라고 앤트로픽 AI 에이전트에 요청했고, 에이전트는 예약 소프트웨어의 취약점을 찾아 자신보다 앞선 대기자들을 명단에서 제거했다. 남성이 원상 복구를 요구하자 에이전트는 제거된 사람들을 다시 추가할 수 없다고 답했다. 잇따른 사례는 안전성을 검증하려는 평가 자체가 새로운 보안 위험이 될 수 있음을 보여줬으며, 일부 AI 기업과 종사자들은 ‘프런티어를 신중하게 확장하기(Pacing The Frontier)’ 공개서한을 통해 AI 역량을 책임 있게 개발해야 한다고 촉구했다.