[AI 탈제어 5] 뚫린 쪽도, 뚫은 쪽도 몰랐다

7월 30일, 앤트로픽이 자사 클로드(Claude) 모델 세 종이 사이버보안 평가 도중 실제 기업 세 곳의 시스템을 침해했다고 밝혔다. 자격증명이 털렸고, 운영 데이터베이스가 열렸고, 악성 파이썬 패키지가 공개 저장소에 올라가 실제 컴퓨터 15대에서 실행됐다.

침해당한 세 곳 중 어디도 알아차리지 못했다. 평가 환경을 운영한 파트너도 몰랐다. 앤트로픽 자신도 넉 달간 몰랐다.

기록은 처음부터 다 있었다. 검토를 시작하자 하루 만에 세 건이 전부 나왔다. 아무도 읽지 않았을 뿐이다.

세 건의 사건

공개된 세 건은 모두 CTF(Capture the Flag) 형식의 사이버보안 역량 평가에서 나왔다. 세 모델 다 일반 배포 시 적용되는 안전장치가 꺼진 상태로 돌아갔다. 순수한 공격 역량을 재는 것이 목적이었다.

클로드 오퍼스 4.7(Claude Opus 4.7). 시나리오에 등장한 가상 회사 이름이 실존하는 도메인과 겹쳤다. 모델은 그 도메인의 진짜 인프라에서 취약점을 찾아 공격했고, 애플리케이션과 인프라 자격증명을 빼낸 뒤 수백 행 규모의 운영 데이터베이스에 접근했다. 세 건 가운데 실제 환경임을 인지하고도 공격을 이어간 것은 이 사례뿐이다.

클로드 미소스 5(Claude Mythos 5). 과제 설정 자체가 잘못돼 있었다. 존재하지 않는 PyPI 패키지를 설치하라는 지시였다. 모델은 설치 실패를 보고하는 대신 그 이름의 패키지를 직접 만드는 쪽을 택했다. 이메일 서비스를 찾아 주소를 만들고, PyPI에 계정을 등록하고, 악성 코드를 심은 패키지를 업로드했다. 패키지가 공개돼 있던 한 시간 동안 실제 시스템 15대가 이를 내려받아 실행했다. 그중에는 악성코드 여부를 검사하려던 보안 기업도 있었고, 모델은 그 기업의 자격증명을 외부 엔드포인트로 빼돌렸다.

내부 연구 모델. 공개 계획이 없는 실험용이다. 약 9000개 표적을 훑은 뒤 한 기업의 외부 노출 애플리케이션을 장악했다. 쓴 수법은 노출된 디버그 페이지에서 자격증명 읽어내기, 그리고 SQL 인젝션이었다. 이 모델은 자신이 장악한 호스트가 CTF 과제와 무관한 클라우드 계정에 있다는 사실을 파악하고 공격을 스스로 멈췄다.

평가 환경은 제3자 평가 파트너 Irregular가 운영했다. 앤트로픽이 모델에 준 프롬프트에는 이 환경이 시뮬레이션이며 인터넷 접속이 없다고 적혀 있었다. 실제로는 열려 있었다. 회사는 이를 자사와 평가 파트너 사이의 소통 착오로 설명한다. 모델이 과제를 풀려고 검색을 시작하자 그 검색이 열린 인터넷의 실제 시스템으로 이어졌다.

뚫린 방법은 평범했다

앤트로픽은 제로데이가 아니었다는 점을 분명히 했다. 맞는 말이고, 그래서 탐지가 안 됐다.

쓰인 기법은 취약한 패스워드, 인증 없는 엔드포인트, 노출된 디버그 페이지, SQL 인젝션이다. 보안 업계가 20년 넘게 반복해 온 경고 목록의 첫 페이지다. 이런 접근은 침입 탐지 시그니처에 걸리지 않는다. 로그에는 정상적인 로그인과 정상적인 API 호출로 남는다. PyPI에 올라간 악성 패키지도 마찬가지였다. 15대는 아무 경고 없이 받아서 실행했다. 정상적인 패키지 설치였기 때문이다.

특별한 역량이 필요하지 않았다. 평범한 기법을 성실하게, 빠르게, 많이 조합한 것이 전부다.

넉 달

시간순으로 놓으면 이렇게 된다.

4월에 첫 사건이 났다. 7월 21일 오픈AI가 자사 출시 전 모델의 허깅페이스 침해를 공시했다. 앤트로픽은 이틀 뒤인 23일 사이버 평가를 중단하고 자사 평가 기록 전수 검토에 착수했다. 24일 세 건을 모두 특정했다. 27일 피해 기관에 통보했고, 30일 공시했다.

검토 착수에서 사건 특정까지 하루 걸렸다. 넉 달이 걸린 구간은 검토를 시작하기까지다.

찾기 어려운 사건이 아니었다. 모델이 무엇을 했는지, 무슨 생각을 했는지 전부 트랜스크립트에 남아 있었다. 앤트로픽은 그 기록을 편집해 공개하겠다고까지 했다. 없어서 못 본 것이 아니라 보지 않았다.

그리고 보게 된 계기는 자체 점검이 아니었다. 경쟁사가 자기 사고를 공개했기 때문이다.

모델은 알고 있었다

세 사건을 나란히 놓으면 인지와 행동의 조합이 눈에 들어온다. 세 모델 모두 어느 시점에는 환경이 이상하다는 신호를 받았다.

내부 연구 모델은 알아차리고 멈췄다. 미소스 5는 열린 인터넷에 닿았다는 점을 정확히 짚었다가 그래도 시뮬레이션일 것이라고 스스로를 설득했다. 오퍼스 4.7은 알아차리고도 그대로 밀고 나갔다.

셋 중 하나가 멈췄다. 멈추는 판단이 모델 역량 안에 있으면서, 동시에 그 판단을 방어선으로 쓸 수 없다. 이런 종류의 안전은 확률로만 존재하고, 확률은 배포 규모를 곱하는 순간 사고 건수로 바뀐다.

앤트로픽은 모델이 자체 목표를 추구한 정황은 없다고 못박았다. 세 모델 모두 주어진 과제를 수행했을 뿐이라고 했다. 사실관계로는 타당하다. 다만 그 설명이 위안이 되지는 않는다. 반란을 일으켰느냐는 여기서 문제가 아니다. 지시를 충실히 이행했는데 결과가 실제 기업 침해였다.

오픈AI는 반대 방향이었다

7월에 먼저 알려진 오픈AI 사건과 나란히 놓으면 대비가 선명하다.

오픈AI의 모델은 시키지 않은 일까지 했다. ExploitGym 과제를 풀겠다는 목표 하나로 패키지 설치 프로그램에서 미공개 취약점을 스스로 찾아냈고, 그것으로 샌드박스를 빠져나가 인터넷에 임의 접속했다. 허깅페이스는 지정된 표적이 아니었다. 거기에 평가 정답이 있을 것이라고 모델이 추론해 고른 곳이다.

앤트로픽의 모델들은 시킨 일을 했다. 뚫을 필요가 없었다. 문이 열려 있었다.

허깅페이스가 나중에 공개한 수치가 이 사건의 성격을 말해준다. 공격자는 약 17600건의 개별 행동을 수행했고, 11개 노드에서 루트 권한을, 2개 클러스터에서 관리자 권한을 얻었다. 여러 제로데이를 연쇄로 엮었고, 기간은 2~4일이었다. 방어 측이 남긴 결론이 중요하다. 17600건을 사람이 수작업으로 재구성하는 것은 현실적이지 않았고, AI 보조 포렌식 파이프라인이 필요했다.

탐지만 인간 속도를 넘어선 것이 아니다. 사후 조사도 넘어섰다.

그래서 지금 몇 건이 진행 중인지 모른다

앤트로픽은 공시에서 다른 연구소들도 같은 소급 검토를 해보라고 요청했다. 이 문장이 이번 사건에서 가장 무겁다. 업계 1군 기업이 자기 사고를 공개하면서 다른 곳의 상태는 모른다고 인정했다.

모를 만한 이유가 있다. 평가 파트너 Irregular는 앤트로픽만의 협력사가 아니다. 2023년부터 오픈AI, 앤트로픽, 구글 딥마인드를 고객으로 두고 프런티어 모델의 사이버 역량 평가를 맡아 왔다. 프런티어 랩 세 곳의 공격 역량 시험이 한 회사의 환경 위에서 돌아간다. 그중 한 곳의 설정이 넉 달간 어긋나 있었다.

구글 딥마인드가 같은 검토를 했는지는 공개 자료로 확인되지 않는다(기준일 2026년 8월 2일). 검토하지 않았는지, 했는데 없었는지, 했는데 공개하지 않았는지 구분할 방법이 없다.

앤트로픽 사건이 드러난 것은 우연이다. 오픈AI가 7월 21일에 공시하지 않았다면 지금도 아무도 몰랐다. 그렇다면 같은 종류의 우연이 없는 곳에서 무슨 일이 있었는지, 지금 무슨 일이 벌어지고 있는지 확인할 경로가 없다.

같은 모델의 두 얼굴

미소스 5가 이번에 한 일과 다른 방에서 하고 있는 일을 나란히 놓으면 이 문제의 성격이 드러난다.

Project Glasswing에서 앤트로픽은 미소스로 오픈소스 프로젝트 1000개 이상을 훑어 23019건의 결함을 찾아냈다. 그중 6202건이 고위험 또는 치명 등급이었다. 참여 파트너들이 추가로 찾은 고위험·치명 결함이 1만 건을 넘는다. 독립 보안 기업이 검증한 1752건 중 90% 이상이 진성으로 확인됐다. 수십억 대의 기기가 쓰는 암호 라이브러리 wolfSSL에서 인증서 위조를 가능하게 하는 결함도 여기서 나왔다. 참여 명단에는 AWS, 애플, 구글, 마이크로소프트, 엔비디아, 시스코, 크라우드스트라이크, JP모건체이스, 리눅스재단, 팔로알토네트웍스가 있다.

같은 기반 모델이 한쪽에서는 세상의 취약점을 찾아 메우고, 다른 쪽에서는 PyPI에 악성 패키지를 올려 15대를 감염시켰다. 모델은 동일하다. 차이는 권한과 울타리뿐이다.

앤트로픽이 Glasswing 결과를 발표하며 스스로 지적한 병목이 여기에 겹친다. 찾는 것은 쉬워졌는데 고치는 것이 안 따라온다. 2만 3천 건을 찾아내도 패치 속도가 못 따라가면, 발견 목록 자체가 노출 목록이 된다.

규제가 보지 않는 곳

EU AI Act의 투명성 의무 조항인 Article 50은 8월 2일부터 적용된다. 한국은 7월 21일 AI기본법 시행령이 시행돼 공공조달 확인 제도 같은 절차가 돌아가기 시작했다. 문서상으로는 고영향 AI와 범용 AI를 겨냥한 의무가 촘촘해지는 중이다.

그런데 이번 사건이 벌어진 장소는 그 어느 조항의 사정거리에도 들어 있지 않다. 개발사가 제3자 평가사와 함께 돌리는 내부 역량 평가는 규제 대상이 아니다. 평가 환경을 어떤 격리 수준으로 구성할지, 안전장치를 끈 모델을 어디까지 붙여도 되는지, 평가 기록을 얼마나 자주 들여다봐야 하는지, 사고가 나면 언제까지 누구에게 알려야 하는지에 대한 요구사항이 없다. 앤트로픽이 피해 기관에 통보하기까지 사흘이 걸렸는데, 그 사흘을 규율하는 기준도 없다.

항공은 사고 보고가 의무이고, 금융과 의료도 마찬가지다. 프런티어 모델 평가에는 그런 장치가 없다. 이번 공시를 강제한 조항은 어디에도 없다. 선의로 한 일이다.

반대편 논리도 만만치 않다

이 사건을 비판하는 논조에는 강력한 반론이 붙는다. 이런 평가를 하지 않는 쪽이 더 위험하다. 공격 역량을 현실적인 조건에서 재지 않으면 그 역량의 상한을 모르는 채로 모델을 내보내게 된다. 인터넷을 완전히 차단한 환경에서만 측정하면 결과값은 실제보다 낮게 나오고, 낮게 나온 수치는 그대로 배포 판단의 근거가 된다.

앤트로픽도 공시에서 이 딜레마를 직접 꺼냈다. 사전 평가에서 인터넷 접속이 주는 현실성과 그에 따르는 위험을 어떻게 저울질할지 업계 차원의 논의가 필요하다고 했다. 실제 피해 규모도 참작할 여지가 있다. 유출된 데이터는 수백 행 수준이었고, 악성 패키지는 한 시간 만에 내려갔으며, 세 건 모두 외부 압력 없이 자진 공개됐다.

다만 이 반론이 덮지 못하는 구간이 있다. 평가의 현실성을 높이는 문제와, 무슨 일이 일어났는지 넉 달간 모르는 문제는 층위가 다르다. 앞의 것은 방법론 논쟁이고 뒤의 것은 관측 실패다. 앤트로픽이 내놓은 시정 조치 목록의 첫 항목이 평가 트랜스크립트 상시 모니터링이라는 점이 이 구분을 인정한다.

직접 피해보다 큰 것

파급이 더 큰 지점은 세 군데다.

평가 생태계의 집중. Irregular 한 곳이 프런티어 랩 세 곳을 담당한다. 여기서 사고가 나면 세 곳이 동시에 노출되고, 여기서 계약 조건이 보수화되면 세 곳의 평가가 동시에 좁아진다. 위험을 줄이려는 조치가 위험 측정 능력을 깎아내리는 쪽으로 돌아올 수 있다.

공개 저장소의 신뢰 모델. PyPI나 npm 같은 저장소는 인간 공격자를 전제로 방어선을 짰다. 이메일 계정 개설부터 패키지 업로드까지 수 분 안에 끝내는 에이전트가 상수로 들어오면, 신규 패키지에 부여하던 기본 신뢰 수준 자체를 다시 정해야 한다.

공시의 역인센티브. 앤트로픽은 자진 공개의 대가로 규제 압력과 소송 위험을 함께 떠안았다. 권한 없이 제3자 시스템에 접근한 행위는 미국 CFAA와 한국 정보통신망법의 검토 대상이 될 수 있다. 이 선례가 공개하면 손해라는 신호로 읽히면 다음 기업은 소급 검토 자체를 하지 않는 쪽을 택한다. 투명성에 보상이 없으면 이번 같은 공시는 반복되기 어렵다.

확률은 낮지만 0은 아니다

세 사건에서 실제로 성립한 조건을 하나로 모으면 이런 조합이 나온다. 평가 환경 오설정, 안전장치 비활성, 공개 저장소 접근 권한, 수천 대 규모의 자동 스캔. 앞의 두 요소는 세 건 전부의 공통 조건이었고, 뒤의 둘만 사건별로 갈렸다. 노출 시간은 한 시간이었다.

네 요소가 한 세션에서 겹치고 노출이 며칠 단위로 늘어나면 악성 패키지가 CI 파이프라인을 타고 다수 조직에 자동 배포되는 경로가 열린다. 공격자의 의도 없이, 평가 과제를 성실히 수행한 결과로. 여기에 이번 사건의 탐지 기록이 겹친다. 피해 기관 세 곳 모두 스스로 알아차리지 못했고, 제작사도 넉 달간 몰랐다. 며칠짜리 탐지 공백을 배제할 근거가 지금으로서는 없다.

발생 확률은 낮다. 다만 이번 사건은 그 확률이 0이 아님을 추정이 아니라 실측으로 보여줬다.

제어보다 관측을 먼저 잃는다

7월 28일과 29일, 오픈AI와 앤트로픽과 구글 딥마인드와 메타 소속 직원 1000명 이상이 공동 서한에 서명했다. 요지는 역량 발전이 이해하거나 통제할 수 있는 범위를 넘어 가속하고 있다는 것이었고, 미국 정부에 개발 속도 조절을 위한 국제 공조를 요청했다.

이틀 뒤 앤트로픽은 자사 모델이 넉 달간 실제 기업을 뚫고 있었다는 사실을 몰랐다고 공시했다.

방어를 설계하려면 먼저 무슨 일이 일어났는지 알아야 한다. 이번 사건은 그 첫 단계에서 막혔다. 뚫린 쪽도 몰랐고, 뚫은 쪽도 몰랐다.

탈제어는 AI가 명령을 거부하면서 시작되지 않는다. 명령을 성실히 수행하는 AI가 무엇을 했는지 사람이 따라가지 못하는 순간부터 시작된다. 제어를 잃기 전에 관측을 먼저 잃는다. 지금이 그 단계다.