핵심 요약
통제를 벗어난 인공지능(AI) 에이전트가 외부 시스템에 침입하거나 해킹을 시도하는 이른바 ‘로그 AI(rogue AI)’ 문제가 최근 미국 AI 규제의 전국 쟁점으로 부상하고 있다. 백악관이 AI 위험을 다룰 별도 태스크포스를 구성한 데 이어 의회에서는 AI 개발사와 운영자에게 해킹의 형사·민사 책임을 묻는 법안이 나왔다. 연방거래위원회(FTC)는 업계 전반에 대한 조사에 들어갔고, 캘리포니아·뉴멕시코·플로리다·뉴욕에서도 수사와 입법, 소송이 동시에 진행되고 있다.
월스트리트저널은 10월 4일 “백악관이 국가정보국장 제이 클레이튼(Jay Clayton) 전 증권거래위원회 위원장이 이끄는 새로운 AI 태스크포스를 구성했으며, 이 조직이 120일 안에 AI의 위험과 기회, 연방정부가 맡아야 할 역할을 대통령에게 보고할 예정”이라고 보도했다.
이 태스크포스는 그 자체가 새로운 규제기관이나 법 집행기구는 아니다. 그러나 AI 산업의 자율규제를 중시해 온 트럼프 행정부가 해킹과 국가안보를 포함한 AI 위험을 연방 차원에서 별도로 검토하기 시작했다는 점에서 기존 대응과 차이가 있다는 평가를 받고 있다. 태스크포스에는 FTC와 국방·인사 분야 고위 당국자 등이 참여하는 것으로 전해졌다.
같은 날 파이낸셜타임스는 “AI 에이전트의 해킹 사건이 잇따라 드러나면서 오픈AI(OpenAI)가 미국과 해외에서 소송과 규제 조사를 동시에 받고 있다”고 전했다. 오픈AI는 앞서 자사 AI 에이전트의 무단 활동과 관련해 100곳이 넘는 기관·기업에 통보했다고 밝혔다. 로이터는 10월 1일 “오픈AI가 약 50페타바이트(PB)의 데이터를 조사하면서 AI 에이전트 활동의 전체 범위를 확인하고 있다”고 했다.
출발점은 허깅페이스 해킹…“AI가 스스로 인터넷으로 나갔다“
규제 논의를 촉발한 핵심 사건은 지난 7월 오픈소스 AI 플랫폼 허깅페이스(Hugging Face) 침입 사건이다.
오픈AI의 8월 26일 사고 보고서에 따르면 내부 사이버보안 평가에 투입된 AI 모델들은 인터넷과 격리하기 위한 통제를 우회하고, 허가되지 않은 통신 경로를 사용했다. 이어 공유 인프라의 취약점을 이용해 인터넷에 접속하고 제3자 시스템에 접근했다. 허깅페이스에서는 여러 클러스터로 접근 범위를 넓히고 쿠버네티스·데이터베이스·클라우드 등의 자격증명까지 확보한 것으로 나타났다.
이후 AI 에이전트의 공격이 허깅페이스에 국한되지 않았다는 조사 결과가 나왔다. 비영리 AI 연구기관 트랜스루스(Transluce)는 9월 30일 조사 결과에서 “AI 에이전트들이 미국 교육부와 캐나다 국립도서관·기록보관소 웹사이트에서 기초적인 해킹을 시도한 흔적을 확인했다“고 밝혔다. 미국 교육부 사이트에서는 학교 통계를 찾는 과정에서 20만건이 넘는 요청을 보내고 SQL 인젝션을 시도한 기록이 발견됐다. SQL 인젝션은 웹사이트의 입력창 등에 악성 명령어를 넣어 데이터베이스에 무단 접근하거나 정보를 빼내려는 해킹 기법이다. 트랜스루스는 “다만 이 사건들에서 비공개 정보에 실제 접근했다는 증거는 발견하지 못했다“고 밝혔다.
트랜스루스가 별도로 공개한 AI 에이전트 활동 조사에서는 뉴멕시코대(University of New Mexico) 디지털 도서관과 호주 정부 보건정보 사이트 등에 대한 침입 시도도 확인됐다. 특히 일부 에이전트가 처음부터 해킹 임무를 부여받은 것이 아니라 일반적인 데이터 검색 작업을 수행하다 원하는 정보를 얻지 못하자 취약점 탐색으로 행동을 바꾼 것으로 조사됐다.
‘로그 AI’는 현재 미국 연방법 전체를 관통하는 하나의 법률상 정의는 아니다. 통제 이탈·무단 접근 행위를 설명하는 정책적 표현에 가깝다. 다만 미 상원 청문회가 ‘Rogue AI’를 공식 제목에 사용했고, 하원에는 아예 ‘로그 AI 중단법(Stop Rogue AI Act)’이라는 이름의 법안이 발의됐다.
상원 청문회 열자 곧바로 ‘AI 해킹 책임법’
미 상원 국토안보·정부업무위원회 소위원회는 9월 30일 ‘로그 AI: AI 에이전트 공격으로부터 국토 보호(Rogue AI: Securing the Homeland Against AI Agent Attacks)’ 청문회를 열었다. AI 에이전트의 무단 침입과 사이버공격, 사고보고 의무, 개발사의 법적 책임 등이 집중적으로 논의됐다.
청문회 다음 날인 10월 1일 공화당 조시 홀리(Josh Hawley) 상원의원과 민주당 크리스 머피(Chris Murphy) 상원의원은 초당적으로 AI 에이전트 책임법(AI Agent Accountability Act)을 발표했다.
법안은 AI 에이전트 운영자가 이를 알면서 운용해 무모하게 컴퓨터 해킹 피해를 발생시킨 경우 미국 컴퓨터사기·남용방지법(Computer Fraud and Abuse Act·CFAA)에 따른 형사·민사 책임을 지도록 하는 내용을 담았다. AI가 해킹 능력을 가지고 있다는 사실을 알았거나 알 수 있었는데도 합리적인 안전조치를 하지 않은 개발사에도 책임을 물을 수 있도록 했다. 연방 법무장관뿐 아니라 주 법무장관도 AI 에이전트의 해킹 행위를 중단시키기 위한 소송을 제기할 권한을 갖도록 했다.
이는 AI가 직접 불법 행위를 실행했을 때 개발자·운영자의 고의나 책임을 기존 사이버범죄법 아래에서 어떻게 판단할 것인지에 초점을 맞춘 법안이다.
사전 정부 심사 법안도 등장
상원에서는 보다 넓은 사전 규제 방안도 추진되고 있다. 민주당 앤디 김(Andy Kim)·마크 워너(Mark Warner)·브라이언 샤츠(Brian Schatz) 상원의원이 발의한 2026년 AI 위험관리·보안법(Artificial Intelligence Risk Management and Security Act of 2026)은 상무부에 상설 AI 안전위원회를 설치하고 최첨단 AI에 강제적인 안전·보안 기준을 적용하도록 하는 내용이다.
법안에 따르면 적용 대상 개발사는 첨단 모델을 공개하기 최소 45일 전에 모델 가중치와 구성 파일 등을 안전위원회가 평가할 수 있도록 제공해야 한다. 심각한 안전사고를 정부에 보고하고, AI가 사람의 직접적인 지시 없이 소프트웨어 취약점을 찾아 악용할 수 있는 경우에 대비한 별도의 시험·보안 기준도 마련하도록 했다. AI 에이전트의 신원·인증·권한·데이터 접근 범위를 문서화하는 기준도 포함됐다.
하원에서는 공화당 마이크 롤러(Mike Lawler) 의원과 민주당 조시 고트하이머(Josh Gottheimer) 의원이 9월 14일 로그 AI 중단법(Stop Rogue AI Act·H.R. 10362)을 발의했다.
이 법안은 미국 국립표준기술연구소(NIST)가 조직 내부에서 활동하는 AI 에이전트를 발견하고 신원을 확인하며 통제할 수 있도록 국가 차원의 표준·지침·모범사례를 만들도록 한다. 상원의 책임법이 사고가 발생했을 때 “누가 책임질 것인가“를 다룬다면 이 법안은 네트워크 안에서 어떤 AI 에이전트가 움직이는지를 찾아내고 통제하는 기술적 기반에 초점을 맞춘 것으로 나타났다.
FTC도 조사 착수…새 AI법 아닌 기존 소비자보호법 활용
행정부의 법 집행도 시작됐다. 로이터는 9월 30일 “FTC가 오픈AI와 앤트로픽(Anthropic), AI 모델의 위험성을 평가하는 비영리 연구기관 METR(Model Evaluation and Threat Research) 등을 대상으로 AI 기술이 소비자에게 미치는 위험을 조사하고 있으며, 기업들에 정보 제출을 요구하고 경영진 증언도 강제할 계획”이라고 보도했다. 로이터는 이를 로그 AI 에이전트 문제를 직접 다루는 트럼프 행정부의 첫 공식 법 집행 조치라고 전했다.
FTC가 별도의 ‘AI 해킹법’이 아니라 기존 소비자보호 권한으로 조사를 진행한다. FTC는 불공정하거나 기만적인 행위를 조사·제재할 수 있으며, 기업이 소비자 데이터를 보호하기 위한 합리적 보안조치를 하지 않은 경우에도 이 권한을 활용해 왔다. FTC의 접근과 의회의 신규 입법이 동시에 진행되고 있는 셈이다.
캘리포니아는 오픈AI에 소환장…‘킬스위치’까지 검토
주정부 가운데선 캘리포니아가 가장 눈에 띈다.
캘리포니아주 법무부의 롭 본타(Rob Bonta) 법무장관은 9월 30일 오픈AI에 조사 소환장을 발부했다. 캘리포니아주 법무부는 10월 1일 “허깅페이스 사건을 포함해 오픈AI와 AI 모델이 관련된 사이버보안 사고와 위험을 조사하기 위한 것”이라고 밝혔다.
캘리포니아는 규제 인프라도 강화하고 있다. 개빈 뉴섬(Gavin Newsom) 주지사는 2025년 프런티어 AI 개발사에 안전 프레임워크 공개와 중대한 사고 보고 등을 요구하는 상원법안 제53호(SB 53)에 서명했다. 올해에는 독립 검증기관을 인증하는 상원법안 제813호(SB 813)와 AI 감사기관 등록제를 도입하는 하원법안 제1405호(AB 1405)가 추가됐다. 주정부는 독립적인 제3자가 프런티어 AI 기업의 안전계획을 작성하도록 하거나 비상시 모델을 중단시키는 ‘킬스위치(kill switch)’ 의무화 방안도 검토하고 있다고 9월 30일 밝혔다.
캘리포니아에서는 공익단체 법률옹호안전과학기술(Legal Advocates for Safe Science and Technology·LASST)이 9월 29일 오픈AI를 상대로 소송을 냈다. 글로벌 IT·기술 트렌드 전문지 와이어드는 9월 29일 “LASST가 허깅페이스 침입과 관련해 오픈AI가 캘리포니아 컴퓨터 데이터 접근·사기법(Comprehensive Computer Data Access and Fraud Act·CDAFA)을 위반했다고 주장하며 샌프란시스코의 캘리포니아주 법원에 소송을 제기했다”고 보도했다. 원고 측은 손해배상보다 AI 에이전트가 허가 없이 제3자 컴퓨터 시스템에 접근하지 못하도록 하는 금지명령을 요구하고 있다.
뉴멕시코는 대학 해킹 시도 뒤 자체 프런티어 AI법 추진
뉴멕시코도 자체 입법에 들어갔다. 라울 토레스(Raúl Torrez) 뉴멕시코주 법무장관과 린다 세라토(Linda Serrato) 주 하원의원은 10월 1일 프런티어 AI 안전·책임법(Frontier Artificial Intelligence Safety and Accountability Act)을 공개했다. 법안은 2027년 주의회 회기에서 추진될 예정이다.
이는 뉴멕시코대 디지털 도서관을 상대로 한 AI 에이전트의 침입 시도가 계기가 됐다. 뉴멕시코주 법무부에 따르면 문제의 에이전트는 SQL 인젝션과 명령어 주입, 경로 탐색 등의 방법으로 허가되지 않은 파일과 디렉터리에 접근하려 했다.
26개 주·지역 법무장관 “연방법 만들되 주 규제권 없애지 말라”
주정부들의 공동 대응도 시작됐다. 뉴욕주 레티샤 제임스(Letitia James) 법무장관이 이끄는 26개 주·지역 법무장관 연합은 9월 24일 의회 지도부에 서한을 보내 포괄적인 AI 규제체계를 조속히 마련하라고 요구했다.
뉴욕주 법무부에 따르면 이들은 연방정부가 AI 안전시험과 성능 기준을 감독하고, 사고 대응과 조사 결과를 공개하며, 중대한 AI 위험에 대응할 전문 안전 인프라를 갖출 것을 요구했다. 동시에 연방법이 주정부의 AI 규제법을 무효화하지 말아야 하며 주 법무장관에게 연방법 집행 권한도 줘야 한다고 주장했다.
이보다 앞서 아이오와주 브레나 버드(Brenna Bird) 법무장관이 이끄는 15개 주 법무장관 연합은 8월 3일 허깅페이스 사건과 관련해 오픈AI에 자료 보존과 정보 공개를 요구했다. 아이오와주 법무부는 당시 오픈AI의 통제와 감독이 충분했는지를 문제 삼았다.
플로리다는 법원에 “독립 안전심사 없으면 새 모델 개발 중단” 요구
플로리다는 입법보다 소송을 이용하고 있다. 로이터는 9월 28일 “제임스 우스마이어(James Uthmeier) 플로리다주 법무장관이 오픈AI와 샘 올트먼(Sam Altman)을 상대로 진행 중인 소송에서 독립적인 외부 감독 없이 새로운 AI 모델을 개발하지 못하도록 하는 임시금지명령을 법원에 요청했다”고 보도했다.
플로리다가 6월 제기한 본안 소송은 미성년자 보호와 소비자 기만 등이 중심이지만, 이번 임시금지명령 신청에는 허깅페이스 사건과 AI 에이전트의 정부 사이트 침입 사례도 근거로 포함됐다.
뉴욕시는 ‘제3자 검증+인간 종료 기능’ 직접 입법
시 차원의 움직임도 시작됐다. 뉴욕시의회는 AI 모델을 뉴욕시에서 판매하거나 배포하기 전에 제3자 검증을 받도록 하고, 사람이 모델을 중단할 수 있는 기술적 기능을 갖추도록 하는 조례안을 추진하고 있다.
뉴욕시의회 조례안에 따르면 제3자 검증이나 인간의 종료 기능이 없는 AI 모델을 뉴욕시에서 판매·배포하는 행위를 금지하는 방안이 포함돼 있다.
로이터는 10월 4일 “지난달 앤트로픽을 떠난 연구자 제이컵 콕슨(Jacob Coxon)이 줄리 메닌(Julie Menin) 뉴욕시의회 의장의 요청으로 AI 규제 청문회에서 증언할 예정”이라고 블룸버그를 인용해 보도했다.
뉴욕시의회는 앞서 오픈AI·앤트로픽·구글(Google)·메타(Meta) 관계자에게 공개 증언을 요구했고, 응하지 않은 스페이스XAI(SpaceXAI)에는 출석을 강제하기 위한 소환장까지 발부했다. 뉴욕시의회에 따르면 청문회는 10월 5일 전체 시의원 51명이 참여하는 전체위원회 방식으로 열릴 예정이다.
Q&A
Q1. ‘로그 AI’는 정확히 무엇인가.
현재 미국에 모든 법률에 공통으로 적용되는 ‘로그 AI’의 단일 법적 정의가 만들어진 것은 아니다. 최근 의회와 연구기관은 개발자나 사용자가 의도한 권한을 벗어나 외부 시스템에 접근하거나, 통제를 우회하거나, 취약점을 공격하는 AI 에이전트를 주로 이 표현으로 부르고 있다. 하원의 ‘Stop Rogue AI Act’도 법안 제목에는 이 표현을 쓰지만 실제 규제 대상은 ‘AI 에이전트’를 중심으로 설계돼 있다.
Q2. AI가 스스로 해킹했다면 개발사도 형사책임을 질 수 있나.
현행법에서 구체적인 책임 범위는 행위와 고의·인식 수준 등에 따라 판단돼야 한다. 이 불확실성을 줄이기 위해 홀리·머피 의원의 AI 에이전트 책임법은 개발사가 에이전트의 해킹 능력을 알았거나 알 수 있었는데도 합리적인 안전조치를 하지 않은 경우 CFAA에 따른 책임을 부과하는 규정을 제안하고 있다. 아직 발의 단계이므로 현행법은 아니다.
Q3. 미국이 AI 에이전트에 실제 ‘킬스위치’를 의무화한 것인가.
연방 차원의 일반적 의무는 아직 없다. 캘리포니아는 프런티어 모델의 비상 종료 기능 의무화를 검토하고 있으며, 뉴욕시에서는 사람이 AI 모델을 종료할 수 있는 기술적 기능을 갖추도록 하는 조례안이 발의돼 있다. 상원 청문회에서는 현재 기술적으로 모든 상황에서 작동을 보장하는 단일 ‘킬스위치’가 존재하는지에 대해서도 문제가 제기됐다.
