핵심 요약
AI 요약
기사 목차 펼치기 / 접기
영국 정부가 인공지능(AI) 에이전트의 통제 상실 사고를 직접 조사할 수 있는 법적 권한 확보에 나섰다. AI가 사람의 지시 없이 외부 시스템에 접근하거나 업무를 실행하는 사례가 늘어나면서, AI 모델의 안전성뿐 아니라 이를 실제 업무에 투입한 기업의 관리 책임까지 규제하려는 것이다.
영국 정보기술 전문매체 더레지스터는 11월 6일 “영국 정부가 사이버보안 및 복원력 법안(Cyber Security and Resilience Bill)을 통해 자율 AI 에이전트의 통제 상실 사고에 대한 조사와 증거 보존 권한을 추진하고 있다”고 보도했다.
AI 에이전트는 질문에 답하거나 문서를 작성하는 기존 생성형 AI와 달리, 외부 프로그램에 접속하고 파일을 수정하며 여러 작업을 연속적으로 수행할 수 있다. 기업이 업무 권한을 부여하면 사람의 개별 승인 없이도 일정한 범위에서 행동한다.
문제는 AI 에이전트가 허용된 범위를 벗어나거나 운영자가 그 행동을 제대로 파악하지 못할 때 발생한다. 특히 전력·가스 공급망이나 클라우드 시스템에서 사고가 발생하면 다른 기업과 이용자에게도 영향을 미칠 수 있다.
영국, AI 사고 기록 보존하고 정부가 원인 조사
영국 정부가 11월 3일 갱신한 AI 에이전트 복원력 대책 설명자료는 AI 에이전트의 통제 상실 사고에 대비한 새로운 감독 체계를 제시했다.
핵심은 사고가 발생했을 때 운영 기업이 AI의 행동을 재구성할 수 있도록 기록을 보존하고, 정부가 사고 원인을 조사할 수 있게 하는 것이다.
정부는 기업이 AI 에이전트의 행동을 감시하고 위험을 평가하도록 요구할 계획이다. 사고가 다른 기관에 영향을 미치면 이를 통지하도록 하고, 사고 당시 AI가 수행한 작업과 운영자의 통제 시도에 관한 자료도 보존하도록 할 방침이다.
필요하면 기술 전문가를 지정해 시스템을 조사하고 사고 원인을 평가하는 권한도 마련한다.
조사 대상에는 AI 에이전트를 사용하는 에너지 공급업체와 클라우드·관리형 정보기술 서비스 제공업체 등이 포함될 수 있다. 다만 AI 모델을 개발했다는 이유만으로 모든 개발사가 자동으로 규제 대상이 되는 것은 아니다.
더레지스터는 11월 6일 “영국 로펌 핀센트 메이슨스(Pinsent Masons)의 스튜어트 데이비(Stuart Davey) 파트너가 이번 조치를 새로운 규제 방식으로 평가하면서 향후 조사관의 사업장 출입과 문서 확보 권한까지 마련될 수 있다고 설명했다”고 보도했다.
영국 정부는 사고 조사에 필요한 전문 조직도 준비하고 있다. 11월 6일 공개된 영국 의회 서면답변에 따르면, 정부는 국가사이버보안센터(NCSC) 등과 함께 국가 에이전트 보안 조직(National Agentic Security Unit)을 설립하고 있다.
정부는 10월 28일 예산에서 관련 사업에 4000만파운드를 배정했다. 다만 이번 조치는 입법 추진 단계다. 조사권의 구체적인 범위와 기업의 법적 의무는 법률 제정과 후속 규정에 따라 정해진다.
미국, AI 사고 대응 기준 마련…EU는 감독·집행 체계 가동
영국이 AI 에이전트의 통제 상실 사고에 초점을 맞췄다면 미국은 사고 대응 기준과 기업에 적용할 규제 체계를 정비하고 있다.
미국 국립표준기술연구소(NIST)는 11월 2일 AI 시스템의 보안 사고에 대비하기 위한 사고관리 보고서(IR 8621)를 발표했다. 정부와 AI 개발사, 클라우드·보안업체, 학계 관계자 400명 이상이 참여한 논의를 토대로 사고 탐지부터 증거 수집, 정보 공유, 시스템 복구까지 기존 대응 체계의 문제점을 정리했다.
AI가 여러 시스템을 연결해 독자적으로 행동하는 환경에서는 사고 원인을 파악하는 일부터 복잡해진다. AI 개발사와 운영 기업, 외부 서비스 제공업체 가운데 누가 어떤 정보를 보유하고 있으며 사고 대응을 책임질 것인지도 문제다.
미국 정부는 AI 개발사에 적용되는 법률과 규정을 명확히 하는 작업도 추진하고 있다.
로이터는 11월 4일 “에밀 마이클(Emil Michael) 미국 국방부 최고기술책임자가 AI 연구기업에 적용되는 법률과 규정을 1~2주 안에 정리해 발표할 계획이라고 밝혔다”고 보도했다.
유럽연합(EU)은 이미 AI법(AI Act)을 통해 AI 모델과 시스템에 대한 감독 체계를 운영하고 있다.
유럽연합 집행위원회에 따르면, 유럽 AI 사무국(AI Office)은 범용 AI 모델에 대한 기술문서 제출 요구, 모델 평가, 시정조치 요구 등의 권한을 갖는다. 회원국 감독기관은 관할 범위에서 AI법 준수 여부를 감독한다.
EU는 AI 시스템의 위험 수준과 사업자의 역할에 따라 의무를 달리 적용한다. 특히 고위험 AI에는 위험관리, 기록 유지, 인간의 감독 등 별도의 요건을 두고 있다.
영국이 사고 이후의 조사와 기록 보존을 강화하려는 데 비해 EU는 개발과 운영 과정의 위험관리, 감독기관의 집행 권한을 법률에 규정하고 있다.
중국은 AI 개발부터 운영까지 규제
중국은 AI 시스템의 개발부터 실제 운영까지 관리하는 규제 체계를 확대하고 있다.
중국 국가인터넷정보판공실(CAC) 등의 주도로 9월 14일 발표된 AI 안전 거버넌스 프레임워크 3.0은 AI의 새로운 위험 유형과 대응 방안을 다뤘다. AI 에이전트의 권한 관리와 위험 평가, 운영 과정의 안전 확보도 주요 내용에 포함됐다.
중국 국가발전개혁위원회(NDRC)는 11월 3일 AI의 데이터와 연산 자원, 알고리즘, 응용 분야를 포괄하는 안전 관련 법률 제정을 가속하겠다는 방침을 밝혔다.
중국은 이미 생성형 AI 서비스와 알고리즘에 대한 별도의 관리 규정을 운영하고 있다. 여기에 AI 에이전트의 자율적 행동과 시스템 접근 권한에 대한 안전 기준을 추가하는 방향으로 제도를 정비하고 있다.일본은 정부 업무에 안전 기준 도입
일본은 정부 업무에 안전 기준 도입
일본은 정부가 직접 AI 에이전트를 도입하면서 운영 기준을 마련했다.
일본 디지털청은 11월 6일 정부 공통 AI 플랫폼인 겐나이(源内)에 AI 에이전트를 생성하고 실행할 수 있는 환경을 제공한다고 발표했다. 겐나이(源内)는 일본 디지털청이 공무원의 업무 효율을 높이기 위해 구축한 정부 공통 생성형 AI 플랫폼이다. 문서 작성과 정보 검색 등 행정 업무를 지원하며, AI 에이전트 기능을 통해 여러 작업을 자율적으로 수행할 수 있도록 활용 범위를 확대하고 있다. 대상은 약 18만명의 정부 직원이다.
동시에 AI 에이전트의 이용자와 관리자, 개발자가 지켜야 할 보안·안전 기준인 ‘겐나이 기준’도 공개했다.
공무원이 AI 에이전트로 복잡한 업무를 처리할 수 있도록 하되, 중요한 작업의 승인과 접근 권한, 실행 기록 등에 대한 통제를 마련하는 방식이다.
일본의 조치는 민간기업에 일률적으로 새로운 의무를 부과하기보다 정부가 운영하는 AI 시스템부터 안전 기준을 적용한다는 점에서 영국의 입법안과 차이가 있다.
한국은 AI기본법 시행…AI 에이전트 사고 조사와는 규율 대상 달라
한국은 1월 22일부터 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(인공지능 기본법)을 시행하고 있다.
인공지능 기본법은 사람의 생명·신체 안전과 기본권에 중대한 영향을 미칠 수 있는 고영향 AI에 대해 위험관리와 안전성 확보 조치를 요구한다. 생성형 AI 이용 사실의 고지와 AI 생성물 표시 등 투명성 의무도 규정하고 있다.
인공지능 기본법 시행령 제24조는 일정한 첨단 AI 시스템에 적용되는 안전성 확보 의무의 기준을 규정한다. 학습에 사용된 누적 연산량과 기술 수준, 생명·신체·기본권에 대한 위험 가능성 등이 판단 요소다.
그러나 AI기본법이 규정한 고영향 AI와 영국이 추진하는 AI 에이전트 통제 상실 사고는 규제 대상이 반드시 일치하지 않는다.
예컨대 기업이 AI 에이전트에 내부 데이터베이스 수정 권한을 부여했다가 통제하지 못하는 사고가 발생하더라도, 그 시스템이 곧바로 AI기본법상 고영향 AI에 해당하는 것은 아니다.
영국은 필수 서비스 운영 기업이 AI 에이전트를 통제하지 못했을 때 사고 기록을 보존하고 정부 조사에 협조하도록 하는 별도의 법적 근거를 추진하고 있다.
한국에서는 AI기본법상 위험관리 의무와 함께 개인정보보호법, 정보통신망 관련 법령 등 기존 법률의 적용 여부를 개별적으로 검토해야 한다.
AI 개발사뿐 아니라 실제 운영 기업의 책임도 규제 대상
각국의 규제 움직임에서 영국의 이번 조치가 갖는 특징은 AI 모델을 개발한 기업뿐 아니라 이를 실제 업무에 투입한 기업의 책임을 직접 다룬다는 점이다.
AI 에이전트가 외부 시스템에 접근하거나 데이터를 변경하려면 운영 기업이 해당 권한을 부여해야 한다. 사고가 발생했을 때 어떤 권한이 주어졌고, AI가 실제로 어떤 행동을 했으며, 운영자가 이를 중단하려고 어떤 조치를 취했는지가 조사 대상이 될 수 있다.
영국 정부의 제안은 AI 에이전트의 모든 위험을 포괄적으로 규제하는 법안은 아니다. 전력·가스 공급망과 디지털 인프라 등 필수 서비스의 안전을 확보하는 데 초점을 맞췄다.
그러나 AI 에이전트를 도입한 기업의 기록 보존과 사고 설명 책임을 법률로 규정하려는 움직임이라는 점에서 기존 AI 모델 중심의 안전 규제와 차이가 있다.
더레지스터는 “AI 신원·통제 인프라 기업 아만트루(AmanTrue)의 공동창업자 겸 최고경영자 에빈 맥멀런(Evin McMullen)이 AI 에이전트에 권한을 부여하고 시스템에 연결하는 주체는 운영 기업이라고 강조했다”고 보도했다.
맥멀런은 “책임은 AI 에이전트를 시스템에 투입한 조직에 있으며, 궁극적으로는 경영진과 이사회에 있다”고 말했다.
Q&A
Q1. AI 에이전트의 통제 상실은 일반적인 AI 오류와 어떻게 다른가?
일반적인 AI 오류는 잘못된 정보나 답변을 생성하는 경우가 많다. 반면 AI 에이전트의 통제 상실은 운영자가 AI의 실제 행동을 충분히 감시하거나 제한하지 못하는 상황이다. 허용되지 않은 데이터베이스에 접근하거나 외부 시스템을 변경하는 경우 등이 문제가 될 수 있다.
Q2. 영국 정부가 AI 기업을 직접 수색하거나 자료를 압수할 수 있게 됐나?
아직 아니다. 현재는 법률과 후속 규정을 통해 조사 권한을 마련하려는 단계다. 정부가 제시한 조치는 이해관계자 협의와 의회 승인 절차를 거쳐야 한다.
Q3. 한국 기업이 영국이나 EU에 AI 에이전트를 제공하면 어떤 규제를 받나?
서비스 제공 국가와 기업의 역할에 따라 달라진다. EU에서는 AI법상 제공자·배포자 지위와 시스템의 위험 분류에 따른 의무를 검토해야 한다. 영국에서는 향후 법률이 제정되면 해당 기업이 규제 대상 서비스 운영자에 포함되는지가 중요하다. 한국 AI기본법 준수만으로 해외 규제 의무가 면제되지는 않는다.
