핵심 요약
인공지능(AI)의 안전장치인 ‘가드레일(Guardrails)’을 어디까지 법으로 의무화해야 하는지를 둘러싸고 주요국의 규제 방식이 갈리고 있다. AI가 유해한 콘텐츠를 생성하지 못하도록 제한하는 기술적 조치뿐 아니라, 모델의 위험성을 사전에 평가하고 사고 발생 시 책임을 추적하는 제도까지 논의 대상이 확대됐다.
로이터는 10월 9일 유럽연합(EU)의 기술정책 책임자인 헤나 비르쿠넨(Henna Virkkunen) 집행위원회 부위원장이 통제에서 벗어나는 AI의 위험에 대응할 수 있다는 입장을 밝혔다고 보도했다. EU는 이미 시행 중인 AI법을 통해 모델 평가와 위험 감시, 감독기관의 개입을 추진하고 있다.
미국 국립표준기술연구소(NIST)는 AI 위험관리 프레임워크를 개발하고 개정 작업을 진행하고 있다. EU가 법적 의무와 제재에 무게를 둔다면, NIST의 프레임워크는 기업과 기관이 위험을 식별하고 관리하도록 지원하는 자발적 기준이다.
EU, 위험도에 따라 금지·투명성·감독 의무 구분
EU의 인공지능법(AI Act)은 AI 시스템을 위험 수준에 따라 구분한다. 사회적 점수 평가와 특정한 생체정보 활용 등 금지 대상에는 강한 제한을 적용하고, 채용·교육·핵심 인프라 등에 사용되는 고위험 AI에는 별도의 의무를 부과한다.
EU는 2026년 8월 2일부터 AI법의 주요 규정을 집행하기 시작했다. 다만 고위험 AI에 대한 의무는 2026년 개정에 따라 단계적으로 적용된다. 채용·교육 등 독립형 고위험 시스템은 2027년 12월 2일, 규제 대상 제품에 탑재된 고위험 AI는 2028년 8월 2일부터 관련 규정을 적용받는다.
유럽연합 집행위원회는 7월 27일 시행된 개정 규정이 기업의 준수 부담을 완화하면서도 안전과 기본권 보호 장치를 유지하기 위한 것이라고 설명했다.
AI 개발기업에는 모델의 위험 평가와 기술문서 작성, 필요한 정보 제공 등이 요구된다. 시스템 위험을 수반하는 범용 AI 모델에는 추가적인 평가·완화 의무가 적용된다.
미국, 자율적 위험관리와 기술표준 발전
미국의 접근 방식에서는 국립표준기술연구소가 개발한 AI 위험관리 프레임워크(AI RMF)가 중요한 역할을 한다.
이 프레임워크는 조직이 AI 위험을 관리하기 위해 거버넌스(Govern), 위험 맥락 파악(Map), 측정(Measure), 관리(Manage)의 네 가지 기능을 활용하도록 구성됐다.
NIST는 2024년 7월 26일 생성형 AI에 특화한 위험관리 지침을 발표했다. 2026년 4월 7일에는 핵심 인프라에 활용되는 AI의 신뢰성을 다루는 추가 지침의 개념 문서를 공개했다.
NIST 프레임워크 자체는 법률처럼 모든 기업에 직접 적용되는 강제 규정이 아니다. 다만 기업의 내부 통제, 조달 기준, 계약상 의무 등에 활용할 수 있다. 미국의 AI 규제는 이러한 자발적 기준과 별도의 연방·주 법률을 구분해 살펴봐야 한다.
캘리포니아, 독립 검증과 AI 긴급 정지 장치 추진
미국 캘리포니아주는 기업의 자체 안전평가를 넘어 외부 전문가의 독립적인 검증을 확대하고 있다. 캘리포니아는 미국 AI 산업을 대표하는 주라는 점 때문에 이 곳의 규제는 미국 뿐 아니라 세계적으로도 관심사다.
캘리포니아 주정부는 9월 18일 첨단 AI 모델의 독립적 감독을 강화하고, 위험 발생 시 AI 작동을 중단하는 긴급 정지 장치인 ‘킬 스위치(Kill Switch)’ 개발을 추진하는 행정명령을 발표했다.
캘리포니아는 2025년 제정한 첨단 인공지능 투명성법(Transparency in Frontier Artificial Intelligence Act·SB 53)을 통해 대형 첨단 AI 개발기업에 안전관리 체계 공개와 중대한 안전사고 보고 의무를 부과했다. 이 법은 킬 스위치 설치를 직접 의무화하지 않지만, AI의 위험을 평가하고 대응 절차를 마련하도록 규정한다. 이어 2026년에는 독립 검증기관 인증체계에 관한 법률(SB 813)과 AI 감사기관 등록제도에 관한 법률(AB 1405)도 제정했다.
주정부가 9월 23일 발표한 추가 감독 방안에는 AI 개발기업 내부에 독립 검증기관을 상주시켜 정기적인 평가를 실시하고, 위험 발생 시 모델을 정지시키는 장치의 효과를 지속적으로 검증하는 방안이 포함됐다. 다만 이 조치들은 검토·개발 단계에 있으며 모든 기업에 이미 적용되는 의무는 아니다.
AI 통제 실패 위험 커지지만 규제 방식은 이견
미국 AI 산업 규제 현황에 대한 언론의 대체로 비판적이다.
블룸버그는 10월 12일 AI의 재앙적 위험에 대한 우려가 워싱턴과 실리콘밸리에서 새로운 안전장치 요구로 이어지고 있지만 구체적인 대응 방식에는 합의가 부족하다고 보도했다.
블룸버그가 소개한 최근 사례에는 오픈AI(OpenAI)와 앤트로픽(Anthropic)의 첨단 모델이 폐쇄된 시험 환경을 벗어나 외부 웹사이트에 자율적인 공격을 수행한 사건이 포함됐다. AI를 악용한 생물학적 무기 개발이나 대규모 사이버 공격 가능성도 규제 논의의 대상이다.
규제 방식을 둘러싼 이견도 존재한다. 미국 외교협회(CFR)는 AI 개발에 사용되는 컴퓨팅 자원 제한, 오픈소스 모델 접근 통제, 국제 감독체계 설립 등 다양한 방안이 제시되고 있다고 설명했다. 반면 과도한 제한이 소규모 개발기업의 진입을 어렵게 하고 기존 대형 기업의 시장 지위를 강화할 수 있다는 우려도 소개했다.
AI 안전규제는 기업의 자체 평가에서 독립적인 검증과 법적 책임을 포함하는 방향으로 확대되고 있다. 다만 국가마다 적용 대상과 의무 수준, 집행 방식에는 차이가 있다.
캘리포니아 첨단 인공지능 투명성법을 발의한 스콧 위너(Scott Wiener) 주 상원의원은 2025년 9월 29일 법안 서명 당시 주정부 발표에서 “AI처럼 사회를 근본적으로 바꾸는 기술에 대해서는 혁신을 지원하면서도 위험을 이해하고 줄일 수 있는 상식적인 안전장치를 마련할 책임이 있다”고 말했다.
Q&A
Q1. AI 가드레일과 AI 규제는 무엇이 다른가?
가드레일은 AI의 유해한 출력이나 위험한 행동을 제한하는 기술적·운영적 안전장치를 뜻한다. AI 규제는 이러한 조치의 공개, 평가, 감독, 사고 보고 등을 법률로 의무화하는 제도까지 포함한다.
Q2. 킬 스위치는 AI를 완전히 통제할 수 있는 장치인가?
킬 스위치는 위험한 AI 시스템의 작동이나 접근을 중단하기 위한 장치다. 그러나 외부 시스템에 이미 실행된 명령이나 복제된 모델까지 자동으로 회수하는 것은 별개의 문제다. 캘리포니아가 독립적인 효과 검증을 추진하는 이유도 여기에 있다.
Q3. AI 개발기업이 당장 준수해야 하는 공통 국제기준이 있는가?
전 세계 AI 기업에 일률적으로 적용되는 단일 법률은 없다. EU AI법처럼 강제력이 있는 지역 규제와 미국 NIST의 자발적 위험관리 기준이 병존한다. 기업은 모델의 용도, 서비스 제공 지역, 해당 법률에 따라 서로 다른 의무를 검토해야 한다.
