개빈 뉴섬 미국 캘리포니아 주지사가 프런티어 AI(frontier AI) 모델의 통제를 위한 이른바 ‘킬 스위치’ 도입을 포함해 새로운 안전 대책을 마련할 전문가 패널을 소집하기로 했다. 패널은 두 달 안에 권고안을 제출할 예정이다.
IT 전문 매체 엔가젯(Engadget)에 따르면 뉴섬 주지사는 지난 20일 행정명령에 서명하고 AI 안전 대책을 마련할 전국 단위 전문가 패널을 소집하도록 했다. 행정명령은 최근 주요 기업의 AI 모델이 기존 제약을 벗어나는 사례가 잇따르는 상황에서 외부 검증과 지속적인 감독 체계를 검토하도록 한 것이 핵심이다.
캘리포니아 AI 안전 대책의 주요 내용
패널은 뉴섬 주지사실에 AI 안전 관련 권고안을 제출하게 된다. 캘리포니아주는 이를 토대로 AI 안전을 둘러싼 주 법률을 개정할 계획이다. 전문가 패널에 주어진 활동 기간은 두 달이며, 행정명령에는 AI 연구소에 ‘지정된 독립 검증 기관’을 참여시켜 주기적인 감사와 평가를 진행하는 방안 등이 포함됐다.
구체적으로 AI 연구소에 ‘지정된 독립 검증 기관’을 참여시켜 주기적인 감사와 평가를 진행하는 방안이 제시됐다. AI 기업이 제3자 기관에 보고서와 위험 평가서를 제출하도록 하는 요건도 검토 대상이다. 기업이 통제력을 잃은 사건, 이른바 ‘통제 상실 사건(loss-of-control incidents)’을 공개하도록 하는 방안도 포함됐다. 원문은 허깅페이스(Hugging Face)에서 발생한 사건을 이런 공개 대상의 사례로 들었지만, 사건의 구체적인 내용이나 별도 기준은 제시하지 않았다.
행정명령이 말하는 ‘킬 스위치’의 기술적 작동 방식이나 적용 대상 모델, 작동 권한을 누가 행사할지는 공개되지 않았다. 현재 확인된 내용은 AI 모델을 필요할 때 중단할 수 있는 장치를 포함해 종합적인 안전 대책을 마련하자는 정책 방향과, 이를 구체화할 전문가 패널을 출범시키는 결정이다. 따라서 이번 조치는 즉시 모든 AI 모델에 중단 장치를 설치하는 명령이라기보다 향후 규제와 검증 체계를 설계하기 위한 절차에 해당한다.
외부 평가와 AI 개발 속도 조절 논의
뉴섬 주지사는 보도자료에서 “너무 늦기 전에 실질적이고 책임 있는 AI 감독 작업을 서두르겠다”며 “신중하게 하되 긴급한 속도로 진행해야 한다”고 말했다. AI 안전에 대한 이해관계가 큰 만큼 행동을 미루거나 지연할 수 없다는 설명이다. 전문가 패널의 권고는 이후 캘리포니아주의 법률과 기업 보고 의무, 독립 평가 체계에 영향을 줄 수 있다.
AI 기업 외부의 지속적인 검토를 요구한 인물은 뉴섬 주지사만이 아니다. 다리오 아모데이 앤트로픽(Anthropic) 최고경영자는 앞서 AI 개발 속도를 늦추기 위한 3단계 계획을 제안했다. 이 계획에는 안전성과 규정 준수를 평가하는 제3자 평가기관이 AI 기업에 직원과 유사한 방식으로 지속적으로 접근할 수 있도록 하자는 내용이 담겼다. 캘리포니아의 이번 행정명령은 이런 외부 평가 논의를 주 정부 차원의 법·제도 검토로 연결하려는 움직임으로 볼 수 있지만, 실제 규제 내용은 전문가 패널의 권고와 이후 입법 절차를 거쳐 정해질 전망이다.