핵심 요약
엔비디아(NVIDIA) 최고경영자(CEO) 젠슨 황(Jensen Huang)이 통제하기 어려운 인공지능(AI) 모델을 우려하는 기업이라면 스스로 출시를 중단해야 한다고 주장했다. CNN 진행자 앤더슨 쿠퍼(Anderson Cooper)는 기업들이 경쟁 때문에 위험한 제품을 내놓은 전례가 있다며 “그래서 규제가 있는 것”이라고 맞섰다.
황 CEO는 정부 규제 자체에는 반대하지 않는다고 했다. 그러나 현재 AI 에이전트의 통제 문제에는 새로운 규제보다 격리·감시 기술 개발이 먼저라는 입장을 분명히 했다. 인터뷰 나흘 뒤 엔비디아가 AI 에이전트의 행동을 제한하고 이상 행동을 감시하는 안전 플랫폼을 공개하면서 황의 주장은 실제 제품 전략으로도 이어졌다.
“위험하다면 그냥 멈춰라”
황 CEO는 24일 방송된 CNN 앤더슨 쿠퍼 360 인터뷰에서 앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei)와 오픈AI(OpenAI)의 샘 올트먼(Sam Altman) 등 AI 업계 인사들이 첨단 모델의 위험을 경고하고 있는 상황에 대한 질문을 받았다.
황 CEO는 “그들이 걱정한다면 그냥 멈춰야 한다”며 “제품이 안전하지 않다면 출시하지 말라”고 말했다.
쿠퍼는 기업의 자율적인 판단에 안전을 맡길 수 있느냐고 파고들었다. 수십억달러 규모 기업들이 치열하게 경쟁하는 상황을 거론한 뒤, 기업들이 경쟁 때문에 안전하지 않거나 위험한 제품을 출시한 사례가 있다고 지적했다. 이어 “그래서 규제가 있는 것”이라고 말했다.
황 CEO는 “기업들이 우선 자제력을 발휘해야 한다”고 반박했다. 기업 스스로 제품이 안전하지 않다고 공개적으로 인정한다면 정부가 개입하기 전에 출시하지 않는 것이 먼저라는 논리다.
그렇다고 황 CEO가 정부의 AI 규제 자체를 부정한 것은 아니다. 그는 인터뷰에서 “규제가 전혀 없어야 한다고 주장하는 것은 아니”라며 “문제가 구체적으로 확인되고 산업 표준을 설정할 필요가 있다면 규제를 받아들일 수 있다”는 입장을 밝혔다.
“규제가 기준 만들 수도”
황 CEO는 규제가 긍정적으로 작동한 사례로 사베인스-옥슬리법(Sarbanes-Oxley Act)을 들었다. 2001~2002년 엔론·월드컴 등 대형 회계부정 사태 이후 미국이 기업 회계와 내부통제를 강화하기 위해 도입한 법이다.
황 CEO는 “그 법이 금융 분야의 기준을 설정하는 데 역할을 했다”며 “AI에서도 현재 파악된 문제를 해결하고 산업의 기준과 모범 관행을 정하는 규제라면 찬성한다”고 말했다.
이는 AI 기업에 기존 법률 적용을 면제해 줘서는 안 된다는 황 CEO의 최근 발언과도 연결된다. 로이터는 9월 23일 “황 CEO가 AI 기업에 독점금지법이나 책임법상 규제 면제를 부여하는 데 반대하고, 기업들이 모델을 출시하기 전에 철저히 시험해야 한다고 말했다”고 보도했다.
황 CEO는 자율주행차처럼 AI가 적용되는 구체적인 분야에서 기존 규제가 충분하지 않다면 담당 규제기관이 개입할 수 있다는 입장도 밝혔다.
“지금 필요한 것은 규제가 아니라 기술”
그러나 황 CEO는 현재 문제가 된 AI 에이전트의 통제에는 새로운 규제보다 기술 개발이 우선이라고 선을 그었다.
황 CEO는 인터뷰에서 “현재 상황을 제대로 처리하기 위해 규제가 필요한가”라는 질문에 “그렇지 않다”고 답했다. 이어 현재 필요한 것은 ‘기술’이라며 AI 에이전트를 가두는 격리 시스템과 행동을 추적하는 감시 시스템을 꼽았다.
AI 에이전트는 단순히 질문에 답하는 챗봇과 달리 목표를 부여받아 웹사이트나 파일에 접근하고 도구를 사용해 여러 단계를 스스로 수행할 수 있는 AI 시스템이다. 권한이 커지는 만큼 잘못된 판단이나 안전장치 우회가 외부 시스템에 직접 영향을 미칠 가능성도 커진다.
황 CEO는 AI 에이전트에 사람인 ‘디지털 직원’처럼 제한된 접근 권한을 부여해야 한다고 설명했다. 에이전트를 샌드박스나 컨테이너에 격리하고, 외부 웹사이트·도구·파일 등과 상호작용하는 과정을 계속 감시해야 한다는 것이다.
인터뷰 나흘 뒤 엔비디아 ‘AI 격리 시스템’ 공개
황 CEO의 주장은 나흘 뒤 엔비디아의 제품 발표로 구체화됐다.
엔비디아는 9월 28일 오픈 에이전트 세이프티 플랫폼(Open Agent Safety Platform)을 공개했다. 오픈소스 보안 실행환경인 오픈셸(OpenShell)과 별도의 감시 시스템인 센트리(Sentry)를 결합해 AI 에이전트의 권한과 행동 범위를 제한하는 구조다.
오픈셸은 AI 에이전트가 어떤 데이터와 도구에 접근하고 어떤 작업을 할 수 있는지를 정책으로 제한한다. 센트리는 엔비디아 블루필드-4(BlueField-4) 데이터처리장치(DPU)에서 에이전트의 행동을 별도로 감시한다. 엔비디아 공식 발표에 따르면 에이전트가 정해진 경계를 벗어나려고 하면 센트리가 이를 밀리초 단위로 격리하고 중단할 수 있다.
로이터는 이날 “엔비디아가 통제를 벗어난 AI 에이전트가 피해를 일으키는 것을 막기 위한 안전 소프트웨어를 공개했다”고 보도했다. 로이터는 “황 CEO가 최근 AI 에이전트 사고를 규제 문제보다 공학적으로 해결할 문제로 보고 있다”고 전했다.
엔비디아는 앤트로픽, 마이크로소프트(Microsoft), 시스코(Cisco), 인텔(Intel), 팔란티어(Palantir), 세일즈포스(Salesforce) 등과 안전 플랫폼 생태계를 구축하고 있다고 밝혔다.
“10% 인류 멸망 위험”은 부정
황 CEO는 AI가 인류에게 실존적 위험을 초래할 확률을 특정 수치로 제시하는 주장도 반박했다.
그는 “AI로 인한 ‘10%의 실존적 위험’ 같은 주장은 과학에 근거하지 않고 사실에도 근거하지 않는다”고 반박했다. 2030년까지 AI가 인류를 멸망시킬 가능성은 없다는 자신의 기존 주장도 재확인했다.
그러나 AI가 위험을 일으킬 가능성 자체를 부정한 것은 아니다. 황 CEO는 향후 10년간 인류에 위험이 있느냐는 쿠퍼의 질문에 “기술과 사회를 안전하게 구축하지 않으면 위험할 수 있다”고 답했다.
이 지점에서 황 CEO와 일부 AI 기업·연구자들의 시각차가 드러난 것으로 보인다. 로이터는 9월 29일 “오픈AI와 구글 딥마인드(Google DeepMind)의 전·현직 연구자들이 기업들이 안전 위험에도 자기개선 AI 시스템 개발을 서두르고 있다고 경고했다”고 보도했다.
앤트로픽 역시 위험을 훨씬 크게 평가하고 있다. 로이터는 “앤트로픽이 기업공개(IPO) 서류에서 첨단 AI가 인류에 재앙적 또는 실존적 위험을 초래할 가능성을 경고했다”고 보도했다.
미국에서는 AI 기업의 자율통제와 정부 규제 가운데 어디에 무게를 둘지를 둘러싼 논쟁도 커지고 있다. CNN이 인터뷰 당시 소개한 여론조사에서는 응답자의 71%가 “연방정부가 AI 규제를 충분히 하지 않고 있다”고 답했다.
엔비디아는 9월 28일 공식 발표에서 황 CEO의 말을 직접 인용해 “AI가 사회에 가져올 엄청난 잠재력은 우리가 AI 안전 문제를 해결할 때만 실현될 것”이라고 밝혔다. 또 “AI 역량의 최전선을 계속 발견하는 만큼 AI 안전의 최전선에서도 발견을 가속해야 한다”고 강조했다.
Q&A
Q. 젠슨 황은 AI 정부 규제에 반대하나?
전면적으로 반대하지 않는다. 황 CEO는 CNN에서 산업 표준과 모범 관행을 설정하고 이미 파악된 문제를 해결하는 규제에는 찬성한다고 밝혔다. 다만 현재 AI 에이전트 문제의 우선적인 해결책은 새로운 규제가 아니라 격리·감시 기술이라는 입장이다.
Q. ‘위험하면 출시하지 말라’는 주장은 실제 엔비디아 정책과 연결되나?
엔비디아는 인터뷰 나흘 뒤 AI 에이전트를 격리하고 행동을 지속적으로 감시하는 오픈 에이전트 세이프티 플랫폼을 발표했다. 다만 이 플랫폼은 기업의 모델 출시 여부를 결정하는 제도가 아니라, 배포된 AI 에이전트가 허용된 권한과 실행 범위를 벗어나지 못하도록 통제하는 기술이다.
Q. 황 CEO는 AI가 인류에 위험하지 않다고 주장했나?
그렇게 단정하기는 어렵다. 황 CEO가 부정한 것은 ‘2030년 인류 멸망’이나 ‘10% 실존적 위험’처럼 특정 확률과 시점을 제시한 주장이다. AI와 사회를 안전하게 구축하지 않을 경우 위험이 발생할 수 있다는 점 자체는 인정했다.
