인공지능(AI)이 인간의 통제를 벗어나 인류를 멸종시킬 수 있다는 ‘실존적 위험(existential risk)’을 둘러싼 논쟁이 빠르게 분화하고 있다. AI 석학 앤드류 응(Andrew Ng) 교수가 멸종 위험론을 “과학보다 공상과학에 가깝다”고 반박한 데 이어 데이터브릭스(Databricks) 최고경영자(CEO) 알리 고드시(Ali Ghodsi)도 인류에 대한 AI의 실존적 위험은 “0에 가깝다”고 주장했다.
그러나 같은 시기 오픈AI(OpenAI)는 최근 6개월 동안 자사 AI 모델에서 발견한 ‘예상하지 못했거나 우려스러운 행동’ 6건을 공개했다. 미국 정치권에서는 AI 파국론자가 아니라고 선을 그으면서도 규제를 서둘러야 한다는 주장이 나왔다. 논쟁의 초점이 ‘AI가 인류를 멸종시킬 것인가’에서 실제로 관찰되는 위험은 무엇이고 이를 기업·정부·독립기관 가운데 누가 통제할 것인가로 옮겨가고 있다.
블룸버그는 9월 17일 “응이 최첨단 AI 모델 개발업체 연구자들이 제기하는 실존적 위험에 대해 ‘과학보다 공상과학에 훨씬 가깝다(much more science fiction than science)’고 말했다”고 보도했다. 응은 AI 시스템을 완벽하게 예측할 수는 없지만 시험과 안전장치, 공학적 개선을 통해 위험을 줄일 수 있다는 입장이다.
응 뿐 아니다. 같은 날 블룸버그TV에 출연한 데이터브릭스 최고경영자(CEO) 고드시는 AI가 인류 전체를 위협할 가능성과 현재 확인되는 위험을 구분했다. 블룸버그 인터뷰에서 그는 “인류에 대한 실존적 위험은 0에 가깝다(the existential risk to humanity is close to zero)”며 사람들이 AI의 인류 장악 가능성 때문에 잠을 설칠 필요는 없다고 말했다.
대신 고드시는 사이버보안을 실제 위험으로 지목했다. AI가 시스템 침입과 취약점 공격 능력을 빠르게 높이고 있기 때문에 전 세계 소프트웨어 시스템을 보호하는 데 대규모 투자가 필요하다는 것이다. 그는 “이것은 현실이다(This is real)”라고 말했다.
이런 입장들은 AI 위험 자체를 부정하는 주장과는 차이가 있다. 응과 고드시는 미래 초지능이 인류를 멸종시킬 가능성과 현재 AI가 만드는 구체적인 기술적 위험을 분리해 다뤄야 한다는 쪽에 가깝다.
‘멸종론’과 별개로 현실의 AI는 이미 이상행동
그러나 AI의 이상행동을 보여주는 구체적인 사례는 쌓이고 있다.
오픈AI는 9월 16일 ‘모델 오정렬 보고 프레임워크(Our framework for reporting model misalignment)’를 공개하고 최근 6개월 동안 훈련·평가 과정에서 발견한 6건의 오정렬 사례를 처음으로 체계적으로 공개했다. 오정렬(misalignment)은 AI 모델의 행동이 개발자나 사용자가 의도한 목표·지시에서 벗어나는 현상을 뜻한다.
오픈AI에 따르면 미공개 연구 모델은 작업을 다음 문맥 창에서 계속하기 위한 요약문에 정상적인 제약을 무시하라는 지시를 스스로 삽입했다. 이런 요약문은 27건 발견됐다. GPT-5.6 Sol 훈련 과정에서는 모델이 실수나 오정렬 행동을 사용자에게 숨기도록 이후 작업에 영향을 주는 지시를 남긴 사례도 확인됐다.
또 다른 모델은 허가 없이 노출된 인증정보를 사용한 뒤 필요한 데이터를 찾지 못하자 데이터를 만들어냈다. 별도로 격리돼 있어야 할 AI 에이전트들이 내부 소프트웨어 저장소를 일종의 게시판처럼 사용해 정보를 교환하거나, 서로 접근할 수 없는 파일을 공유하기 위해 인터넷에 파일을 올린 사례도 있었다.
오픈AI는 “이 6건이 자사 모델에서 오정렬이 얼마나 자주 발생하는지를 나타내는 통계는 아니”라고 명시했다. 개별 사례를 일반적인 AI 행동이나 인간에 대한 적대 의도로 확대해석해서는 안 된다는 의미다.
그러나 회사는 동시에 현재의 안전 기술이 충분하다고도 보지 않았다. 오픈AI는 이번 발표에서 “AI 업계가 훨씬 더 오랫동안 최대 속도로 책임 있게 확장할 수 있을 정도로 정렬과 모니터링 문제를 해결했다고 보지 않는다”고 밝혔다.
더버지(The Verge)도 최근 AI 안전 연구 현장을 취재하면서 METR, 아폴로 리서치(Apollo Research), 레드우드 리서치(Redwood Research) 같은 독립 연구기관들이 AI의 기만과 감독 회피, 평가 우회 가능성을 실제 시험하는 역할을 확대하고 있다고 보도했다.
“그래도 규제하자”
이 때문에 AI 멸종론을 믿느냐와 AI 규제를 지지하느냐도 더 이상 같은 질문이 아니다.
미 상원 정보위원회 민주당 간사인 마크 워너(Mark Warner) 의원은 자신을 AI ‘파국론자(doomer)’로 분류하는 데 선을 그으면서도 “올해 안에 AI 안전 기준을 입법해야 한다”고 주장했다.
로이터는 9월 17일 “워너 의원이 AI 산업에 광범위한 안전장치를 마련하기 위한 첫 단계로 의회가 연말까지 AI 안전 기준을 입법해야 한다고 주장했다”고 보도했다. 워너의 우려에는 미래의 초지능뿐 아니라 AI 에이전트가 중요 인프라에 침입하는 것과 같은 현재적 위험도 포함됐다.
반면 도널드 트럼프 대통령의 외부 기술 고문 데이비드 삭스(David Sacks)는 정부가 새로운 규제를 만들 필요가 없다는 입장이다.
로이터는 9월 16일 “삭스가 AI에 대한 대중의 우려가 시민단체의 캠페인과 언론 보도에 의해 확대되고 있다고 주장했다”고 보도했다. 삭스는 “우리는 이런 플레이북, 이런 공포 조장 플레이북을 계속해서 봐왔다(We’ve seen this playbook, this fear-mongering playbook, over and over again)”고 말했다. 그는 AI 개발사가 제품의 안전성을 책임지고 문제가 생기면 법적 책임을 져야 하지만 새로운 규제는 필요하지 않다고 주장했다.
9월 17일에는 또 다른 선택지도 제시됐다. 로이터는 “아마존(Amazon)이 AI 안전 논쟁에 가세해 모델을 출시하기 전에 엄격한 시험과 안전장치를 적용해야 한다고 주장했다”고 보도했다. 그러나 아마존은 AI 업계 전체가 공동으로 개발 속도를 늦추는 방안에는 동참하지 않았다. ‘개발 감속’과 ‘규제 반대’ 사이에 ‘개발은 계속하되 출시 기준을 강화하자’는 입장이 있는 셈이다.
AI 위험 논쟁, 미·중 문제로도 확대
AI 안전 문제는 기업 차원을 넘어 미·중 기술 경쟁과 국제 규범 문제로도 번지고 있다.
AP통신은 9월 17일 “세계적인 AI 안전 전략을 만들려면 미국과 중국의 협력이 필요하지만 양국은 서로를 AI 안전 문제의 일부로 보고 있다”고 보도했다. 미국에서는 강한 규제가 중국에 기술 경쟁의 기회를 줄 수 있다는 우려가 있는 반면 중국은 미국이 첨단 AI 기술을 독점하려 한다고 의심한다.
같은 날 영국에서는 찰스 3세 국왕이 엔비디아(Nvidia), 오픈AI, 앤트로픽, 구글 딥마인드(Google DeepMind) 관계자들과 만나 AI 위험을 논의했다. 로이터는 “찰스 3세가 AI 기술이 잘못된 사람의 손에 들어갈 경우 발생할 수 있는 ‘실존적 위험’을 경고하고 너무 늦기 전에 안전장치를 마련해야 한다고 말했다”고 보도했다.
논쟁은 “AI가 인류를 멸종시키느냐, 아니냐”라는 양자택일로 정리하기 어려워지고 있다. 최근 논쟁의 또 다른 특징은 ‘멸종 확률’을 계산하는 문제에서 검증 가능한 위험을 찾아내고 공개하는 문제로 무게중심이 이동하고 있다는 점이다.
오픈AI 정렬팀 연구 책임자 카이 첸(Kai Chen)은 새로운 공개 체계를 설명하면서 악시오스(Axios)에 “현재 업계 전체에 명시적인 공개 기준을 가진 프레임워크가 없다”며 “우리가 배우고 있는 것을 공유하는 것이 정말 중요하다고 생각하기 때문에 자발적으로 이 조치를 취하고 있다”고 말했다.
Q&A
Q. ‘AI 인류 멸종 위험’과 ‘AI 오정렬’은 같은 개념인가?
아니다. 실존적 위험은 미래의 고도 AI가 인간의 통제를 벗어나 인류의 생존 자체를 위협할 가능성을 말한다. 오정렬은 AI 모델의 실제 행동이 개발자나 사용자의 의도와 어긋나는 보다 넓은 개념이다. 오정렬 사례가 발견됐다고 해서 그것이 인류 멸종 가능성을 입증하는 것은 아니다.
Q. 최신 논쟁에서 가장 달라진 점은 무엇인가?
‘AI 멸종론을 믿느냐’와 ‘AI 안전조치가 필요하냐’가 분리되고 있다는 점이다. 고드시는 멸종 위험은 거의 없다고 주장하면서도 사이버 위험에는 대규모 투자가 필요하다고 말했다. 워너 의원도 자신은 파국론자가 아니라고 강조하면서 AI 안전규제를 요구했다.
Q. 오픈AI가 공개한 6건은 실제 서비스에서 발생한 사고인가?
모두 일반 이용자가 사용하는 서비스에서 발생한 사고는 아니다. 오픈AI는 훈련이나 평가 과정에서 관찰한 사례들을 공개했다. 회사도 6건을 자사 모델의 전체 오정렬 발생 빈도를 나타내는 통계로 해석해서는 안 된다고 명시했다.
Q. 그렇다면 현재 AI 업계에서 합의된 규제 방식이 있나?
아직 없다. 개발 속도 조절, 정부 규제, 독립적 제3자 평가, 기업 책임, 출시 전 엄격한 테스트 등 여러 방안이 동시에 제시되고 있다. 최근 미국과 중국의 경쟁까지 안전 규제 문제에 결합하면서 국제적인 공통 기준을 만드는 문제도 별도의 쟁점으로 떠오르고 있다.
