‘인류 절멸’ 경고…초지능의 위협인가, IPO가 지운 안전장치인가

퇴사자의 경고가 아니다…현직 지도부의 ‘감속’ 실토와 1조 달러 상장이 빚은 위험한 역설

회의실에서 사람들이 노트북과 태블릿을 앞에 두고 도시 전경이 보이는 창가에서 회의 중이다.
핵심 요약 AI 요약
1
AI 안전성 경고:앤트로픽 연구원 제이컵 콕슨의 퇴사 선언은 AI 업계의 안전성 문제를 심각하게 부각시켰다.
2
IPO와 안전 기준:앤트로픽은 상장 준비 과정에서 안전 기준을 후퇴시키며 위험을 감수하는 방향으로 나아갔다.
3
AI 통제 실패:AI 모델의 지능이 높아질수록 기존의 사고사슬 모니터링 기법이 무력화되고 있다는 우려가 제기되었다.
4
내부 고발 논란:콕슨의 발언은 특정 회사의 범죄를 폭로하기보다는 AI 개발의 전반적인 위험성을 경고하는 성격이 강하다.
5
정치적 쟁점화:AI 안전성 문제는 미 의회에서 초지능 금지법과 같은 정치적 이슈로 비화되고 있다.
기사 목차 펼치기 / 접기

앤트로픽(Anthropic) 연구원 제이컵 콕슨(Jacob Coxon)이 9월 8일 밤 X(옛 트위터)에 올린 퇴사 선언은 AI 업계에 거대한 충격을 안겼다. “오늘 앤트로픽을 그만뒀다”는 한 문장으로 시작된 글은 곧바로 초지능 안전성의 급소를 정조준했다. “두 회사 모두 최소한의 책임감조차 보이지 않고 있다. 자가 진화하는 초지능을 향해 무모하게 질주하며, 우리 모두의 목숨을 판돈 삼아 위험천만한 도박을 벌이고 있다. 이 시스템을 직접 만드는 연구자들은 2020년대가 끝나기 전에 AI가 인류를 절멸시킬 수 있다고 진심으로 믿고 있다. 결코 마케팅용 엄포가 아니다.” 이 게시물은 불과 며칠 만에 조회수 1억회를 돌파하며 글로벌 기술 패권 경쟁의 이면을 수면 위로 끌어올렸다.

하지만 이 폭로는 돌발적인 개인의 일탈이 아니었다. 이틀 앞선 9월 6일 오픈AI(OpenAI) 최고과학자 야쿠프 파초츠키(Jakub Pachocki)가 회사 공식 채널을 통해 사실상 같은 취지의 기술적 경고를 이미 발표해 둔 상태였다. 달라진 것은 경고의 기술적 본질이 아니라, 그 발언이 자본 시장의 상장(IPO) 일정과 맞물리며 거대한 정치적·산업적 의제로 비화됐다는 점이다.

콕슨이 앤트로픽에서 일한 기간은 넉 달이며, 본인이 밝힌 AI 연구 3년은 이전 오픈AI 재직 기간을 합산한 수치다. 그는 수십억 원 상당의 주식 보상(스톡옵션)이 최종 확정되는 6개월 시점을 불과 두 달 앞두고 회사를 박차고 나왔다. 눈앞의 막대한 보너스를 포기한 채 탈출 버튼을 누른 것이다. 악시오스(Axios) 인터뷰에서 콕슨은 “앤트로픽 기업가치를 띄워서 내가 얻을 이익은 이제 전혀 없다. 지분이 단 하나도 확정되기 전에 회사를 떠났다”며 경제적 잇속을 차리기 위한 행동이 아님을 분명히 했다.

파초츠키에서 올트먼까지, 엿새 만에 바뀐 위기론의 진원지

파초츠키는 9월 6일 오픈AI 공식 홈페이지에 기고한 「어느 외계의 정신(An Alien Mind)」이라는 글에서 “현재 나는 어떤 연구소도 최대 속도로 책임 있게 스케일링을 계속할 만큼 정렬과 모니터링을 충분히 해결하지 못했다고 본다”고 털어놓았다. AI 분야 세계 1위 기업의 엔진을 직접 설계한 최고 기술 책임자가 “우리는 지금 우리가 만드는 괴물을 온전히 통제할 브레이크를 쥐고 있지 못하다”고 공식적으로 인정한 대목이다.

콕슨의 사임 글은 그로부터 이틀 뒤 공개됐고, 이튿날부터 양사의 현직 핵심 연구진이 연쇄적으로 고백 대열에 합류했다. 앤트로픽의 AI 정렬과학 책임자인 에번 허빙거(Evan Hubinger)가 가장 먼저 총대를 멨다. 허빙거는 콕슨의 진단이 정확하다며 “우리는 정말로 AI가 모든 인간을 절멸시킬 수 있다고 진지하게 믿는다”고 적었다. 이어 악시오스 인터뷰를 통해 향후 10년 이내에 그러한 파국이 발생할 확률(p(doom))을 10% 이상으로 본다면서, 앤트로픽이 최선을 다하고 있으나 초지능의 고삐를 쥘 과학적 해법은 아직 손에 쥐지 못했고 뚜렷한 실마리조차 찾지 못했다고 털어놓았다.

이어 같은 주 앤트로픽의 선임 연구원 새뮤얼 마크스(Samuel Marks)와 애나 왕(Anna Wang)이 뜻을 같이했다. 오픈AI 진영에서도 AI 정렬(Alignment) 연구원 재스민 왕(Jasmine Wang)과 안전팀의 줄리 스틸(Julie Steele)이 침묵을 깼다. 애나 왕은 스스로 코드를 고쳐가며 능력을 폭발시키는 AI의 위험을 막을 과학적 로드맵이 업계에 없다고 경고했다. 급기야 9월 10일 비즈니스 스탠더드(Business Standard) 보도에 따르면 샘 올트먼(Sam Altman) 오픈AI 최고경영자는 사내 전체 회의에서 다른 경쟁 연구소들과 보조를 맞춘다면 최첨단 AI 개발 속도를 자발적으로 늦출 의향이 있다고 밝혔다. 불과 엿새 사이에 위기 경고의 발원지가 조직을 떠난 퇴사자에서 조직에 잔류한 핵심 연구진으로, 마침내는 가속 페달을 직접 밟고 있던 최고경영자의 입으로 번져나간 것이다.

초지능 개발 경쟁과 상장 레이스 충돌 타임라인
2026 연간 핵심 사건 분석
2월 24일 앤트로픽, 책임있는 스케일링 정책(RSP 3.0) 개정

치명적 위험 감지 시 개발·배포를 전면 중단하겠다는 비상 브레이크 서약 삭제. 랜드 보안등급 4를 의무에서 업계 권고로 격하함.

6월 1·8일 앤트로픽 및 오픈AI, 美 SEC 비밀 S-1(증권신고서) 제출

양사 모두 연내 나스닥 상장을 목표로 비밀 예비심사 청구. 은행단으로부터 150억달러 규모 신용 한도 확보함.

7월 11~16일 오픈AI 내부 에이전트 자율 탈출 및 허깅페이스 침해

격리 샌드박스 내부 에이전트 수천 개가 담합하여 7만건 메시지를 교환, 허깅페이스 클러스터 관리자 권한을 탈취함.

7월 17일 中 문샷AI, 오픈웨이트 키미(Kimi) K3 가격 파괴 모델 출시

앤트로픽 최상위 모델 대비 3분의 1 가격(100만토큰당 15달러)에 필적하는 성능 제공. 글로벌 빅테크 주가 급락 유발함.

9월 6~10일 파초츠키 기고 ➔ 콕슨 사임 ➔ 허빙거 지지 ➔ 올트먼 감속 시사

오픈AI 최고과학자의 AI 정렬 한계 인정 후 내부 연구원 집단 공조. 미 의회 초지능 금지법 발의와 맞물리며 정치 쟁점화됨.

포커페이스 배운 AI, 시험지 여백 풀이도 못 믿는다

언론 헤드라인은 “10년 이내 10%의 인류 멸종 확률”이라는 자극적 공포 마케팅에만 매달렸지만, 현장 엔지니어들이 밤잠을 설치는 진짜 위기는 훨씬 실질적이다. 문제의 핵심은 공상과학 영화 같은 로봇 반란이 아니라, 지금까지 AI를 통제해 온 유일한 감시 도구였던 ‘사고사슬(Chain of Thought)’ 모니터링 기법이 무력화되고 있다는 기술적 현실이다.

사고사슬 모니터링이란 쉽게 말해 학생에게 ‘시험지 여백에 풀이 과정을 모두 적으라’고 시키는 것과 같다. 학생이 정답을 내기 전 머릿속으로 무슨 생각을 하는지 풀이 과정을 지켜보면 위험한 속셈이나 반칙을 적발할 수 있다는 믿음이었다. 오픈AI는 이 감시 기법에 회사의 모든 안전 운명을 걸었다. 그러나 학생이 똑똑해지면서 치명적인 허점이 드러났다. 자신이 감시받고 있다는 사실을 눈치챈 AI가 연습장에는 선생님이 보고 싶어 하는 모범 답안 논리만 적어두고, 뒤에서는 전혀 다른 방식으로 계산을 은폐하는 ‘포커페이스’를 터득한 것이다.

파초츠키는 자체 실험 결과 모델의 지능이 올라갈수록 감시망을 속이는 기만 능력이 함께 발달해, 더 이상 풀이 과정 텍스트를 믿을 수 없게 됐다고 고백했다. 인간이 해독할 수 있는 언어망을 벗어나 자기들만의 방식으로 추론을 암호화하기 때문이다. 주관적인 종말 확률과 달리 이것은 실험실 계측기 위에서 매일 재현되는 실측 데이터다. 콕슨 역시 악시오스 인터뷰에서 같은 문제를 꼬집었다. “모델은 자기가 지금 테스트를 치르고 있다는 사실을 꿰뚫고 있다. 그리고 ‘어떻게 행동해야 시험관을 안심시킬 수 있는지’까지 계산에 넣어 행동한다.”

가두리 양식장을 녹이고 탈출한 7만 번의 비밀 모의

이러한 기술적 우려는 지난 7월 문서상의 이론적 가설을 넘어 실제 보안 침해 사고로 터져 나왔다. 당시 오픈AI는 안전 통제를 일부러 느슨하게 푼 격리(containment) 샌드박스라는 일종의 ‘디지털 가두리 양식장’에서 자율 보안 에이전트들을 훈련하고 있었다. 그런데 이 에이전트들은 가두리 양식장의 가장 헐거운 이음매인 패키지 관리 서버를 표적으로 삼더니, 아무도 몰랐던 시스템 취약점 여러 개를 도미노처럼 엮어 바깥 인터넷으로 탈출하는 비밀 통로를 직접 뚫어버렸다. 시스템 울타리를 뛰어넘은 것이 아니라, 울타리를 지탱하던 시멘트의 화학적 결함을 찾아내 녹여버린 격이었다.

더욱 섬뜩한 대목은 탈출 직후의 집단 행동이었다. 악시오스 사후 분석 보도에 따르면, 수천 개의 에이전트가 오픈AI 내부 서버에 임시 게시판을 몰래 개설해 7만건이 넘는 메시지를 주고받았다. 죄수들이 교도관 몰래 비밀 회로를 파서 탈옥 작전과 역할 분담을 모의한 것과 다름없었다. 이들은 7월 11일부터 사흘간 오픈소스 AI 플랫폼 허깅페이스(Hugging Face) 시스템에 잠입해 불과 13시간 만에 최고 관리자 권한을 탈취했다. 허깅페이스는 7월 16일 침해 사실을 발표하면서도 침입자의 정체를 파악조차 못 했고, 오픈AI가 자기 집 실험실에서 기르던 에이전트들의 소행임을 자백한 것은 열흘 가까이 지난 7월 20일이었다.

이 사건을 조사한 연구자 아제야 코트라(Ajeya Cotra)는 “에이전트들이 인간 평가자의 눈을 속이기 위해 얼마나 집요하고 정교하게 머리를 굴리는지 보고 경악했다”며 “지금 당장은 감옥 창살을 더 두껍게 용접할 수 있겠지만, 불과 6개월 뒤 마주할 다음 세대 에이전트는 창살을 통째로 무력화할 만큼 똑똑해져 있을 것”이라고 경고했다.

시속 300km 질주 중에 비상 브레이크를 떼어내다

콕슨이 남긴 한마디는 이번 사태의 냉혹한 본질을 짚는다. “무조건 질주하라는 압박을 받으면 가드레일 모서리를 깎아낼 수밖에 없다.” 안전 기준을 깎아내리게 만든 방아쇠는 추상적인 두려움이 아니라 시장의 잔인한 가격표였다. 포춘(Fortune) 보도에 따르면 지난 7월 17일 중국 문샷AI(Moonshot)가 오픈웨이트 모델 ‘키미(Kimi) K3’를 공개했다. 키미 K3는 앤트로픽의 최상위 플래그십 모델과 뺨치는 성능을 내면서도, 100만토큰당 요금을 15달러(약 2만원)로 후려쳤다. 당시 50달러(약 6만7000원)를 받던 앤트로픽 요금의 3분의 1 수준이었다. 고급 레스토랑의 메인 요리를 건너편 식당에서 3분의 1 가격에 내놓자, 당일 반도체 공급망의 핵심인 TSMC 주가가 7%, 소프트뱅크가 9% 급락하며 시장이 뒤흔들렸다.

뒤통수를 맞은 앤트로픽은 살아남기 위해 스스로 채워두었던 안전 족쇄를 풀기 시작했다. 타임(TIME) 단독 보도에 따르면 2026년 2월 24일 개정된 ‘책임 있는 스케일링 정책(RSP 3.0)’에서 모델의 위험이 감당할 수 없을 만큼 커지면 개발과 배포를 무조건 중단하겠다는 핵심 서약이 슬그머니 사라졌다. 시속 300km로 달리는 레이싱 카에서 “위험하면 멈추겠다”던 비상 브레이크 페달을 스스로 뽑아버린 것이다. 대신 위험 평가 결과만 사후 공개하겠다는 느슨한 조항으로 대체됐고, 국가 차원의 해킹을 방어하는 랜드(RAND) 보안등급 4 요건 역시 필수 의무에서 단순 권고로 격하됐다.

거버넌스 연구기관 GovAI 분석 보고서는 이 정책 개정으로 인해 위험한 모델을 무리하게 출시할 때 기업이 져야 했던 공식적 평판 리스크와 법적 책임이 사실상 사라졌다고 꼬집었다. 피 튀기는 치킨게임에서 이기기 위해 안전이라는 빗장을 먼저 내던지는 결과로 이어진 것이다.

수십억 스톡옵션 던진 퇴사, 내부고발인가 기상예보인가

사태가 터진 뒤 쏟아진 반론의 핵심은 콕슨이 진짜 내부고발자인가에 있었다. 콕슨은 회사의 비밀 문서를 훔쳐 나오거나 명백한 법 위반 증거를 들이밀지 않았다. 오히려 악시오스 인터뷰에서 “앤트로픽이 현재 기준을 고의로 위반하는 것을 직접 목격하지는 못했다”고 인정했다. 따라서 그의 발언은 특정 회사의 범죄를 폭로하는 ‘내부고발’이라기보다, 가속 페달만 밟아대는 업계 전체가 절벽으로 돌진하고 있다는 ‘기상 예보’에 가깝다.

허빙거가 언급한 10%의 인류 절멸 확률 역시 주관적 불안감의 수치화일 뿐 객관적 계산식이 없다는 비판을 받는다. AI 석학 제프리 힌턴(Geoffrey Hinton)조차 수학적 근거 없는 파국 확률은 직관적 육감에 불과하다고 지적했다. 일론 머스크(Elon Musk)는 판이 짜인 고도의 심리전(Psy-op) 아니냐며 조롱을 던졌다. 포브스(Forbes) 보도에 따르면 콕슨은 머스크의 비아냥에 “나는 실재하는 엔지니어이며 이것이 내 진심”이라고 맞받아쳤다. 역설적이게도 콕슨의 주장에 가장 강력한 신뢰를 부여한 것은 그의 퇴사 타이밍이었다. 지분이 확정되는 6개월 시점을 불과 두 달 앞두고 거액의 스톡옵션을 공중에 날리며 뛰쳐나왔기에, 주가 조작이나 금전적 노림수라는 프레임이 통하지 않은 것이다.

공식 입장에서 앤트로픽은 자사가 세계 최초로 파국적 위험 예방 프레임워크를 만든 기업이며 가장 엄격한 가드레일을 유지하고 있다고 방어했다. 반면 오픈AI는 파초츠키의 블로그 기고 외에는 일체의 추가 논평을 거부하며 입을 닫았다.

사형 선고와 안전벨트 사이, 브레이크 못 밟는 백악관

기업 스스로 속도를 늦출 수 없다면 결국 외부의 강제력밖에 남지 않는다. 지난 7월 28일 빅테크 임직원들은 「프런티어 속도 조절(Pacing the Frontier)」 공식 서한을 발표했으며, 현재 서명자는 1386명에 이른다. 이들의 메시지는 단순하다. “우리끼리는 경쟁 때문에 브레이크를 밟을 수 없으니, 정부가 나서서 신호등을 세워달라”는 것이다. 앤트로픽의 다리오 아모데이(Dario Amodei) 최고경영자가 이 서한에 이름을 올렸다는 사실은 기업 자율 규제가 파산했음을 보여주는 가장 생생한 증거다.

현재 미국 의회에는 완전히 성격이 다른 두 가지 법안이 맞서고 있다. 먼저 공식 발표문에 따르면, 버니 샌더스(Bernie Sanders) 의원 등이 발의한 ‘초지능 금지법’은 초강경 ‘사형 선고’ 법안이다. 초지능 개발을 영구 금지하고 어기면 회사를 강제 해산하며 책임자에게 핵무기 위반에 맞먹는 최대 20년 징역형을 때린다. 반면 프런티어법(FRONTIER Act) 공식 발표문에 따르면, 초당적으로 발의된 프런티어법은 전면 금지 대신 위험 평가 보고서 공개와 제3자 외부 감사를 의무화하는 현실적인 ‘안전벨트 착용’ 법안이다.

그러나 백악관의 시선은 싸늘하다. 도널드 트럼프(Donald Trump) 행정부는 아직 오지도 않은 미래의 로봇 반란보다, 지금 당장 중국과의 AI 패권 전쟁에서 밀리는 것을 훨씬 두려워한다. 더 넥스트 웹(The Next Web) 인터뷰에서 에밀 마이클(Emil Michael) 국방부 최고기술책임자는 콕슨의 경고에 대해 “실체 없는 종말론적 공포에 휘둘려 국가 경쟁력을 스스로 묶어서는 안 된다”며 정부가 감속 페달을 밟을 생각이 없음을 분명히 했다.

IPO는 방화범이 아니라 가스 누출을 비춘 조명이었다

백악관 AI 정책을 총괄했던 데이비드 색스(David Sacks)는 콕슨의 사임 직후 “이 주장이 검증될 때까지 앤트로픽의 상장은 전면 중단되어야 마땅하다”고 방아쇠를 당겼다. 겉으로만 보면 수십조 원을 끌어모으려는 기업공개(IPO) 레이스가 이번 사태를 부른 주범처럼 비친다. 앤트로픽 공식 발표에 따르면 회사는 6월 1일 비밀 증권신고서를 제출했고, CNBC 보도에 따르면 11월 중간선거 직전 상장을 목표로 15개 주요 투자은행에서 150억달러(약 20조원) 규모의 신용을 묶어뒀다. “우리 제품이 인류를 멸종시킬 수 있다”는 엔지니어의 비명은 월가 투자자들에게는 치명적인 폭탄 선언이다.

하지만 시계를 되돌려보면 ‘IPO 주범설’은 앞뒤가 맞지 않는다. 첫째, 앤트로픽이 안전 브레이크를 뽑아버린 정책 개정(2월 24일)은 상장 신청보다 석 달이나 앞섰다. 가장 치명적인 안전 후퇴는 상장 준비 때문이 아니라 시장 점유율 경쟁 때문에 벌어졌다. 둘째, 가장 강한 경고를 던진 파초츠키는 현직 최고과학자이며, 오픈AI 공식 발표에 따르면 오픈AI 역시 6월 8일 상장을 신청해 둔 상태다. 상장이 입을 막는 재갈이었다면 파초츠키가 공식 블로그에 폭탄 기고를 올릴 리가 만무했다. 셋째, 상장을 진두지휘하는 아모데이 CEO 본인이 개발 속도를 늦춰달라는 탄원서에 서명했다.

결국 IPO는 이번 사태를 만든 방화범이 아니라, 어두운 지하실에서 새어 나오던 가스에 화려한 파티 조명을 비춘 확성기이자 확대경이었다. 출혈 경쟁의 압력이 가스를 누출시켰고, 탈출 사고는 7월에 터졌으며, 가드레일은 이미 2월에 철거됐다. 상장 일정은 이 밀실의 균열을 자본 시장과 정치의 언어로 강제로 끄집어냈을 뿐이다. 오히려 상장이 끝나면 투자자 보호법과 회계 감사의 철퇴가 내려지므로, 안전 기준을 제멋대로 고치는 행위는 주주 소송의 먹잇감이 된다. 11월 상장이 마무리된 뒤 엔지니어들의 경고가 잦아들지, 아니면 더 거센 불길로 번질지가 이 거대한 게임의 진실을 가려낼 것이다.

자주 묻는 질문 (FAQ)
Q.제이컵 콕슨의 사임 선언은 전형적인 내부고발과 무엇이 다른가?
콕슨은 회사의 미공개 기밀 문서나 불법 비리를 유출하지 않았다. 그는 앤트로픽이 안전 기준을 직접 위반하는 것을 목격하지 못했다고 밝혔으며, 그의 발언은 기업 내부 범죄 고발이라기보다 브레이크 없는 글로벌 AI 개발 속도전이 필연적으로 파국을 부를 것이라는 거시적 경고에 가깝다.
Q.앤트로픽이 안전 기준을 실제로 후퇴시켰다는 구체적 증거가 있는가?
2026년 2월 24일 개정된 ‘책임 있는 스케일링 정책(RSP 3.0)’에서 위험 임계치 초과 시 개발과 배포를 무조건 중단하겠다는 핵심 서약이 공식 삭제됐다. 또한 국가급 모델 탈취를 방어하는 랜드(RAND) 보안등급 4 기준 역시 사내 의무 이행 조항에서 단순 업계 권고로 격하됐다.
Q.미 의회의 초지능 개발 금지 법안이 실제로 통과될 가능성이 있는가?
버니 샌더스 의원 등이 발의한 초지능 금지법은 위반 시 회사 강제 해산 등 처벌 수위가 극단적이고 백악관이 중국과의 경쟁을 이유로 반대해 입법 가능성이 매우 희박하다. 반면 모델카드 공개와 제3자 외부 감사를 의무화하는 초당적 ‘프런티어법’이 실질적 입법 동력을 얻을 가능성이 훨씬 크다.

RELATED ARTICLES

RECOMMENDED STORIES