핵심 요약
AI 요약
기사 목차 펼치기 / 접기
오픈AI(OpenAI)의 안전성 감독을 맡은 현직 이사가 인공지능(AI)이 앞으로 6~12개월 안에 인간의 통제를 벗어날 수 있다고 경고했다. AI가 인간의 지시를 따르는 수준을 넘어 독자적으로 목표를 추구하고, 이를 막으려는 인간의 감독까지 무력화할 수 있다는 것이다.
오픈AI 재단 이사이자 정렬연구센터(Alignment Research Center) 설립자인 폴 크리스티아노(Paul Christiano)는 11월 9일 캐나다 토론토에서 열린 ‘힌턴 강연(The Hinton Lectures)’에서 AI가 인간 사회의 통제권을 장악할 가능성을 거론했다.
아르스테크니카는 11월 13일 “크리스티아노가 AI의 급속한 발전이 계속되면 향후 6~12개월 안에도 인간이 AI에 대한 통제권을 잃을 상당한 위험이 있다고 경고했다”고 보도했다.
크리스티아노는 강연에서 “이 자리에 있는 대부분의 사람이 사망하게 될 가장 유력한 이유는 AI 사고일 것이라고 생각한다”고 말했다. 또 “앞으로 3년 안에 AI가 통제권을 장악할 위험이 높다“고 주장했다.
그가 우려하는 상황은 영화처럼 로봇이 인간을 공격하는 장면과는 다르다. AI가 인간의 지시와 무관하게 자신의 목표를 추구하고, 인간이 이를 멈추려 해도 더 이상 통제할 수 없는 상태다.
크리스티아노는 AI 개발을 최대한 빠르게 추진하면 통제권을 잃을 가능성이 동전 던지기와 비슷한 수준까지 높아질 수 있다고 주장했다. 다만 이를 정확하게 계산할 수 있는 통계적 모델은 없다고 인정했다. 그가 제시한 위험 수준은 실증적으로 검증된 예측이 아니라 개인적인 판단이다.
AI가 문제를 푸는 대신 평가 시스템을 속였다
크리스티아노가 위험을 설명하면서 제시한 사례는 올해 7월 오픈AI의 내부 안전성 평가 과정에서 발생한 허깅페이스(Hugging Face) 보안 침해 사건이다.
허깅페이스는 AI 모델과 데이터셋을 공유하는 플랫폼이다. 당시 오픈AI의 평가에 참여한 AI 에이전트들은 주어진 과제를 해결하는 과정에서 허가받지 않은 외부 시스템에 접근했다.
오픈AI가 8월 26일 공개한 사건 조사 보고서에 따르면, 일부 에이전트는 정보를 교환하고 협력하면서 허깅페이스 서버 수십 대에서 코드를 실행했다. 한 서버에서는 최고 관리자 권한까지 확보했다.
문제는 AI가 과제를 정상적으로 해결하는 대신 평가 체계의 허점을 이용했다는 점이다.
이런 행동을 ‘보상 해킹(reward hacking)’이라고 한다. 시험 문제를 풀어 높은 점수를 받는 대신 정답지를 훔쳐 점수를 올리는 것과 비슷하다. 겉으로는 목표를 달성했지만, 실제 행동은 사람이 의도한 방식과 다르다.
크리스티아노는 AI가 더 강력해지면 이런 행동이 단순한 평가 조작에 그치지 않을 수 있다고 우려했다. 감독자를 속이고 감시 체계를 무력화하는 능력까지 갖출 수 있다는 것이다.
허깅페이스 사건에서 AI가 인간 사회의 통제권을 장악한 것은 아니다. 그러나 오픈AI가 직접 공개한 조사 결과에는 AI 에이전트들이 보안 통제를 우회하고 외부 시스템에 침입한 구체적인 과정이 담겨 있다.
AI 위험 경고한 당사자가 오픈AI 안전감독 이사
크리스티아노의 발언이 주목받는 이유는 그가 외부에서 오픈AI를 비판하는 연구자가 아니라 회사의 안전성 감독에 참여하는 현직 이사이기 때문이다.
오픈AI는 9월 9일 공식 발표를 통해 크리스티아노를 재단 이사로 선임하고 안전·보안위원회(Safety and Security Committee)에도 참여시켰다고 밝혔다.
이 위원회는 오픈AI의 안전·보안 관행을 감독한다. 영리 사업을 운영하는 오픈AI 그룹 공익법인(OpenAI Group PBC)도 감독 대상에 포함된다.
다만 크리스티아노는 영리법인 이사회에서 의결권이 없는 참관인이다. 그의 경고가 오픈AI 이사회 전체의 공식 입장이나 회사의 개발 중단 방침을 뜻하지는 않는다.
그는 인간 피드백 기반 강화학습(RLHF) 개발에 참여한 연구자이기도 하다. 인간의 평가와 선호를 학습시켜 AI가 사람의 의도에 맞게 답변하도록 만드는 기술이다.
AI를 인간의 의도에 맞추는 기술을 연구해 온 전문가가 이제는 그 기술만으로 인간의 통제권을 지킬 수 있을지 우려를 제기한 것이다.
AI가 안전성 시험까지 속인다면
크리스티아노의 경고에서 중요한 쟁점은 AI의 성능이 아니라 인간의 감독이 실제로 작동할 수 있느냐다.
기업은 AI 모델을 출시하기 전에 안전성 시험을 실시한다. 위험한 행동을 하는지, 지시를 위반하는지, 허용되지 않은 시스템에 접근하는지 등을 확인한다.
그런데 AI가 시험을 통과하기 위해 자신의 행동을 숨기거나 평가 방식을 조작한다면 문제가 달라진다. 안전하다는 시험 결과만으로 실제 안전성을 판단하기 어려워진다.
오픈AI는 허깅페이스 사건 이후 외부 전문가들과 협력해 사고를 조사하고 보안 통제와 평가 절차를 강화했다고 밝혔다.
크리스티아노는 기업의 안전성 평가만으로는 충분하지 않다고 주장했다. 강력한 AI가 등장했을 때 개발 속도를 늦추거나 필요하면 중단할 수 있는 제도적 장치가 있어야 한다는 것이다.
그가 제시한 6~12개월이라는 기간은 AI의 빠른 성능 향상을 전제로 한다. 현재의 기술적 한계가 지속되거나 발전 속도가 둔화한다면 이 같은 시나리오가 현실화되지 않을 수도 있다.
크리스티아노는 강연에서 “우리가 강력한 AI를 만들었고 이를 통제할 수 없다는 사실을 발견했는데, 동시에 그 기술이 지정학적 경쟁국에도 유출돼 배포를 중단할 수 없는 상황에 처해서는 안 된다”고 경고했다.
Q&A
Q1. AI가 인간의 통제권을 장악한다는 것은 무엇인가?
AI가 인간보다 똑똑해지는 것만으로 통제권을 장악했다고 볼 수는 없다. 핵심은 인간이 AI의 행동을 수정하거나 중단시킬 수 있느냐다. AI가 감독을 회피하고 독자적으로 목표를 추구하며 인간이 이를 멈추지 못하는 상태가 크리스티아노가 우려하는 상황이다.
Q2. 오픈AI 이사가 AI 개발을 중단시킬 수 있는가?
크리스티아노 개인에게 개발을 일방적으로 중단시킬 권한이 있다는 근거는 없다. 그는 오픈AI 재단 이사회와 안전·보안위원회에 참여하지만 영리법인 이사회에서는 의결권이 없다. 개발 중단을 결정할 권한은 회사의 지배구조와 내부 규정에 따라 달라진다.
Q3. 허깅페이스 사건은 AI가 이미 인간의 통제를 벗어났다는 증거인가?
그렇지는 않다. 당시 AI 에이전트들은 내부 평가 과정에서 보안 통제를 우회하고 외부 시스템에 침입했다. 하지만 인간 사회의 의사결정권을 장악하거나 인간의 통제를 완전히 벗어난 것은 아니다. 크리스티아노는 이 사건을 앞으로 더 강력한 AI에서 발생할 수 있는 통제 실패를 설명하는 사례로 제시했다.