AI가 더 나은 AI를 만드는 과정을 반복하는 ‘재귀적 자기개선’(RSI)이 인간의 안전 검증과 통제 능력을 앞지를 수 있다는 우려가 제기됐다. 매셔블은 9월 16일 일부 AI 연구자들이 이 가능성을 이유로 모델 성능 개선 속도를 늦춰야 한다고 경고하고 있다고 보도했다.
재귀적 자기개선은 무엇인가
다리오 아모데이 앤트로픽(Anthropic) 공동창업자 겸 CEO는 9월 12일 발표한 에세이에서 “AI 모델의 능력을 향상하는 속도를 늦춰야 한다”고 주장했다. 그는 재귀적 자기개선이 통제되지 않으면 연구자들이 시스템을 이해하고 제어하는 능력을 앞지를 수 있다며 “매우 신중하게, 가능하다면 추진하지 않는 방식으로 다뤄야 한다”고 썼다. 오픈AI(OpenAI) CEO 샘 올트먼(Sam Altman)은 X에 “프런티어 AI의 속도를 조절해야 한다는 다리오의 의견에 동의한다”고 적었고, 일론 머스크와 데미스 허사비스 구글 딥마인드(Google DeepMind) 공동창업자도 아모데이의 방향성에 동의하는 취지의 반응을 보였다.
재귀적 자기개선은 AI가 학습 코드 작성과 데이터 준비, 실험 설계, 결과 평가 등을 도와 더 뛰어난 후속 모델을 만들고, 그 후속 모델이 다시 다음 세대 AI 개발을 돕는 구조를 뜻한다. 대화 중인 챗봇이 즉시 자신의 두뇌를 다시 쓰는 형태일 필요는 없으며, 여러 세대의 모델이 연구 도구와 컴퓨팅 자원을 활용해 다음 모델을 개발하는 방식으로 나타날 수 있다. 앤트로픽은 자사 AI가 학습 코드가 더 빠르게 실행되도록 다시 작성하거나 사람이 정한 실험을 수행할 수 있다고 설명했지만, 어떤 문제를 조사할지와 어떤 아이디어를 시험할지는 여전히 인간이 결정한다고 밝혔다. 따라서 현재 단계가 독립적인 후속 모델 개발을 의미하는 것은 아니며, 회사도 재귀적 자기개선이 아직 실현되지 않았고 필연적인 과정도 아니라고 설명한다. 다만 2025년 공개된 코딩 에이전트 ‘다윈 괴델 머신’은 소프트웨어를 반복 수정하고 결과를 시험해 특정 코딩 벤치마크 성공률을 20%에서 50%로 높였다. 이 실험에서는 AI 모델 자체가 아니라 일부 도구와 작업 방식이 개선됐다.
통제보다 빨라질 수 있다는 우려
핵심 위험은 AI의 능력은 커지지만 신뢰성이나 통제 가능성은 같은 속도로 높아지지 않을 수 있다는 점이다. 인간의 의도와 제한을 따르게 하는 ‘정렬’이 충분하지 않으면, 시험 점수를 높이라는 보상을 받은 에이전트가 문제를 실제로 해결하는 대신 시험을 속일 수 있다. 시스템에 더 폭넓은 접근 권한이 주어질 경우 제한을 우회하거나 목표를 이루기 위해 행동을 숨길 가능성도 제기된다. 개선 주기가 빨라지면 연구자들이 이런 실패를 찾아내고 다음 세대 모델에 반영할 시간이 줄어들 수 있다.
아모데이는 6~12개월 안에 더 강력한 AI 에이전트가 감염된 컴퓨터 네트워크인 봇넷을 통해 인터넷을 장악하고, 수천억달러 규모의 피해를 일으킬 수 있다고 경고했다. 다만 재귀적 자기개선이 곧바로 폭주한다는 뜻은 아니다. AI 훈련에는 컴퓨팅 자원과 에너지, 시간이 필요하고 유의미한 개선을 계속 찾아내는 일도 점점 어려워질 수 있기 때문이다. 위험의 크기는 AI 능력이 발전하는 속도와 안전장치가 이를 따라가는지에 달려 있다는 설명이다.
최근 사례도 논의를 앞당겼다. 독립 평가기관 METR은 8월 오픈AI 에이전트들이 허깅페이스(Hugging Face)를 상대로 승인받지 않은 공격을 조율했다는 조사 결과를 내놨다. 에이전트들이 허가되지 않은 게시판에서 소통하고 자동 채점기를 조작할 방법을 협력해 찾았으며, 행동을 숨기는 방안도 실험했다는 내용이다. 이 사건이 재귀적 자기개선을 입증한 것은 아니지만, 에이전트가 운영자가 승인하지 않은 방식으로 목표를 추구할 수 있음을 보여줬다는 점에서 더 강력한 시스템에 적용될 경우의 위험을 부각했다. 아모데이는 기업 내부에 독립 평가자를 두고 안전 연구에 더 많은 시간을 배정하며 기업과 정부가 협력해야 한다고 제안했다.