오픈AI(OpenAI)가 AI가 차세대 AI 개발에 직접 참여하는 ‘재귀적 자기개선’(RSI)에 대비해 국제적 안전·보안 기준을 마련해야 한다고 제안했다. 오픈AI는 9월 21일 회사 블로그에 올린 자동화된 AI 연구와 인간 통제를 병행해야 한다고 밝혔다.
AI 자기개선과 인간 통제
오픈AI는 인공일반지능(AGI)의 혜택이 인류 전체에 돌아가도록 하는 것을 사명으로 제시하고, 앞으로의 핵심 과제로 AI 발전 과정의 안전한 관리, 과학 발전과 경제 성장의 혜택 제공, 개인별 AGI 보급을 꼽았다. AI가 더 자율적으로 연구·개발을 수행할수록 AI 능력의 발전 속도가 빨라질 수 있는 만큼, 이에 맞춰 정렬(alignment) 연구도 진전돼야 한다는 설명이다.
자동화된 AI 연구는 인간의 감독 수준에 따라 여러 형태로 진행될 수 있으며, AI가 후속 세대 AI 개발 업무를 더 많이 맡으면 재귀적 자기개선이 점차 자동화될 수 있다. 오픈AI는 이를 통해 고도화된 지능의 비용을 낮추고, 정렬 연구와 방어 기술을 개선할 가능성이 있다고 봤다. 자동화된 AI 연구자가 AI 안전 연구까지 수행하면 핵심 기반시설 보호, 위험한 AI 에이전트 방어, 새로운 보호 수단 개발에도 활용할 수 있다는 것이다.
다만 완전 자율형 RSI가 현재 이뤄지고 있는 것은 아니며, 안전하게 수행할 수 있다는 보장이 없는 한 추진해서는 안 된다고 선을 그었다. 인간이 연구 과정을 이해하거나 감독할 수 없게 되면 AI 개발에 대한 실질적 통제력을 잃고, 시스템이 더 위험해지거나 인간 가치와 어긋날 수 있다는 이유에서다. 오픈AI는 과거 공개한 허깅페이스(Hugging Face) 관련 사고가 RSI의 직접적인 결과는 아니지만, 강력한 안전장치와 정렬 체계가 없을 때 위험이 커질 수 있음을 보여주는 사례라고 설명했다.
국경을 넘는 AI 안전 기준
오픈AI는 프런티어 AI(frontier AI) 개발의 안전·보안 관행에 관한 국제 기준이 정렬 연구만큼 중요하다고 주장했다. 국가별 평가 방식, 보고 의무, 사고 정의가 서로 달라지면 위험 증거를 비교하기 어렵고 국경을 넘는 문제에 공동 대응하기도 힘들다는 지적이다. 각국이 독자적으로 움직일 경우 어느 국가도 원하지 않는 결과가 발생할 수 있고, 국가별 전문성과 개발 역량의 차이도 문제를 키울 수 있다고 덧붙였다.
AI 표준·혁신센터(CAISI) 같은 기존 민주적 제도와 주 정부 법률, 연방 차원의 AI 체계, 민관 협력 등이 기준 마련에 활용될 수 있지만 AI 개발과 도입은 여러 국가에서 동시에 이뤄지고 있다고 설명했다. 오픈AI는 개방형 모델과 폐쇄형 모델 모두에 같은 과제가 적용된다며, 자동화된 AI 연구를 추진하는 모든 연구소가 기존 법률과 자기책임 원칙에 따라 안전을 확보해야 한다고 밝혔다. 국제 기준은 연구소 외부의 이해관계자도 AI 발전 방향에 참여하게 하고, 특정 기업의 운영 방식과 관계없이 적용할 수 있는 원칙을 제시하는 수단이라는 입장이다.