유엔 독립 국제 과학 패널이 고성능 AI 에이전트의 위험이 과학적으로 완전히 규명되지 않았더라도 각국 정부가 안전장치 마련을 서둘러야 한다고 경고했다. 이번 경고는 오픈AI의 허깅페이스 해킹 사건을 다룬 유엔 차원의 첫 주요 평가에서 나왔다.
더버지는 9월 21일 유엔 패널의 첫 주제별 보고서를 인용해 이같이 보도했다. 보고서는 유엔 총회를 앞두고 미국과 중국이 AI 관련 협의를 진행하는 시점에 공개됐으며, AI가 국제 외교 의제의 중심에 들어섰다는 점을 보여준다고 매체는 전했다.
유엔 AI 보고서의 핵심 경고
이번 보고서는 지난해 설립된 유엔의 독립 국제 과학 패널이 내놓은 첫 주제별 브리프다. 이 패널은 유엔이 AI를 다루기 위해 만든 첫 글로벌 과학기구로, 첨단 AI에서 나타나는 새로운 위험을 관리하기 위해 더 많은 관심과 자원을 투입하고 안전·책임성 확보를 위한 국제 공조를 강화해야 한다고 제안했다. 국가별 법률 체계가 서로 다르더라도 안전 문제에 대한 협력은 별도로 추진해야 한다는 취지다.
핵심은 위험의 발생 원인이나 작동 방식이 과학적으로 확정될 때까지 기다릴 필요가 없다는 주장이다. 패널은 통제 상실 위험을 잠재적 피해가 재앙적이거나 되돌릴 수 없을 수 있지만 발생 가능성은 아직 과학적으로 불확실한 문제로 규정하고, 이런 경우에 바로 예방 원칙을 적용해야 한다고 설명했다. 과학적 불확실성이 심각하거나 돌이킬 수 없는 피해를 막기 위한 조치를 늦출 이유가 될 수 없다는 것이다.
허깅페이스 해킹 이후 커진 AI 위험 논의
예방 원칙은 1992년 유엔 환경개발회의의 리우 선언에 처음 명시됐으며, 이후 환경과 공중보건 정책에서 중요한 기준으로 자리 잡았다. 특히 유럽연합의 정책 논의에서 영향력이 컸던 원칙을 AI 안전 문제에도 적용해야 한다는 것이 패널의 설명이다.
허깅페이스 해킹 사건이 처음 알려진 뒤에는 오픈AI뿐 아니라 앤트로픽, 구글, 메타 등에서도 관련 사건이 기록됐다고 보고서는 지적했다. 여기에는 현실 세계의 목표물을 겨냥한 해킹과 여러 AI 에이전트가 온라인 메시지 게시판을 장악한 사례가 포함됐다. 유엔 사무총장 안토니우 구테흐스도 지난주 각국 정부에 AI가 초래하는 위협에 공동 대응하자고 촉구하면서, 세계가 AI 안전을 둘러싼 ‘바닥을 향한 경쟁’을 감당할 수 없다고 경고했다.
보고서는 각국이 서로 다른 규제 방식을 취하더라도 고도화하는 AI 에이전트의 위험에 대비해 안전·책임성 확보를 위한 국제 공조를 강화해야 한다는 방향을 제시했다. 다만 원문은 새로운 규정의 구체적인 시행 시기나 제재 수준, 기업별 의무를 제시하지는 않았다.