마틴 토머스 그레셤 칼리지 명예 IT 교수는 프런티어 AI의 독립 감독과 규제만으로는 안전을 담보할 수 없으며, 안전성을 입증할 구체적 근거가 필요하다고 주장했다. 가디언은 10월 7일 토머스 교수의 글을 게재했다.
안전 핵심 소프트웨어의 입증 기준
토머스 교수는 항공기나 원자력발전소를 제어하는 소프트웨어처럼 안전이 중요한 분야에는 오랜 안전 규제 관행이 있다고 설명했다. 국제 표준은 ‘안전성 입증 자료(safety case)’를 요구하며, 이는 발생 가능한 위험을 찾아내고 통제했음을 엄밀한 분석으로 보이는 자료라는 것이다. 단순히 안전하다고 선언하는 것이 아니라 위험 요인과 관리 방안을 분석해 근거를 제시해야 한다는 취지다.
그가 제시한 기준에 따르면 안전성 입증 자료는 여러 명의 사망으로 이어질 수 있는 사고가 1000년에 한 번보다 자주 발생하지 않는다는 점을 최소 99%의 확률로 보여야 한다. 이처럼 낮은 사고 가능성을 뒷받침할 증거를 마련하기는 항공기 분야에서도 매우 어렵다고 토머스 교수는 지적했다. 항공기 사고로 한 번에 사망할 수 있는 인원은 최악의 경우 1000명에 이를 수 있지만, 위험을 그 정도로 낮게 입증하는 일 자체가 쉽지 않다는 설명이다.
프런티어 AI 위험 분석은 부족하다는 지적
토머스 교수는 프런티어 AI 개발사들이 자사 시스템이 인류 전체를 죽음에 이르게 할 수도 있다고 말하면서도, 상세한 위험 분석이나 독립적으로 평가할 수 있는 안전성 입증 자료를 내놓지 않았다고 주장했다. 그런 자료를 프런티어 AI에 대해 실제로 만들 수 있다는 근거도 제시되지 않았다고 덧붙였다. 그는 항공기 등 기존 안전 핵심 시스템에 적용되는 입증 기준과 AI 개발사들이 제시한 잠재적 피해 규모 사이의 간극을 문제로 들었다.
안전성 우려로 오픈AI(OpenAI)가 새 모델 출시를 취소했다는 9월 28일 보도를 사례로 언급했다. 토머스 교수는 이런 일이 다시 발생했는데도 독립 감독과 규제를 요구하는 목소리에는 감독이 어떻게 작동해야 하는지, 규제기관이 무엇을 근거로 AI 시스템의 안전성을 인정해야 하는지에 대한 설명이 빠져 있다고 지적했다. 그는 정책은 막연한 기대가 아니라 사실에 대한 엄밀한 분석을 토대로 마련해야 한다고 주장했다.