데이브 벨란테 실리콘앵글 기자는 AI 안전을 기업의 자율 약속에 맡기지 말고 독립적 감독과 강제 집행 권한을 마련해야 한다고 주장했다. 그는 10월 11일 실리콘앵글 분석에서 AI가 할 수 있는 일과 실제로 맡겨도 된다고 입증된 일 사이에 통제 격차가 있다고 짚었다.
AI 안전 판단, 기업의 자율에 맡길 수 있나
분석은 뛰어난 시연만으로 AI 시스템이 실제 사용 환경에서도 정해진 목표와 한계를 지킬 것이라고 입증할 수 없다고 지적했다. 안전하다고 판단할 증거가 충분한지 누가 결정할 것인지가 핵심 쟁점이라는 것이다. 데이브 벨란테는 공익을 기준으로 독립적인 AI 전문가가 대형언어모델 업체가 제시한 증거를 살피고, 그 결과를 집행할 권한을 가진 기관이 필요하다고 주장했다.
9월 29일 백악관 합의에는 외부 평가와 각 기업 이사회의 독립위원회 감독이 포함됐다. 분석은 이를 출발점으로 평가하면서도, 합의 자체에는 의무적으로 자료를 요구하고 준수 조건을 부과하거나 불이행에 제재를 가할 공적 권한이 없다고 지적했다. 평가와 기업의 자체 확인은 문제를 찾아낼 수 있지만, 문제가 드러난 뒤 무엇을 할지는 별도의 공적 제도가 정해야 한다는 설명이다.
앱피안(Appian) 최고경영자 맷 칼킨스(Matt Calkins)는 분석과의 대화에서 피해를 일으킬 역량이 있는 산업은 피해가 발생하기 전에 책임 있게 행동하도록 요구받아야 한다고 말했다. 은행에 충분한 자본과 과도하지 않은 레버리지를 요구하고, 발전소에 안전 절차를 갖추게 하는 것처럼 AI도 사후 소송이나 민사 제재에만 의존해서는 안 된다는 취지다. 칼킨스는 피해가 아직 크지 않은 지금 대응하는 비용이 더 낮고, 늦게 조치할수록 해결 비용이 커질 수 있다고 봤다.
평가를 넘어 실제로 멈출 권한 필요
분석은 고위험 활동에서 안전성 증거가 부족할 경우 감독기관이 개선을 요구하고, 해당 활동을 제한하거나 완전히 중단시킬 권한을 가져야 한다고 제안했다. 업체에는 사업을 진행하기 전에 무엇을 입증해야 하는지 명확한 기준이 필요하다고도 했다. 자발적 약속만으로는 제공하기 어려운 공적 신뢰를 확보하려면 기준 설정과 독립 평가, 집행 절차가 함께 갖춰져야 한다는 주장이다.
기업의 외부 감사가 실제로 누가 맡을지도 불분명하다는 지적이 나왔다. 분석에 인용된 팟캐스트 대화에서 데이비드 색스(David Sacks)는 비정부기구가 아닌 전문 감사인이 외부 감사를 해야 한다고 말했고, 샤마스 팔리하피티야(Chamath Palihapitiya)는 EY가 관련 발표를 할 것이라고 언급했다. 분석은 EY가 앤트로픽(Anthropic)의 감사인이라는 점도 거론하며 이해상충 문제를 제기했다. 다만 이 대목은 감사 주체가 확정됐다는 발표가 아니라 대화 내용을 바탕으로 한 문제 제기다.
AI 개발 속도를 늦추면 중국이 앞설 수 있다는 반론도 소개됐다. 칼킨스는 중국의 AI 발전 속도가 미국의 혁신에 영향을 받고, 모델 증류는 최첨단 모델보다 뒤처질 수 있다고 봤다. 또 중국 정부에도 AI를 통제할 유인이 있다고 주장했지만, 분석은 이를 양국의 가치관이 같다는 뜻으로 해석하지 않았다. 고객사 파트너 퀄리테이트(Qualitate)의 구매자 의견도 다루겠다고 밝혔으나, 제시된 내용에는 관련 수치가 포함되지 않았다.