사이먼 니더(Simon Nieder) 박사가 인공지능(AI)의 가장 심각한 피해는 AI가 통제권을 장악하는 극적인 순간이 아니라, 병원체 설계와 핵심 인프라 취약점 탐색 등 인간의 판단을 거치며 점진적으로 발생할 수 있다고 주장했다. 각국이 초지능이나 인류 멸망 가능성에 합의하기 전에 무기체계·핵심 인프라·생물학적 합성 분야에서 AI의 자율적 접근을 제한하는 국제 안전기준부터 마련해야 한다는 제안이다.
가디언(The Guardian)은 8월31일 독자 투고란에 니더 박사의 글과 앤서니 해리스(Anthony Harris) 박사, 데이비드 카일러(David Kyler)의 편지를 실었다. 니더 박사는 티머시 가턴 애시(Timothy Garton Ash)가 AI 위험에 국제적 대응이 필요하다고 한 데 동의하면서도, 이를 히로시마 원폭과 같은 단일 재난으로 비유하는 것은 적절하지 않을 수 있다고 지적했다.
원폭은 인간이 설계하고 사용을 승인한 뒤 투하한 기술이었지만, AI가 초래할 수 있는 피해는 반드시 ‘AI가 장악하는’ 순간을 동반하지 않을 수 있다는 설명이다. AI가 병원체 개발을 돕거나 핵심 인프라의 취약점을 찾아내고 무기체계를 개선하는 동안에도 최종 결정을 내리는 주체는 인간일 수 있다. 또 시스템이 지금까지 잘 작동했다는 이유로 자율성을 조금 더 부여하고, 안전장치를 하나씩 제거하거나 중대한 업무를 추가로 맡기는 과정이 수천 건의 일상적 결정 속에서 진행될 수 있다.
니더 박사는 각국 정부가 중대한 행동에 대해 명확한 인간의 승인 권한을 요구하고, 누가 무엇을 승인했는지 기록하며, 심각한 실패와 사고 직전의 사례를 국제적으로 공유해야 한다고 제안했다. 무기체계와 핵심 인프라, 생물학적 합성은 AI가 독자적으로 접근해서는 안 될 영역으로 합의할 수 있는 출발점으로 꼽았다. 위험이 눈에 띄게 드러날 때는 이미 중요한 결정이 내려진 뒤일 수 있어, 극적인 재난보다 단계적 위험을 관리해야 한다는 취지다.
해리스 박사는 AI에 대한 사회적 우려가 최근에 시작된 것이 아니라고 밝혔다. 도널드 미치가 에든버러대에 재직할 당시 이끈 서벨로니 그룹은 1972년부터 AI의 사회적 위험을 검토했고, 기술의 뿌리는 1957년 프랭크 로젠블랫(Frank Rosenblatt)의 퍼셉트론과 1956년 다트머스 회의, 그 이전의 앨런 튜링(Alan Turing)까지 거슬러 올라간다는 것이다. 다만 현재는 AI를 빠르게 발전시킬 하드웨어와 소프트웨어 인프라가 갖춰졌다는 점이 과거와 다르다고 설명했다.
해리스 박사는 1973년 영국의 라이트힐 보고서가 AI 겨울을 초래한 뒤 연구의 중심이 미국으로 이동했고, 튜링과 블레츨리 파크에서 함께 일했던 도널드 미치가 연구비 삭감에 반대했지만 받아들여지지 않았다고 회고했다. 그는 과학과 인문학이 함께 참여하는 ‘서벨로니 논쟁’을 다시 시작해야 한다고 제안했다. 카일러는 국제 AI 조약을 위한 노력이 진행 중이라며, 국가별로 쪼개진 규제만으로는 통제 시기를 놓칠 수 있다고 주장했다. 기업의 이해관계와 국가별 국방·경제 목표, 에너지 집약적인 데이터센터 확산이 서로 얽힌 만큼 전 세계적 전략이 필요하다는 것이다. 그는 데이터센터를 둘러싼 정치적 논쟁이 AI 통제 논의를 가리는 상황도 경계하면서, 신뢰할 수 있는 안전장치가 마련될 때까지 금지나 유예를 포함한 다층적 대응을 병행해야 한다고 강조했다.