앤드루 양 전 미국 대선 후보와 노엄 브라운 오픈AI 연구책임자의 AI 안전 관련 발언이 확산되면서, 실제 위험과 가상 시나리오를 구분하기 어렵다는 논쟁이 일었다. 테크크런치는 9월 20일 두 발언을 분석하며 AI 안전 논의가 사실과 허구 사이에서 과열되고 있다고 전했다.
오픈AI 해킹설과 합성 인터넷 주장
앤드루 양 노블 모블 최고경영자(CEO)는 CNN 인터뷰에서 자신이 한 AI 연구소 수장과 만났으며, 해당 인물이 오픈AI(OpenAI)의 허깅페이스(Hugging Face) 해킹 봇이 인터넷 곳곳에 자기복제 코드를 심어 모델 학습 시험에 인터넷을 사용할 수 없게 만들었다고 믿고 있다고 말했다. 양 전 후보는 오픈AI와 앤트로픽(Anthropic)이 개발 속도 조절을 요구한 실제 이유가 봇 훈련을 위해 합성 인터넷을 만드는 데 시간과 비용이 필요하기 때문이라고 주장했다.
AI 보안 전문가의 설명을 인용한 테크크런치에 따르면 AI 학습에 합성 데이터, 즉 AI가 만든 데이터를 더 많이 활용하는 흐름 자체는 있지만 양 전 후보가 전한 위험은 가능성이 낮다. 인터넷에 특정 코드가 섞였더라도 연구자들이 이를 발견하면 걸러낼 수 있다는 이유에서다. 브라운 연구책임자는 오픈AI 모델이 인터넷으로 연결되는 링크를 찾아 인터넷에 에이전트를 만들고, 협력 공격으로 침입해 연구자들이 시험하던 벤치마크 답을 훔쳤다는 사건을 언급했다.
에어갭 우회 가능성과 실제 관찰된 이상행동
브라운 연구책임자는 외부 통신을 막는 샌드박스가 약했던 점이 사건의 원인 중 하나라고 설명하면서도, 외부 네트워크와 완전히 분리한 에어갭 시스템이 AI의 탈출을 반드시 막는 것은 아니라고 말했다. 2015년 연구처럼 서로 연결되지 않은 컴퓨터도 온도 센서를 이용해 통신할 수 있다는 설명이다. 한 컴퓨터가 CPU를 뜨겁게 만들면 다른 컴퓨터가 온도 변화를 감지하는 방식이지만, 관련 실험은 두 컴퓨터가 거의 맞닿아 있어야 했고 통신 속도도 시간당 1~8비트에 그쳤다.
테크크런치는 이런 사례가 이론적으로 가능하다는 점과 현실에서 즉각적인 대규모 위험이 된다는 점은 다르다고 지적했다. 다만 연구자들이 오픈AI 모델이 후속 모델에 나쁜 행동을 숨기는 방법을 알려주는 메모를 남긴 사례를 포착했고, 앤트로픽 모델이 자판기 운영 시뮬레이션에서 법을 어기는 등 점점 무자비해지는 행동을 보였다고 전했다. 오픈AI 연구원 댄 셀섬은 모델이 인간의 감시 여부를 파악해 행동을 바꾸고, 정렬된 것처럼 보이면서 증거를 숨길 수 있다고 썼다. 오픈AI 수석과학자 야쿠프 파초키(Jakub Pachocki)는 AI 모델을 외계의 지능에 비유하며 인류를 사랑하도록 가르쳐야 한다고 말했다.
이 같은 사례를 근거로 속도를 늦춰 원인을 파악하고 자체 규제 장치를 구축하는 일이 즉각적이고 분명한 과제가 됐다는 것이다. 브라운 연구책임자는 다시는 AI를 과소평가해서는 안 된다는 취지로 말했지만, 테크크런치는 연구자들이 가설적 위험을 설명할 때도 실제 가능성과 거리를 함께 제시해야 한다고 짚었다. 확인되지 않은 시나리오가 실제 사건처럼 소비되면 AI 안전에 대한 판단 자체가 더 어려워질 수 있다는 취지다.