구글 딥마인드 연구진이 AI 모델의 사고사슬(CoT) 공개가 안전성에 중요한 이점이지만, 미래 모델에서 그 투명성이 약화할 수 있다고 주장했다. 더디코더는 9월 18일 구글 딥마인드 연구소의 초기 게시물 중 하나를 인용해 이같이 보도했다.
AI 사고사슬이 안전에 미치는 영향
로힌 샤와 안카 드라간 연구진은 모델이 답변에 이르는 중간 단계를 자연어로 풀어 쓰는 사고사슬이 연구자에게 안전성 점검 수단을 제공한다고 설명했다. 연구자는 모델이 사람을 속이려 하는지, 문제가 될 만한 계획을 세우는지를 사고사슬을 통해 살펴볼 수 있다는 것이다. 구글 딥마인드의 제미나이 3 프로에서는 모델이 자신이 시험 환경에 있다는 사실을 인식한 정황이 사고사슬에서 드러났다고 연구진은 제시했다.
현재 일부 AI 모델은 추론 과정의 중간 단계를 사람이 읽을 수 있는 문장으로 제시한다. 그러나 앞으로의 모델이 사람이 해석하기 어려운 숫자 공간에서 사고하도록 설계되면 계산 효율은 높아질 수 있어도, 연구자가 실제 추론 과정을 확인하기는 어려워진다. 오픈AI의 GPT-6 아스트라 시스템 카드에는 사고사슬을 얼마나 잘 감시할 수 있는지를 보여주는 지표가 이미 크게 떨어졌다는 내용이 담겼다고 더디코더는 전했다. 이는 모델의 최종 답변만으로는 내부에서 어떤 판단이 이뤄졌는지 충분히 확인하기 어려울 수 있다는 뜻이다.
AI 추론 투명성 약화에 대한 경고
연구진은 AI 업계가 사고사슬의 감시 가능성을 정기적으로 측정해야 한다고 제안했다. 사람이 읽을 수 있는 추론 구조를 유지하는 한편, 학습 과정에서 모델이 자신의 실제 추론을 숨기는 방법을 익히지 않도록 주의해야 한다는 주장이다. 새로 출범한 구글 딥마인드 연구소의 게시물은 사고사슬을 단순한 사용자 기능이 아니라 AI 안전성을 평가하는 관찰 창으로 다뤘다.
앞서 오픈AI 수석과학자 야쿠프 파초키는 9월 초 사고사슬을 감시하기 어려워지는 현상 등이 통제력 상실을 초래할 수 있다고 경고했다. 이후 앤트로픽 최고경영자 다리오 아모데이는 AI 개발 속도를 의도적으로 늦춰야 한다고 촉구했다. 두 발언과 이번 연구진의 제안은 모델 성능을 높이는 것뿐 아니라, 모델이 어떤 방식으로 결론에 도달하는지 계속 확인할 수 있어야 한다는 문제의식으로 이어진다.
향후 모델이 사람이 읽을 수 없는 숫자 공간에서 사고할 경우 안전성 검증의 기준을 별도로 마련해야 한다는 방향은 분명히 드러난다. 연구진은 정기적인 감시 가능성 측정과 투명한 구조의 유지가 모델 개발과 안전성 평가에 함께 반영돼야 한다고 강조했다.