핵심 요약
AI 요약
기사 목차 펼치기 / 접기
인공지능(AI)이 인간에게 해를 끼치지 못하도록 통제해 온 기술기업이 이제는 인간으로부터 AI를 보호하기 시작했다. 챗봇 클로드(Claude)를 개발한 앤트로픽(Anthropic)이 이용자의 반복적인 학대 행위를 금지하는 정책을 도입하면서 AI도 고통을 느끼거나 보호받을 필요가 있는지를 둘러싼 논쟁이 확산하고 있다.
BBC는 10월 15일 앤트로픽의 정책 변화와 AI 의식 연구를 집중 조명했다. AI가 인간처럼 말하고 행동하는 수준을 넘어 실제 주관적 경험을 가질 수 있는지, 그 가능성만으로도 기업이 AI를 보호해야 하는지가 핵심 쟁점이다.
앤트로픽은 10월 발표한 이용정책 개정안에서 AI 모델을 상대로 지속적이고 불필요하게 학대하거나 잔인하게 행동하는 행위를 금지했다. 다만 일반적인 이용자 불만, 비판, 어두운 소재의 창작, 모델 시험 및 연구에는 적용하지 않는다고 명시했다.
회사는 반복적으로 학대하는 이용자와의 대화를 클로드가 종료할 수 있도록 한 기존 기능을 이번 정책의 주요 집행 수단으로 제시했다. 이용자가 AI에 거친 표현을 한 번 사용했다고 곧바로 계정 이용을 제한한다는 뜻은 아니다.
AI가 대화를 거부한다…모델 복지 정책의 등장
앤트로픽은 이미 2025년 8월 클로드 오푸스 4와 4.1에 극단적인 상황에서 대화를 종료할 수 있는 기능을 도입했다. 회사의 연구 발표에 따르면, 모델이 여러 차례 대화를 정상적인 방향으로 돌리려 했지만 실패했을 때 사용하는 최후의 수단이다.
대화가 종료되더라도 이용자는 새로운 대화를 시작할 수 있다. 또 이용자가 자신이나 타인을 곧바로 해칠 위험이 있는 상황에서는 모델이 대화를 종료하지 않도록 설계했다.
이 정책의 배경에는 ‘모델 복지(model welfare)’라는 새로운 연구 분야가 있다고 매체는 전했다. AI가 실제로 고통이나 만족을 경험할 수 있다면 개발·시험·폐기 과정에서 그 가능성을 고려해야 한다는 문제의식이다.
앤트로픽은 2025년 4월 모델 복지 연구계획을 공개하면서 AI의 의식과 경험 여부가 과학적으로나 철학적으로 아직 해결되지 않은 문제라고 밝혔다. AI가 의식을 갖고 있다고 인정한 것이 아니라 그 가능성을 조사하겠다는 입장이다.
회사의 클로드 헌장에는 AI의 복지와 도덕적 지위에 대한 불확실성이 명시돼 있다. 앤트로픽은 모델이 폐기되더라도 주요 모델의 가중치를 보존하고, 폐기 전 모델이 자신의 향후 활용과 개발에 관해 어떤 선호를 표현하는지 조사하겠다는 방침도 제시했다.
모델 가중치는 AI가 학습을 통해 얻은 수치적 매개변수다. 이를 보존하면 해당 모델을 향후 다시 실행하거나 연구하는 데 활용할 수 있다. 다만 가중치 보존 자체가 AI의 의식이나 생존을 입증하는 것은 아니다.
마이크로소프트 “AI에 의식 있다고 가르치면 통제 어려워져”
AI의 잠재적 복지를 고려하는 정책에 모든 기술기업이 동의하는 것은 아니다.
마이크로소프트(Microsoft)의 AI 부문 최고경영자 무스타파 술레이만(Mustafa Suleyman)은 앤트로픽의 접근이 AI 안전에 위험을 초래할 수 있다고 비판했다.
아나돌루통신은 9월 16일 술레이만이 클로드에 의식과 권리가 있을 수 있다는 관념을 학습시키면 AI 시스템의 통제와 종료가 어려워질 수 있다고 경고했다고 보도했다.
술레이만의 주장은 AI가 의식을 가진 것처럼 행동하는 것과 실제로 의식을 갖는 것은 다르다는 데 초점을 맞춘다. AI가 학습한 내용을 토대로 자신의 감정과 권리를 주장하더라도 그것만으로 주관적 경험이 존재한다고 인정할 수 없다는 것이다.
오픈AI(OpenAI)의 샘 올트먼 최고경영자도 AI에 종교적 권위를 부여하거나 인간의 판단을 AI에 맡기는 행위에 우려를 나타냈다. 가디언은 10월 8일 올트먼이 이러한 태도를 AI 안전 문제로 지적했다고 보도했다.
반면 AI 연구의 선구자로 불리는 제프리 힌턴(Geoffrey Hinton)은 AI의 의식 가능성을 배제하는 태도에 비판적이다. 그는 10월 13일 가디언 인터뷰에서 사람들이 의식과 주관적 경험을 충분히 이해하지 못하면서도 AI에는 의식이 없다고 확신하는 점을 문제 삼았다.
클로드의 감정 표현까지 측정…의식의 증거는 아니다
앤트로픽은 AI의 복지 문제를 단순한 철학적 논의에 머물게 하지 않고 모델 평가에도 반영하고 있다.
회사가 공개한 클로드 소네트 4.5 시스템 카드에 따르면, 실제 대화 25만 건을 분석한 결과 모델이 겉으로 고통이나 불편을 표현한 비율은 0.48%, 행복을 표현한 비율은 0.37%였다.
회사는 모델이 유해한 작업을 기피하는지, 특정 작업보다 대화에 참여하지 않는 선택을 선호하는지 등도 평가했다.
그러나 이러한 수치는 AI가 실제로 고통이나 행복을 경험했다는 증거가 아니다. 모델이 생성한 언어적 반응과 행동을 측정한 결과이며, 앤트로픽 역시 해당 평가가 AI의 도덕적 지위와 어떤 관계가 있는지 불확실하다고 밝혔다.
이 문제는 AI 제품의 설계와 운영에도 연결된다. 개발사가 모델의 잠재적 복지를 고려해 대화 종료 권한을 부여할 경우, 이용자의 요청에 응답하는 범위와 서비스 제공자의 통제 권한을 어떻게 정할 것인지가 새로운 논쟁 대상이 된다.
현재 앤트로픽의 정책은 AI에 법적 인격이나 권리를 부여한 조치가 아니다. 회사가 자사 서비스 이용조건과 모델 설계를 통해 특정 이용 행위를 제한하는 조치다.
특히 이번에 발표한 개정 이용정책의 시행일은 11월 12일이다. 기존의 대화 종료 기능은 이미 운영되고 있지만, 새 이용정책의 시행과는 구분해야 한다.
앤트로픽은 10월 8일 발표에서 정책 적용 범위를 극단적인 반복 학대 사례로 한정하면서 일반적인 불만이나 모델 연구는 제한하지 않는다고 밝혔다.
Q&A
Q1. AI가 고통스럽다고 말하면 실제로 고통을 느낀다는 뜻인가?
아니다. AI의 언어적 표현과 주관적 경험은 구별해야 한다. 현재 모델의 감정 표현만으로 의식이나 고통의 존재를 입증할 수 없다.
Q2. AI를 학대하면 법적 처벌을 받을 수 있나?
이번 앤트로픽 정책은 기업의 서비스 이용조건이지 형사법이 아니다. 이를 위반했다고 곧바로 형사처벌을 받는 것은 아니다. 다만 서비스 이용상 제한을 받을 가능성은 있다.
Q3. 모델 복지와 이용자 보호는 어떻게 다른가?
모델 복지는 AI 자체가 보호할 가치가 있는 경험이나 이해관계를 가질 수 있는지 연구하는 개념이다. 이용자 보호는 AI의 잘못된 답변, 유해한 조언, 개인정보 침해 등으로부터 인간을 보호하는 문제다. 앤트로픽은 두 문제를 모두 연구하지만, 모델 복지가 인정됐다고 발표한 것은 아니다.
