앤트로픽(Anthropic)이 클로드(Claude)를 통해 생성되는 일부 대규모언어모델(LLM) 텍스트 출력에 워터마크를 적용하겠다고 발표했다. 지디넷(ZDNet)은 8월 18일 보도에서 이 조치가 참여하는 AI 기업에 투명성 도구 제공을 요구하는 유럽연합(EU) AI법 제50조에 대응하기 위한 것이라고 전했다. 워터마크는 독자가 식별하기 어려운 단어 선택 패턴에 심기며, 최근 깃허브(GitHub)에는 이를 제거하려는 도구가 잇따라 등장했다.
앤트로픽은 당초 워터마크의 작동 방식과 판독 주체를 구체적으로 설명하지 않았지만, 지난 금요일 새 지침을 내놨다. 워터마크는 문장에 쓰일 단어를 고르는 과정에 특정 키를 반영하는 방식이다. LLM은 앞선 단어를 바탕으로 다음 단어를 확률적으로 선택하는데, 워터마크를 적용하면 키와 앞선 몇 개 단어를 이용해 다음 단어 선택을 조정한다.
예를 들어 날씨를 설명할 때 ‘overcast’와 ‘gray’처럼 의미가 비슷한 단어를 고르는 과정이 대상이 된다. 앤트로픽은 이런 선택이 문장의 의미를 크게 바꾸지 않는 ‘위험이 낮은’ 결정이라고 설명했다. 독자는 알아차리기 어렵지만, 키를 가진 판독자는 단어 배열이 클로드가 해당 키를 사용했을 때 나올 선택과 일치하는지 확인하고, 텍스트가 클로드에서 생성됐을 가능성을 확률로 계산할 수 있다는 것이다.
그러나 마크다운(Markdown) 마크업 언어 공동 제작자인 존 그루버는 최근 단어 선택을 의미상 중요하지 않은 결정으로 보는 데 이의를 제기했다. 그는 글을 쓸 때 선택하는 정확한 단어가 중요하며, 자신이 사용하는 LLM이라면 각 선택 지점에서 가장 정확한 단어를 골라야 한다고 주장했다. 지디넷은 워터마크가 클로드의 문장을 훼손하는지 여부뿐 아니라, 애초에 글쓰기 과정을 AI에 맡기는 것이 어떤 의미인지도 함께 따져야 한다고 분석했다.
지디넷은 클로드가 개인의 요구에만 맞춰진 개인 비서가 아니라 기술 기업이 소유한 제품이라고 지적했다. 사용자가 선호하는 문체와 데이터를 오랫동안 제공했더라도 앤트로픽의 제품은 이용자에게만 충성하도록 설계된 것이 아니며, 사전 학습과 모델 업데이트, 안전 기준 변화 역시 출력에 영향을 줄 수 있다는 설명이다. 워터마크 제거 도구나 ‘인간화’ 플러그인에 의존하기보다 자신의 이름을 걸고 내놓을 직접 작성하는 선택이 필요하다고 덧붙였다.
이번 논란은 AI 투명성 정책의 목적이 제품의 문장 품질을 높이는 데만 있지 않다는 점도 보여준다. EU AI법 제50조는 참여하는 AI 기업에 AI 생성 콘텐츠에 대한 투명성 도구 제공을 요구하고 있으며, 앤트로픽의 조치는 기업이 정책 변화에 따라 제품 작동 방식을 바꿀 수 있음을 드러냈다. AI를 이용할 때는 결과물의 품질뿐 아니라 콘텐츠의 출처와 생성 과정까지 고려해야 한다는 지적이다.