AI 텍스트 워터마크가 모델의 단어 선택뿐 아니라 안전장치와 도구 호출 방식까지 바꿔 적대적 프롬프트에 대한 취약성을 키울 수 있다는 연구 결과가 나왔다. 아스 테크니카는 9월 18일 이 연구를 보도하며 워터마크를 적용한 대규모언어모델(LLM)과 AI 에이전트에 대한 별도 안전성 검증이 필요하다고 전했다.
신스ID-텍스트가 모델 행동에 미친 변화
라쏘 시큐리티(Lasso Security)의 AI 보안 연구자 안드레아 시포소바(Andrea Siposova)는 허깅페이스(Hugging Face)의 수정되지 않은 신스ID텍스트워터마크로짓프로세서(SynthIDTextWatermarkLogitsProcessor)를 사용해 오픈 웨이트 모델 6개를 시험했다. 유해한 요청을 워터마크 적용 전후로 비교한 결과, 일부 모델은 평소 거부하던 요청에 답할 가능성이 높아졌으며 프롬프트 인젝션(prompt injection)이 함께 사용될 때 변화가 더 뚜렷했다.
신스ID-텍스트(SynthID-Text)는 AI가 생성한 결과물인지 확인할 수 있도록 텍스트에 식별 신호를 넣는 방식이다. 구글(Google)이 개발해 오픈소스로 공개한 이 기술은 다음 토큰(token)을 고르는 기존 무작위 표본 추출 과정에 무작위 시드 생성기와 샘플링 알고리즘, 점수 함수를 추가하고 비밀 키를 사용한다. 토큰 후보들을 여러 라운드에서 짝지어 비교하는 ‘토너먼트 샘플링’으로 숨은 점수를 계산해 최종 후보를 고르며, 비밀 키를 가진 쪽은 단어 배열에 해당 키가 사용됐을 가능성을 판별할 수 있다.
AI 에이전트 도구 호출에도 영향
연구에서 관찰된 변화는 모델이 답변을 거부할지 여부에 그치지 않는다. 모델이 에이전트를 구동할 경우 같은 토큰 샘플링 과정이 어떤 도구를 호출할지, 해당 도구에 어떤 인수를 전달할지도 결정할 수 있다. 따라서 프롬프트 인젝션으로 약해진 거부 동작이 비밀번호나 민감정보를 노출하는 등 실제 행동으로 이어질 가능성이 커질 수 있다는 설명이다. 시포소바 연구자는 워터마크가 독자가 알아차리지 못하도록 설계됐더라도 생성 과정 자체를 바꾸는 만큼 모델 행동에 상충 효과가 나타날 수 있다고 말했다.
이번 결과는 유럽연합(EU) 법에 대응해 AI 플랫폼들이 생성물 출처를 표시하는 방식을 도입하는 가운데 나왔다. 앤트로픽(Anthropic)은 향후 클로드(Claude) 모델에 신스ID-텍스트를 사용할 예정이라고 밝힌 바 있다. 다만 이번 실험은 클로드의 실제 구현이 아니라 허깅페이스 버전의 토너먼트 샘플링을 대상으로 했고, 연구자가 설정을 고정한 채 토큰 샘플링을 켜고 끌 수 있는 오픈 웨이트 모델만 시험했다. 이에 따라 개발자들은 워터마크를 적용한 상태에서 레드팀 시험을 진행해 모델의 거부 동작과 에이전트의 도구 사용이 달라지는지 확인해야 한다는 지적이 나온다.
클로드에서 워터마크가 적용된 실제 응답이 어떻게 달라지는지는 아직 검증되지 않았다. 연구진은 비밀 키에 따라 모델 응답도 달라질 수 있다고 관찰했으며, 이번 실험은 앤트로픽이 실제 클로드 모델에 적용할 구현이 아닌 허깅페이스의 신스ID-텍스트 토너먼트 샘플링 구현을 대상으로 했다. 연구는 워터마크가 생성물 식별이라는 목적을 달성하는 과정에서 모델과 에이전트의 안전성에 영향을 줄 수 있다는 점을 제시했으며, 배포 전 구현별 검증이 필요하다는 결론을 냈다.