진짜처럼 보인 가짜 영상, 사람도 AI도 속았다

기사 목차 펼치기 / 접기

스마트폰 화면 속에서 거센 비바람과 함께 건물이 무너져 내린다. 뉴스 속보에서 흔히 볼 수 있는 재난 현장 같지만, 실제 현장 사진은 첫 장면 단 1프레임뿐이다. 화면 속 나머지 움직임은 전부 인공지능(AI)이 만들어낸 가짜다.

하지만 이 영상을 본 검증자 5명은 단 한 명도 의심하지 않고 모두 “진짜 실제 현장”이라고 답했다. 이렇게 사람의 눈을 완벽하게 속인 가짜 영상만 633개에 달했다. 사람만 속은 것이 아니다. 가짜를 가려내야 할 전문 포렌식 탐지기 7종의 판별률은 동전 던지기(50%)보다 낮은 40%대로 추락했고, 최신 AI 모델인 제미나이(Gemini)조차 맞힌 비율이 55% 안팎에 그쳤다.

가짜 영상이 탐지기를 완전히 이긴 것은 아니다. 탐지기는 익숙한 생성 모델이 남긴 자국을 찾았다. 가짜 지폐의 원리보다 특정 프린터 자국을 외운 감별기에 가까웠다. 지난 8월 14일 공개된 재난 영상 벤치마크 RA-Bench 논문은 새로운 생성 모델과 유통 과정의 변형 앞에서 이 감별기가 어떻게 흔들리는지 추적했다.

탐지기는 무엇을 보고 있었나

RA-Bench 연구진은 정부·공공기관 계정과 공개 영상 플랫폼 등에서 실제 사건 영상 675개를 모았다. 이를 장면별로 나눈 5774개 클립을 두 차례 검수해, 338개 원본 영상에서 1830개를 실제 영상 기준점으로 남겼다. 기상 재해와 전쟁, 정치, 공공안전, 보건 등 10개 영역과 44개 하위 범주가 포함됐다.

연구진은 각 실제 영상의 첫 장면을 떼어냈다. 제미나이가 영상 내용을 설명하고, 같은 첫 장면과 설명을 9개 영상 생성 모델에 입력했다. 이렇게 만든 생성 영상은 1만6056개다. 실제 영상 1830개를 더한 전체 실험 규모는 1만7886개다.

일반 벤치마크는 서로 다른 내용의 실제 영상과 생성 영상을 비교할 때가 많다. 이 경우 탐지기가 생성 단서 대신 화면 속 배경이나 비디오 코덱 차이를 외워도 높은 점수를 받을 수 있다. RA-Bench는 이러한 왜곡을 막기 위해 같은 사건과 첫 장면을 공유하는 두 영상을 짝지었고, 실제 영상과 생성 영상 모두 H.264로 다시 인코딩해 코덱 조건까지 동일하게 맞췄다.

평가 대상은 기존 포렌식 탐지기 7종, 별도 학습 없이 영상을 판정한 멀티모달 모델 10종, 생성 영상 탐지용으로 미세조정된 멀티모달 모델 2종이다. 연구진은 단순 정확도 대신 AUC와 균형 정확도, 가짜 영상 재현율을 함께 측정했다. AUC는 실제 영상보다 생성 영상에 높은 가짜 점수를 부여할 확률을 뜻하며, 50%면 무작위 찍기와 같다. 가짜 영상 재현율은 생성 영상 100개 중 가짜로 정확히 식별해낸 비율을 나타낸다.

공개 시험 84.2%, 새로운 영상에서는 48.7%

기존 탐지기 7종은 공개 데이터셋에서 평균 AUC 84.2%를 기록했지만, RA-Bench에 포함된 신규 폐쇄형 생성 모델 5종 앞에서는 평균 48.7%로 급락했다. 생성 모델별 평균도 43.9~57.3%에 머물렀으며, 모델에 따라 최고 성능을 내는 탐지기 순위마저 뒤바뀌었다.

실제 보도 영상을 가짜로 오경보하는 비율을 5% 이하로 엄격히 제한하면 탐지기의 실패는 더욱 극명해진다. 이 조건에서 7개 탐지기가 찾아낸 생성 영상은 평균 4.4%에 불과했다. 진짜 보도 영상 100개 중 5개를 오인하도록 허용하고도, 가짜 영상 100개 중 고작 4개 남짓 잡아낸 셈이다. 벤치마크 시험에서 높은 점수를 받았다고 해서, 학습 과정에서 보지 못한 새로운 생성 모델의 영상까지 가려낼 수 있다는 보증은 되지 못했다.

범용 멀티모달 모델 역시 불안정하긴 마찬가지였다. 같은 영상을 보여줘도 단순 판정, 진단형 질문, 점수 부여 질문 등 질의 형식에 따라 판정 결과가 완전히 뒤집혔다. 큐웬3.5-0.8B(Qwen3.5-0.8B)가 생성 영상을 가짜로 지목한 비율은 단순 질문에서 19.7%에 불과했으나, 진단형 질문에서는 97.8%, 점수형 질문에서는 100%로 치솟았다. 이는 정확도가 향상된 것이 아니라, 질문 방식이 바뀌자 거의 모든 영상을 무조건 가짜로 지목하는 극단적 편향을 보인 결과다.

GPT-5.5는 정반대의 편향을 보였다. 세 가지 질문 형식 모두에서 생성 영상을 가짜로 지목한 비율은 2.9~4.4%에 그친 반면, 실제 영상을 진짜로 맞힌 비율은 99.2%를 넘었다. 답은 일관되었으나 사실상 거의 모든 영상을 무조건 진짜로 판단한 맹목적 일관성이었으며, 모델 체급을 키워도 모든 생성 모델에 대한 판별력이 고르게 향상되지 않았다.

사람 다섯 명이 모두 ‘진짜’를 눌렀다

사람을 대상으로 한 평가에는 1단계 리뷰어 20명이 참여해 영상 1만7850건에 대해 총 5만3550회의 판정을 내렸다. 각 영상은 서로 다른 세 명의 평가자가 확인한 뒤 ‘실제’, ‘불확실’, ‘생성’ 중 하나를 선택했다. 사람이 생성 영상을 가짜라고 정확히 맞힌 비율은 전체의 60.3%였다. 오픈소스 생성 모델의 영상은 68.6%를 맞혔으나, 폐쇄형 모델의 영상은 52.9%로 떨어졌다. 특히 시댄스 2.0(Seedance 2.0)은 40.7%, 클링(Kling)은 45.1%에 불과해 사람의 눈을 가장 완벽하게 기만했다.

가짜를 진짜로 오인하는 것 못지않게 반대편 오류도 심각했다. 실제 재난 보도 영상을 AI 생성물로 잘못 판단한 비율이 22.8%에 달했다. 가짜를 진짜로 믿는 위험뿐 아니라, 전쟁과 재난을 기록한 진짜 보도 영상까지 AI 조작물로 치부해 배척할 위험이 함께 커진 것이다.

세 명의 평가자가 만장일치로 실제 영상이라고 판정한 생성 영상 1080개를 추려, 새로운 검증자 두 명에게 다시 블라인드 평가를 거치게 했다. 그 결과 5명의 검증자 모두가 실제 영상이라고 오인한 633개 영상이 ‘RA-Bench-HumanProof’ 데이터셋으로 남았다. 119개는 오픈소스 모델이, 514개는 폐쇄형 모델이 제작했으며, 클링 160개와 시댄스 2.0 159개가 전체의 절반을 차지했다.

이 633개 영상에 대해 기존 탐지기 7종을 실행한 결과 평균 AUC는 47.5%로 추락했고, 제미나이의 균형 정확도 역시 54.5~54.7%에 그쳤다. 균형 정확도가 50% 안팎이라는 것은 한쪽 답만 반복하거나 동전을 던져 무작위로 찍는 수준과 다를 바 없다는 의미다.

뉴스 로고 하나가 판정을 뒤집었다

연구진은 영상이 소셜미디어 플랫폼을 거치며 압축·변형되는 실제 유통 환경도 모사했다. 실제 영상 150개와 9개 생성 모델이 만든 대응 영상 1350개에 대해 재압축, 해상도 절반 축소, 초당 8프레임 변환, 가상 뉴스 로고 삽입을 진행했다. 이러한 변형 처리는 실제 영상과 생성 영상에 동일하게 적용됐다.

네 가지 변형을 모두 적용하자 전용 멀티모달 탐지기 5개 설정의 평균 가짜 영상 재현율은 46.0%에서 1.4%로 붕괴됐다. 균형 정확도 역시 59.5%에서 47.1%로 곤두박질쳤다. 이는 탐지기가 사실상 모든 영상을 무차별적으로 ‘실제 영상’이라고 판정하면서 가짜 영상을 전혀 잡아내지 못했음을 보여준다.

기존 포렌식 탐지기 7종의 평균 AUC도 51.4%에서 47.3%로 하락했다. 변형 처리 전후 탐지기들의 성능 순위 상관계수는 0.07에 불과해, 처리 방식에 따라 탐지기 순위가 완전히 무작위로 뒤바뀌는 현상이 나타났다.

특히 가상 뉴스 로고 하나만 화면에 덧붙였을 때도 가짜 영상 재현율은 29.9%에서 14.0%로 반토막 났다. 영상 내부의 생성 결함과는 무관한 시각적 장치 하나가 판정을 실제 쪽으로 유도한 것이다. 일부 탐지기가 ‘영상이 어떻게 생성되었는가’라는 본질보다 ‘뉴스 화면처럼 보이는가’라는 겉모습을 단서로 삼았음을 시사하는 대목이다.

다만 이 결과를 실제 소셜미디어상 여론 조작 공격의 관찰값으로 일반화할 수는 없다. 연구진은 유통 환경을 실험실 조건에서 모사했을 뿐이며, 시험에 쓰인 생성 영상은 2~8초 분량의 무음 영상이다. 실제 소셜미디어의 댓글 반응, 게시자 신원, 반복 재가공 같은 복합적 맥락은 반영되지 않았다. 이번 연구가 입증한 핵심은 여론 조작의 파급력이 아니라, 정해진 기술적 변형만으로도 현행 탐지 시스템이 손쉽게 무력화된다는 점이다.

텍스트도 안전하지 않았다

텍스트 탐지기 역시 단어 선택과 문장 규칙성, 다음 단어의 예측 가능성을 통계적으로 분석하는 방식을 취한다. 하지만 이 방식 또한 학습 과정에서 접하지 못한 신규 언어모델, 생소한 주제, 사람이 개입한 재서술을 마주하면 급격히 흔들린다. 사람이 정돈된 문체로 글을 쓰면 AI 글로 오인하는 위양성(False Positive)이 발생하고, 반대로 AI 초안을 사람이 윤문하거나 다른 모델로 패러프레이징하면 탐지 신호가 사라진다.

2025년 북미계산언어학학회(NAACL)에 실린 연구는 7개 텍스트 탐지기를 미학습 모델과 다양한 도메인, 회피 프롬프트 환경에서 시험했다. 사람이 쓴 글을 AI 글로 오판하는 비율을 1% 이하로 엄격히 제한했을 때, 특정 조건에서 AI 글 탐지율은 0%까지 추락했다. 하지만 모든 조건에서 탐지가 실패한 것은 아니었다.

AI는 자기 결과물을 기억할까?

생성 AI가 다른 AI가 만든 결과물을 스스로 알아볼 것이라는 막연한 기대에는 결정적인 논리적 허점이 있다. 언어모델은 자신이 세상에 내보낸 모든 문장과 영상을 기록해두는 원장이 아니며, 판별 요청이 들어올 때마다 과거 출력 이력이 자동으로 동기화되지도 않는다. 제작 이력이나 서버 로그에 접근할 수 없다면, 판별 모델 역시 사람과 마찬가지로 눈앞의 결과물에 남은 통계적 파편을 추정할 수밖에 없다.

언어모델은 앞선 문맥을 바탕으로 다음 단어의 확률 분포를 계산하며 문장을 완성한다. 다른 모델 역시 유사한 확률 분포와 문체를 모사할 수 있고, 사람이 몇몇 단어를 수정하면 본래 모델의 자국은 더욱 희미해진다. 작성 과정의 메타데이터에 접근하지 못하는 판별 모델이 텍스트 내용만으로 ‘누가 썼는가’를 복원하기 어려운 근본적인 이유다.

사람과 AI가 협업해 작성한 글에서는 정답의 경계마저 모호해진다. 사람이 쓴 초안을 AI가 맞춤법만 다듬은 글과, AI가 작성한 초안을 사람이 전면 재작성한 글 사이에 명확한 선을 긋기는 불가능하다. 탐지기가 산출하는 확률값은 실제 제작 이력을 결코 대체하지 못한다.

미국 국립표준기술연구소(NIST)의 통제된 요약문 평가에 따르면, 고성능 탐지기가 대다수 생성 모델의 출력을 가려낸 반면 특정 생성 모델은 대부분의 탐지기를 완벽히 속여 넘겼다. 탐지기는 제한된 실험 환경에서 유용할 수 있지만, 수치 점수 하나를 작성자를 가리는 절대적 판정 기준으로 삼는 순간 심각한 오류가 발생한다.

그러면 워터마크가 답인가?

앤트로픽(Anthropic)은 지난 8월 14일 클로드(Claude)의 지원 모델이 생성하는 글에 보이지 않는 워터마크를 넣겠다고 발표했다. 사후 탐지기가 완성된 결과물의 문체를 보고 출처를 역추적한다면, 워터마크는 생성 시점에 비밀 키를 이용해 미세한 통계 패턴을 각인한다. 감식보다 발행 단계의 공식 인장에 가까운 방식이다.

클로드는 다음 단어를 생성할 때 의미와 품질 차이가 없는 여러 선택지 사이에서 비밀 키와 이전 토큰들로 생성한 난수 규칙을 적용한다. 개별 단어 하나에는 아무런 표식이 없지만, 문장이 길어질수록 비밀 키와 일치하는 고유한 통계적 리듬이 형성된다. 글자 사이에 보이지 않는 유니코드나 숨은 토큰을 삽입하는 물리적 방식이 아니다.

앤트로픽은 구글 딥마인드(Google DeepMind)의 SynthID-Text 기술을 개량해 적용했다고 밝혔다. 네이처(Nature)에 발표된 SynthID-Text 논문에 따르면 연구진은 약 2000만건의 제미나이 응답을 대상으로 워터마크 적용 전후의 사용자 만족도를 평가했으며, 통계적으로 유의미한 품질 저하가 없음을 확인했다. 워터마크가 글의 자연스러움을 훼손한다는 우려에 대해 대규모 실증 데이터로 답한 것이다.

이러한 도입의 이면에는 강력한 규제 압박도 자리 잡고 있다. 유럽연합(EU)의 AI법 제50조 투명성 의무는 지난 8월 2일부터 본격 적용됐으며, 생성 콘텐츠 표시 및 탐지를 다룬 실무규약에는 약 190개 글로벌 기업이 서명했다. 앤트로픽 지원 문서에 따르면 회사는 8월 2일 이후 출시되는 지원 모델부터 워터마크를 적용하고, 이전 모델에도 순차 도입할 계획이다.

워터마크가 발견되면 클로드가 썼다는 증거일까?

결론부터 말하면 그렇지 않다. 워터마크 검출은 클로드가 제작 과정의 어느 단계에 관여했을 가능성을 시사할 뿐이다. 사람이 작성한 원고를 클로드가 번역하거나 대대적으로 교정한 경우에도 워터마크가 남을 수 있으며, 최초 작성자가 누구인지나 글에 담긴 사실관계의 진위는 보증하지 못한다.

앤트로픽 역시 짧은 문장이나 사실 위주의 단문, 소스코드, 맞춤법만 고친 텍스트에서는 통계적 패턴이 충분히 형성되지 않을 수 있다고 인정했다. 가벼운 문맥 수정에는 패턴이 유지되지만, 문장을 전면 재작성하거나 다른 AI를 거쳐 다시 쓰면 워터마크는 완전히 소실된다. 반대로 워터마크가 검출되지 않았다고 해서 사람이 썼다는 증거가 되는 것도 아니다. 워터마크 기능이 없는 구형 모델이나 타사 AI가 작성했을 가능성이 열려 있기 때문이다.

워터마크를 검증할 공식 판별 도구 역시 아직 미완성 상태다. 앤트로픽은 워터마크 탐지 API를 향후 제공하겠다고 밝혔지만, 2026년 9월 현재 구체적인 배포 일정과 정밀 판정 기준은 공개되지 않았다. 한편 이미지·파일 등에는 별도로 C2PA 방식의 디지털 서명 출처 메타데이터를 부여하지만, 이는 복사나 캡처, 포맷 변환 과정에서 쉽게 유실되어 텍스트 워터마크와는 작동 영역이 다르다.

결국 사후 포렌식 탐지기와 사전 통계 워터마크 어느 쪽도 완벽한 진실을 보증하지 못한다. 탐지기는 결과물에 남은 희미한 자국을 사후에 추정할 뿐이고, 워터마크는 생성자가 남긴 출처 단서에 의존하기 때문이다. 이제 남은 본질적 질문은 가짜를 100% 가려낼 만능 탐지기가 언제 나오느냐가 아니다. 생성 이력을 누가 투명하게 남기고, 유통 과정에서 누가 이를 온전히 보존하며, 판정이 빗나갔을 때 발생하는 사회적 비용을 누가 책임질 것인가다.