핵심 요약
AI 요약
기사 목차 펼치기 / 접기
AI가 웹사이트의 글을 무단으로 가져가려 하자, 웹사이트가 가짜 읽을거리를 끝없이 내놓기 시작했다. 수집 봇이 원하는 원본 정보에 도달하지 못하도록 경로를 늘린 인터넷 미로의 등장이다.
클라우드플레어(Cloudflare)는 2025년 3월 AI Labyrinth 기능을 공개했다. 무료 요금제를 포함한 모든 고객이 대시보드 설정에서 토글 하나로 켤 수 있는 이 기능은, 무단 수집이 의심되는 봇을 감지했을 때 접근을 차단하는 대신 원본과 무관한 유인 페이지로 발길을 돌리게 만든다. 문을 닫아걸었다고 경고하는 대신 방문객이 엉뚱한 미로 속을 헤매게 만들며, 숨겨진 유인 링크를 밟은 봇의 상세 접속 기록까지 수집해 지문 분석에 활용하는 구조다.
일반 독자에게는 정상적으로 글을 보여주면서, 기계의 무단 크롤링 자원을 소모시키려는 시도다.
들어오지 말라는 표시는 자물쇠가 아니다
웹사이트의 수집 규칙은 오랜 기간 쓰여온 개념이며, 검색엔진 역시 사이트를 탐색하며 문서를 색인한다. 운영자는 흔히 robots.txt 파일에 수집을 허용하거나 제한할 경로를 명시하고, 사이트에 방문한 수집 프로그램이 그 텍스트를 먼저 읽고 규칙을 따르는 것이 관례였다.
인터넷 표준 RFC 9309는 이 규칙을 접근 권한을 부여하거나 통제하는 기술적 보안 수단과 엄격히 구분한다. 문서 규격 자체에서 robots.txt를 보안 조치의 대체물로 취급하지 말라고 명시하고 있다. 파일 안에 특정 디렉터리를 금지 경로로 적어두었다고 해서 해당 웹페이지에 물리적 암호나 방화벽이 걸리는 것은 아니며, 어디까지나 규약을 읽고 자발적으로 따르는 신사적 방문자에게만 통하는 약속에 불과하다.
게시자가 원하는 공개 범위의 충돌도 여기서 비롯된다. 사람이 검색을 통해 한 편의 글을 읽으러 들어오는 일과, AI 기업이 학습용 데이터를 긁어가기 위해 사이트 전체를 통째로 긁어가는 일은 성격이 전혀 다르다. 일반 독자를 맞이하기 위해 열어둔 링크가 곧장 수집 프로그램의 침투 경로로 쓰이므로, 글을 공개 상태로 유지하면서 방문 목적에 따라 선별 대응해야 하는 실무적 난제가 발생한다.
AI가 만든 글로 AI를 유인하는 구조
클라우드플레어가 택한 해법은 숨겨진 미끼 링크를 활용하는 방식이다. 의심스러운 봇이 감지되면 보호 대상 사이트와 전혀 무관한 페이지들이 거미줄처럼 이어진 경로를 열어준다. 원래 찾으려던 콘텐츠를 수집하려던 봇은 미끼 자료를 파싱하고 내려받느라 시간과 컴퓨팅 자원을 낭비하게 되며, 링크를 깊이 파고들수록 원래 수집 목표에서는 점차 멀어진다. 검색엔진 최적화(SEO)가 망가지지 않도록 미끼 링크에 검색엔진 수집 방지(noindex, nofollow) 메타 태그를 부착하고, 정상 이용자의 화면 스타일을 훼손하지 않는 방식으로 미끼를 주입한다.
보안 업계의 ‘허니팟(Honeypot)’은 악성 봇이나 공격자를 유인하기 위해 마련해 둔 가짜 시스템 환경을 의미한다. 일반 사용자의 눈에는 보이지 않지만 웹 문서를 긁어가는 기계 크롤러만 읽어낼 수 있는 투명 링크를 심어두고, 여기에 발을 들이는 순간 비정상적인 봇의 정체를 식별해 내는 고전적 추적 기법이다. 클라우드플레어의 AI Labyrinth는 이 허니팟 개념을 한 단계 확장하여, 단순 1회성 함정에 그치지 않고 Workers AI 오픈소스 모델로 사전 생성한 과학 상식 문서들을 R2 스토리지에 캐시해 둔 뒤 끝없는 링크 네트워크로 엮어낸다.
미끼 페이지는 허위 조작 정보의 확산을 막기 위해 검증된 과학적 사실에 기초한 텍스트로 미리 채워지며, 정상 방문자에게는 링크가 전혀 노출되지 않는다. AI가 거짓 지식을 학습해 망가지도록 유도하는 데이터 오염 공격과는 결이 다르며, 탈취하려던 실제 데이터 대신 쓸모없는 연산 찌꺼기를 안겨주는 지연 전술이다.
“허니팟 미로는 봇의 연산 자원을 소모시키는 유인책이지만, 미끼에 발을 들였다는 기록 자체가 원본 데이터 유출을 원천 차단했다는 보증수표는 아니다.”
클라우드플레어 개발자 문서에 따르면 시스템은 미끼 링크를 주입한 사건(AI Labyrinth Served)과 봇이 실제 링크를 타고 들어간 사건(AI Labyrinth Crawls)을 별도 지표로 기록한다. 후자는 수집 프로그램이 실제로 유인 미로에 걸려들었다는 명확한 행동 신호다. 운영자는 단순 트래픽 총량이 아니라 유인 반응률을 분석하여 침투 양상을 파악할 수 있다.
유인과 차단의 분리… 미로 이벤트만으로 막을 수 없는 원본 유출
공식 기술 문서가 명시하는 가장 중요한 한계는, 미로 동작 자체가 요청을 차단하는 조치가 아니라는 점이다. 클라우드플레어는 미로 이벤트를 완화(Mitigation) 조치로 분류하지 않으며, 추가 챌린지를 걸거나 연결을 강제로 끊지 않는다. 미끼를 따라온 봇을 관찰하는 일과 원본 접근을 차단하는 일은 완전히 별개의 영역이다. 미로 이벤트 카운트가 올라갔다는 기록만으로 원본 콘텐츠의 수집이 방어됐다고 단정할 수 없는 이유다.
만약 정교한 크롤러가 미끼 경로를 훑으면서 동시에 원본 페이지까지 병렬로 긁어간다면 문제가 발생한다. 관리자 대시보드에는 미끼 방문 횟수가 늘어나 유인에 성공한 것처럼 보이지만, 게시자가 지키려던 실제 콘텐츠는 고스란히 유출될 수 있다. 따라서 미로 시스템이 기록한 수치만 볼 것이 아니라, 실제 보호 대상 페이지의 요청량과 대조하여 방어 실효성을 종합적으로 검증해야 한다.
웹 에이전트의 방어 우회와 다층 식별을 다룬 2026년 연구 논문에서도 이와 같은 역할 분리를 지적했다. 연구진은 다양한 웹 방어 체계를 실측 평가하면서, AI Labyrinth와 같은 유인 도구는 방문자를 차단하는 장치가 아니라는 이유로 방어 평가 대상에서 제외했다고 밝혔다. 다른 방어 수단이 우회되었다고 해서 미로 기술이 실패했다고 볼 수도 없지만, 반대로 이 연구가 미로의 방어력을 입증해 준 것도 아니다.
해당 연구진은 6종의 최신 웹 에이전트를 시험하며 네트워크 연결, HTTP 헤더, 브라우저 환경 특성을 교차 분석했다. 일부 에이전트는 기존 단일 방어를 통과했지만 다층 지문 분석에서는 사람과 에이전트의 차이가 분명하게 포착됐다. 방문자가 봇임을 식별해 내는 역량과 그 방문을 물리적으로 저지하는 능력은 엄연히 분리되어 있으며, 미로 기술이 맡은 역할 역시 차단이 아닌 ‘식별 신호 보강’에 위치함을 보여준다.
단순 유인 횟수를 넘어 실질적 원본 보호와 운영 손익 계산
웹사이트 운영자에게 필요한 셈법은 미로 방문 수치에서 끝나지 않는다. 원본 페이지를 긁어가는 비정상 트래픽이 실질적으로 감소했는지, 그리고 정상 독자가 사이트를 이용할 때 시각적 장애나 오작동을 겪지 않았는지를 종합적으로 살펴야 한다. 미끼 페이지를 전달하는 과정에서 발생하는 대역폭과 연산 부담 역시 계산에 넣어야 하며, 공격자의 비용을 늘리기 위해 지불한 운영 비용이 지나치게 커진다면 방어의 실익은 퇴색된다.
유인에 성공한 뒤 어떤 후속 조치로 연결할 것인지도 핵심 과제다. 미로 속에서 포착한 봇의 IP나 브라우저 지문을 바탕으로 다른 경로로 우회해 들어오는 재방문 봇까지 걸러낼 수 있어야 방어선이 완성된다. 미로는 판단에 필요한 증거를 더해줄 뿐이며, 신호를 확보했다는 사실 자체가 모든 무단 수집의 통제를 담보하지는 않는다.
수집 규약의 법적 책임과 기술적 조치는 분리해 다루어야 한다. robots.txt가 기술적 잠금장치가 아니라는 점이 무단 수집의 면죄부가 될 수는 없다. 규약을 무시했는지와 서버 침투를 저지했는지는 별개의 논점이며, 인터넷 미로는 규약을 무시하는 방문자의 행동 패턴에 개입해 시간과 비용을 소모시키는 전술적 완충 장치다.
기능을 비활성화한 뒤에도 이미 배포된 미끼 링크는 일정 기간 유효하다. 새 링크 주입을 멈추더라도 봇의 미로 순환 기록이 보안 로그에 한동안 남을 수 있으며, 스위치를 내린다고 해서 봇이 헤매던 미로가 즉각 증발하는 것은 아니다.
