TIME, AI 크롤러에 광고 포함 마크다운 제공

TIME이 인간 독자에게는 기존 지면을, AI 크롤러에는 광고가 포함된 축약 마크다운을 각각 제공하고 있다는 주장이 나왔다. 기사 작성자 빈센트 슈말바흐는 8월 5일 자신이 같은 URL을 반복 조회하되 User-Agent만 바꿔 응답 차이를 확인했다고 밝혔다. 그는 크롤러로는 ClaudeBot과 PerplexityBot, 오픈AI의 OAI-SearchBot에서 303KB가 아닌 약 13KB 수준의 text/markdown이 돌아왔다고 전했다. 반면 GPTBot과 ChatGPT-User는 406으로 차단됐고, OAI-SearchBot만 마크다운을 받을 수 있었다는 것이다. 또 슈말바흐는 마크다운에 광고·후원 표기가 담기며, Mobian의 광고 집행용 값(x-mobian-impression)과 토큰 단위(x-mobian-tokens)가 요청마다 달라진다고 설명했다. 그는 TIME의 HTML 페이지에서는 'Ally Bank'나 'Mobian' 관련 항목을 보통 이용자로 확인했을 때 찾기 어렵고, AI용 마크다운 안에서만 FAQ와 후원 콘텐츠가 노출된다고 주장했다.

원문 보기 (vincentschmalbach.com)

RELATED ARTICLES