서치엔진랜드(Search Engine Land)가 AI 검색에서 웹사이트가 노출·인용되기 위해서는 새로운 비법보다 기존 기술적 SEO 기본기를 점검해야 한다고 보도했다. AI 검색 노출이 낮은 사이트는 전통적인 검색 순위를 떨어뜨리던 기술적 문제와 같은 문제를 겪는 경우가 많다는 분석이다.
서치엔진랜드는 8월 19일 보도에서 AI 시스템이 웹사이트를 크롤링하고 내용을 이해한 뒤 답변에 인용할 수 있도록 네 가지 기술 요소를 점검해야 한다고 전했다. 이 가운데 첫 번째로 제시된 항목은 크롤링 가능성과 봇 접근 권한이다. AI 비서의 확산으로 웹 크롤러 생태계가 구글봇과 빙봇을 넘어 오픈AI(OpenAI), 앤트로픽(Anthropic), 퍼플렉시티(Perplexity)가 운영하는 여러 봇으로 확대됐다는 것이다.
각 봇은 모델 학습, 검색 결과 수집, 사용자가 요청한 질의에 대한 실시간 탐색 등 목적과 작동 방식이 다르다. 앤트로픽의 경우 클로드봇(ClaudeBot)은 학습에, 클로드서치봇(Claude-SearchBot)과 클로드유저(Claude-User)는 검색·브라우징에 사용된다. 실시간 검색용 봇은 이용자가 질문했을 때 페이지를 가져오는 방식으로 작동하는 반면, 학습용 봇은 모델의 지식을 구축하기 위해 광범위하게 크롤링한다.
사이트 운영자는 robots.txt 설정에서 어떤 봇의 접근을 허용할지 결정해야 한다. 뉴스·출판사는 AI가 콘텐츠를 활용하면서 원문 방문자를 보내지 않을 수 있다는 우려로 AI 크롤러를 차단할 수 있고, 법률 서비스 등 규제 산업은 준법 문제 때문에 접근을 제한할 수 있다. 반면 수년 전 작성된 robots.txt 규칙이 학습용 봇을 막으려다 검색·검색형 봇까지 차단하는 사례도 있다. 이 경우 전통적인 검색 순위 하락 없이 AI 답변에서만 사이트가 사라질 수 있어, 검색용 봇과 학습용 봇을 구분해 설정하고 실제 접근 여부를 확인해야 한다.
두 번째 위험 요소로는 자바스크립트 렌더링이 꼽혔다. 주요 AI 크롤러가 자바스크립트를 실행하지 않기 때문에 브라우저에서 나중에 삽입되는 본문, 제품 정보, 스키마와 핵심 메타데이터가 AI 시스템에 보이지 않을 수 있다는 설명이다. 특히 React 기반 단일 페이지 애플리케이션이 서버에서 내용 없는 틀만 전달하고 자바스크립트로 본문을 채우면, 구글에는 정상적으로 색인돼도 AI 검색 시스템에는 빈 페이지처럼 보일 수 있다. 핵심 콘텐츠는 서버사이드 렌더링(SSR), 정적 사이트 생성(SSG) 또는 하이브리드 방식으로 제공하고, HTML 응답에 표준 본문·제목·구조화 데이터를 포함해야 한다.
세 번째는 구조화 데이터와 의미의 명확성이다. AI 크롤러가 원시 HTML만 읽을 수 있는 상황에서는 서버에서 전달되는 스키마 마크업이 페이지의 대상과 대상 간 관계, 주요 정보를 명시하는 신뢰할 만한 신호가 된다. React나 Vue 같은 프레임워크에서 구조화 데이터를 클라이언트 측에만 주입하면 엔터티 인식과 사실 추출, AI 생성 답변 편입에 필요한 정보가 누락될 수 있다. 서치엔진랜드는 AI 검색 최적화를 별도 분야로 보기보다, 크롤러 접근을 통제하면서도 의도한 봇이 핵심 HTML과 구조화 정보를 읽을 수 있게 하는 작업으로 설명했다.