오픈AI(OpenAI)가 웹사이트가 robots.txt 파일로 표시하는 공통 AI 학습 선호 신호를 존중하기로 했다. 오픈AI는 10월 30일 공식 블로그에서 워킹그룹의 다른 참여자들과 함께 공통 신호를 발표하고 이를 존중하겠다고 밝혔다.
여러 업체에 한 번에 선호 전달
공통 신호는 웹사이트 운영자가 콘텐츠를 기반 생성형 AI 학습에 사용하는 것과 관련해 자신의 선호를 표시할 수 있도록 하는 방식이다. 기존에는 운영자가 업체마다 크롤러를 따로 지정하고 각각의 규칙을 관리해야 했다. 오픈AI는 여러 참여 업체가 같은 신호를 사용하면 웹사이트 운영자의 설정·관리 부담을 줄일 수 있다고 설명했다.
오픈AI는 앞으로 몇 달 안에 이 신호를 적용할 계획이며, 실제 구현 방식은 추후 공개하겠다고 밝혔다. 다만 공통 신호가 기존 robots.txt 설정을 대체하는 것은 아니다. 웹 게시자가 페이지별로 제어할 수 있도록 제공해온 기존 크롤러 설정도 계속 적용하고 존중한다는 방침이다. 따라서 이번 발표는 기존 설정을 없애는 조치가 아니라, 여러 업체에 공통으로 전달할 수 있는 선택지를 추가하는 것이다.
IETF 논의에 참여…다른 AI 업체에도 촉구
이번 신호는 인터넷공학태스크포스(IETF)의 AI 선호도 워킹그룹이 진행해온 논의를 바탕으로 마련됐다. 오픈AI는 워킹그룹의 다른 참여자들과 함께 공통 신호를 발표했으며, 표준 논의에도 계속 참여하겠다고 밝혔다. 다만 공통 신호의 구체적인 표기 방식이나 이를 채택하는 업체의 범위는 이번 발표에서 공개하지 않았다.
오픈AI는 관련 논의와 환경 변화에 따라 적절한 통제와 공정성을 고려해 관행을 조정하겠다고 밝혔다. 또 웹사이트 운영자가 콘텐츠 사용에 관한 선택을 더 명확하고 간편하게 전달할 수 있는 조치라며, 다른 AI 업체에도 해당 신호를 존중할 것을 촉구했다. 적용 시점은 ‘앞으로 몇 달 안’으로 제시됐으며 구체적인 구현 세부사항은 후속 안내에서 공개될 예정이다.
