GEO / 생성형 엔진 최적화

오픈AI·구글·MS·앤트로픽, robots.txt 학습거부신호 하나로 합쳤다

읽는 데 7분 INSIGHTX
오픈AI·구글·MS·앤트로픽, robots.txt 학습거부신호 하나로 합쳤다

오픈AI·구글·마이크로소프트·앤트로픽 네 회사가 AI 학습을 거부하는 신호를 robots.txt 안에서 하나의 표준 문구로 합치기로 했다. 앤트로픽은 2026년 10월 30일부터 이 신호를 실제로 받아들이기 시작했다고 자사 고객센터 문서에서 밝혔다. 신호의 이름은 __usage_ai-training 토큰이며, 사이트 운영자는 robots.txt에 한 줄만 추가하면 네 회사 모두에 같은 의미로 전달하는 것을 목표로 한다.

무엇이 합의됐나?

IETF(국제인터넷표준화기구)에 제출된 인터넷 드래프트(draft-kelley-aipref-training-preference-signal-00)는 앤트로픽 소속 저자가 제안한 문서로, robots.txt에 __usage_ai-training 이라는 사용자 에이전트 이름을 적고 그 아래 Disallow 규칙을 쓰면 '이 콘텐츠를 AI 학습에 쓰지 말라'는 뜻으로 읽히도록 정의한다. 외신 보도에 따르면 오픈AI·구글·마이크로소프트·앤트로픽 네 회사가 이 초안을 공통 신호로 받아들이겠다고 밝혔다.

robots.txt에 어떻게 적어야 하나?

제안된 형식은 간단하다. 사이트 전체의 학습 이용을 거부하려면 User-Agent 줄에 __usage_ai-training 을 쓰고 그 아래 Disallow: / 를 적는다. 기존에 ClaudeBot·GPTBot처럼 특정 크롤러 이름만 적어 막아 온 사이트라면, 그 규칙은 지우지 않고 그대로 둔 채 이 공통 토큰을 별도 그룹으로 추가해야 두 방식이 함께 적용된다.

회사적용 시점(보도 기준)
앤트로픽2026년 10월 30일부터 이미 적용
마이크로소프트2027년 2월 1일부터
구글2027년 초, 기존 Google-Extended 설정에 대응
오픈AI구체적 날짜 없이 '향후 몇 달 내'

네 회사가 같은 시점에 적용하나?

적용 시점은 회사마다 다르다. 앤트로픽은 10월 30일부터 이미 반영했다고 밝혔고, 외신 보도를 종합하면 마이크로소프트는 2027년 2월 1일부터, 구글은 2027년 초부터 이 토큰을 기존 Google-Extended 설정에 대응시켜 반영할 계획이라고 한다. 오픈AI는 구체적인 날짜 없이 향후 몇 달 안이라고만 밝힌 것으로 전해졌다. 지금 robots.txt에 이 줄을 추가해도 특정 회사에는 아직 적용되지 않을 수 있다는 뜻이다.

이 설정이 검색 인용까지 막아주나?

아니다. 앤트로픽 고객센터 문서는 이 신호가 크롤링 자체를 막는 것이 아니라 학습에 쓸지 말지를 알리는 설정이라고 분명히 구분한다. 같은 문서는 robots.txt에 ClaudeBot을 직접 지목한 규칙이 있으면 그 규칙이 공통 신호보다 먼저 적용된다고도 설명한다. 검색·인용에 쓰이는 크롤러(Claude-SearchBot, Claude-User 등)는 이 토큰과 무관하게 따로 robots.txt 규칙을 둬야 막거나 열 수 있다.

학습 거부와 검색 인용 차단은 다른 설정이다. __usage_ai-training 한 줄을 추가했다고 해서 ChatGPT·Claude·제미나이의 답변에서 사이트 인용이 멈추는 것은 아니다.

정리

오픈AI·구글·마이크로소프트·앤트로픽은 robots.txt 안에서 AI 학습 거부를 나타내는 공통 토큰 __usage_ai-training 을 받아들이기로 했다. 앤트로픽은 10월 30일부터 이미 적용 중이며 나머지 세 회사는 2027년 이후로 시점이 나뉜다. 이 신호는 학습 이용에만 적용되고, 검색·인용 노출을 막거나 열려면 ClaudeBot·Claude-SearchBot 같은 개별 크롤러 규칙을 별도로 유지해야 한다.

Q & A

자주 묻는 질문

__usage_ai-training 한 줄만 추가하면 모든 AI 회사가 학습을 멈추나요?
아닙니다. 지금 이 신호를 실제로 반영한 곳은 앤트로픽뿐이라고 알려져 있습니다. 마이크로소프트는 2027년 2월 1일부터, 구글은 2027년 초부터, 오픈AI는 구체적 일정 없이 추후 반영한다고 전해져 회사별로 적용 시점이 다릅니다.
기존에 ClaudeBot이나 GPTBot을 따로 막아둔 규칙은 지워도 되나요?
지우지 않는 것이 안전합니다. 앤트로픽 고객센터 문서는 특정 크롤러 이름을 지목한 규칙이 공통 신호보다 먼저 적용된다고 설명합니다. 두 규칙을 함께 두면 더 구체적인 쪽이 적용되므로 기존 규칙과 새 토큰을 모두 남겨 두는 편이 안전합니다.
이 신호를 걸면 검색 결과나 AI 답변에서 우리 사이트가 빠지나요?
아닙니다. 이 신호는 모델 학습에 콘텐츠를 쓸지 여부만 다룹니다. ChatGPT·Claude 같은 서비스가 답변 중 사이트를 인용하거나 검색에 노출하는 것은 Claude-SearchBot·OAI-SearchBot 같은 별도 크롤러 규칙으로 따로 관리해야 합니다.
이 토큰이 법적으로 AI 학습을 금지하는 효력을 갖나요?
아닙니다. 이 신호는 IETF에 올라온 개인 제안 문서(인터넷 드래프트) 단계이며, 해당 초안도 이 신호가 선호를 나타낼 뿐 강제 집행 수단은 아니라고 설명합니다. 별도의 계약이 있다면 그 계약이 이 신호보다 우선할 수 있습니다.

← 저널 목록으로