GEO / 생성형 엔진 최적화
오픈AI·구글·MS·앤트로픽, robots.txt 학습거부신호 하나로 합쳤다
오픈AI·구글·마이크로소프트·앤트로픽 네 회사가 AI 학습을 거부하는 신호를 robots.txt 안에서 하나의 표준 문구로 합치기로 했다. 앤트로픽은 2026년 10월 30일부터 이 신호를 실제로 받아들이기 시작했다고 자사 고객센터 문서에서 밝혔다. 신호의 이름은 __usage_ai-training 토큰이며, 사이트 운영자는 robots.txt에 한 줄만 추가하면 네 회사 모두에 같은 의미로 전달하는 것을 목표로 한다.
무엇이 합의됐나?
IETF(국제인터넷표준화기구)에 제출된 인터넷 드래프트(draft-kelley-aipref-training-preference-signal-00)는 앤트로픽 소속 저자가 제안한 문서로, robots.txt에 __usage_ai-training 이라는 사용자 에이전트 이름을 적고 그 아래 Disallow 규칙을 쓰면 '이 콘텐츠를 AI 학습에 쓰지 말라'는 뜻으로 읽히도록 정의한다. 외신 보도에 따르면 오픈AI·구글·마이크로소프트·앤트로픽 네 회사가 이 초안을 공통 신호로 받아들이겠다고 밝혔다.
robots.txt에 어떻게 적어야 하나?
제안된 형식은 간단하다. 사이트 전체의 학습 이용을 거부하려면 User-Agent 줄에 __usage_ai-training 을 쓰고 그 아래 Disallow: / 를 적는다. 기존에 ClaudeBot·GPTBot처럼 특정 크롤러 이름만 적어 막아 온 사이트라면, 그 규칙은 지우지 않고 그대로 둔 채 이 공통 토큰을 별도 그룹으로 추가해야 두 방식이 함께 적용된다.
| 회사 | 적용 시점(보도 기준) |
|---|---|
| 앤트로픽 | 2026년 10월 30일부터 이미 적용 |
| 마이크로소프트 | 2027년 2월 1일부터 |
| 구글 | 2027년 초, 기존 Google-Extended 설정에 대응 |
| 오픈AI | 구체적 날짜 없이 '향후 몇 달 내' |
네 회사가 같은 시점에 적용하나?
적용 시점은 회사마다 다르다. 앤트로픽은 10월 30일부터 이미 반영했다고 밝혔고, 외신 보도를 종합하면 마이크로소프트는 2027년 2월 1일부터, 구글은 2027년 초부터 이 토큰을 기존 Google-Extended 설정에 대응시켜 반영할 계획이라고 한다. 오픈AI는 구체적인 날짜 없이 향후 몇 달 안이라고만 밝힌 것으로 전해졌다. 지금 robots.txt에 이 줄을 추가해도 특정 회사에는 아직 적용되지 않을 수 있다는 뜻이다.
이 설정이 검색 인용까지 막아주나?
아니다. 앤트로픽 고객센터 문서는 이 신호가 크롤링 자체를 막는 것이 아니라 학습에 쓸지 말지를 알리는 설정이라고 분명히 구분한다. 같은 문서는 robots.txt에 ClaudeBot을 직접 지목한 규칙이 있으면 그 규칙이 공통 신호보다 먼저 적용된다고도 설명한다. 검색·인용에 쓰이는 크롤러(Claude-SearchBot, Claude-User 등)는 이 토큰과 무관하게 따로 robots.txt 규칙을 둬야 막거나 열 수 있다.
정리
오픈AI·구글·마이크로소프트·앤트로픽은 robots.txt 안에서 AI 학습 거부를 나타내는 공통 토큰 __usage_ai-training 을 받아들이기로 했다. 앤트로픽은 10월 30일부터 이미 적용 중이며 나머지 세 회사는 2027년 이후로 시점이 나뉜다. 이 신호는 학습 이용에만 적용되고, 검색·인용 노출을 막거나 열려면 ClaudeBot·Claude-SearchBot 같은 개별 크롤러 규칙을 별도로 유지해야 한다.
Q & A