GEO / 생성형 엔진 최적화
AI 크롤러 차단율 두 배 됐다 — robots.txt 허용해도 왜 막히나?
robots.txt에서 AI 크롤러를 허용해도 실제 접근은 보장되지 않습니다. AI 가시성 업체 Zen Media가 2026년 10월 9일 공개한 분석에 따르면 클라우드플레어 네트워크에서 AI 봇 요청에 대한 접근 거부율이 2026년 3분기 13.47%로 집계돼, 1년 전 같은 기간(5.98%)보다 두 배 넘게 늘었습니다. 이 수치는 TechnologyChecker.io가 클라우드플레어 레이더 데이터를 분석한 잠정치입니다.
robots.txt 허용과 실제 접근은 왜 다른가?
robots.txt는 크롤러가 스스로 지키기로 약속한 규칙을 적어두는 파일입니다. 강제력이 없고, 그 파일을 지키지 않는 크롤러를 물리적으로 막지는 못합니다. 실제 차단은 그보다 아래 단계 — 웹서버 설정, 방화벽(WAF), CDN의 봇 관리 규칙 — 에서 일어납니다. robots.txt에서 분명히 허용했어도 이 단계들 중 하나가 해당 크롤러의 user-agent나 IP 대역을 걸러내면 요청은 끝내 사이트에 도달하지 못합니다.
차단율이 정말 두 배로 늘었나?
해당 분석은 클라우드플레어 네트워크 전역에서 AI 봇으로 식별된 요청 가운데 접근 거부(403 등) 응답을 받은 비율을 집계했습니다. 1년 사이 이 비율은 다음과 같이 바뀌었습니다.
| 구분 | 2025년 3분기 | 2026년 3분기 |
|---|---|---|
| AI 봇 요청 접근 거부율 | 5.98% | 13.47% |
이 수치는 TechnologyChecker.io가 공개 데이터를 바탕으로 낸 잠정 분석이며, 클라우드플레어가 직접 발표한 공식 통계는 아닙니다. 다만 차단이 늘고 있다는 방향성 자체는 같은 업체가 앞서 낸 월별 리포트에서도 반복적으로 관찰됐습니다.
학습용 크롤링과 검색형 크롤링, 뭐가 더 중요해졌나?
같은 분석은 AI 크롤링을 두 갈래로 나눠 봤습니다. 하나는 GPTBot처럼 모델 학습을 위해 웹 전반을 수집하는 크롤링이고, 다른 하나는 OAI-SearchBot·PerplexityBot처럼 사용자의 질문에 답하기 위해 그 순간 페이지를 가져오는 검색·사용자 트리거형 크롤링입니다. 후자가 전체 AI 크롤링 활동에서 차지하는 비중은 2026년 2분기 6.51%에서 3분기 11.92%로 늘었습니다. 검색형 크롤링이 막히면 그 자리에서 답변에 인용될 기회를 바로 잃기 때문에, 학습용 크롤링 차단보다 체감 영향이 더 직접적입니다.
지금 뭘 확인해야 하나?
- robots.txt 검사기 결과만 보지 말고, 서버 접근 로그에서 GPTBot·OAI-SearchBot·PerplexityBot·ClaudeBot 등 주요 AI 크롤러의 user-agent와 응답 코드(200·403·429)를 직접 확인합니다.
- CDN·방화벽(WAF)의 봇 관리 규칙에서 AI 크롤러를 일괄 차단하는 기본값이 켜져 있는지 점검합니다. 기본값이 바뀌어도 알림 없이 적용되는 경우가 있습니다.
- AI 답변 노출(AI 가시성) 점검을 하기 전에 먼저 크롤러 접근 여부를 확인합니다. 접근이 막혀 있으면 콘텐츠를 아무리 손봐도 인용될 수 없습니다.
정리
robots.txt에서 AI 크롤러를 허용하는 것과 그 크롤러가 실제로 사이트에 접근하는 것은 별개입니다. Zen Media가 공개한 분석에 따르면 2026년 3분기 클라우드플레어 네트워크의 AI 봇 접근 거부율은 13.47%로 1년 전(5.98%)보다 두 배 넘게 늘었고, 검색·사용자 트리거형 크롤링의 비중도 2분기 6.51%에서 3분기 11.92%로 커졌습니다. GEO 점검은 콘텐츠 구조를 다듬기 전에 서버 로그로 크롤러 접근 여부부터 확인하는 데서 시작해야 합니다.
Q & A