GEO / 생성형 엔진 최적화
클라우드플레어 AI 크롤러 기본값, 9월 15일부터 바뀐다 — GEO는 뭘 보나?
네, 클라우드플레어는 2026년 9월 15일부터 광고가 붙은 페이지에서 검색용 크롤러는 그대로 허용하고, 학습·에이전트용 크롤러는 기본으로 차단합니다. 적용 대상은 신규 가입 고객, 기존 고객이 새로 만드는 사이트, 그리고 기존 무료 요금제 전체입니다. 검색과 학습 기능을 한 크롤러에 섞어 보내면서 요청마다 목적을 구분하지 않는 봇은 광고 페이지에서 통째로 막힙니다.
무엇이 어떻게 바뀌나?
클라우드플레어는 AI 봇 트래픽을 검색 색인, 에이전트 이용, 모델 학습 세 범주로 나눕니다. 광고가 붙은 페이지 — 퍼블리셔 콘텐츠 대부분이 여기 해당합니다 — 에서는 9월 15일부터 검색 색인용 요청만 기본으로 통과시키고, 학습·에이전트용 요청은 기본으로 막습니다. 세 범주를 구분해 보내지 않는 크롤러는 해당 페이지에서 아예 차단됩니다.
어느 사이트가 새 기본값을 그대로 받나?
새로 가입하는 클라우드플레어 고객, 기존 고객이 새로 만드는 사이트, 그리고 기존 무료 요금제 사이트 전체가 새 기본값을 자동으로 적용받습니다. 이미 유료 요금제를 쓰던 기존 고객은 현재 설정이 그대로 유지되며, 대시보드의 AI Crawl Control 메뉴에서 새 기본값을 직접 켜거나 특정 크롤러만 예외로 다시 허용할 수 있습니다.
왜 검색과 학습을 나눠서 다뤄야 하나?
구글·마이크로소프트·애플처럼 검색 색인과 AI 학습·에이전트 기능을 한 크롤러에 묶어 보내는 사업자가 있어, 사이트 운영자가 robots.txt 한 줄로는 '검색 노출은 유지하되 학습만 막는' 선택을 할 수 없었습니다. 클라우드플레어는 요청 단위로 목적을 구분하지 않는 크롤러를 광고 페이지에서 먼저 막아, 목적별 구분을 사실상 요구하는 방향을 택했습니다.
| 범주 | 광고 페이지 기본값(9월 15일부터) | 해당 예 |
|---|---|---|
| 검색 색인 | 허용 | 목적을 구분해 보내는 검색 전용 크롤러 |
| 에이전트 이용 | 차단 | 이용자 요청으로 실시간 페이지를 가져오는 에이전트형 크롤러 |
| 모델 학습 | 차단 | 학습 데이터 수집용 크롤러 |
| 목적 미구분(혼합형) | 차단 | 세 기능을 한 크롤러로 보내며 요청별 목적을 밝히지 않는 봇 |
GEO 관점에서는 무엇을 먼저 점검해야 하나?
학습용 트래픽이 막혀도 실시간 검색·인용용 크롤러가 별도로 허용되어 있다면 ChatGPT·퍼플렉시티 답변에 인용되는 경로는 그대로 유지됩니다. 문제는 검색과 학습을 나누지 않는 봇입니다. 클라우드플레어를 쓰는 사이트라면 9월 15일 전에 AI Crawl Control 대시보드에서 크롤러별 허용 목록을 직접 확인해, 원하는 검색·인용 봇까지 함께 막히지는 않는지 점검해야 합니다.
Q & A