GEO / 생성형 엔진 최적화
AI 에이전트 요청 1년 새 1,700% 늘었다 — 크롤러 접근 정책 다시 봐야 하나?
클라우드플레어가 자사 네트워크의 요청 데이터를 분석해 공개한 결과, AI 에이전트의 일일 요청량이 1년 새 1,700% 넘게 늘었다. 2026년 들어 처음으로 클라우드플레어를 지나는 트래픽 중 절반 이상이 사람이 아닌 자동화된 요청이었다. 크롤러를 막거나 열어주는 이분법만으로는 이 변화를 설명하기 어려워졌다는 뜻이다.
AI 에이전트 트래픽이 왜 갑자기 이렇게 늘었나?
2026년 9월 30일 클라우드플레어 블로그에 올라온 "The Internet has a second audience"(매튜 코로이 작성)에 따르면, 크롤러 요청 가운데 '훈련 목적'이라고 밝힌 비율이 2025년 봄 22%에서 2026년 6월 52%로 늘었다. 이 수치는 모델 학습용 수집뿐 아니라, 사용자의 질문에 답하기 위해 그 즉시 페이지를 불러가는 에이전트형 요청까지 함께 커졌다는 신호로 해석된다.
훈련용 크롤러와 에이전트 요청은 뭐가 다른가?
GPTBot 같은 훈련용 크롤러는 모델 학습 데이터를 모으려고 미리 사이트를 긁어간다. 반면 ChatGPT-User·Perplexity-User 같은 에이전트형 요청은 실제 사용자가 질문을 던진 순간, 그 사람을 대신해 그 즉시 해당 페이지를 불러온다. GEO 관점에서는 전자를 막는 설정으로 후자까지 함께 막으면, AI 답변에 실시간으로 인용될 기회 자체가 줄어든다는 점이 다르다.
허용·차단 이분법 대신 뭐가 생겼나?
같은 발표에서 클라우드플레어는 '모네타이제이션 게이트웨이(Monetization Gateway)'를 미국 고객 대상 비공개 베타로 공개했다. 사이트 운영자가 규칙을 정해두면, 조건에 맞는 에이전트 요청에 HTTP 402(Payment Required) 응답과 x402 프로토콜로 요청 단위 값을 매길 수 있다. 에이전트는 그 값을 지불한 뒤에야 콘텐츠를 받아간다. robots.txt 의 허용·차단 두 값만으로 답하던 접근 정책에 '유료 접근'이라는 선택지가 더해진 셈이다.
지금 당장 뭘 점검해야 하나?
- 서버 로그에서 GPTBot·PerplexityBot·ChatGPT-User·Perplexity-User 요청이 전체 트래픽의 몇 %인지 먼저 집계한다.
- robots.txt 가 훈련용 크롤러와 에이전트형 요청(답변 생성 과정에서 실시간으로 페이지를 불러가는 요청)을 구분해 허용하고 있는지 확인한다.
- AI 검색·AI 개요 인용을 원하는 페이지에 에이전트 요청까지 함께 막아 둔 설정이 남아 있지 않은지 다시 확인한다.
정리
클라우드플레어 집계에서 AI 에이전트 요청은 1년 새 1,700% 넘게 늘었고, 네트워크를 지나는 트래픽의 절반 이상을 자동화된 요청이 차지하는 시점에 들어섰다. 훈련용 크롤러와 실시간 에이전트 요청을 구분해 관리하는 것, 그리고 허용·차단 두 값만으로는 설명되지 않는 '유료 접근' 같은 선택지가 등장했다는 것이 이번 발표의 핵심이다. GEO 담당자는 robots.txt 설정을 훈련용과 에이전트용으로 나눠 다시 점검할 필요가 있다.
Q & A