서치콘솔 크롤링 통계에 AI 크롤러가 안 잡힌다 — 그럼 뭘로 확인하나?

서치콘솔의 크롤링 통계 보고서는 최근 90일간 Googlebot의 활동만 집계할 뿐, AI 모델 학습에 쓰이는 Google-Extended 크롤러는 별도로 잡지 않습니다. 검색 노출을 점검하듯 이 보고서만 보고 "AI 크롤러도 잘 오고 있다"고 판단하면 실제 방문 여부와 다른 결론을 내리기 쉽습니다. AI 검색 노출을 준비하는 사이트라면 이 보고서가 무엇을 보여주고 무엇을 보여주지 않는지부터 구분해야 합니다.

크롤링 통계 보고서는 정확히 무엇을 보여주나

서치콘솔 고객센터 설명에 따르면 크롤링 통계 보고서는 최근 90일간 사이트에서 발생한 Googlebot 활동을 CSS, 자바스크립트, PDF, 이미지 등 구글이 내려받은 모든 콘텐츠 유형 기준으로 집계합니다. 요청은 크롤 목적별로 신규 URL을 처음 찾아낸 디스커버리와 이미 아는 페이지를 다시 확인한 리프레시로 나뉘고, 에이전트 유형도 Googlebot 스마트폰·데스크톱, 이미지, 동영상, 뉴스, AdsBot, StoreBot, 기타로 세분화됩니다.

Google-Extended는 왜 이 목록에 없나

검색 전문 매체 서치엔진랜드의 보도에 따르면 크롤링 통계 보고서의 집계 대상은 검색용 Googlebot과 그 하위 크롤러로 한정돼 있고, 제미나이 같은 AI 모델 학습에 쓰는 별도 크롤러 Google-Extended는 이 집계에 포함되지 않습니다. 보고서의 에이전트 유형 구분 자체가 검색 크롤링 체계를 기준으로 설계돼 있어, Google-Extended 활동이 늘거나 줄어도 보고서 수치에는 반영되지 않습니다.

AI 크롤러 방문은 그럼 어디서 확인하나

Google-Extended를 포함한 AI 크롤러의 실제 방문 여부는 서버 접근 로그를 직접 열어 User-Agent 문자열을 대조하는 방법이 지금으로선 가장 확실합니다. 서치콘솔 화면만 보고 AI 크롤러 유입을 판단할 수 없는 이유가 여기에 있습니다.

지금 무엇부터 점검해야 하나

• robots.txt에 Google-Extended User-agent 토큰이 실수로 검색용 Googlebot 규칙과 섞여 있지 않은지 확인합니다.
• 서버 로그 보관 기간이 90일보다 짧다면, 크롤링 통계 보고서가 다루지 못하는 장기 추세를 놓칠 수 있으니 보관 기간을 늘립니다.
• AI 크롤러 접근을 허용할지 차단할지는 검색 색인 전략과 별개로, 콘텐츠 노출 전략에 맞춰 따로 판단합니다.

정리하면, 서치콘솔 크롤링 통계 보고서는 최근 90일간 검색용 Googlebot 활동만 목적·에이전트 유형별로 보여줄 뿐, Google-Extended 같은 AI 학습 크롤러는 집계 대상이 아닙니다. AI 크롤러의 실제 방문 여부는 서버 로그의 User-Agent를 직접 대조해 확인해야 하며, robots.txt에서는 두 크롤러를 서로 다른 토큰으로 분리해 제어할 수 있습니다.