SEO / 검색 엔진 최적화
구글 크롤 예산 문서 개편 — 이제 무엇이 달라졌나?
네, 달라졌습니다. 구글이 2026년 7월 22일 '크롤 예산 최적화' 문서를 새로 만든 크롤링 인프라(Crawling Infrastructure) 섹션으로 옮기며 내용을 고쳤습니다. 핵심은 두 가지입니다. 모든 사이트가 처음에는 같은 보수적인 크롤 용량 한도에서 시작하고, 이 한도는 사이트 하나가 아니라 구글의 크롤러 전체가 나눠 쓴다는 점입니다.
크롤 용량 한도가 왜 '보수적 기본값'으로 바뀌었나?
개정 전 문서는 사이트별 크롤 용량이 서버 응답 속도와 콘텐츠 품질 신호에 따라 정해진다는 설명에 그쳤습니다. 새 문서는 여기에 순서를 하나 더 넣었습니다. 신규 사이트든 기존 사이트든 일단 동일한 보수적 한도에서 크롤링을 시작하고, 크롤 수요가 있고 사이트가 안정적으로 응답하는 상태가 이어질 때만 구글 시스템이 그 한도를 서서히 끌어올린다는 것입니다. 즉 초기 크롤량이 적다고 해서 반드시 콘텐츠 품질 문제가 있다는 신호는 아닙니다.
크롤 용량을 여러 크롤러가 나눠 쓴다는 것은 무슨 뜻인가?
구글은 이미지 크롤러, 모바일 크롤러 등 목적이 다른 여러 크롤러를 운용합니다. 새 문서는 이 크롤러들이 각각 별도의 한도를 갖는 것이 아니라, 사이트 하나에 대해 단일한 크롤 용량 한도를 공유한다고 명시했습니다. 즉 한 크롤러의 요청이 몰리면 같은 시간대 다른 크롤러가 가져갈 수 있는 몫이 줄어듭니다. 여러 크롤러의 요청 로그를 합산해서 봐야 실제 여유분을 가늠할 수 있다는 뜻입니다.
304 응답을 쓰라는 안내는 왜 새로 들어갔나?
새 문서는 페이지 내용이 마지막 크롤 이후 바뀌지 않았다면 HTTP 304(Not Modified) 응답을 반환하라고 권고합니다. 304를 받으면 구글은 캐시된 버전을 그대로 재사용하기 때문에, 서버가 매번 전체 페이지를 새로 만들어 보낼 필요가 없습니다. 변경이 잦지 않은 상품 상세·아카이브 페이지가 많은 사이트일수록 이 설정으로 아낀 용량을 다른 페이지 크롤링에 돌릴 여지가 커집니다.
| 항목 | 개정 전 문서 | 개정 후 문서(2026.7.22) |
|---|---|---|
| 초기 크롤 용량 | 사이트별 신호로 결정 | 모든 사이트 동일한 보수적 기본값에서 시작 |
| 크롤러별 한도 | 별도 언급 없음 | 전체 크롤러가 단일 한도 공유 |
| 304 활용 | 언급 없음 | 대역폭 절감 방법으로 명시 권고 |
| 문서 위치 | 기존 서치 센트럴 문서 | 크롤링 인프라 섹션으로 이동 |
지금 당장 무엇을 점검해야 하나?
- 서치 콘솔 크롤 통계 보고서에서 크롤러별 요청 수와 응답 시간을 나눠서 확인합니다.
- 자주 바뀌지 않는 페이지 그룹에 실제로 304 응답이 나가고 있는지 서버 로그로 점검합니다.
- 신규 페이지는 서버 오류 없이 안정적으로 응답하고 있다면, 초기 크롤 속도가 느려도 시간을 두고 지켜봅니다.
정리하면, 구글은 2026년 7월 22일 크롤 예산 문서를 크롤링 인프라 섹션으로 옮기며 두 가지를 명확히 했습니다. 모든 사이트는 같은 보수적 기본값에서 크롤링을 시작하며, 그 한도는 사이트가 아니라 크롤러 전체가 나눠 씁니다. 새로 추가된 304 응답 권고는 변경 없는 페이지의 재크롤 비용을 줄이는 구체적 방법입니다. 크롤 속도가 더디다고 바로 콘텐츠 품질을 의심하기보다, 크롤러별 요청 로그와 304 응답 여부부터 확인하는 것이 순서입니다.
Q & A