OpenAI 크롤러 버전 문자열 바뀐다 — 정확히 고정한 차단 규칙은 안전한가?

그렇습니다. OpenAI가 2026년 7월 14일 크롤러 도움말 문서를 고쳐, User-Agent 문자열의 버전 번호가 앞으로 바뀔 수 있고 robots.txt 요청에 별도 마커가 붙을 수 있다고 명시했습니다. 크롤러의 실제 동작이 바뀐 것은 아니지만, 그동안 전체 문자열을 그대로 고정해 매칭해 온 규칙은 이 변경 하나로 오류 표시 없이 조용히 풀릴 수 있습니다.

OpenAI가 크롤러 문서에서 정확히 무엇을 밝혔나?

업데이트된 문서는 두 가지를 새로 명시했습니다. 첫째, OAI-SearchBot·GPTBot 같은 크롤러의 User-Agent 문자열에 들어가는 버전 번호는 향후 값이 바뀔 수 있다는 점입니다. 둘째, 크롤러가 robots.txt를 가져갈 때 요청에 별도의 마커가 추가로 붙을 수 있다는 점입니다. 검색엔진 뉴스 매체 서치엔진라운드테이블(Search Engine Roundtable)은 이를 두 가지 '명확화'로 보도했고, 크롤러 동작 자체가 바뀌었다는 발표는 아니라고 전했습니다.

왜 전체 문자열을 그대로 매칭한 규칙이 문제가 되나?

많은 사이트가 CDN 봇 관리 규칙이나 WAF, 크롤러 접속 로그 대시보드를 만들 때 User-Agent 문자열 전체를 그대로 조건에 넣어둡니다. 예를 들어 'OAI-SearchBot/1.2'처럼 버전 번호까지 포함한 문자열과 정확히 같을 때만 허용하거나 차단하도록 짠 규칙은, 버전 번호가 바뀌는 순간 더 이상 그 문자열을 인식하지 못합니다. 이때 에러가 뜨지 않는다는 점이 핵심입니다. 허용 목록은 조용히 허용을 멈추고, 접속 통계 대시보드에는 실제 차단이 아닌데도 방문이 뚝 끊긴 것처럼 보이는 그래프가 나타납니다.

그럼 지금 우리 사이트는 뭘 점검해야 하나?

CDN·WAF·로그 필터에 등록된 OpenAI 크롤러 규칙을 하나씩 열어, 조건이 버전 번호까지 포함한 전체 문자열로 걸려 있는지 확인해야 합니다. 이미 'OAI-SearchBot'·'GPTBot' 같은 크롤러 토큰만으로 매칭하고 있거나, OpenAI가 공개한 IP 대역을 기준으로 규칙을 짜뒀다면 이번 변경의 영향을 받지 않습니다. 반대로 버전 번호까지 정확히 일치해야 통과되는 규칙이 있다면, 토큰 기준 매칭으로 바꿔두는 편이 안전합니다.

robots.txt는 원래 크롤러 토큰만 쓰므로 그대로 두어도 된다
WAF·CDN 봇 관리 규칙은 버전 번호 포함 여부를 확인한다
크롤러 접속 로그·대시보드도 토큰 기준 필터로 다시 확인한다

GPTBot과 OAI-SearchBot, 왜 구분해서 봐야 하나?

GPTBot은 모델 학습에 쓰이는 크롤러이고, OAI-SearchBot은 ChatGPT 검색 결과와 답변 인용에 쓰이는 별도 크롤러입니다. GEO 관점에서는 학습용 크롤러 접근 허용 여부와 인용용 크롤러 접근 허용 여부를 다른 문제로 다뤄야 합니다. 두 크롤러를 문자열 단위까지 정확히 구분하지 못한 채 규칙을 짜면, 학습 크롤러만 막으려다 인용 크롤러까지 함께 막아 ChatGPT 검색 노출과 인용 기회를 놓칠 수 있습니다.

robots.txt는 크롤러 토큰만 쓰므로 영향이 없지만, WAF·CDN·로그 규칙에 버전 번호까지 정확히 매칭하도록 짜둔 조건이 있다면 지금 점검해야 합니다.

정리하면, OpenAI는 2026년 7월 14일 크롤러 User-Agent의 버전 번호가 바뀔 수 있고 robots.txt 요청에 마커가 붙을 수 있다고 문서에 명시했습니다. 크롤러 동작 자체는 바뀌지 않았지만, 버전 번호까지 포함한 전체 문자열을 그대로 매칭해 둔 규칙은 이 변경만으로 오류 없이 조용히 풀릴 수 있습니다. robots.txt는 영향이 없으나, WAF·CDN 봇 관리·접속 로그 규칙은 크롤러 토큰이나 OpenAI 공개 IP 대역 기준으로 다시 확인해야 합니다.

자주 묻는 질문

robots.txt에 OAI-SearchBot을 이미 허용해뒀으면 이번 발표로 바꿀 게 있나요?

robots.txt의 User-agent 줄은 원래 OAI-SearchBot·GPTBot 같은 크롤러 이름(토큰)만 씁니다. 이번에 문제가 되는 것은 robots.txt 문법 자체가 아니라, WAF·CDN 봇 관리·로그 필터에서 버전 번호까지 포함한 전체 User-Agent 문자열을 정확히 매칭하도록 짜둔 규칙입니다. robots.txt만 쓰고 있다면 영향이 없습니다.

버전 문자열이 정확히 언제 바뀌나요?

OpenAI는 교체 일정이나 다음 버전 번호를 공개하지 않았습니다. 문서에는 버전 번호가 바뀔 수 있다는 사실만 명시돼 있어, 언제든 예고 없이 바뀔 수 있다고 가정하고 규칙을 점검하는 편이 안전합니다.

크롤러 접근 로그에서 갑자기 방문이 줄어든 것처럼 보이면 뭘 의심해야 하나요?

실제로 차단됐거나 방문이 줄어든 것이 아니라, 버전 번호가 바뀌면서 기존 매칭 규칙이 더 이상 그 문자열을 인식하지 못해 집계에서 빠졌을 가능성이 있습니다. 크롤러 토큰이나 OpenAI가 공개한 IP 대역 기준으로 다시 집계해 실제 방문 여부를 확인해야 합니다.

GPTBot과 OAI-SearchBot을 다르게 다뤄야 하는 이유는 무엇인가요?

GPTBot은 모델 학습용 크롤러이고, OAI-SearchBot은 ChatGPT 검색 결과와 답변 인용에 쓰이는 별도 크롤러입니다. 두 크롤러를 문자열 단위까지 정확히 구분하지 못하면 학습 크롤러만 막으려다 인용 크롤러까지 함께 막거나, 반대로 다 열어두는 식으로 규칙이 흐트러지기 쉽습니다.