웹 봇 인증 표준, IETF가 9월 1일 채택 — 크롤러 신원 확인은 인용에 도움될까?

IETF 웹봇인증(webbotauth) 워킹그룹은 2026년 9월 1일, 크롤러가 자신의 신원을 암호학적으로 증명하는 프로토콜(draft-ietf-webbotauth-httpsig-protocol-00)을 워킹그룹 문서로 채택했습니다. robots.txt는 크롤러가 스스로 신고한 User-Agent를 그대로 믿는 방식이라 신원을 증명하지 못합니다. 이 표준은 요청 자체에 서명을 붙여 그 한계를 메우려는 시도입니다.

이 표준은 정확히 무엇을 검증하나요?

자동화된 클라이언트가 자신의 개인키로 HTTP 요청에 서명하고, 사이트 운영자는 그 클라이언트 운영사가 공개한 well-known 디렉터리에서 공개키를 가져와 서명을 검증하는 구조입니다. 기반이 되는 RFC 9421(HTTP Message Signatures)은 2026년이 아니라 2024년 2월 이미 IETF 정식 표준으로 제정되어 있었고, 이번에 채택된 문서는 그 서명 방식을 자동화 트래픽(크롤러·AI 에이전트)에 맞게 프로파일링한 것입니다.

표준화는 지금 어느 단계까지 왔나요?

2026년 9월 1일 워킹그룹이 채택한 것은 아직 인터넷 초안(Internet-Draft)이지 정식 RFC가 아닙니다. 워킹그룹 채택은 '이 문서를 표준 트랙 후보로 다루겠다'는 절차상의 합의이고, 세부 조항은 RFC 발행 전까지 계속 바뀔 수 있습니다. 그런데도 이 시점이 의미가 있는 이유는, 표준화가 끝나기도 전에 이미 상용 서비스에서 이 방식을 쓰고 있기 때문입니다.

표준이 확정되지도 않았는데 왜 이미 쓰이나요?

Cloudflare는 AI 크롤러 기본 차단 정책을 시작한 것과 같은 시기에 자사 Verified Bots Program에 이 서명 검증 방식을 넣어, 서명이 확인된 크롤러만 별도로 신뢰하도록 운영해 왔다고 알려져 있습니다. Anthropic Claude, OpenAI ChatGPT, Perplexity, Common Crawl 등의 크롤러가 이 방식으로 서명된 요청을 보내는 것으로 보도됐습니다. 표준 문서가 초안 단계에 머물러 있는 사이, 인프라 업체가 먼저 구현을 배포하고 나중에 표준을 따라잡는 순서로 진행된 셈입니다.

GEO 관점에서 왜 이 변화를 봐야 하나요?

GEO의 크롤러 접근 점검은 지금까지 '어떤 User-Agent를 허용·차단했는가'에 머물러 있었습니다. 그런데 User-Agent 문자열은 누구나 그대로 흉내 낼 수 있어, 로그에 찍힌 방문자가 실제로 ChatGPT나 Perplexity의 인용용 크롤러인지 스스로는 확인할 수 없었습니다. 서명 검증이 자리 잡으면, 접속 로그에서 '서명이 확인된 진짜 인용 크롤러 방문'과 '이름만 흉내 낸 방문'을 구분할 수 있게 되어, 인용 추적의 신뢰도가 지금보다 높아질 여지가 생깁니다.

아직은 초안 단계이므로 규칙을 새로 짤 단계는 아닙니다. 지금 할 수 있는 것은 Cloudflare 등 이미 쓰고 있는 CDN·WAF에 서명 검증 옵션이 있는지 확인해 두는 정도입니다.

정리하면, IETF는 2026년 9월 1일 크롤러 서명 검증 프로토콜을 워킹그룹 문서로 채택했지만 아직 정식 RFC는 아닙니다. 기반이 되는 RFC 9421 자체는 2024년 2월부터 있었고, Cloudflare 등 일부 인프라는 표준 확정 전부터 이미 서명 검증을 상용 서비스로 제공 중입니다. robots.txt가 해결하지 못하는 '이 크롤러가 정말 그 회사가 맞는가'라는 신원 문제를 다루는 흐름이므로, 클라우드플레어 AI 크롤러 기본값 변경이나 크롤러 User-Agent 관리를 이미 점검해 온 사이트라면 다음 점검 항목으로 함께 추적해 둘 만합니다. AI 크롤러 접근 전략을 폭넓게 정리하려면 AI 검색 최적화(GEO) 관점에서 함께 살펴볼 수 있습니다.

자주 묻는 질문

웹 봇 인증(Web Bot Auth)이 정확히 뭔가요?

자동화된 클라이언트(크롤러·AI 에이전트)가 자신의 개인키로 요청에 서명하고, 사이트 운영자는 그 클라이언트 운영사가 공개한 well-known 디렉터리에서 공개키를 가져와 서명을 검증하는 방식입니다. User-Agent 문자열을 그대로 믿는 대신, 암호 서명으로 '이 요청이 정말 그 회사의 크롤러가 보낸 것인지'를 확인합니다.

RFC 9421과는 무슨 관계인가요?

RFC 9421(HTTP Message Signatures)은 2024년 2월 제정된 IETF 표준으로, HTTP 메시지 일부에 디지털 서명을 만들고 검증하는 일반적인 방법을 정의합니다. IETF webbotauth 워킹그룹은 이 RFC 9421을 자동화 트래픽에 맞게 프로파일링한 프로토콜을 2026년 9월 1일 워킹그룹 문서(draft-ietf-webbotauth-httpsig-protocol-00)로 채택했습니다. 아직 정식 RFC는 아니고 진행 중인 인터넷 초안 단계입니다.

지금 robots.txt 규칙을 당장 바꿔야 하나요?

아닙니다. 아직 워킹그룹 초안 단계이고 정식 RFC로 확정되지 않았으므로, robots.txt나 크롤러 차단 규칙을 지금 바꿀 필요는 없습니다. 다만 Cloudflare 같은 CDN·WAF를 쓰고 있다면 이미 제공 중인 서명 검증 기능이 켜져 있는지 확인해 두는 정도가 지금 단계에서 할 수 있는 실무 준비입니다.

Cloudflare를 안 쓰는 사이트는 이 표준과 상관없나요?

표준 자체는 특정 벤더에 종속되지 않습니다. 다만 현재 실제 서명 검증을 상용 서비스로 제공하는 곳은 Cloudflare 등 일부 CDN·봇 관리 업체이므로, 이런 서비스를 쓰지 않는 사이트는 표준이 RFC로 확정되고 더 많은 인프라 업체가 지원할 때까지는 체감할 변화가 크지 않습니다.