GEO / 생성형 엔진 최적화
llms.txt, W3C 표준화 시작됐는데 크롤러는 왜 안 읽나
World Wide Web Consortium(W3C)이 2026년 6월 16일 llms.txt를 정식 웹 표준으로 만들기 위한 워킹 드래프트를 공개하고 90일간의 의견 수렴 절차에 들어갔습니다. 그런데 비슷한 시기 공개된 조사에서는 AI 검색 크롤러가 이 파일을 거의 읽지 않는다는 결과가 나왔습니다. 표준화 움직임과 실제 크롤러 행동 사이에 간극이 벌어지고 있는 셈입니다.
W3C가 llms.txt를 표준으로 만들려는 이유는 무엇일까
llms.txt는 2024년 Answer.AI 진영이 제안한 비공식 관행으로 출발했습니다. 사이트 루트에 마크다운 파일을 두고 AI 모델이 참고할 핵심 콘텐츠 목록을 요약해 전달하자는 취지였지만, 파일 위치와 서식이 사이트마다 제각각이었습니다. 이번 W3C 초안은 파일 위치를 도메인 루트로 고정해 하위 경로 변형을 허용하지 않고, 크롤러가 규격 호환 여부를 판단할 수 있도록 버전 헤더 줄을 도입했으며, 파서가 일관되게 처리할 수 있도록 본문 서식을 엄격한 마크다운 하위 집합으로 제한합니다.
그런데 AI 크롤러는 llms.txt를 실제로 읽고 있을까
SEO 도구 기업 Ahrefs가 13만7천여 개 사이트의 llms.txt 접근 로그를 분석한 결과를 최근 공개했습니다. 이 조사에 따르면 발행된 llms.txt 파일 가운데 97%는 AI 크롤러 요청을 단 한 번도 받지 못했습니다. OAI-SearchBot·PerplexityBot·ClaudeBot 계열 크롤러가 사이트를 방문하더라도, 이 파일을 따로 가져가기보다 페이지 HTML을 직접 읽는 방식이 여전히 우세하다는 뜻입니다.
그런데도 채택률은 왜 늘고 있을까
Cloudflare Radar가 2026년 6월 기준으로 집계한 자료에 따르면 전 세계 상위 10만 개 사이트 가운데 llms.txt 파일을 게시한 비율은 14%로, 1년 전의 2%에서 늘었습니다. 크롤러가 실제로 읽는 비율은 낮지만, 사이트 운영자 입장에서는 파일 하나를 추가하는 비용이 작고 향후 표준이 확정되면 뒤늦게 대응하는 부담이 크다는 판단이 채택률 상승으로 이어지고 있는 것으로 보입니다.
그럼 지금 무엇부터 손봐야 할까
검색 크롤러가 실제로 읽고 인용 근거로 삼는 대상은 페이지 본문입니다. 질문형 소제목, 문단 하나에 논지 하나만 담아 문맥 없이도 뜻이 통하는 문장, 화면에 보이는 내용과 동일한 FAQ 구조를 먼저 정리하는 쪽이 우선순위가 높습니다. llms.txt는 W3C 초안이 요구하는 루트 위치와 버전 헤더만 지켜 최소한으로 갖춰 두고, 본문 손질에 남은 자원을 먼저 쓰는 순서를 권합니다.
| 항목 | 현재 크롤러 반영 | 권장 우선순위 |
|---|---|---|
| 본문 질문형 소제목·FAQ | 검색 크롤러가 직접 읽고 인용 | 높음 |
| llms.txt 파일 | 97%가 요청을 받지 못함 | 낮음(최소 요건만) |
| W3C 표준 확정 이후 대응 | 아직 90일 의견수렴 단계 | 확정 시점에 재점검 |
정리하면, W3C가 2026년 6월 16일 llms.txt 표준화 초안을 내고 90일 의견수렴에 들어갔지만, Ahrefs 조사에서는 발행된 llms.txt 파일의 97%가 AI 크롤러 요청을 받지 못한 것으로 나타났습니다. 반면 Cloudflare Radar 집계로는 상위 10만 개 사이트의 채택률이 1년 만에 2%에서 14%로 늘었습니다. 표준이 확정되기 전까지는 llms.txt에 콘텐츠 작업 자원을 크게 배정하기보다, 크롤러가 실제로 읽는 본문 구조를 먼저 정리하는 편이 인용 확률을 높이는 데 더 유리합니다.
Q & A