GEO / 생성형 엔진 최적화
구글 AI 검색 가이드와 크롬 라이트하우스: llms.txt를 보는 기준이 다르다
구글은 자사 검색의 AI 개요·AI 모드에는 llms.txt 파일이 필요 없다고 공식 가이드에 명시했다. 그런데 같은 회사의 크롬 개발자 도구 라이트하우스는 이 파일의 존재 여부를 점검하는 감사 항목을 두고 있다. 두 발표는 서로 다른 목적을 겨눈 것이어서, llms.txt를 만들지 말지는 "구글 검색 노출"과 "에이전트 브라우징 대응" 중 무엇을 노리느냐로 나눠 판단해야 한다.
구글 검색 가이드는 llms.txt를 뭐라고 했나?
구글 서치 센트럴은 2026년 5월 15일 "Optimising your website for generative AI features on Google Search" 가이드를 처음 공개했다. 가이드의 "Mythbusting generative AI search" 절은 llms.txt 파일 만들기, 콘텐츠를 작은 단위로 쪼개는 청킹, 인위적인 언급·인용 만들기를 "노출에 필요 없는 작업"으로 함께 묶었다. 구글 검색은 기계판독용 파일이나 AI 전용 텍스트, 별도 마크업·마크다운을 가시성 판단 근거로 쓰지 않고, 파일을 추가하거나 지워도 순위에 득도 실도 없다고 밝혔다.
이 입장은 다른 AI 서비스에도 적용되나?
이후 보도에 따르면 이 문구가 가리키는 범위는 "구글 검색(생성형 AI 기능 포함)"으로 좁혀졌다. 즉 챗GPT 검색, 퍼플렉시티, 클로드처럼 구글이 운영하지 않는 다른 AI 서비스가 llms.txt를 어떻게 쓸지는 이 가이드가 답하는 질문이 아니다. 구글 검색 노출만을 목표로 한다면 이 파일을 새로 만들 이유가 없다는 뜻으로 읽어야 한다.
크롬 라이트하우스는 왜 같은 파일을 감사하나?
구글 가이드가 나온 것과 가까운 시점에, 크롬 개발자 도구 라이트하우스는 13.3.0 버전부터 "Agentic Browsing"(에이전트 브라우징) 카테고리를 새로 넣었다. 이 카테고리에 포함된 감사 항목 중 하나가 llms.txt 파일의 존재와 구조를 확인한다. 라이트하우스 쪽은 이 카테고리 자체를 "아직 개발 중이며 바뀔 수 있다"고 표시해 두었다. 검색 랭킹을 매기는 기준과 브라우저 안에서 동작하는 AI 에이전트를 돕는 기준이, 같은 회사 안에서도 다르게 움직이는 셈이다.
라이트하우스 감사는 정확히 뭘 확인하나?
이 감사는 먼저 llms.txt 파일이 404로 응답하는지를 본다. 404면 "해당 없음"으로 처리해 통과시킨다. 파일이 있다면 H1 헤더가 있는지, 내용이 지나치게 짧지 않은지, 링크가 최소 1개 있는지를 확인한다. 세 조건 중 하나라도 빠지면 감사가 실패로 표시된다. 파일을 만들어 올려 두기만 해서는 통과하지 못하고, 사람이 읽어도 뜻이 통하는 최소한의 구조를 갖춰야 한다는 뜻이다.
그래서 지금 뭘 기준으로 결정해야 하나?
목적이 구글 검색 노출이나 AI 개요 인용이라면 llms.txt를 새로 만들 이유가 없다. 구글이 가이드에서 "필요 없다"고 직접 밝혔고, 있어도 없어도 순위가 달라지지 않는다고 못 박았기 때문이다. 반대로 목적이 크롬에서 동작하는 AI 에이전트가 사이트를 더 잘 읽게 하는 것이라면, 라이트하우스 기준에 맞춰 H1 헤더와 충분한 분량, 링크 하나 이상을 갖춘 파일을 둘 이유가 있다. 두 목적을 하나의 작업으로 뭉쳐 판단하면 어느 한쪽 결정이 틀어진다.
정리
구글은 2026년 5월 15일 공개한 가이드에서 구글 검색과 그 안의 AI 개요·AI 모드에는 llms.txt가 필요 없다고 밝혔고, 이 범위는 구글 검색으로 한정된다. 반면 같은 시기 크롬 라이트하우스는 13.3.0 버전부터 에이전트 브라우징 감사에 이 파일을 포함시켰다. 두 발표를 하나의 결론으로 묶지 말고, 노리는 목적이 검색 노출인지 에이전트 대응인지에 따라 따로 판단해야 한다.
Q & A