GEO / 생성형 엔진 최적화
AI 검색 크롤러 막는 스타트업, 569곳 중 3곳뿐이었다
AI 검색 크롤러를 robots.txt로 막아 둔 스타트업은 거의 없다. AI 가시성 업체 Elementera가 2026년 10월 7일 기준으로 수집한 Y Combinator 투자 스타트업 569곳의 robots.txt를 분석한 결과, OAI-SearchBot·PerplexityBot 같은 AI 검색 크롤러를 하나라도 막아 둔 곳은 3곳(0.5%)뿐이었다. 접근 차단이 드물다면, 사이트가 AI 답변에 인용되지 않는 이유는 로봇배제표준이 아닌 다른 데서 찾아야 한다.
이 조사는 무엇을 봤나?
Elementera는 소프트웨어·핀테크·개발자도구 분야의 Y Combinator 투자 스타트업 600곳을 무작위로 뽑아 robots.txt를 수집했다. 이 중 읽을 수 있던 569곳의 파일을 2026년 10월 7일 기준으로 분석했다. 조사 대상은 한국 사이트가 아니지만, 같은 로봇배제표준 규칙을 쓰는 만큼 국내 서비스에도 참고할 만한 기준선이 된다.
검색용과 학습용, 차단율이 왜 다른가?
AI 검색 크롤러를 막은 사이트는 569곳 중 3곳(0.5%, 95% 신뢰구간 0.2~1.5%)에 그쳤다. 반면 AI 학습 크롤러를 막은 사이트는 18곳(3.2%, 95% 신뢰구간 2.0~4.9%)으로 여섯 배 이상 많았다. 두 수치의 차이는 운영자들이 이미 두 크롤러를 구분해 다루고 있다는 뜻으로 읽힌다. 학습에는 콘텐츠를 내주지 않으면서도, 검색·인용 노출은 막지 않으려는 쪽을 택한 셈이다.
| 구분 | 차단한 사이트 | 차단율(95% 신뢰구간) |
|---|---|---|
| AI 검색 크롤러(OAI-SearchBot 등) | 3곳 / 569곳 | 0.5%(0.2~1.5%) |
| AI 학습 크롤러 | 18곳 / 569곳 | 3.2%(2.0~4.9%) |
| Content-Signal 명시 | 26곳 / 569곳 | 4.6% |
Content-Signal 줄은 얼마나 퍼졌나?
robots.txt에 Content-Signal 줄을 둔 사이트는 569곳 중 26곳(4.6%)뿐이었다. AI 학습·검색·광고 이용 여부를 한 줄로 구분해 밝히는 이 표기는 아직 소수만 쓰고 있다. 지금 당장 Content-Signal을 추가하지 않았다고 불리해지는 단계는 아니라는 뜻이지만, 표기 자체가 흔해지면 비어 있는 쪽이 먼저 의심받을 수 있다.
접근이 열려 있는데 왜 인용은 안 될까?
robots.txt 차단율이 이렇게 낮다는 것은, 대부분의 사이트에서 접근 자체는 문제가 아니라는 뜻이다. 그런데도 AI 답변에 인용되지 않는다면 원인은 다른 단계에 있다. 하나는 크롤링 이후 단계다. 같은 robots.txt가 허용을 적어 둬도 방화벽이나 봇 관리 설정이 별도로 요청을 막을 수 있다 — 이 조사도 robots.txt 파일만 읽은 결과라고 스스로 밝히고 있다. 다른 하나는 콘텐츠 쪽이다. 문단 하나가 질문 하나에 자기완결적으로 답하는 구조인지, 수치·절차 같은 인용할 만한 근거를 담고 있는지가 접근 여부보다 더 크게 작용한다.
정리
Elementera의 2026년 10월 조사에서 AI 검색 크롤러를 robots.txt로 막은 스타트업은 569곳 중 3곳(0.5%)에 그쳤다. AI 학습 크롤러 차단율(3.2%)보다도 낮고, Content-Signal 표기율(4.6%)과 비교해도 가장 낮은 수치다. 접근 차단이 드문 상황에서 AI 답변에 인용되지 않는다면, robots.txt를 다시 여는 것보다 방화벽·봇 관리 설정에서 실제로 막히고 있는지, 그리고 문맥 없이 읽어도 뜻이 통하는 문단 구조를 갖췄는지를 먼저 확인하는 쪽이 더 효율적이다.
Q & A