GEO / 생성형 엔진 최적화

AI 검색 크롤러 막는 스타트업, 569곳 중 3곳뿐이었다

읽는 데 7분 INSIGHTX
AI 검색 크롤러 막는 스타트업, 569곳 중 3곳뿐이었다

AI 검색 크롤러를 robots.txt로 막아 둔 스타트업은 거의 없다. AI 가시성 업체 Elementera가 2026년 10월 7일 기준으로 수집한 Y Combinator 투자 스타트업 569곳의 robots.txt를 분석한 결과, OAI-SearchBot·PerplexityBot 같은 AI 검색 크롤러를 하나라도 막아 둔 곳은 3곳(0.5%)뿐이었다. 접근 차단이 드물다면, 사이트가 AI 답변에 인용되지 않는 이유는 로봇배제표준이 아닌 다른 데서 찾아야 한다.

이 조사는 무엇을 봤나?

Elementera는 소프트웨어·핀테크·개발자도구 분야의 Y Combinator 투자 스타트업 600곳을 무작위로 뽑아 robots.txt를 수집했다. 이 중 읽을 수 있던 569곳의 파일을 2026년 10월 7일 기준으로 분석했다. 조사 대상은 한국 사이트가 아니지만, 같은 로봇배제표준 규칙을 쓰는 만큼 국내 서비스에도 참고할 만한 기준선이 된다.

검색용과 학습용, 차단율이 왜 다른가?

AI 검색 크롤러를 막은 사이트는 569곳 중 3곳(0.5%, 95% 신뢰구간 0.2~1.5%)에 그쳤다. 반면 AI 학습 크롤러를 막은 사이트는 18곳(3.2%, 95% 신뢰구간 2.0~4.9%)으로 여섯 배 이상 많았다. 두 수치의 차이는 운영자들이 이미 두 크롤러를 구분해 다루고 있다는 뜻으로 읽힌다. 학습에는 콘텐츠를 내주지 않으면서도, 검색·인용 노출은 막지 않으려는 쪽을 택한 셈이다.

구분차단한 사이트차단율(95% 신뢰구간)
AI 검색 크롤러(OAI-SearchBot 등)3곳 / 569곳0.5%(0.2~1.5%)
AI 학습 크롤러18곳 / 569곳3.2%(2.0~4.9%)
Content-Signal 명시26곳 / 569곳4.6%

Content-Signal 줄은 얼마나 퍼졌나?

robots.txt에 Content-Signal 줄을 둔 사이트는 569곳 중 26곳(4.6%)뿐이었다. AI 학습·검색·광고 이용 여부를 한 줄로 구분해 밝히는 이 표기는 아직 소수만 쓰고 있다. 지금 당장 Content-Signal을 추가하지 않았다고 불리해지는 단계는 아니라는 뜻이지만, 표기 자체가 흔해지면 비어 있는 쪽이 먼저 의심받을 수 있다.

접근이 열려 있는데 왜 인용은 안 될까?

robots.txt 차단율이 이렇게 낮다는 것은, 대부분의 사이트에서 접근 자체는 문제가 아니라는 뜻이다. 그런데도 AI 답변에 인용되지 않는다면 원인은 다른 단계에 있다. 하나는 크롤링 이후 단계다. 같은 robots.txt가 허용을 적어 둬도 방화벽이나 봇 관리 설정이 별도로 요청을 막을 수 있다 — 이 조사도 robots.txt 파일만 읽은 결과라고 스스로 밝히고 있다. 다른 하나는 콘텐츠 쪽이다. 문단 하나가 질문 하나에 자기완결적으로 답하는 구조인지, 수치·절차 같은 인용할 만한 근거를 담고 있는지가 접근 여부보다 더 크게 작용한다.

robots.txt 차단율이 0.5%라는 것은 "거의 모두가 접근을 열어 둔다"는 뜻이지, "열어 두면 인용된다"는 뜻은 아니다. 접근은 전제조건일 뿐이고, 인용은 그 다음 단계에서 결정된다.

정리

Elementera의 2026년 10월 조사에서 AI 검색 크롤러를 robots.txt로 막은 스타트업은 569곳 중 3곳(0.5%)에 그쳤다. AI 학습 크롤러 차단율(3.2%)보다도 낮고, Content-Signal 표기율(4.6%)과 비교해도 가장 낮은 수치다. 접근 차단이 드문 상황에서 AI 답변에 인용되지 않는다면, robots.txt를 다시 여는 것보다 방화벽·봇 관리 설정에서 실제로 막히고 있는지, 그리고 문맥 없이 읽어도 뜻이 통하는 문단 구조를 갖췄는지를 먼저 확인하는 쪽이 더 효율적이다.

Q & A

자주 묻는 질문

robots.txt에서 AI 크롤러를 허용하면 바로 인용이 늘어나나요?
아닙니다. Elementera의 2026년 10월 조사에서 스타트업 569곳 중 566곳(99.5%)이 이미 AI 검색 크롤러를 막지 않고 있었습니다. 접근은 대부분 열려 있으므로, 인용이 늘지 않는다면 원인은 크롤러 차단이 아니라 콘텐츠가 인용할 만한 근거를 담고 있는지, 다른 곳에서 신뢰를 얻었는지에 있습니다.
AI 검색 크롤러와 AI 학습 크롤러를 같은 규칙으로 막아도 되나요?
구분해서 다뤄야 합니다. 같은 조사에서 AI 학습 크롤러를 막은 사이트는 18곳(3.2%)으로 검색 크롤러 차단율(0.5%)보다 여섯 배 이상 높았습니다. 검색·인용에 쓰이는 크롤러를 막으면 인용 기회 자체가 사라지므로, 학습 거부와 검색 노출 허용을 같은 줄에 섞어 쓰지 않아야 합니다.
Content-Signal 줄은 꼭 추가해야 하나요?
의무는 아닙니다. 같은 조사에서 robots.txt에 Content-Signal 줄을 둔 사이트는 569곳 중 26곳(4.6%)에 그쳤습니다. 아직 업계 표준으로 자리잡지 않았으므로, 먼저 검색용 크롤러 접근을 열어 두는 것이 우선이고 Content-Signal은 그 다음에 검토해도 됩니다.
robots.txt만 확인하면 크롤러 접근을 다 파악한 건가요?
아닙니다. Elementera 보고서는 이 조사가 robots.txt 파일만 읽은 결과라고 밝히고 있습니다. 방화벽이나 봇 차단 솔루션이 robots.txt와 별개로 같은 크롤러를 막고 있을 수 있어, 서버 접근 로그나 봇 관리 설정도 함께 확인해야 합니다.

← 저널 목록으로