무료 도구

robots.txt가 AI 크롤러를 차단하는지 확인하기

크롤러는 웹사이트를 자동으로 읽는 프로그램입니다. URL을 입력하면 robots.txt가 AI 크롤러를 차단하고 있는지 검색용과 학습용으로 나눠 확인할 수 있습니다. 무료이며 회원가입도, AI도 쓰지 않습니다.

이럴 때 쓰세요

  • AI 검색 답변에 내 사이트가 나오지 않을 때
  • 개발자, 호스팅 업체, 플러그인이 robots.txt를 바꿨을 때
  • 학습용 크롤러만 막으려고 했는데 제대로 됐는지 확인하고 싶을 때

알 수 있는 것

  • robots.txt가 각 AI 크롤러를 전체 차단, 일부 차단, 허용하는지
  • 어떤 규칙이 적용되는지
  • 차단하면 어떻게 되는지에 대한 각 회사의 공식 설명

알 수 없는 것

  • CDN이나 서버 설정에서 막은 경우
  • AI 답변이 실제로 내 사이트를 인용하는지, 크롤러가 실제로 방문하는지
  • ChatGPT-User처럼 사용자의 요청으로 페이지를 가져오는 경우의 처리

공개된 robots.txt 파일만 읽습니다. URL과 결과는 저장하지 않습니다. 접속 정보는 요청 횟수 제한을 위해 일시적으로만 사용합니다.

확인하는 크롤러와 각 회사의 설명

각 크롤러의 역할은 회사별 공식 문서를 바탕으로 했으며, 2026년 11월 7일에 확인했습니다. 문서는 바뀔 수 있으니 결정하기 전에 공식 페이지를 읽어 보세요.

검색용 크롤러

OAI-SearchBotOpenAI
ChatGPT 검색에 사이트가 나올 수 있도록 사이트를 읽습니다. 차단하면 ChatGPT 검색 답변에 사이트가 나오지 않습니다. 다만 사이트로 이동하는 링크로는 표시될 수 있습니다(OpenAI 설명).
Claude-SearchBotAnthropic
Claude 검색 결과의 품질을 높이기 위해 사이트를 읽습니다. 차단하면 검색용으로 사이트를 읽지 않게 되어, 검색 결과에서 사이트의 노출과 정확도가 낮아질 수 있습니다(Anthropic 설명).
PerplexityBotPerplexity
Perplexity가 검색 결과에 사이트를 표시하고 링크할 수 있도록 사이트를 읽습니다. Perplexity는 기반 모델 학습에는 사용하지 않는다고 밝히고 있습니다. 차단하면 Perplexity가 검색 결과에 사이트를 표시하기 위해 하는 읽기를 거부하게 됩니다(Perplexity 설명에 근거).

학습용 및 기타 크롤러

GPTBotOpenAI
OpenAI의 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 읽습니다. 차단하면 콘텐츠가 학습에 쓰이지 않기를 원한다는 뜻을 전하게 됩니다. ChatGPT 검색은 OAI-SearchBot으로 따로 관리됩니다(OpenAI 설명).
ClaudeBotAnthropic
Anthropic의 생성형 AI 모델 학습에 쓰일 수 있는 콘텐츠를 읽습니다. 차단하면 앞으로의 콘텐츠를 학습 데이터에서 제외해 달라고 Anthropic에 요청하게 됩니다(Anthropic 설명).
Google-ExtendedGoogle
콘텐츠를 향후 Gemini 모델 학습과 답변의 근거 제시(그라운딩)에 사용할지 정하는 제어용 토큰입니다. 자체적으로 크롤링하지는 않습니다. Google은 Google 검색 포함 여부나 순위에는 영향을 주지 않는다고 밝히고 있습니다.
Applebot-ExtendedApple
Apple이 생성형 AI에 콘텐츠를 사용해도 되는지 정하는 제어용 토큰입니다. 자체적으로 크롤링하지는 않습니다. Apple은 차단한 페이지도 Apple 검색 결과에 나올 수 있으며, 순위 결정에는 사용하지 않는다고 밝히고 있습니다.
CCBotCommon Crawl
연구자와 기업에 데이터셋을 무료로 공개하는 비영리 단체 Common Crawl을 위해 데이터를 수집합니다. 공식 페이지에는 AI 학습에 대한 언급이 없지만, 데이터가 공개되어 있으므로 학습에도 쓰일 수 있다고 봅니다(저희의 추정). 차단하면 Common Crawl이 사이트를 읽지 않게 됩니다. 이미 공개된 데이터가 어떻게 처리되는지는 저희가 알 수 없습니다.

크롤러를 차단하는 방법

robots.txt에 아래 두 줄을 추가하면 지정한 크롤러에게 사이트 전체를 읽지 말아 달라고 요청하게 됩니다. 다른 크롤러에 적용하려면 이름을 바꾸세요. robots.txt는 요청일 뿐, 페이지를 읽지 않는다는 보장은 아닙니다.

User-agent: GPTBot
Disallow: /

공식 문서

페이지의 제목, 설명, noindex를 확인하려면 제목·메타 설명 확인 도구를 사용하세요.

다른 무료 도구