무료 도구
robots.txt가 AI 크롤러를 차단하는지 확인하기
크롤러는 웹사이트를 자동으로 읽는 프로그램입니다. URL을 입력하면 robots.txt가 AI 크롤러를 차단하고 있는지 검색용과 학습용으로 나눠 확인할 수 있습니다. 무료이며 회원가입도, AI도 쓰지 않습니다.
이럴 때 쓰세요
- AI 검색 답변에 내 사이트가 나오지 않을 때
- 개발자, 호스팅 업체, 플러그인이 robots.txt를 바꿨을 때
- 학습용 크롤러만 막으려고 했는데 제대로 됐는지 확인하고 싶을 때
알 수 있는 것
- robots.txt가 각 AI 크롤러를 전체 차단, 일부 차단, 허용하는지
- 어떤 규칙이 적용되는지
- 차단하면 어떻게 되는지에 대한 각 회사의 공식 설명
알 수 없는 것
- CDN이나 서버 설정에서 막은 경우
- AI 답변이 실제로 내 사이트를 인용하는지, 크롤러가 실제로 방문하는지
- ChatGPT-User처럼 사용자의 요청으로 페이지를 가져오는 경우의 처리
확인하는 크롤러와 각 회사의 설명
각 크롤러의 역할은 회사별 공식 문서를 바탕으로 했으며, 2026년 11월 7일에 확인했습니다. 문서는 바뀔 수 있으니 결정하기 전에 공식 페이지를 읽어 보세요.
검색용 크롤러
- OAI-SearchBotOpenAI
- ChatGPT 검색에 사이트가 나올 수 있도록 사이트를 읽습니다. 차단하면 ChatGPT 검색 답변에 사이트가 나오지 않습니다. 다만 사이트로 이동하는 링크로는 표시될 수 있습니다(OpenAI 설명).
- Claude-SearchBotAnthropic
- Claude 검색 결과의 품질을 높이기 위해 사이트를 읽습니다. 차단하면 검색용으로 사이트를 읽지 않게 되어, 검색 결과에서 사이트의 노출과 정확도가 낮아질 수 있습니다(Anthropic 설명).
- PerplexityBotPerplexity
- Perplexity가 검색 결과에 사이트를 표시하고 링크할 수 있도록 사이트를 읽습니다. Perplexity는 기반 모델 학습에는 사용하지 않는다고 밝히고 있습니다. 차단하면 Perplexity가 검색 결과에 사이트를 표시하기 위해 하는 읽기를 거부하게 됩니다(Perplexity 설명에 근거).
학습용 및 기타 크롤러
- GPTBotOpenAI
- OpenAI의 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 읽습니다. 차단하면 콘텐츠가 학습에 쓰이지 않기를 원한다는 뜻을 전하게 됩니다. ChatGPT 검색은 OAI-SearchBot으로 따로 관리됩니다(OpenAI 설명).
- ClaudeBotAnthropic
- Anthropic의 생성형 AI 모델 학습에 쓰일 수 있는 콘텐츠를 읽습니다. 차단하면 앞으로의 콘텐츠를 학습 데이터에서 제외해 달라고 Anthropic에 요청하게 됩니다(Anthropic 설명).
- Google-ExtendedGoogle
- 콘텐츠를 향후 Gemini 모델 학습과 답변의 근거 제시(그라운딩)에 사용할지 정하는 제어용 토큰입니다. 자체적으로 크롤링하지는 않습니다. Google은 Google 검색 포함 여부나 순위에는 영향을 주지 않는다고 밝히고 있습니다.
- Applebot-ExtendedApple
- Apple이 생성형 AI에 콘텐츠를 사용해도 되는지 정하는 제어용 토큰입니다. 자체적으로 크롤링하지는 않습니다. Apple은 차단한 페이지도 Apple 검색 결과에 나올 수 있으며, 순위 결정에는 사용하지 않는다고 밝히고 있습니다.
- CCBotCommon Crawl
- 연구자와 기업에 데이터셋을 무료로 공개하는 비영리 단체 Common Crawl을 위해 데이터를 수집합니다. 공식 페이지에는 AI 학습에 대한 언급이 없지만, 데이터가 공개되어 있으므로 학습에도 쓰일 수 있다고 봅니다(저희의 추정). 차단하면 Common Crawl이 사이트를 읽지 않게 됩니다. 이미 공개된 데이터가 어떻게 처리되는지는 저희가 알 수 없습니다.
크롤러를 차단하는 방법
robots.txt에 아래 두 줄을 추가하면 지정한 크롤러에게 사이트 전체를 읽지 말아 달라고 요청하게 됩니다. 다른 크롤러에 적용하려면 이름을 바꾸세요. robots.txt는 요청일 뿐, 페이지를 읽지 않는다는 보장은 아닙니다.
User-agent: GPTBot Disallow: /
공식 문서
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
페이지의 제목, 설명, noindex를 확인하려면 제목·메타 설명 확인 도구를 사용하세요.