AI 답변(AIO·LLMO)
GPTBot 차단해야 할까? 학습용 크롤러와 AI 검색 크롤러 차이
핵심 답변
GPTBot 차단은 사업자가 정할 수 있는 정책 선택입니다. GPTBot은 OpenAI 모델 학습에 쓰일 수 있는 콘텐츠를 수집하고, OAI-SearchBot은 내 사이트가 ChatGPT 검색에 나오는지를 결정하며, OpenAI는 각 설정이 서로 독립적이라고 설명합니다. 흔한 실수는 학습만 거부하려다 전부 막아 버리는 것입니다.
회사마다 목적별로 크롤러 이름을 나눕니다
아래는 각 회사 문서에 적힌 목적이며 2026년 11월 17일에 확인했습니다.
- OpenAI: 학습용 GPTBot, ChatGPT 검색용 OAI-SearchBot, 사용자가 요청한 작업용 ChatGPT-User
- Anthropic: 학습용 ClaudeBot, 검색 품질용 Claude-SearchBot, 누군가 Claude에게 질문할 때 쓰는 Claude-User
- Perplexity: 검색 결과용 PerplexityBot(Perplexity는 기반 모델 학습에 쓰지 않는다고 설명), 사용자 요청용 Perplexity-User
- Google: 검색용 Googlebot. Google-Extended는 콘텐츠를 향후 Gemini 학습과 그라운딩에 쓸지를 정하며, Google은 이것이 검색 포함 여부나 순위에 영향을 주지 않는다고 설명합니다
목적별 robots.txt
robots.txt는 사이트 루트에 두는 파일로, 크롤러에게 지시를 전달합니다.
- 둘 다 허용: 아무것도 추가하지 않습니다. 둘 다 허용하면 OpenAI가 한 번의 크롤링을 두 목적에 함께 쓸 수 있습니다.
- 학습은 거부하고 ChatGPT 검색에는 남기기: User-agent: GPTBot 아래에 Disallow: /를 추가하고 OAI-SearchBot은 그대로 둡니다.
- 둘 다 거부: GPTBot과 OAI-SearchBot을 모두 Disallow합니다. 이후 내 페이지는 ChatGPT 검색 답변에 쓰이지 않습니다.
OpenAI는 ChatGPT 검색에 나오고 싶다면 OAI-SearchBot을 허용하라고 권장합니다. 허용한다고 해서 반드시 노출되는 것은 아닙니다.
결정에 도움이 되는 질문 세 가지
이 부분은 저희 의견이며 정답은 사업마다 다릅니다.
- 공개 페이지에 학습에 쓰이길 원하지 않는 사진이나 안내 자료 같은 고유한 콘텐츠가 있나요?
- 고객과의 계약이나 내부 방침에 그 콘텐츠의 사용 범위가 이미 정해져 있나요?
- AI 어시스턴트로 거래처를 찾는 사람들에게 발견되고 싶나요?
앞의 두 질문 중 하나라도 ‘예’라면 GPTBot을 막을 이유가 됩니다. 세 번째가 ‘예’라면 OAI-SearchBot을 열어 둘 이유가 됩니다. 둘 다 해당할 수도 있습니다. 어느 것도 해당하지 않으면 기본값을 그대로 두는 것도 합리적입니다.
가장 흔한 실수 고치기
“AI를 막아 주세요”가 모든 것을 막는 규칙으로 바뀌는 일이 많습니다. 아래 요청 예시는 가상입니다.
- 수정 전: User-agent: * 다음에 Disallow: /. Googlebot, Bingbot, 네이버의 Yeti를 포함한 모든 크롤러에 적용됩니다.
- 수정 후: User-agent: GPTBot 다음에 Disallow: /. 이름을 지정한 크롤러에만 적용됩니다.
- 수정 전 요청: “AI를 막아 주세요.”
- 수정 후 요청: “GPTBot, ClaudeBot, Google-Extended를 Disallow해 주세요. OAI-SearchBot, Claude-SearchBot, PerplexityBot은 막지 말아 주세요. 변경 후 robots.txt 파일을 보내 주세요.”
robots.txt로 할 수 없는 일
Google은 robots.txt를 따를지는 크롤러에 달려 있다고 설명합니다. Anthropic은 ClaudeBot 차단을 사이트의 앞으로의 자료를 학습에서 제외하라는 신호로 설명하며, 이미 수집된 콘텐츠에 대한 언급은 찾지 못했습니다. OpenAI는 사용자가 시작한 ChatGPT-User 방문에는 robots.txt 규칙이 적용되지 않을 수 있다고 하고, Perplexity는 Perplexity-User가 일반적으로 robots.txt를 무시한다고 설명합니다. OpenAI에 따르면 변경이 검색에 반영되기까지 약 24시간이 걸릴 수 있습니다. 콘텐츠를 비공개로 두려면 로그인 뒤에 두세요.
오늘 내 파일 확인하기
도메인 뒤에 /robots.txt를 붙여 엽니다. GPTBot과 OAI-SearchBot 그룹을 찾아 Disallow 줄을 읽고, User-agent: * 다음에 Disallow: /가 없는지 확인하세요. 무료 AI 크롤러 확인 도구 https://get1pct.com/ko/tools/ai-crawler-check 는 파일을 대신 읽고 어떤 AI 검색·학습 크롤러가 차단되었는지 보여 줍니다. 파일 읽는 법은 robots.txt 확인 방법: Googlebot, 네이버 Yeti, AI 크롤러 차단 여부 읽기 글에서 자세히 다룹니다.
무엇을 왜 결정했는지 한 줄로 적어 두세요. 규칙은 CDN이나 방화벽에서 적용될 수도 있으며 이는 robots.txt에 보이지 않습니다. 저희가 이 정책을 대신 정하거나 AI 답변 노출을 약속할 수는 없습니다.