robots.txt 확인 방법: Googlebot, 네이버 Yeti, AI 크롤러 차단 여부 읽기

파일 열기

robots.txt는 사이트의 루트에 있어야 합니다. 예를 들면 https://www.example.com/robots.txt입니다. Google과 네이버 모두, 규칙은 파일이 있는 호스트, 프로토콜, 포트에만 적용된다고 설명합니다. 예약이나 쇼핑몰을 shop.example.com 같은 하위 도메인에서 운영한다면 그쪽 파일도 따로 여세요.

파일이 없을 때(404)는 Google도 네이버도 수집 제한이 없는 것으로 봅니다. 반대로 서버 오류(5xx)가 나면 네이버는 "모두 허용하지 않음"으로 해석한다고 안내합니다. 또 네이버는 robots.txt가 HTML 문서로 돌아오면 규칙이 있어도 없는 것으로 해석될 수 있다며 일반 텍스트 파일(text/plain)을 권합니다.

자주 보이는 규칙 읽기

"User-agent"는 어느 크롤러에 대한 규칙인지, "Disallow"는 어디를 수집하지 말라는지 적는 줄입니다. 아래 해석은 Google 사양과 네이버 가이드, 각 회사의 문서를 따릅니다. 다른 크롤러는 다르게 읽을 수 있습니다.

• "User-agent: *" 다음 "Disallow: /": 모든 크롤러에게 사이트 전체를 막습니다. Googlebot이나 Yeti에 대한 규칙이 따로 없다면 Google 검색과 네이버 검색도 막힙니다. 네이버도 이 설정은 권장하지 않는다고 밝힙니다
• "User-agent: Yeti" 다음 "Disallow: /": 네이버 검색로봇만 이름으로 막습니다
• "User-agent: *" "Disallow: /" 뒤에 "User-agent: Yeti" "Allow: /": 네이버 가이드에 나오는 예로, 네이버 검색로봇만 허용합니다. Google의 크롤러는 자기에게 맞는 가장 구체적인 그룹만 따르므로, Googlebot 그룹이 없으면 Google 검색은 막힙니다
• "User-agent: OAI-SearchBot" 다음 "Disallow: /": OpenAI는 이 경우 사이트가 ChatGPT 검색 답변에 나오지 않고 이동용 링크로만 나올 수 있다고 설명합니다
• "Disallow: /wp-admin/": 워드프레스 관리자 화면만 막습니다. 공개 페이지는 막히지 않습니다
• "Disallow:" 뒤에 아무것도 없음: Google은 경로가 없는 규칙을 무시하므로 아무것도 막지 않습니다

크롤러 이름 정리: 검색용과 학습용은 다릅니다

AI 검색 답변에 나올 수 있는지 보려면 검색용 크롤러를 확인하세요. 이름과 역할은 각 회사의 문서에서 가져왔습니다.

• Googlebot: Google 검색. Google은 Googlebot에 대한 설정이 Google 검색의 모든 기능에 영향을 준다고 설명합니다
• Google-Extended: Gemini 모델 학습 등에 쓸지를 정하는 이름입니다. Google은 Google 검색 포함 여부나 순위에는 영향이 없다고 밝힙니다
• Yeti: 네이버 검색 서비스를 위해 웹 문서를 수집하는 검색로봇
• OAI-SearchBot: ChatGPT 검색. GPTBot은 학습용입니다
• Claude-SearchBot: Claude의 검색 품질 개선. ClaudeBot은 학습용입니다
• PerplexityBot: Perplexity 검색 결과

ChatGPT-User, Claude-User, Perplexity-User는 사용자가 요청했을 때 페이지를 여는 이름입니다. OpenAI와 Perplexity는 이런 접근에는 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다. 학습용 크롤러를 막을지는 검색과 따로 정하면 됩니다. 이 구분은 저희의 권장입니다.

도구로 확인하기

서치콘솔을 쓴다면 설정 페이지의 robots.txt 보고서에서 Google이 찾은 robots.txt 파일(상위 20개 호스트까지), 마지막 크롤링 시간, 경고와 오류를 볼 수 있습니다. 고친 뒤에는 같은 보고서에서 "재크롤링 요청"을 할 수 있습니다. 이 보고서는 도메인 속성과 경로가 없는 URL 접두사 속성에서만 쓸 수 있습니다.

네이버 서치어드바이저의 웹마스터도구에도 robots.txt 도구가 있습니다. 파일을 고친 뒤 수집 요청을 보낼 수 있고, 지금의 규칙으로 특정 페이지를 수집할 수 있는지 테스트할 수 있습니다.

robots.txt만으로는 알 수 없는 것

차단이 없다는 것을 확인해도 아래는 남습니다.

• 방화벽이나 CDN이 robots.txt와 상관없이 크롤러를 막을 수 있습니다. 네이버는 노출이 안 되면 방화벽 설정을 점검하라고 안내하고, 접근 기록의 IP를 역 DNS로 조회해 .naver.com으로 끝나는지 확인하는 방법을 소개합니다
• 페이지를 검색에서 빼려면 Google은 noindex를 쓰라고 안내합니다. robots.txt로 막은 페이지는 크롤러가 noindex를 볼 수 없으니 막지 않아야 한다고 Google은 설명합니다
• 규칙을 따르지 않는 크롤러도 있습니다. 개인 정보처럼 보이면 안 되는 내용은 로그인 등 다른 방법으로 보호하라고 네이버는 안내합니다
• 바꾼 내용이 반영되는 데도 시간이 걸립니다. Google은 보통 robots.txt를 최대 24시간 캐시하고, OpenAI는 반영까지 약 24시간이 걸릴 수 있다고 밝힙니다

차단을 찾았다면

바로 지우지 말고, 홈페이지를 관리하는 분께 왜 있는지 먼저 물어보세요. 개발 중에 넣고 잊은 것일 수도, 회사가 정한 것일 수도 있습니다. 다만 "User-agent: *" 아래의 "Disallow: /"는 Google 검색과 네이버 검색을 모두 막을 수 있으니 오늘 확인하시길 권합니다. 저희의 의견입니다.

저희는 이런 점검을 포함해 매일 아침 고칠 일을 1~3개 보내 드리는 서비스를 한국에서 쓸 수 있도록 준비하고 있습니다. 지금은 Google의 데이터(Search Console)를 보며 네이버의 데이터는 보지 않고, 방화벽이나 서버 설정도 볼 수 없습니다. AI 답변에 나온다고 약속하지 않습니다. 아래에 이메일을 남겨 주시면 오픈할 때 알려 드립니다.