Question 1

robots.txt란 무엇인가요?

Accepted Answer

robots.txt는 웹사이트 루트 디렉토리에 위치하는 텍스트 파일로, 검색 엔진 크롤러에게 사이트의 어떤 부분을 크롤링해도 되는지 알려주는 지침서입니다. Robots Exclusion Protocol을 따릅니다.

Question 2

Google은 robots.txt를 반드시 따르나요?

Accepted Answer

Google은 robots.txt의 Disallow 지침을 따르지만, 법적 구속력은 없습니다. Googlebot은 robots.txt를 무시할 수 있으며, 차단된 URL도 다른 사이트에서 링크가 있으면 인덱스에 표시될 수 있습니다.

Question 3

Allow와 Disallow 중 어느 쪽이 우선인가요?

Accepted Answer

Google의 경우 더 구체적인(긴) 규칙이 우선합니다. Allow: /wp-admin/admin-ajax.php와 Disallow: /wp-admin/이 함께 있으면 admin-ajax.php는 허용됩니다. 길이가 같으면 Allow가 우선합니다.

Question 4

robots.txt에 Sitemap을 선언하면 어떤 효과가 있나요?

Accepted Answer

Sitemap: 지시어로 사이트맵 URL을 선언하면 Googlebot, Bingbot 등이 robots.txt 파일을 읽을 때 사이트맵을 자동으로 발견합니다. Google Search Console에 별도 제출 없이도 크롤링이 개선됩니다.

Question 5

Crawl-delay는 모든 크롤러가 지원하나요?

Accepted Answer

Crawl-delay는 공식 robots.txt 표준이 아닙니다. Bingbot, Yandex 등은 지원하지만 Googlebot은 무시합니다. Google 크롤링 속도는 Google Search Console의 크롤링 속도 설정에서 조정해야 합니다.

Question 6

GPTBot, CCBot 등 AI 봇을 차단할 수 있나요?

Accepted Answer

User-agent: GPTBot에 Disallow: /를 설정하면 OpenAI의 크롤러를 차단할 수 있습니다. CCBot(Common Crawl), anthropic-ai, Google-Extended 등도 같은 방식으로 차단 가능합니다. 다만 모든 AI 봇이 robots.txt를 준수하는 것은 아닙니다.

Question 7

robots.txt와 meta robots 태그의 차이는?

Accepted Answer

robots.txt는 서버 레벨에서 크롤링을 제어하고, meta robots 태그는 페이지 레벨에서 인덱싱을 제어합니다. robots.txt로 차단된 페이지라도 다른 곳에서 링크가 있으면 URL 자체는 인덱스에 나타날 수 있습니다. 완전한 비노출을 원하면 두 가지를 함께 사용하세요.

Question 8

Google Search Console에서 robots.txt를 테스트할 수 있나요?

Accepted Answer

네. Google Search Console의 robots.txt 테스터 도구에서 특정 URL이 Googlebot에 의해 차단되는지 확인할 수 있습니다. Search Console → 설정 → robots.txt에서 접근 가능합니다.

Robots.txt Generator