Robots.txt 검증기
robots.txt 문법 검사·URL 크롤링 허용 여부 테스트
robots.txt 검증이란?
robots.txt는 검색 엔진 크롤러에게 어떤 페이지를 수집해도 되는지 알려주는 파일입니다. 이 도구는 robots.txt 문법 오류를 자동으로 검사하고, 특정 URL이 특정 봇에 대해 허용되는지 차단되는지 즉시 테스트할 수 있습니다. 운영 전 반드시 검증하여 의도치 않은 크롤링 차단을 방지하세요.
자주 묻는 질문
robots.txt 검증이 왜 중요한가요?
robots.txt의 문법 오류 하나로 전체 사이트가 크롤링 차단될 수 있습니다. 또한 의도치 않게 중요 페이지를 차단하면 Google 검색 결과에서 사라질 수 있습니다. 배포 전 검증이 필수입니다.
흔한 robots.txt 문법 오류 유형은?
대표적인 오류로는 ①알 수 없는 디렉티브 사용, ②User-agent 없이 Disallow 먼저 작성, ③경로에 와일드카드(*) 오용, ④여러 User-agent를 한 줄에 작성하는 경우가 있습니다. 각 User-agent는 별도 줄에 작성해야 합니다.
User-agent: *는 무엇을 의미하나요?
모든 검색 엔진 크롤러에 적용되는 기본 규칙입니다. 특정 봇(예: Googlebot)에 별도 규칙이 있으면 그 규칙이 우선 적용되고, 없으면 * 규칙이 적용됩니다.
Disallow: '' (빈값)과 Disallow: /의 차이는?
Disallow: (빈 값)은 아무것도 차단하지 않아 전체 허용을 의미합니다. Disallow: /는 루트부터 모든 경로를 차단하여 전체 사이트 크롤링을 막습니다. 두 값의 의미가 완전히 반대이므로 주의가 필요합니다.
더 구체적인 규칙이 우선 적용되나요?
Google은 Allow와 Disallow가 충돌할 경우 더 구체적인(경로가 긴) 규칙을 우선 적용합니다. 길이가 같다면 Allow가 우선입니다. 이 도구는 순서 기반으로 마지막으로 매칭된 규칙을 적용하는 방식으로 동작합니다.
robots.txt 경로는 대소문자를 구분하나요?
네. 경로 값은 대소문자를 구분합니다. Disallow: /Admin/은 /admin/을 차단하지 않습니다. 반드시 실제 URL과 정확히 일치하는 대소문자를 사용하세요.
Sitemap은 robots.txt 어디에 선언해야 하나요?
Sitemap 디렉티브는 User-agent 블록 밖에 독립적으로 선언하는 것을 권장합니다. 파일 맨 아래에 작성하는 것이 일반적이며, 여러 Sitemap을 선언할 수 있습니다.
Google 공식 robots.txt 테스터도 있나요?
네. Google Search Console에서 robots.txt 테스터를 제공합니다. 실제 Googlebot의 동작을 확인하려면 Search Console을 사용하세요. 이 도구는 오프라인 검증과 빠른 URL 테스트에 적합합니다.