Question 1

robots.txt 검증이란 무엇인가요?

Accepted Answer

robots.txt 검증은 파일의 문법 오류를 검사하고 각 User-agent별 크롤링 규칙이 올바르게 작성되었는지 확인하는 과정입니다.

Question 2

User-agent *는 무엇을 의미하나요?

Accepted Answer

User-agent: *는 모든 검색 엔진 크롤러에 적용되는 규칙을 정의합니다. 특정 크롤러(예: Googlebot)에 대한 규칙이 없을 때 이 블록의 규칙이 적용됩니다.

Question 3

Disallow: /와 Disallow: (빈값)의 차이는?

Accepted Answer

Disallow: /는 전체 사이트 크롤링을 차단합니다. Disallow: (빈 값)은 아무것도 차단하지 않아 모든 크롤링을 허용하는 의미입니다.

Question 4

robots.txt는 대소문자를 구분하나요?

Accepted Answer

디렉티브(User-agent, Disallow 등)는 대소문자를 구분하지 않지만, 경로 값은 대소문자를 구분합니다. /Admin과 /admin은 다른 경로로 처리됩니다.

Robots.txt 검증기