Question 1

robots.txt 테스터로 무엇을 확인할 수 있나요?

Accepted Answer

특정 URL이 robots.txt 규칙에 의해 크롤링이 허용되는지 차단되는지 확인할 수 있습니다.

Question 2

User-agent별로 다른 규칙을 테스트할 수 있나요?

Accepted Answer

Googlebot, Bingbot 등 특정 크롤러에 적용되는 규칙을 선택해 테스트합니다.

Question 3

Disallow와 Allow 규칙 우선순위는?

Accepted Answer

가장 구체적인 경로 규칙이 우선 적용됩니다. 같은 구체성이면 Allow가 Disallow보다 우선입니다.

Question 4

실제 사이트의 robots.txt를 URL로 불러올 수 있나요?

Accepted Answer

URL을 입력하면 해당 사이트의 robots.txt를 가져와 바로 테스트할 수 있습니다.