robots 메타태그 4가지 조합, noindex인데 follow하는 이유
<meta name="robots" content="...">를 처음 접하면 대부분 "noindex면 그냥 다 막는 거 아닌가?"라고 생각합니다. 하지만 이 태그의 값은 사실 하나의 스위치가 아니라 서로 완전히 독립적으로 작동하는 두 개의 스위치입니다. 이 구조를 이해하지 못하면 "인덱싱은 막고 싶은데 링크 구조는 유지하고 싶다"는 매우 흔한 요구를 처리할 방법을 찾지 못하고, 불필요하게 전체 차단을 걸어 사이트 링크 그래프를 스스로 끊어버리는 실수를 하게 됩니다.
1. index/noindex와 follow/nofollow는 서로 다른 질문에 답한다
robots 메타태그의 두 축은 완전히 다른 질문을 다룹니다. index/noindex는 "이 페이지 자체를 검색 결과에 보여줘도 되는가?"를 결정하고, follow/nofollow는 "이 페이지에 있는 링크들을 따라가서 다른 페이지도 크롤링해도 되는가?"를 결정합니다. 이 둘은 서로 전제 조건이 아니라 완전히 독립적인 두 개의 이진 값이기 때문에, 수학적으로 2×2=4가지 조합이 모두 유효하고 실제로 쓰입니다.
| 조합 | 이 페이지를 검색결과에? | 이 페이지의 링크를 따라가서 크롤링? |
|---|---|---|
index, follow (기본값) | 보여줌 | 따라감 |
noindex, follow | 안 보여줌 | 따라감 |
index, nofollow | 보여줌 | 안 따라감 |
noindex, nofollow | 안 보여줌 | 안 따라감 |
2. noindex,follow가 실제로 필요한 상황
가장 실용적인 조합은 noindex, follow입니다. 예를 들어 태그 페이지, 페이지네이션 2페이지 이후, 필터 조합으로 생성되는 URL처럼 "그 자체로는 얇은 콘텐츠라 검색 결과에 개별로 노출될 필요는 없지만, 그 페이지 안에 있는 상품·게시글 링크는 크롤러가 계속 발견해줘야 하는" 페이지에 씁니다. 여기에 만약 noindex, nofollow를 걸어버리면 그 페이지로만 연결되는 하위 링크들을 크롤러가 아예 발견하지 못해, 의도치 않게 사이트 일부가 크롤링 사각지대가 됩니다. Meta 태그 분석기로 실제 페이지의 robots 메타태그 값을 확인해보면, 카테고리·태그 페이지에 이 조합이 적용되어 있는지 바로 검사할 수 있습니다.
3. 반대로 index,nofollow가 쓰이는 드문 경우
index, nofollow는 "이 페이지 자체는 검색에 노출되길 원하지만, 이 페이지에서 나가는 링크는 신뢰할 수 없으니 따라가지 말라"는 뜻입니다. 사용자 제출 콘텐츠(리뷰, 댓글, 포럼 게시글)처럼 페이지 본문은 유의미하지만 그 안의 외부 링크는 스팸일 수 있는 경우에 쓰입니다. 다만 실무에서는 페이지 전체보다 개별 링크에 rel="nofollow"를 다는 방식이 더 세밀하고 흔하게 쓰이므로, 메타태그 레벨의 index,nofollow는 상대적으로 드뭅니다.
4. 실제 검사 도구는 무엇을 확인하는가
Meta 태그 분석기는 페이지 HTML에서 meta[name="robots"] 값을 추출해 그대로 보여주는 방식으로 동작합니다. 즉 이 조합이 실수로 잘못 걸려 있어도(예: 운영 배포 시 noindex가 남아있는 경우) 값 자체는 있는 그대로 노출되므로, 배포 전에 반드시 실제 렌더링된 HTML을 확인해야 합니다. 소스에는 없는데 서버 응답 헤더(X-Robots-Tag)로만 noindex가 걸려 있는 경우는 HTML만 봐서는 놓칠 수 있다는 점도 함께 기억해야 합니다.
<meta name="robots" content="noindex,nofollow">를 배포 시 지우지 않고 그대로 프로덕션에 올리는 경우입니다. 이 경우 사이트가 정상적으로 보이기 때문에 육안으로는 문제를 알아채기 어렵고, Search Console의 색인 생성 리포트에서 "noindex 태그로 인해 제외됨" 항목이 늘어나는 것으로 뒤늦게 발견되는 경우가 많습니다.
5. robots.txt와의 차이 — 두 메커니즘을 섞으면 안 되는 이유
robots.txt는 "크롤링(수집) 자체"를 막는 것이고, robots 메타태그의 noindex는 "이미 크롤링은 하되 색인에서 제외"하는 것입니다. 만약 robots.txt로 특정 경로를 차단해버리면 크롤러가 그 페이지에 접근할 수 없으므로 페이지 안의 noindex 메타태그 자체를 읽지 못합니다. 그 결과 이미 다른 곳에 링크가 걸려 있던 페이지라면 내용 없이 URL만 검색 결과에 남는 역효과가 날 수 있습니다. 그래서 "검색에서 완전히 빼고 싶다"면 robots.txt로 막지 말고 noindex만 사용해야 크롤러가 그 지시를 읽고 처리할 수 있습니다.
자주 묻는 질문
Q. 값을 아무것도 안 쓰면 어떤 조합이 적용되나요?
robots 메타태그 자체가 없거나 값이 비어 있으면 기본값인 index, follow가 적용됩니다. 즉 "검색 노출 허용 + 링크 추적 허용"이 웹의 기본 동작입니다.
Q. Google이 아닌 다른 검색엔진도 이 4가지 조합을 동일하게 해석하나요?
Bing, Naver 등 주요 검색엔진도 index/noindex, follow/nofollow의 기본 의미는 동일하게 따릅니다. 다만 세부 크롤러별 확장 값(noarchive, nosnippet 등)의 지원 여부는 검색엔진마다 다를 수 있으므로 각 검색엔진의 공식 문서를 함께 확인하는 것이 안전합니다.
Q. noindex를 걸면 즉시 검색 결과에서 사라지나요?
즉시는 아닙니다. 크롤러가 해당 페이지를 다시 방문해 새 메타태그 값을 읽어야 반영되므로, 크롤링 빈도에 따라 며칠에서 몇 주까지 걸릴 수 있습니다. 빠른 제거가 필요하면 Search Console의 URL 제거 도구를 함께 사용하는 것이 좋습니다.
Q. 태그 페이지에는 항상 noindex,follow를 걸어야 하나요?
일률적인 정답은 없습니다. 태그 페이지가 충분히 고유한 콘텐츠를 모아 보여주고 검색 수요가 있다면 index로 두는 것이 유리할 수 있습니다. 저품질·중복성이 높은 태그 페이지가 많을 때만 noindex,follow로 정리하는 것이 일반적인 판단 기준입니다.