사이트맵 5만 개 URL 제한, 왜 하필 그 숫자인가
XML 사이트맵을 만들다 보면 "이 파일에 URL을 몇 개까지 넣어도 되는가"라는 질문에 부딪힙니다. 정답은 "5만 개, 또는 압축 전 파일 크기 50MB — 둘 중 먼저 도달하는 쪽까지"입니다. 임의로 정한 숫자가 아니라 sitemaps.org 프로토콜 표준에 명시된 제한이며, 이 숫자가 왜 그렇게 정해졌는지, 넘으면 실제로 무슨 일이 벌어지는지 이해하면 대형 사이트를 운영할 때 훨씬 덜 헤맵니다.
1. 5만 개·50MB, 두 제한 중 먼저 걸리는 쪽
sitemaps.org 프로토콜은 단일 사이트맵 XML 파일에 대해 두 가지 상한을 동시에 둡니다. URL 개수는 50,000개를 넘을 수 없고, 파일 크기는 비압축 상태 기준 50MB(약 52,428,800바이트)를 넘을 수 없습니다. 두 조건 중 어느 쪽이든 먼저 도달하면 그 사이트맵은 더 이상 유효하지 않습니다. 실무에서는 URL 개수 제한에 먼저 걸리는 경우가 압도적으로 많습니다. `<loc>` 태그 하나가 평균 100바이트 안팎이라고 가정하면 5만 개를 다 채워도 파일 크기는 대략 5~10MB 수준이라 50MB에는 한참 못 미칩니다. 즉 50MB 제한은 URL마다 lastmod·changefreq·priority·이미지 서브태그까지 풍성하게 채워 넣는 특수한 경우에만 실질적으로 작동하고, 보통은 5만 개라는 숫자가 실제 병목입니다.
2. 왜 하필 5만 개인가 — 크롤러 파싱 부담과의 타협
이 숫자는 검색 엔진이 사이트맵 XML을 한 번에 파싱·메모리에 로드할 때 감당할 수 있는 현실적인 상한선을 기준으로 정해졌습니다. 사이트맵은 크롤러가 처음부터 끝까지 통으로 읽어야 구조를 파악할 수 있는 파일이기 때문에, 파일이 지나치게 커지면 파싱 시간과 메모리 사용량이 함께 늘어나 크롤 예산(crawl budget) 소모가 비효율적으로 커집니다. 5만 개·50MB라는 두 상한은 "크롤러가 감당 가능한 단위로 쪼개서 보내라"는 실용적 합의이지, 검색 엔진이 한 사이트에서 처리할 수 있는 전체 URL 수의 한계가 아닙니다. 그래서 큰 사이트는 사이트맵을 여러 개로 쪼개고, 그 쪼개진 파일들을 다시 하나의 사이트맵 인덱스(sitemap index) 파일로 묶어 제출합니다. 인덱스 파일 자체도 `<sitemapindex>` 태그를 쓰는 별도 XML이며, 여기 나열되는 각 사이트맵 파일 항목에도 5만 개 제한이 그대로 적용됩니다.
3. 모두의 툴 사이트맵 생성기는 이 제한을 어떻게 다루는가
사이트맵 생성기의 실제 코드를 확인한 결과, 이 도구는 URL을 추가할 때마다 `urls` 배열에 그대로 push할 뿐 5만 개를 넘는지 검사하는 로직이 전혀 없습니다. `generateXml()` 함수도 배열 길이와 무관하게 모든 URL을 순회하며 XML 문자열을 만들어 그대로 다운로드하도록 되어 있어, URL을 5만 1천 개 넣어도 경고 없이 그대로 하나의 파일로 생성됩니다. 다만 SEO 안내 문구와 FAQ에는 "단일 사이트맵은 최대 50,000개, 50MB를 초과할 수 없다"는 표준 규정이 명시돼 있어 사용자가 직접 알아서 분할해야 합니다. 즉 자동 분할 기능은 없고, 텍스트 설명으로만 한도를 안내하는 방식입니다. 소규모 사이트(수백~수천 개 URL)라면 문제없지만, 상품 페이지가 수만 개에 달하는 쇼핑몰이나 대형 콘텐츠 사이트라면 URL을 여러 그룹으로 나눠 이 도구를 여러 번 돌리고, 결과 파일들을 사이트맵 인덱스로 직접 묶어야 합니다.
| 항목 | 제한 | 초과 시 |
|---|---|---|
| URL 개수 | 50,000개 | 사이트맵을 여러 파일로 분할 |
| 파일 크기(비압축) | 50MB | gzip 압축 또는 파일 분할 |
| 사이트맵 인덱스 내 파일 수 | 50,000개(사실상 문제되는 경우 거의 없음) | 다단계 인덱스 구조 |
4. robots.txt 선언과 Search Console 제출은 별개다
사이트맵을 분할했다면 robots.txt의 `Sitemap:` 지시어에는 개별 사이트맵 파일이 아니라 이들을 묶는 인덱스 파일 URL 하나만 적으면 됩니다. 반대로 Google Search Console에는 인덱스 파일을 제출해도 되고, 개별 사이트맵 파일을 각각 제출해도 됩니다. robots.txt 문법이 올바른지, Sitemap 지시어가 제대로 인식되는지는 robots.txt 검사기로, 이미 존재하는 사이트맵 파일이 표준을 준수하는지는 사이트맵 검사기로 별도 확인하는 것이 안전합니다.
5. priority·changefreq는 제한과 무관하게 참고값일 뿐
URL 개수 제한과 별개로 자주 오해하는 부분이 priority(0.0~1.0)와 changefreq(always~never) 값입니다. 이 값들은 검색 엔진이 크롤링 우선순위를 정하는 데 참고하는 힌트일 뿐, 절대적인 기준으로 보장되지 않습니다. 대형 사이트에서 5만 개 제한 때문에 사이트맵을 여러 개로 쪼갤 때, 중요 페이지를 담은 파일에 우선 priority를 높게 주더라도 실제 색인 순서가 그대로 따라온다는 보장은 없습니다. 그보다는 내부 링크 구조와 lastmod 값을 정확히 유지하는 편이 크롤 효율에 더 직접적으로 기여합니다.
자주 묻는 질문
Q. 5만 개를 살짝 넘긴 것 같은데 검색 엔진이 그냥 무시하고 넘어가지 않나요?
보장할 수 없습니다. 표준을 벗어난 사이트맵은 검색 엔진에 따라 파일 전체를 무시하거나, 앞부분 일부만 읽고 나머지를 버릴 수 있습니다. 어느 쪽이든 뒷부분 URL이 사이트맵을 통한 발견 경로를 잃는 셈이라 처음부터 제한 안에 맞추는 것이 안전합니다.
Q. gzip으로 압축하면 50MB 제한이 완화되나요?
아니요. 50MB 제한은 압축 전(비압축) 파일 크기 기준입니다. gzip 압축은 전송 용량과 다운로드 속도를 줄여주는 부가 효과일 뿐, 표준상의 크기 제한 자체를 늘려주지는 않습니다.
Q. 사이트맵 인덱스 파일에도 5만 개 제한이 적용되나요?
네, 인덱스 파일이 나열할 수 있는 사이트맵 항목 수도 최대 50,000개, 파일 크기 50MB로 동일한 제한을 받습니다. 다만 사이트맵 하나가 5만 개 URL을 담을 수 있으므로 인덱스까지 이 한도에 걸리려면 URL 총량이 25억 개에 달해야 해 실무에서 문제되는 경우는 거의 없습니다.
Q. 모두의 툴 사이트맵 생성기가 자동으로 파일을 나눠주나요?
아닙니다. 실제 코드를 확인한 결과 URL 추가 개수를 제한하거나 자동 분할하는 로직은 없고, SEO 안내 문구로 50,000개·50MB 제한만 설명합니다. URL이 많은 사이트는 그룹을 나눠 여러 번 생성한 뒤 사이트맵 인덱스 파일로 직접 묶어야 합니다.