XML Sitemap과 robots.txt 완벽 가이드, 크롤러에게 보내는 안내판

사이트맵과 robots.txt는 홈페이지에서 가장 작은 파일이지만, 검색엔진 크롤러가 사이트에 도착했을 때 제일 먼저 참고하는 안내판입니다. 두 파일의 역할을 정확히 이해하고 있어야 원하지 않는 페이지가 검색에 노출되거나, 반대로 꼭 노출돼야 할 페이지가 빠지는 문제를 막을 수 있습니다.

XML Sitemap, 페이지 목록을 제출하는 파일

사이트맵은 사이트에 존재하는 URL 목록을 XML 형식으로 정리한 파일입니다. 검색엔진에게 "우리 사이트에는 이런 페이지들이 있다"고 명시적으로 알려주는 역할을 하며, 특히 페이지 수가 많거나 새 콘텐츠가 자주 추가되는 사이트에서 크롤링 효율을 크게 높여줍니다.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2026-09-23</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
</urlset>

lastmod는 마지막 수정일, changefreq는 갱신 빈도에 대한 힌트, priority는 사이트 내 상대적 중요도를 나타냅니다. 세 값 모두 구글이 참고는 하지만 절대적으로 따르지는 않는 힌트일 뿐입니다.

robots.txt, 크롤러의 출입을 안내하는 파일

robots.txt는 도메인 루트(/robots.txt)에 위치하는 텍스트 파일로, 어떤 크롤러가 어떤 경로를 크롤링해도 되는지 규칙을 정의합니다.

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /

Sitemap: https://example.com/sitemap.xml

관리자 페이지, 장바구니, 검색 결과 페이지처럼 검색엔진에게 노출될 필요가 없는 경로를 Disallow로 지정하고, 마지막 줄에 사이트맵 위치를 명시해주는 것이 일반적인 구성입니다.

가장 흔한 실수 — 개발 중이던 사이트를 운영 서버로 옮기면서 Disallow: /(전체 차단) 설정을 그대로 남겨두는 경우입니다. 이 한 줄 때문에 사이트 전체가 몇 주간 검색에서 사라지는 사고가 실제로 자주 발생합니다. 배포 후에는 반드시 robots.txt를 다시 확인해야 합니다.

사이트맵 제출하는 법

구글 서치 콘솔에 사이트를 등록하고 소유권을 확인한다.
왼쪽 메뉴의 '사이트맵'에서 sitemap.xml의 URL을 입력해 제출한다.
제출 후 상태가 '성공'으로 표시되는지, 발견된 URL 수가 실제 페이지 수와 맞는지 확인한다.

사이트맵·robots.txt와 함께 챙길 것들

사이트맵에 등록된 URL은 canonical 태그, 구조화 데이터의 url 값과도 모두 일치해야 합니다. 하나라도 어긋나면 검색엔진이 어떤 URL을 정본으로 봐야 할지 혼란스러워집니다.

정리하며

사이트맵과 robots.txt는 한 번 잘 설정해두면 크게 손댈 일이 없는 파일이지만, 잘못 설정하면 사이트 전체의 검색 노출에 영향을 주는 민감한 파일이기도 합니다. 특히 리뉴얼이나 서버 이전 직후에는 반드시 두 파일을 다시 점검하는 습관을 들이는 것이 좋습니다.

자주 묻는 질문

사이트맵과 robots.txt는 둘 다 꼭 있어야 하나요?

필수는 아니지만 강력히 권장됩니다. 사이트맵이 없어도 크롤러가 링크를 따라가며 페이지를 발견할 수는 있지만, 사이트맵은 이 과정을 훨씬 빠르고 정확하게 만들어줍니다. robots.txt는 없으면 기본적으로 모든 페이지 크롤링을 허용한 것으로 간주됩니다.

robots.txt로 페이지를 막으면 검색 결과에서 완전히 사라지나요?

robots.txt는 크롤링만 막을 뿐 색인 자체를 막는 것은 아닙니다. 다른 곳에서 그 페이지로 링크가 걸려 있다면, 내용은 크롤링하지 못해도 URL만 검색 결과에 노출될 수 있습니다. 완전히 검색에서 제외하려면 noindex 메타 태그를 사용해야 합니다.

사이트맵을 제출한 후 얼마나 걸려야 색인이 되나요?

페이지 수, 사이트 권위, 콘텐츠 품질에 따라 며칠에서 몇 주까지 편차가 큽니다. 서치 콘솔의 URL 검사 도구로 개별 페이지의 색인 요청을 별도로 넣으면 이 과정을 조금 앞당길 수 있습니다.