크롤링 예산 (Crawl Budget)
Crawl Budget
크롤링 예산은 검색엔진 봇이 웹사이트에서 하루 동안 수집할 수 있는 페이지 한도입니다. 불필요한 파라미터 URL과 저품질 페이지를 robots.txt와 canonical로 차단하여 중요 페이지의 색인 효율을 극대화해야 합니다.
크롤링 예산은 검색엔진 봇이 웹사이트에서 하루 동안 수집할 수 있는 페이지 한도입니다. 불필요한 파라미터 URL과 저품질 페이지를 robots.txt와 canonical로 차단하여 중요 페이지의 색인 효율을 극대화해야 합니다.
📖 개념 정의 및 실무 적용
이커머스나 대규모 콘텐츠 사이트에서는 무한대로 생성되는 필터 파라미터, 정렬, 세션 ID 등으로 인해 검색엔진 봇의 크롤링 예산이 낭비되는 문제가 빈번하게 발생합니다. 이로 인해 비즈니스에 핵심적인 신규 상품 페이지나 메인 랜딩 페이지가 제때 수집되지 않아 오인덱싱과 유입 감소로 이어집니다.
💻 실무 활용 코드 스니펫 (TEXT)
User-agent: *
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*session_id=
# 중요 페이지 크롤링 허용 및 sitemap 지정
Allow: /shop/
Sitemap: https://www.example.com/sitemap.xml⚡ 5분 만에 적용하는 실행 스텝
- 서치콘솔(GSC)의 ‘크롤링 통계’ 보고서에서 봇의 일일 요청 수와 서버 응답 시간을 확인합니다.
- 로그 분석 툴을 통해 봇이 가장 많이 방문하는 불필요한 파라미터 URL 패턴을 파악합니다.
- robots.txt와 URL 매개변수 처리를 통해 낭비되는 크롤링 경로를 차단합니다.
- Sitemap을 최적화하여 봇이 우선순위가 높은 핵심 페이지만 효율적으로 방문하도록 유도합니다.
서버 응답 속도(TTFB)를 개선하면 검색엔진 봇이 더 많은 페이지를 빠르게 수집할 수 있어 실질적인 크롤링 예산이 늘어나는 효과를 볼 수 있습니다. 또한, 내부 링크 구조에서 저품질 페이지로 향하는 링크에 rel=’nofollow’를 적용하는 것은 예산 낭비 방지에 도움이 됩니다.
robots.txt로 중요 페이지가 포함된 상위 디렉토리를 통째로 차단하면 크롤링 예산은 아낄 수 있지만 원하지 않는 색인 누락(De-indexing)이 발생할 수 있으므로 반드시 정규식(Regex)을 세밀하게 작성해야 합니다. 또한, 파라미터 차단 시 canonical 태그와 혼선이 생기지 않도록 일관성을 유지해야 합니다.
❓ 자주 묻는 질문 (FAQ)
A. 구글 서치콘솔의 ‘페이지 색인 생성’ 보고서에서 ‘발견됨 – 현재 색인이 생성되지 않음’ 상태의 페이지가 급증하거나, 서버 로그 파일에서 구글봇(Googlebot)이 중요 페이지 대신 파라미터 URL만 반복 수집하고 있다면 크롤링 예산이 낭비되고 있는 신호입니다.
A. robots.txt는 봇의 접근 자체를 막아 크롤링 예산을 아끼는 데 쓰이고, canonical 태그는 수집은 허용하되 원본 페이지를 알려주어 링크 수(Link Juice)를 통합하는 데 쓰입니다. 크롤링 예산 최적화에는 robots.txt 차단과 noindex 태그의 병행이 효과적입니다.