Краулинговый бюджет (или crawl budget) — это количество страниц сайта, которые поисковый робот (например, Googlebot или Яндекс.Бот) может и хочет просканировать за определённый промежуток времени. По сути, это лимит на сканирование, который зависит от ресурсов сайта и интереса поисковика к его контенту.
Как работает:
Когда поисковый робот приходит на сайт, он начинает сканировать страницы, переходя по ссылкам. Если сайт быстро загружается, не отдаёт ошибки и часто обновляется — робот будет возвращаться чаще и обходить больше страниц. Но если сайт медленный, с множеством ошибок или дублирующих страниц, робот тратит бюджет впустую и не доходит до важных материалов.
Пример:
У сайта 100 000 страниц. Если краулинговый бюджет — 5 000 страниц в сутки, а 3 000 из них — это фильтры, дубли и устаревшие записи, то до новых или ценных материалов робот просто не дойдёт. Они не попадут в индекс или попадут с задержкой.
Рекомендации Google:
- Избегайте бесконечных URL (например, бесконечных фильтров на e-commerce сайтах).
- Удаляйте или закрывайте от индексации дубли (через
robots.txt,noindex, каноникал). - Оптимизируйте скорость загрузки сайта.
- Обновляйте важный контент, чтобы Google видел в нём ценность.
Рекомендации Яндекса:
- Не перегружайте сервер — если робот видит тормоза, он уменьшает частоту обхода.
- Следите за отчетом «Индексирование сайта» в Яндекс.Вебмастере: он показывает, сколько страниц в индексе и как часто они обновляются.
Вывод:
Краулинговый бюджет — ограниченный ресурс. Чтобы он использовался эффективно, нужно убирать мусорные страницы, улучшать техническое состояние сайта и направлять роботов к ценному контенту. Это помогает быстрее попадать в индекс и удерживать позиции.
Я работаю в интернете с 2010 года. Первая специализация — SEO, продвинул и оптимизировал более 200 проектов. С 2017 года увлечен программированием.