Коротко. Веб-индексация — процесс, в котором робот поисковика (Googlebot, YandexBot) обходит сайт по ссылкам и sitemap, скачивает страницы и передаёт их на анализ для добавления в базу. Скорость обхода ограничена «краулинговым бюджетом» — числом страниц, которое робот готов посетить на сайте за визит; на сайтах до 500 страниц это обычно не проблема, но на каталогах в тысячи SKU бюджет тратится на мусорные URL и не доходит до нужных страниц. Ускорить попадание конкретной страницы в индекс можно за 1-3 дня: через ручную отправку в панели вебмастера, свежий sitemap и внутреннюю ссылку с уже проиндексированной страницы.
Как устроен обход сайта роботом
Робот не сканирует сайт целиком за один заход — он работает сессиями, ограниченными по времени и числу запросов. В рамках сессии он берёт очередной URL из своего списка (сформированного по предыдущим обходам, sitemap и найденным ссылкам), запрашивает страницу, читает ответ сервера и, если там есть ссылки на другие страницы сайта, добавляет их в очередь на следующий обход. У Googlebot и YandexBot разное поведение: Googlebot агрессивнее выполняет JavaScript и лучше видит контент, подгружаемый динамически, YandexBot — чаще полагается на исходный HTML-код и хуже обрабатывает сложные SPA-сайты без серверного рендеринга. Это значит, что сайт на тяжёлом JavaScript-фреймворке без предрендеринга может нормально индексироваться в Google и почти не попадать в Яндекс.
Краулинговый бюджет: когда он действительно ограничивает индексацию
Краулинговый бюджет — это условное число страниц, которое робот готов обойти на конкретном сайте за период. Он зависит от авторитетности домена и от того, насколько быстро сервер отвечает: чем медленнее ответ, тем меньше страниц робот успевает посетить за то же время сессии. Для сайта-визитки или блога на 20-200 страниц бюджет практически никогда не становится узким местом — робот успевает обойти всё за один-два визита. Проблема начинается на каталогах интернет-магазинов и агрегаторов от нескольких тысяч страниц: если на сайте есть параметрические URL фильтров (например, комбинации цвета, размера и сортировки создают тысячи технических адресов с одинаковым по сути контентом), бюджет уходит на их обход, а страницы новых товаров или статей ждут своей очереди неделями.
Как понять, что бюджет — реальная проблема на конкретном сайте
- В панели Яндекс.Вебмастера или Google Search Console число «обработанных» URL за последние недели заметно ниже общего числа страниц сайта.
- Новые страницы каталога (карточки товаров) попадают в индекс за недели, а не за дни.
- В логах сервера видно, что робот тратит большую часть визитов на URL с параметрами фильтров и сортировки, а не на карточки и статьи.
Что замедляет обход сайта на техническом уровне
Помимо избыточных параметрических URL, на скорость обхода влияют ещё три фактора. Медленный ответ сервера — если страница отдаётся дольше 1-2 секунд, робот физически успевает обойти меньше страниц за визит той же длительности. Цепочки редиректов — каждый лишний 301-редирект перед финальной страницей — это отдельный запрос, который расходует лимит визита впустую. Дублирующийся контент без canonical — робот тратит ресурс на повторное сканирование страниц, которые уже видел в другом виде, вместо перехода к новым. Все три фактора чинятся на техническом уровне и обычно не требуют переписывать контент — это задача для разработчика или в рамках технической поддержки сайта.
Пять способов ускорить попадание страницы в индекс
- Отправить URL на индексацию вручную. В Яндекс.Вебмастере — инструмент «Переобход страниц», в Google Search Console — «Проверка URL» → «Запросить индексирование». Не гарантирует немедленный результат, но обычно сокращает время первого визита робота до 1-3 дней.
- Добавить страницу в sitemap.xml и обновить дату последнего изменения. Файл — прямая подсказка роботу, какие адреса важны и когда они менялись; устаревший sitemap с датами месячной давности робот проверяет реже.
- Поставить внутреннюю ссылку с уже проиндексированной страницы. Ссылка из главного меню, каталога или блока «похожие материалы» — самый надёжный сигнал: робот с высокой вероятностью дойдёт до новой страницы в течение ближайшего визита на сайт.
- Использовать протокол мгновенного оповещения (IndexNow). Поддерживается Яндексом и рядом других систем: сайт сам уведомляет поисковик об изменении страницы, не дожидаясь планового обхода. Требует технической настройки на стороне сайта, зато сокращает задержку до часов на подключённых системах.
- Получить внешнюю ссылку с уже индексируемого стороннего сайта. Робот переходит по внешним ссылкам так же, как по внутренним, и это часто самый быстрый способ обнаружить новый домен целиком — актуально при запуске нового сайта, у которого ещё нет истории обхода.
Что не ускоряет индексацию, хотя кажется, что должно
Частое заблуждение — что многократная повторная отправка одного и того же URL на переобход ускорит процесс. На практике повторные запросы к одной странице чаще игнорируются панелью вебмастера или ограничиваются лимитом в сутки, а на решение алгоритма о включении страницы в индекс количество запросов не влияет вообще — влияет только качество и уникальность контента. Так же не работает искусственное раздувание sitemap файлами-заглушками или пустыми страницами «для количества» — это, наоборот, снижает доверие робота к файлу и может замедлить обход остальных, реальных страниц.
Как проверить, что робот вообще заходил на сайт
Самый точный источник — логи сервера: там фиксируются все визиты по user-agent, включая Googlebot и YandexBot, с датой и списком запрошенных страниц. Если доступа к логам нет, косвенный ориентир — раздел «Статистика сканирования» в Google Search Console и «Обход страниц» в Яндекс.Вебмастере: там видно, сколько страниц и как часто обходил робот за последние месяцы. Резкое падение числа визитов при том, что сайт не менялся, — повод проверить доступность сервера в даты падения и посмотреть, не изменился ли ответ на запросы робота, например через веб-аналитику и мониторинг доступности.
FAQ
Как часто робот обходит уже проиндексированный сайт?
Зависит от авторитетности и частоты обновлений: активно обновляемые новостные сайты роботы посещают по нескольку раз в день, редко обновляемые сайты-визитки — раз в 1-4 недели.
Что такое краулинговый бюджет простыми словами?
Условный лимит страниц, которые робот готов обойти на сайте за визит. На маленьких сайтах он не имеет значения, на каталогах в тысячи страниц — определяет, дойдёт ли робот до новых карточек товара вовремя.
Ускоряет ли частая публикация контента индексацию всего сайта?
Да, косвенно: регулярные обновления повышают частоту визитов робота на сайт в целом, потому что система видит, что заходить есть смысл — контент меняется.
Влияет ли скорость сайта на обход роботом?
Напрямую. Чем быстрее отвечает сервер, тем больше страниц робот успевает обойти за один визит той же длительности — это прямая зависимость, подтверждённая обеими поисковыми системами.
Нужно ли подключать IndexNow на обычном сайте-визитке?
Не обязательно — на маленьком сайте с редкими обновлениями эффект от протокола почти не заметен на общей скорости индексации. Смысл появляется на сайтах с частыми изменениями контента: новости, каталоги, объявления.
Разобраться, почему робот не доходит до части сайта
Бесплатный аудит проверит краулинговый бюджет, скорость ответа сервера и технические барьеры, которые тормозят обход.
Канонический адрес
Указывает основную версию страницы при дублях с параметрами. Канониклы должны быть абсолютными и вести на код 200.
# проверить, что отдаётся один канонический адрес
curl -s https://example.ru/uslugi/seo/ | grep -i canonical