Веб-индексация: как поисковики обходят сайт и как ускорить попадание страниц в индекс

Как устроен обход сайта роботом

Что такое индексация сайта на уровне определения, понятно почти всем: страница попадает в базу поиска. Веб-индексация как процесс устроена сложнее — это конвейер, где у каждого этапа своя очередь и свои ограничения.

Робот работает не со «страницами», а с очередью URL. В очередь адрес попадает из ссылок, карты сайта, счётчика Метрики, ручного запроса или уведомления IndexNow. Дальше планировщик решает, когда именно этот URL скачивать: сегодня, через неделю или через месяц. Приоритет зависит от того, как часто страница менялась раньше, сколько ссылок на неё ведёт, насколько она близка к главной и приносила ли она трафик.

Скачанный HTML передаётся на разбор. Если контент собирается JavaScript, страница уходит в отдельную очередь рендеринга, и это почти всегда задержка: сначала индексируется то, что было в исходном коде, остальное — позже. Затем страница оценивается: не дубль ли, не пустая ли, не противоречат ли ей canonical и мета-теги. Только после этого она попадает в базу и становится доступной для выдачи.

Краулинговый бюджет: сколько страниц робот успевает обойти

У каждого сайта есть предел числа обращений робота за сутки. Он складывается из двух величин. Первая — сколько запросов выдерживает сервер: если ответы замедляются или появляются ошибки 5xx, робот сам снижает нагрузку. Вторая — насколько сайт интересен поиску: часто ли обновляется, есть ли спрос, есть ли внешние ссылки.

Для сайта на 200 страниц бюджет не проблема — робот обойдёт всё. Проблема начинается с нескольких тысяч URL, и почти всегда она рукотворная: бюджет съедают адреса, которые вообще не должны индексироваться.

• Фильтры и сортировки, генерирующие сотни комбинаций параметров.
• Страницы результатов внутреннего поиска.
• UTM-метки, создающие копию каждой страницы под каждую рекламную кампанию.
• Пагинация без ограничений — страницы 40, 41, 42 листинга.
• Версии для печати, календари, архивы по дням.
• Цепочки редиректов: каждый лишний переход — потраченный запрос робота.

На каталоге вроде ask-rus.ru с 1257 товарами разница между аккуратной и небрежной настройкой параметров — это разница между «весь ассортимент в индексе за месяц» и «половина каталога ждёт полгода». Поэтому работу с параметрами и фильтрами мы закладываем ещё на этапе разработки сайта, а не чиним потом.

Что реально ускоряет индексацию

Карта сайта, которая работает

Карта сайта помогает только тогда, когда ей можно верить. В ней должны быть исключительно каноничные адреса, отдающие код 200, без закрытых в robots.txt и без noindex. Поле lastmod обязано меняться при реальном изменении страницы — если оно проставляется текущей датой при каждой генерации, поиск перестаёт использовать этот сигнал. Больше 50 000 URL или 50 МБ в одном файле не кладут, вместо этого делают индексную карту со ссылками на части: отдельно категории, отдельно товары, отдельно материалы.

IndexNow и ручной переобход

IndexNow — это простое уведомление: сайт отправляет поисковику список изменённых адресов, ключ подтверждения лежит файлом в корне. Протокол поддерживают Яндекс и Bing, Google — нет. Настроенная отправка при публикации и изменении страницы даёт самый заметный прирост скорости для магазинов, где меняются цены и наличие. Ручной переобход в Вебмастере и Search Console остаётся инструментом точечным: квоты небольшие, поэтому туда отправляют новые посадочные и страницы после существенных правок, а не весь сайт.

Перелинковка и структура

Робот ходит по ссылкам, и это по-прежнему главный канал. Правило, которое стоит держать в голове: любая коммерчески значимая страница должна быть доступна не более чем в три клика от главной. Работают блоки «похожие товары» и «из этой категории», хлебные крошки, ссылки из статей на услуги и обратно, разделы новинок и обновлений. Страница без входящих внутренних ссылок называется сиротой, и на больших сайтах такие адреса — самая частая причина медленной индексации.

Как проверить, что робот действительно ходит

Единственный источник фактов — логи сервера. Панели вебмастера показывают агрегированную статистику, а лог отвечает на конкретные вопросы: заходил ли робот на этот URL, какой код ответа получил, сколько времени ждал.

1. Возьмите access-логи за последние 2-4 недели.
2. Отфильтруйте обращения с User-Agent YandexBot и Googlebot. Подделку проверяют обратным DNS-запросом по IP — среди «роботов» в логах хватает парсеров.
3. Посчитайте распределение по кодам ответа. Заметная доля 3xx, 404 и 5xx означает, что бюджет обхода тратится впустую.
4. Сгруппируйте обращения по разделам. Если 60 % визитов приходится на служебные адреса и фильтры, вы нашли причину медленной индексации каталога.
5. Сравните список URL из логов со списком из карты сайта — разница покажет страницы, до которых робот не доходит.

Такой разбор занимает несколько часов и входит в наш SEO-аудит от 25 000 ₽; экспресс-проверка основных показателей индексации делается бесплатно.

Что на индексацию не влияет

Вокруг темы много мифов, и они стоят денег. Регистрация в сотнях каталогов не ускоряет обход — она добавляет мусорные ссылки. Покупка «прогонов по базам» и сервисов «моментальной индексации за 500 рублей» либо не делает ничего, либо создаёт нежелательный ссылочный профиль. Метатеги keywords и revisit-after не читаются поиском давно. Директива Crawl-delay Яндексом больше не поддерживается — скорость обхода регулируется в Вебмастере. Значения priority и changefreq в карте сайта поиск также по факту игнорирует.

Работает скучное: быстрый хостинг, чистая структура, отсутствие дублей, регулярные обновления и внятная перелинковка. Именно это мы и настраиваем в рамках SEO-продвижения от 50 000 ₽ в месяц — и это же остаётся с сайтом навсегда, в отличие от разовых прогонов.