Что такое индексация сайта и почему без неё нет трафика из поиска

Что такое индексация сайта простыми словами

Индексация сайта — это добавление его страниц в базу данных поисковой системы. Робот приходит на URL, скачивает HTML, разбирает текст, заголовки, изображения и ссылки, оценивает содержимое и записывает страницу в индекс — огромную картотеку, из которой поиск потом собирает выдачу. Когда пользователь вводит запрос, система ищет ответ не по интернету в реальном времени, а по этой картотеке. Отсюда следствие, которое переворачивает половину SEO-споров: страницы нет в картотеке — её нет и в результатах поиска, что бы на ней ни было написано.

Индексацию часто путают со сканированием и ранжированием, хотя это три разных этапа. Сканирование (краулинг) — робот запросил URL и получил ответ сервера. Индексация — содержимое разобрано и сохранено в базу. Ранжирование — страница участвует в конкурсе за место в топе по конкретному запросу. Сломаться может любой из этапов, а симптом снаружи всегда один и тот же: «нас нет в поиске».

Полный путь страницы: от публикации до позиции

Практический смысл таблицы простой: прежде чем спорить о текстах, заголовках и ссылочной массе, убедитесь, что страница прошла первые четыре строки. Мы в SEO-аудите всегда начинаем именно с этого — доля проектов, где половина ассортимента физически отсутствует в базе поиска, стабильно высокая, и это самая дешёвая в исправлении проблема из всех возможных.

Почему без индексации нет трафика из поиска

Поисковый трафик — это произведение трёх множителей: сколько страниц в индексе, по скольким запросам каждая ранжируется и какая доля кликов достаётся вашим позициям. Если первый множитель равен нулю, всё произведение равно нулю — независимо от того, насколько хорош сайт в остальном. Это не метафора, а арифметика: страница вне индекса даёт ровно ноль показов.

Типичная картина в интернет-магазине: 800 карточек товара, в индексе — 300. Значит, 500 карточек не приносят ни одного показа, хотя за них заплачено фотографу, копирайтеру и разработчику. Владелец при этом видит рост трафика на категориях и считает, что SEO работает; на деле работает пятая часть сайта. У каталогов сложной номенклатуры вроде ЖБИ на ask-rus.ru, где больше тысячи позиций, разница между «страница создана» и «страница в индексе» определяет весь результат продвижения.

Второй эффект — искажение аналитики. Пока часть сайта вне индекса, любые выводы о спросе неверны: кажется, что запросы «холодные», а на самом деле по ним просто нечему показываться. Решения о новом контенте и рекламных бюджетах принимаются на кривых данных, и это дороже, чем сама потеря трафика.

Как поисковик узнаёт о ваших страницах

• Внутренние ссылки. Основной канал. Страница, на которую не ведёт ни одна ссылка внутри сайта, для робота почти не существует, даже если она есть в карте сайта.
• Файл sitemap.xml. Список URL с датами изменения. Не гарантирует индексацию, но резко ускоряет обнаружение — особенно на больших каталогах.
• Директива Sitemap в robots.txt. Абсолютный адрес карты сайта, который читают обе системы независимо от панелей вебмастера.
• Обход по счётчику Метрики. Яндекс умеет узнавать URL из данных счётчика — включается в Вебмастере одной галочкой и хорошо ловит страницы, забытые в перелинковке.
• Ручной переобход. В Яндекс.Вебмастере — «Переобход страниц», в Google Search Console — «Проверка URL» и кнопка запроса индексирования. Квоты небольшие: у Яндекса это обычно десятки адресов в сутки, у Google — порядка десяти.
• Протокол IndexNow. Мгновенное уведомление об изменениях, его поддерживают Яндекс и Bing; Google не поддерживает. Полезен для новостных лент, изменения цен и наличия.
• Внешние ссылки. Упоминание на стороннем сайте приводит робота быстрее любой карты сайта.

Сколько ждать индексации

Сроки ориентировочные и зависят от частоты обновлений, скорости ответа сервера и авторитета домена. Если страница не появилась в индексе через месяц после публикации и переобхода — это уже не ожидание, а диагноз, и нужно искать причину.

Восемь причин, по которым страница не попадает в индекс

1. Запрет в robots.txt. Классика после переноса сайта с тестового сервера, где стоял тотальный Disallow.
2. Мета-тег noindex в шаблоне или в настройках SEO-плагина — часто включается «на время разработки» и остаётся навсегда.
3. Canonical на другой URL. Страница физически есть, но сама указывает поиску: индексируй не меня.
4. Дубли. Один и тот же товар доступен по нескольким адресам — с параметрами, слэшем и без, на www и без www. Поиск выбирает один вариант, остальные исключает.
5. Ошибки ответа сервера. Периодические 5xx и таймауты при обходе робот трактует как нестабильность и снижает частоту визитов.
6. Низкая ценность страницы. Яндекс исключает такие адреса со статусом «недостаточно качественная», Google — «просканирована, но не проиндексирована». Обычно это карточки без описания, пустые фильтры и страницы пагинации.
7. Глубина вложенности. Если до страницы пять и больше кликов от главной, робот доходит до неё редко.
8. Контент только в JavaScript. Если в исходном HTML пусто, а текст подгружается скриптом, шанс потерять содержимое при индексации резко растёт. Это первое, что мы проверяем при разработке сайтов на современных фронтенд-фреймворках.

Что делать, если страниц в индексе мало

Порядок действий, который закрывает большинство случаев за одну-две недели работы:

1. Сверьте число страниц в CMS, в sitemap.xml и в индексе каждой системы. Три цифры расходятся всегда, важна величина разрыва.
2. Откройте robots.txt и проверьте, что под запрет не попали нужные разделы. Проверять нужно валидатором, а не глазами.
3. Выгрузите список исключённых страниц из Вебмастера и Search Console и сгруппируйте по причине исключения — это даёт готовый план работ.
4. Уберите дубли: один товар — один адрес, canonical на себя, единая версия домена.
5. Добавьте внутренние ссылки на «сироты»: из категорий, из блока похожих товаров, из тематических материалов.
6. Ускорьте сервер. Ответ дольше секунды напрямую режет количество страниц, которые робот успевает обойти за визит.
7. Отправьте приоритетные URL на переобход и настройте регулярную отправку через IndexNow.

Дальше индексацию нужно держать под наблюдением: это не разовая задача, а метрика, которую смотрят каждую неделю наравне с позициями и заявками. Как это делать системно, разобрано в других материалах раздела об индексации, а в рамках SEO-продвижения от 50 000 ₽ в месяц мы ведём такой контроль как обязательную часть работ.