Коротко. Индексация — это когда поисковая система добавляет страницу сайта в свою базу после того, как её просканировал робот. Показываться в результатах поиска может только проиндексированная страница — остальные для поисковика будто не существуют, сколько бы качественного контента на них ни было. Новая страница на технически исправном сайте обычно попадает в индекс за 1-14 дней; если есть блокировки в robots.txt, дубли без canonical или страница не связана внутренними ссылками с остальным сайтом — срок растягивается до нескольких месяцев или индексации не происходит вовсе.
Индексация и сканирование — не одно и то же
Эти два слова путают чаще всего, а разница между ними объясняет половину вопросов о том, «почему сайт не индексируется». Сканирование (краулинг) — это когда робот поисковой системы (Googlebot, YandexBot) заходит на страницу, скачивает её код и переходит по ссылкам дальше. Индексация — следующий, отдельный шаг: система анализирует скачанную страницу, решает, о чём она, достаточно ли она качественна и уникальна, и, если да, добавляет в базу, откуда потом формируется выдача. Робот может просканировать страницу и не проиндексировать её — например, если счёл контент дублем другой страницы или слишком тонким. Именно поэтому страница может годами быть доступна и «видна» роботу, но не попадать в поиск.
Путь страницы от публикации до выдачи
У этого пути четыре этапа, и застрять можно на любом из них:
- Обнаружение. Робот узнаёт об адресе страницы — через ссылку с другой уже известной страницы, через файл sitemap.xml или через ручную отправку в панели вебмастера.
- Сканирование. Робот заходит по адресу, скачивает HTML, при необходимости — выполняет JavaScript, чтобы увидеть контент, который подгружается динамически.
- Оценка. Алгоритм анализирует содержимое: уникальность, соответствие теме, наличие дублей на сайте или в интернете, технические сигналы (canonical, noindex, статус-код).
- Индексация. Если оценка пройдена, страница попадает в базу и становится кандидатом на показ по релевантным запросам. Дальше уже работает ранжирование — отдельный процесс, который решает, на каком месте в выдаче показать страницу.
Трафик появляется только после последнего этапа. Если сайт делает много и хорошо, но страница застряла на этапе обнаружения — потому что на неё никто не ссылается — трафика не будет, как бы ни был хорош текст.
Почему без индексации трафика нет в принципе
Здесь нет полутонов: поисковая система физически не может показать в выдаче страницу, которой нет в её базе. Это касается и Яндекса, и Google одинаково. Отсюда следует практический вывод для владельца сайта: прежде чем разбираться, почему статья или карточка товара «не приводит клиентов», нужно проверить более базовую вещь — она вообще в индексе? Часто оказывается, что дело не в качестве текста, заголовке или цене, а в том, что страница технически не видна поиску — и вся работа над контентом на ней была потрачена впустую до момента исправления этой проблемы.
Пять причин, по которым страница не попадает в индекс
| Причина | Как проявляется |
|---|---|
| Блокировка в robots.txt | Директива Disallow закрывает раздел или страницу от сканирования — робот туда даже не заходит |
| Тег noindex или запрет в HTTP-заголовке | Страница явно помечена как «не индексировать», часто по ошибке — тег остался после разработки на тестовом домене |
| Canonical указывает на другую страницу | Система индексирует не эту страницу, а ту, на которую указывает канонический тег, даже если контент разный |
| Низкая уникальность или ценность контента | Текст короткий, скопирован, состоит из общих фраз — алгоритм не видит смысла добавлять его в базу |
| Нет внутренних ссылок на страницу | «Сиротская» страница — до неё не дойти по сайту, только по прямому адресу; робот её просто не находит |
Первые три причины — технические, находятся и исправляются за часы. Две последние требуют содержательной работы: добавить страницу в меню, каталог или блок «похожие материалы», переписать или расширить текст.
Сколько страниц сайта должно быть в индексе
Ориентир — доля проиндексированных страниц от общего числа на сайте, index rate. Для небольшого сайта на 20-50 страниц нормой считается индексация 90-100% — если технических проблем нет, попадает в базу почти всё. На крупных сайтах и интернет-магазинах с тысячами карточек товара картина другая: 60-80% индексации — обычная ситуация, потому что часть страниц — это дубли фильтров, пустые категории или страницы с почти одинаковым контентом, которые поисковик сознательно не берёт в базу. Тревожный сигнал — не сама цифра ниже 100%, а её резкое падение за короткий срок: если ещё месяц назад в индексе было 800 страниц, а сейчас 300, это повод искать техническую причину, а не совпадение.
Что сделать, чтобы страница попала в индекс быстрее
Три действия дают основной эффект. Первое — убедиться, что страница есть в файле sitemap.xml и он актуален: это прямой список адресов, который сайт сам предлагает роботу для обхода. Второе — поставить на новую страницу хотя бы одну ссылку с уже проиндексированной страницы сайта: из меню, из ленты похожих материалов, из текста другой статьи. Робот находит новые страницы в первую очередь по ссылкам, а не по интуиции. Третье — отправить адрес на переобход вручную через Яндекс.Вебмастер или Google Search Console: это не гарантирует немедленную индексацию, но ускоряет первое посещение робота, особенно для нового домена, у которого ещё не наработана история сканирования. Подробнее о том, как эти сигналы использует поиск при ранжировании уже проиндексированных страниц, — в разделе про SEO-продвижение.
Как понять, что проблема именно в индексации, а не в позициях
Частая ошибка — списывать отсутствие трафика на «плохое SEO», хотя причина в том, что страницы физически нет в базе поиска. Разграничить просто: если страницы нет в индексе, по её точному URL или уникальной фразе из текста поиск не покажет её вообще, даже на десятой странице выдачи. Если же страница в индексе, но трафика мало — это уже вопрос позиций, релевантности и конкуренции, а не индексации, и решается другими методами. Для сайтов с историей стабильного трафика, который вдруг просел, стоит проверить оба сценария: сначала базовую видимость в индексе, потом уже — динамику позиций через веб-аналитику.
FAQ
Сколько по времени сайт попадает в индекс после запуска?
Для нового домена без технических проблем — обычно 3-14 дней на первые страницы после подачи sitemap и первой ссылки на сайт. Полная индексация всех страниц крупного сайта может занять несколько недель.
Может ли страница выпасть из индекса после того, как уже была там?
Да. Причины — изменение контента на менее уникальный, случайно добавленный noindex, смена адреса без редиректа, технические сбои на сервере во время визита робота. Такое стоит проверять при резком падении трафика.
Обязательно ли всем страницам сайта быть в индексе?
Нет. Служебные страницы — корзина, страницы входа, результаты внутреннего поиска, дублирующие фильтры в каталоге — специально закрывают от индексации, чтобы не размывать ими качество сайта в глазах поиска.
Что быстрее — сама попадает страница в индекс или нужно её туда добавлять вручную?
Робот находит новые страницы сам по ссылкам и sitemap, но ручная отправка через панель вебмастера ускоряет первое посещение, особенно на молодых сайтах.
Как быстро проверить, проиндексирована ли конкретная страница?
Через панель Яндекс.Вебмастера или Google Search Console — там есть точный статус по каждому URL. Более простой, но приблизительный способ — поиск по оператору site: с точным адресом страницы.
Проверить, все ли страницы сайта видны поиску
Бесплатный аудит покажет, какая часть сайта реально в индексе и что мешает остальным страницам туда попасть.
Канонический адрес
Указывает основную версию страницы при дублях с параметрами. Канониклы должны быть абсолютными и вести на код 200.
# проверить, что отдаётся один канонический адрес
curl -s https://example.ru/uslugi/seo/ | grep -i canonical