Коротко. Проверить индексацию сайта можно четырьмя способами: оператором site: в поиске (30 секунд, точность приблизительная), в Яндекс.Вебмастере в разделе «Страницы в поиске», в Google Search Console через «Проверку URL» и отчёт об индексировании страниц, и массово — краулером с выгрузкой из панелей по API. Первые два способа отвечают на вопрос «сколько всего», вторые два — «какие именно страницы и почему выпали». Всё это бесплатно; доступ к панелям вебмастера нужен обязательно, без него точных данных нет.
Способ 1. Оператор site: — быстрая оценка за 30 секунд
Самый быстрый способ проверить индексацию сайта — ввести в строку поиска site:example.com. Яндекс и Google покажут примерное число известных им страниц домена. Дополнительно полезны уточнения: site:example.com/catalog/ — по конкретному разделу, а в Яндексе url:example.com/page/ — проверка одного адреса.
Ограничения нужно понимать сразу. Цифра над выдачей — оценка, а не точный счётчик: она колеблется от запроса к запросу и может отличаться от данных панели вебмастера в разы. Метод годится для трёх задач: убедиться, что сайт вообще в индексе; сравнить порядок величин между разделами; быстро проверить конкретную страницу. Для принятия решений нужны источники точнее.
Что означают результаты
- Ноль страниц. Сайт не индексируется вообще — почти всегда это запрет в robots.txt, noindex в шаблоне или фильтр. Первое, что нужно открыть, — robots.txt.
- Страниц заметно меньше, чем в CMS. Часть сайта не дошла до индекса: дубли, слабые страницы, сироты без ссылок.
- Страниц заметно больше, чем в CMS. В индекс попал мусор — фильтры, метки, версии для печати, адреса с параметрами.
Способ 2. Яндекс.Вебмастер — точные данные по Яндексу
Панель даёт то, чего не даст ни один оператор: список конкретных URL и причину исключения каждого.
- Откройте раздел «Индексирование» → «Страницы в поиске». Здесь число страниц, участвующих в выдаче, и график динамики за месяцы.
- Переключитесь на вкладку «Исключённые страницы». Каждый адрес имеет статус: запрет в robots.txt, ошибка HTTP, дубль, неканоническая, недостаточно качественная.
- Выгрузите список в файл — кнопка экспорта внизу таблицы. С этой выгрузкой удобно работать в таблице и группировать по причинам.
- Для проверки одного адреса используйте «Инструменты» → «Проверка статуса URL»: покажет, в поиске ли страница, когда её обходил робот и какой был код ответа.
- В разделе «Мониторинг важных страниц» добавьте 10-20 ключевых URL: панель пришлёт уведомление, если такая страница выпадет из поиска.
График «Страниц в поиске» полезнее абсолютных цифр. Ровная линия с плавным ростом — норма. Резкий обвал на 20-30 % за одно обновление означает техническую проблему, и искать её нужно в изменениях, сделанных за одну-две недели до падения.
Способ 3. Google Search Console — точные данные по Google
В Search Console два инструмента, которые отвечают на разные вопросы.
Проверка URL. Вставьте адрес в строку сверху. Ответ будет одним из двух: «URL есть в Google» или «URL нет в Google» — с причиной. Кнопка «Проверить страницу на сайте» показывает, что робот видит прямо сейчас: код ответа, отрендеренный HTML, заблокированные ресурсы. Здесь же кнопка запроса индексирования — квота порядка десяти URL в сутки.
Отчёт «Индексирование страниц». Разделяет весь сайт на проиндексированные и непроиндексированные адреса, а вторую группу разбивает по причинам. Самые частые статусы стоит знать наизусть:
| Статус | Что это значит | Действие |
|---|---|---|
| Обнаружена, не проиндексирована | Google знает URL, но не скачал его | Ускорить сервер, усилить перелинковку |
| Просканирована, не проиндексирована | Скачал, но счёл недостаточно ценной | Улучшить содержимое или закрыть страницу |
| Страница с редиректом | Адрес отдаёт 301/302 | Норма, если редирект намеренный |
| Дубль без канонической страницы | Google выбрал каноничным другой URL | Проверить canonical и уникальность |
| Заблокирована в robots.txt | Обход запрещён | Убедиться, что запрет намеренный |
| Ошибка сервера (5xx) | Сайт не ответил при обходе | Проверить хостинг и логи |
Отчёт обновляется с задержкой в несколько дней, поэтому сразу после правок он ещё показывает старую картину — это нормально, повторная валидация запускается кнопкой «Проверить исправление».
Способ 4. Массовая проверка списка страниц
Когда страниц больше сотни, ручная проверка бессмысленна. Нужен список «все страницы сайта» и сверка его с индексом.
- Соберите полный список URL краулером (Screaming Frog, Netpeak Spider) или выгрузите из CMS и sitemap.xml.
- Выгрузите проиндексированные адреса из Яндекс.Вебмастера и Google Search Console, включая исключённые с причинами.
- Сведите таблицы по ключу URL. Разность двух множеств и есть список страниц вне индекса.
- Сгруппируйте результат по типу страницы: категории, карточки, статьи. Так сразу видно, где проблема системная, а где единичная.
Для регулярного контроля это автоматизируется: у Яндекс.Вебмастера и Search Console есть API, данные складываются в базу, а отчёт приходит по расписанию. Мы такие связки собираем в рамках работ по аналитике от 20 000 ₽ и автоматизации от 30 000 ₽ — на каталоге в тысячу с лишним позиций еженедельная сверка экономит десятки часов ручной работы.
Как часто проверять и на что смотреть
| Ситуация | Частота | Ключевой показатель |
|---|---|---|
| Новый сайт после запуска | Раз в 2-3 дня | Появление первых страниц |
| Активное продвижение | Еженедельно | Динамика страниц в поиске |
| Стабильный сайт | Раз в месяц | Отклонение от прошлого месяца |
| После переезда, редизайна, смены CMS | Ежедневно две недели | Доля исключённых по HTTP-ошибкам |
Отдельно стоит завести привычку: любая крупная правка сайта заканчивается проверкой индексации через 3-5 дней. Большинство катастроф с трафиком — это не алгоритмы, а незамеченный запрет, уехавший на прод вместе с релизом. Поэтому в наших договорах на поддержку сайтов от 10 000 ₽ в месяц контроль индексации после каждого обновления входит в регламент, а разбор причин выпадения — в другие материалы раздела об индексации.
Почему site: и Вебмастер показывают разные цифры?
Это разные величины. Оператор site: даёт приблизительную оценку известных поиску адресов, панель показывает страницы, реально участвующие в выдаче. Расхождение в 10-30 % нормально, ориентироваться нужно на данные панели.
Как проверить индексацию, если нет доступа к Вебмастеру?
Остаются операторы site: и url:, а также сторонние сервисы, которые проверяют наличие страницы в выдаче по списку. Точность ниже, причин исключения не видно. Доступ к панелям стоит восстановить: подтверждение прав через DNS-запись или файл в корне занимает 15 минут.
Что делать, если в индексе страниц больше, чем на сайте?
Значит, в поиск попали технические адреса: фильтры, сортировки, версии с параметрами, страницы поиска по сайту. Нужно выгрузить проиндексированные URL, найти шаблон мусорных адресов и закрыть их правилами robots.txt и мета-тегом noindex, а дубли свести каноническими адресами.
Проверка показывает «Просканирована, не проиндексирована» — это ошибка?
Технически нет: Google скачал страницу и решил не добавлять её в индекс. Обычно так помечают тонкие карточки, пагинацию и почти одинаковые страницы. Лечится содержанием — уникальные характеристики, описания, цены, — либо осознанным закрытием таких адресов от индексации.
Влияет ли проверка индексации на сам сайт?
Нет, все перечисленные способы пассивные и не меняют ничего на сайте. Единственное исключение — кнопка запроса индексирования: она ставит URL в очередь на обход. Злоупотреблять ей смысла нет, квота ограничена, а приоритет всё равно определяет поиск.
Сверим ваш сайт с индексом Яндекса и Google
Покажем в цифрах, сколько страниц потеряно, по каким причинам и какие из них дадут трафик после исправления.