Настройка robots.txt: какие директивы нужны и что закрывать от роботов

Из чего вообще состоит robots.txt

Файл — это набор текстовых правил, сгруппированных блоками. Каждый блок начинается со строки User-agent, которая указывает, к какому роботу относятся следующие за ней правила: * — для всех роботов сразу, Yandex — только для роботов Яндекса, Googlebot — только для Google. После User-agent идут строки Disallow с адресами, которые нужно закрыть от обхода, и при необходимости Allow — исключение внутри уже закрытого раздела. Директива Sitemap с полным адресом карты сайта может стоять в любом месте файла и не привязана к конкретному User-agent — она общая для всех. Важная деталь: если для конкретного робота (например, Yandex) не задан отдельный блок User-agent, он использует общие правила из блока User-agent: * — заводить отдельный блок под каждого робота нужно только тогда, когда правила для них должны различаться.

Директивы, которые реально работают в 2026 году

Отдельно стоит сказать про директиву noindex внутри robots.txt — раньше её неофициально понимал Google, но в 2019 году компания официально прекратила её поддержку: сейчас запрет индексации через robots.txt в Google не работает вообще, для этой задачи нужен мета-тег noindex на самой странице. Если в файле до сих пор стоит эта директива в расчёте на Google — она молча игнорируется, и страница может остаться в индексе вопреки ожиданиям.

Что закрывать от роботов — и зачем

Логика простая: закрывают то, что не должно попасть в выдачу и не несёт пользы читателю поиска, но при этом обязательно доступно для сканирования роботом. Смешивать эти два случая — частая ошибка, к ней ниже отдельный раздел.

• Административная панель и служебные разделы CMS. Личный кабинет, панель управления, страницы входа и восстановления пароля — не нужны в поиске и потенциально раскрывают структуру сайта.
• Корзина и процесс оформления заказа. Динамические, персональные для каждого пользователя страницы, ценности в поиске не несут.
• Результаты внутреннего поиска по сайту. Страницы вида /search?q=... генерируются на лету под любой запрос пользователя и создают бесконечное число технических дублей.
• Параметры фильтров, сортировки и UTM-меток. Одна и та же карточка товара с разными комбинациями параметров превращается в десятки технически разных URL с одинаковым содержимым — прямой путь к раздутому индексу дублей.
• Технические дубли и версии для печати. Страницы с параметром ?print=1 и подобные — копии основного контента без дополнительной ценности.

Правило для остального простое: если раздел содержит уникальный контент, ради которого человек может прийти из поиска, — его не закрывают. Ошибка, которая случается на практике чаще, чем можно подумать, — закрыть в порыве «почистить индекс» целый раздел блога или каталога, хотя именно он и должен приносить трафик через SEO-продвижение.

Разница между Disallow и noindex — и почему их нельзя путать

Это главный источник ошибок в работе с robots.txt. Disallow запрещает роботу сканировать страницу — то есть заходить и скачивать её содержимое. Но если на закрытую страницу есть ссылки с других сайтов, поисковик может всё равно показать её адрес в выдаче — без сниппета, просто как ссылку, потому что сам факт существования страницы ему известен, а прочитать её содержимое и убедиться, что она не нужна в поиске, робот не может. Тег noindex работает иначе: он прямо запрещает включать страницу в индекс, но чтобы робот увидел этот тег, он должен сначала зайти на страницу и прочитать код — то есть страница должна быть открыта для сканирования. Отсюда правило, которое стоит запомнить: никогда не закрывайте одну и ту же страницу одновременно через Disallow в robots.txt и через noindex в коде — робот, которому запрещено заходить на страницу, физически не увидит тег noindex внутри неё, и указание не сработает.

Как формулировать правила без синтаксических ошибок

Путь в директивах указывается от корня домена и чувствителен к регистру — /Catalog/ и /catalog/ для робота разные адреса. Символ $ в конце пути означает «строго это окончание», без него правило захватывает и все вложенные адреса: Disallow: /cart закроет и /cart, и /cart/checkout, и случайно попавшуюся страницу /cart-info, если такая есть на сайте, — здесь и кроется частая ошибка, когда правило закрывает больше, чем задумывалось. Символ * работает как маска для любой последовательности символов, что удобно для закрытия параметров: Disallow: /*?sort= закроет любые адреса с этим параметром сортировки независимо от остального пути.

Готовый каркас файла для типового сайта

Ниже — не универсальный шаблон под копирование, а логика, по которой файл собирают под конкретный сайт: сначала общий блок для всех роботов с базовыми закрытиями, затем при необходимости отдельный блок под Яндекс с директивой Clean-param, если на сайте активно используются лишние GET-параметры, и в конце — обязательная строка Sitemap с полным адресом карты сайта. Для сайтов на популярных CMS (WordPress, Bitrix, Tilda) многое из типовых закрытий (админка, служебные скрипты) добавляется автоматически движком, но это стоит перепроверить руками — автоматика не всегда учитывает специфику конкретного проекта, например собственные разделы фильтров каталога. Если файл настраивают не с нуля, а на уже работающем сайте, любые изменения в нём стоит согласовывать с тем, кто ведёт его текущую техническую поддержку, — правило, которое выглядит безопасным изолированно, может неожиданно пересечься с другими техническими настройками сайта.

FAQ

Готовый robots.txt для WordPress

Базовый набор правил: закрываем служебные каталоги, оставляем открытым ajax-обработчик и указываем карту сайта.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /*?replytocom
Allow: /wp-content/uploads/

Sitemap: https://example.ru/sitemap_index.xml