Примеры robots.txt для WordPress, 1С-Битрикс и интернет-магазина

Почему нельзя просто скопировать чужой robots.txt

Файл, который отлично работает на одном сайте, может закрыть от индексации нужные разделы на другом — просто потому что структура URL отличается. Например, шаблон для интернет-магазина на 1С-Битрикс с директивой Disallow: /catalog/*sort= бесполезен, если в конкретном магазине параметр сортировки называется order, а не sort. Прежде чем вставлять правила ниже на свой сайт, стоит открыть исходный код нескольких страниц каталога и посмотреть, как реально формируются адреса с фильтрами и сортировкой — это займёт 10-15 минут и убережёт от закрытия рабочих страниц. Если сайт разрабатывался под заказ, такие детали обычно фиксируют ещё на этапе разработки сайта, а не подбирают задним числом.

Пример robots.txt для WordPress

Базовый рабочий вариант, который подходит для большинства сайтов на WordPress без специфичных плагинов каталога:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://site.ru/sitemap.xml

Строка Allow: /wp-admin/admin-ajax.php обязательна: этот файл технически лежит в закрытой папке /wp-admin/, но через него подгружается часть интерактивного контента — формы, фильтры, динамические блоки. Без явного разрешения робот может не увидеть этот контент при рендеринге страницы. Если сайт использует WooCommerce, дополнительно закрывают страницы корзины и личного кабинета: Disallow: /cart/, Disallow: /checkout/, Disallow: /my-account/ — это страницы с уникальным содержимым для каждого пользователя, индексировать их незачем.

Пример robots.txt для 1С-Битрикс

Битрикс генерирует много служебных и технических URL, и типовая заготовка от самой платформы обычно избыточна — закрывает лишнее и не учитывает специфику конкретного каталога. Рабочий минимум:

User-agent: *
Disallow: /bitrix/
Disallow: /cgi-bin/
Disallow: /upload/1c_exchange/
Disallow: /search/
Disallow: /auth/
Disallow: /personal/
Disallow: /*?PAGEN_
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*ELEMENT_CODE=
Allow: /bitrix/templates/
Sitemap: https://site.ru/sitemap.xml

Папка /upload/1c_exchange/ — это техническая директория обмена с 1С:Предприятие, в ней нет контента для посетителей, но она часто весит гигабайты и без блокировки съедает краулинговый бюджет. Строка Allow: /bitrix/templates/ нужна отдельно, потому что в этой папке лежат CSS и JS файлы шаблона — без доступа к ним робот может не увидеть, как страница выглядит визуально, что иногда сказывается на оценке качества страницы.

Что закрывать в интернет-магазине независимо от движка

Здесь логика не привязана к CMS — это про типы страниц, которые есть в любом каталоге и почти никогда не должны попадать в индекс:

• Корзина и оформление заказа. Уникальны для каждого пользователя, поисковой ценности не несут.
• Сравнение товаров и избранное. То же самое — персональные страницы без стабильного контента.
• Результаты внутреннего поиска. Генерируют бесконечное число URL под любой поисковый запрос пользователя — прямой источник дублей.
• Фильтры каталога с несколькими активными параметрами. Один фильтр по цвету — иногда полезная страница, которую стоит открыть. Комбинация из пяти фильтров одновременно — почти всегда дубль базовой страницы категории с бесполезным для поиска URL.
• Страницы пагинации дальше второй-третьей. Многие магазины закрывают их через canonical, а не через robots.txt — это надёжнее, потому что позволяет роботу дойти до товаров на дальних страницах, просто не индексируя саму страницу листинга отдельно.

Разница между «закрыть в robots.txt» и «закрыть через canonical или noindex» принципиальна: robots.txt запрещает сканирование, то есть робот вообще не видит содержимое страницы. Canonical и noindex разрешают сканирование, но говорят не добавлять страницу в индекс. Для фильтров и пагинации второй способ обычно правильнее — робот проходит по ссылкам дальше и находит все товары, просто не хранит дублирующие URL-адреса как отдельные страницы в базе. Разбор того, как эти решения влияют на видимость каталога в поиске, — в материале про SEO-продвижение интернет-магазинов.

Таблица: что закрывать по типам сайтов

Как проверить, что файл не закрыл лишнее

После публикации robots.txt обязателен ручной прогон через инструмент проверки в Яндекс.Вебмастере или Google Search Console: туда вставляют несколько реальных адресов сайта — карточку товара, категорию, страницу блога — и смотрят, какие директивы их затрагивают. Частая ошибка — слишком широкая маска вроде Disallow: /*?*, которая должна была закрыть только служебные параметры, а на деле блокирует и страницы с ЧПУ, в которых случайно есть знак вопроса из-за UTM-меток. После любого изменения robots.txt стоит подождать несколько дней и сверить в панели вебмастера количество страниц в индексе — резкий обвал сигналит о слишком агрессивной блокировке. Подробный разбор типичных промахов — в материале об ошибках в robots.txt, из-за которых сайт теряет позиции. Если разбираться с файлом самостоятельно некогда, эту работу можно передать в рамках техподдержки сайта.

FAQ

Готовый robots.txt для WordPress

Базовый набор правил: закрываем служебные каталоги, оставляем открытым ajax-обработчик и указываем карту сайта.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /*?replytocom
Allow: /wp-content/uploads/

Sitemap: https://example.ru/sitemap_index.xml