Robots.txt для WordPress: правильная настройка в 2026 году с готовым шаблоном

Файл robots.txt — это первое, что видят поисковые роботы Яндекса и Google при заходе на ваш сайт. Правильная настройка robots.txt для WordPress в 2026 году позволяет управлять индексацией, экономить краулинговый бюджет и защищать служебные разделы от попадания в поисковую выдачу. В этой статье — готовый шаблон, пошаговая инструкция и разбор типичных ошибок.

📄 Что такое robots.txt и зачем он нужен?

Robots.txt — текстовый файл в корневой директории сайта, который содержит инструкции для поисковых роботов. Он указывает, какие разделы сайта можно сканировать, а какие — нет.

Важно понимать: robots.txt не запрещает индексацию страниц. Он лишь просит роботов не заходить в указанные директории. Для полного запрета индексации используйте мета-тег noindex.

Зачем настраивать robots.txt:

🔹 Экономия краулингового бюджета — роботы не тратят ресурсы на служебные страницы
🔹 Защита админки — /wp-admin/ и /wp-login.php закрыты от сканирования
🔹 Чистота индекса — дубли, архивы по датам и технические страницы не попадают в выдачу
🔹 Ускорение индексации нового контента — робот фокусируется на важных страницах

📍 Где находится robots.txt в WordPress?

WordPress автоматически генерирует виртуальный robots.txt по адресу вашсайт.ru/robots.txt. Но стандартный файл слишком простой — он разрешает всё и указывает на sitemap. Этого недостаточно для грамотного SEO.

Есть три способа создать и отредактировать robots.txt:

Через FTP/файловый менеджер хостинга — создайте файл robots.txt в корне сайта (рядом с wp-config.php). На Бегет и Timeweb это делается через встроенный файловый менеджер за пару кликов.
Через плагин Yoast SEO — раздел «SEO → Инструменты → Редактор файлов». Удобно, если не хотите работать с FTP.
Через плагин Virtual Robots.txt — отдельный плагин для управления robots.txt из админки.

✅ Правильный robots.txt для WordPress в 2026 году — готовый шаблон

Вот универсальный шаблон, подходящий для большинства WordPress-сайтов:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /trackback/
Disallow: /page/
Disallow: /*?replytocom=
Disallow: /*?attachment_id=

Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://вашсайт.ru/sitemap_index.xml

Разберём каждую строку:

🔸 /wp-admin/ и /wp-includes/ — служебные директории WordPress, роботам нечего делать
🔸 /wp-content/plugins/ — файлы плагинов, не нужны в индексе
🔸 /wp-json/ — REST API WordPress, генерирует дубли контента
🔸 /feed/ — RSS-ленты, создают дублированный контент
🔸 /?s= и /search/ — страницы поиска, бесконечное количество дублей
🔸 /author/ — авторские архивы, обычно дублируют основной контент
🔸 /page/ — пагинация архивов
🔸 Allow: /wp-content/uploads/ — разрешаем индексацию изображений
🔸 Allow: /wp-admin/admin-ajax.php — необходим для работы некоторых плагинов

🔧 Как настроить robots.txt через Yoast SEO?

Если у вас установлен плагин Yoast SEO (а он должен быть установлен на каждом WordPress-сайте), настройка занимает 2 минуты:

Перейдите в SEO → Инструменты в левом меню админки
Нажмите «Редактор файлов»
Замените содержимое robots.txt на шаблон из этой статьи
Подставьте свой домен в строку Sitemap
Нажмите «Сохранить изменения»

Если кнопка «Редактор файлов» недоступна, значит файл robots.txt уже создан физически на сервере. В этом случае редактируйте его через FTP или файловый менеджер хостинга.

⚠️ Типичные ошибки в robots.txt WordPress

Ошибка 1: Полный запрет сканирования

User-agent: *
Disallow: /

Это закрывает ВЕСЬ сайт от роботов. Иногда остаётся после переноса с тестового сервера. Проверьте прямо сейчас — зайдите на вашсайт.ru/robots.txt.

Ошибка 2: Закрытые CSS и JS файлы
Google должен иметь доступ к стилям и скриптам для правильного рендеринга страниц. Не закрывайте /wp-content/themes/ целиком.

Ошибка 3: Неправильный путь к sitemap
Убедитесь, что URL карты сайта в robots.txt ведёт на реально существующий файл. Проверьте: откройте указанный URL в браузере.

Ошибка 4: Забытый robots.txt от конструктора
Если вы переносили сайт с другой платформы, старый robots.txt мог остаться. Он может конфликтовать с виртуальным файлом WordPress.

Ошибка 5: Блокировка /wp-content/uploads/
Если закрыть эту директорию, изображения вашего сайта исчезнут из Google Картинок — а это потеря трафика.

🔍 Как проверить robots.txt на ошибки?

После настройки обязательно проверьте файл:

🔹 Яндекс.Вебмастер — раздел «Инструменты → Анализ robots.txt». Покажет, какие страницы закрыты
🔹 Google Search Console — инструмент проверки robots.txt (введите URL и проверьте доступность)
🔹 Браузер — просто откройте вашсайт.ru/robots.txt и убедитесь, что всё на месте

После внесения изменений рекомендуется запросить повторное сканирование в Яндекс.Вебмастере и Google Search Console. Обычно роботы подхватывают обновления в течение 24–48 часов.

🤔 Нужны ли отдельные правила для Яндекса и Google?

В 2026 году оба поисковика корректно обрабатывают общие правила (User-agent: *). Отдельные блоки для Googlebot и Yandex нужны только если вы хотите разное поведение для разных поисковых систем.

Единственное специфичное правило для Яндекса — директива Clean-param, которая помогает склеивать URL с UTM-метками:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Добавьте этот блок после основных правил, если используете UTM-метки в рекламных кампаниях.

📊 Влияние правильного robots.txt на SEO

Грамотная настройка robots.txt не даёт прямого роста позиций, но создаёт фундамент для эффективного продвижения:

🔹 Краулинговый бюджет — робот быстрее находит и индексирует новые статьи
🔹 Чистый индекс — в выдаче только нужные страницы, без мусора
🔹 Безопасность — служебные файлы скрыты от посторонних глаз
🔹 Скорость индексации — по данным аудитов, правильная настройка ускоряет индексацию на 30–50%

На практике: сайты с правильным robots.txt получают более стабильные позиции в Яндексе и Google, потому что поисковые системы тратят ресурсы на анализ контента, а не на обход технического мусора.

❓ Часто задаваемые вопросы (FAQ)

Можно ли обойтись без robots.txt?
Технически — да. WordPress создаёт виртуальный файл автоматически. Но без тонкой настройки роботы будут сканировать всё подряд, включая админку, поиск и дубли. Для SEO это плохо.

Robots.txt запрещает индексацию страниц?
Нет. Robots.txt запрещает только сканирование (краулинг). Если на закрытую страницу ведут внешние ссылки, она может попасть в индекс. Для запрета индексации используйте мета-тег noindex.

Как часто нужно обновлять robots.txt?
После первоначальной настройки — только при изменении структуры сайта: установке новых плагинов, смене темы, изменении структуры URL. Проверяйте файл раз в 3–6 месяцев.

Можно ли закрыть конкретную статью через robots.txt?
Можно через Disallow: /конкретная-статья/, но лучше использовать мета-тег noindex в самой статье. Через Yoast SEO это делается одним кликом.

Что делать, если robots.txt не работает?
Проверьте: файл должен находиться строго в корне домена (не в подпапке). URL чувствителен к регистру. Убедитесь, что нет конфликта между физическим файлом и виртуальным (через WordPress).

Нужно ли закрывать /wp-content/themes/?
Нет. Google использует CSS и JS из темы для рендеринга страниц. Закрытие этой директории может привести к проблемам с отображением сайта в поисковой выдаче.

Sitemap обязательно указывать в robots.txt?
Не обязательно, но рекомендуется. Это дополнительный сигнал для поисковых роботов. Основной способ — добавить sitemap в Яндекс.Вебмастер и Google Search Console.

Правильная настройка robots.txt — один из первых шагов технического SEO для WordPress. Потратьте 5 минут сейчас, чтобы не терять трафик потом. Больше инструкций по оптимизации и продвижению сайтов — на delay.site 🚀