Правильная настройка robots.txt для WordPress в 2026 году: полное руководство

Правильная настройка robots.txt для WordPress — это создание текстового файла в корне сайта, который указывает поисковым роботам, какие страницы индексировать, а какие игнорировать. В 2026 году грамотный robots.txt закрывает служебные директории WordPress (/wp-admin/, /wp-includes/), мусорные параметры URL и дубликаты, открывает /wp-content/uploads/ для индексации картинок и обязательно содержит директиву Sitemap. От этого напрямую зависит краулинговый бюджет и скорость попадания новых статей в Яндекс и Google. 🤖

Разберёмся, как сделать robots.txt, который не будет мешать продвижению, а наоборот — ускорит индексацию. Без теории ради теории: только рабочий шаблон и объяснение каждой строчки.

🧭 Что такое robots.txt и зачем он WordPress?

robots.txt — обычный текстовый файл, лежащий по адресу https://вашсайт.ru/robots.txt. Поисковые боты (Яндекс, Googlebot, Bingbot) перед обходом сайта заглядывают в него и читают правила. Файл работает как «памятка для вахтёра»: сюда можно, сюда нельзя, вот карта здания.

WordPress создаёт массу служебных URL, которые в индексе поисковика только мешают:

📁 /wp-admin/ — админка
⚙️ /wp-includes/ — системные файлы ядра
🔍 страницы поиска вида /?s=запрос
🏷️ архивы тегов, авторов, дат (часто дубли)
📡 /feed/, /trackback/, /xmlrpc.php
🧮 URL с UTM-метками и параметрами сортировки

Если всё это не закрыть, поисковик тратит краулинговый бюджет на мусор, а важные страницы индексирует медленнее. Для молодого сайта на дешёвом хостинге вроде Бегета это особенно критично — чем быстрее бот найдёт контент, тем быстрее пойдёт трафик.

📍 Где лежит robots.txt в WordPress?

По умолчанию WordPress отдаёт виртуальный robots.txt — его нет как физического файла, он генерируется на лету. Чтобы проверить, откройте в браузере вашсайт.ru/robots.txt. Увидите что-то вроде:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Это минимальный вариант от WordPress. Его категорически недостаточно для серьёзного SEO. Нужно создать свой файл — физический, в корне сайта (там же, где wp-config.php).

📝 Правильный robots.txt для WordPress в 2026 году

Вот рабочий шаблон. Скопируйте, замените вашсайт.ru на свой домен и загрузите в корень сайта:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /license.txt
Disallow: /?s=
Disallow: /*?s=
Disallow: /search/
Disallow: /author/
Disallow: /*?replytocom
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /*?utm
Disallow: /*?openstat
Disallow: /tag/

Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.css
Allow: /*.js
Allow: /*.webp
Allow: /*.jpg
Allow: /*.png
Allow: /*.svg

Sitemap: https://вашсайт.ru/sitemap_index.xml

Разбор по блокам — ниже.

🔎 Что означает каждая строка?

User-agent: * — правила для всех роботов сразу. В 2026 году отдельные блоки для Яндекса и Google делать не нужно: оба отлично понимают универсальные директивы.
Disallow: /wp-admin/ — закрываем админку. Бот туда всё равно не попадёт, но формально — порядок.
Disallow: /wp-includes/, /wp-content/plugins/ — системные директории. В индекс им не место.
Disallow: /wp-json/ — REST API. Публичные endpoint’ы могут плодить дубли.
Disallow: /xmlrpc.php — устаревший API, частый источник спама.
Disallow: /*?s=, /search/ — страницы встроенного поиска. Бесполезны для индекса.
Disallow: /author/, /tag/ — архивы авторов и тегов. Почти всегда дубли. Если тэги у вас прокачаны как посадочные — эту строку уберите.
Disallow: */feed, */trackback, */embed — служебные URL RSS и встраивания.
Disallow: /*?utm, /*?openstat — закрываем рекламные метки, чтобы не плодить параметрические дубли.
Allow: /wp-content/uploads/ — обязательно разрешаем загрузки. Без этого картинки не попадут в Яндекс.Картинки и Google Images.
Allow: /*.css, /*.js — Google требует доступ к CSS и JS, чтобы корректно рендерить страницу. Без этого Core Web Vitals сломаются.
Sitemap: — ссылка на карту сайта. Для Yoast SEO это обычно sitemap_index.xml.

⚙️ Как создать и загрузить robots.txt?

Три рабочих способа. Выбирайте по вкусу.

1. Через плагин Yoast SEO (самый простой)

Зайдите в SEO → Инструменты → Редактор файлов
Нажмите «Создать файл robots.txt»
Вставьте шаблон выше, сохраните

Yoast сам запишет файл в корень сайта. Плагин одновременно сгенерирует sitemap и подставит правильный путь в директиву Sitemap.

2. Через FTP или файловый менеджер хостинга

Создайте локально файл robots.txt в любом текстовом редакторе (Notepad++, VS Code)
Подключитесь к хостингу через FileZilla или панель (у Timeweb и Бегета есть удобный веб-менеджер)
Загрузите файл в корень сайта — туда, где лежит wp-config.php

3. Через SSH (для продвинутых)

cd /home/user/public_html/
nano robots.txt
# вставили, Ctrl+O, Ctrl+X
chmod 644 robots.txt

✅ Как проверить, что robots.txt работает?

Создать файл — половина дела. Надо убедиться, что он корректный и поисковики его видят.

🔗 Откройте вашсайт.ru/robots.txt в браузере — должны увидеть содержимое
🔬 В Яндекс.Вебмастере: Инструменты → Анализ robots.txt. Сервис покажет ошибки и позволит проверить конкретные URL
🔍 В Google Search Console: раздел «Настройки» → «Сканирование» → robots.txt
⚡ Проверьте, что важные страницы (главная, категории, посты) не попали под Disallow

🚨 Типичные ошибки, которые убивают SEO

За годы работы с сайтами клиентов я видел одни и те же грабли. Не наступайте на них:

❌ Disallow: / — закрывает весь сайт от индексации. Классика после переноса с тестового домена.
❌ Закрыты CSS и JS — Google не отрендерит страницу, Core Web Vitals упадут в красную зону.
❌ Нет директивы Sitemap — теряете канал быстрой индексации.
❌ Закрыт /wp-content/uploads/ — вылетают из индекса все картинки.
❌ Один гигантский Disallow на 200 строк — современные боты и так умеют игнорировать мусор, не перегружайте файл.
❌ Кириллические домены без Punycode — в Sitemap пишите xn--…

🤔 Нужны ли отдельные блоки для Яндекса и Google?

Короткий ответ — нет. Раньше директиву Host: и отдельный блок User-agent: Yandex ставили обязательно. С 2018 года Яндекс отказался от Host, а в 2026 отдельные секции имеют смысл только если вы реально хотите разную логику для разных ботов (например, запретить GPTBot, но пустить Googlebot).

Если нужно закрыть сайт от ИИ-краулеров, добавьте:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

🔗 robots.txt и sitemap.xml — как они работают вместе

robots.txt говорит «куда нельзя», sitemap.xml — «куда надо заглянуть обязательно». Это две стороны одной медали. Директива Sitemap: в robots.txt — официальный способ сообщить поисковику адрес карты. Даже если вы добавили sitemap в Вебмастер вручную, продублируйте его в robots.txt — хуже не будет.

Yoast SEO и Rank Math генерируют sitemap автоматически. Путь обычно такой: /sitemap_index.xml (Yoast) или /sitemap.xml (Rank Math). Проверьте у себя и подставьте правильный.

💰 Хостинг и скорость индексации

Идеальный robots.txt не спасёт, если сервер отдаёт сайт по 3 секунды. Поисковые боты ограничивают количество запросов к медленным сайтам, и бюджет обхода тает на глазах. Если живёте на бесплатном или перегруженном хостинге — подумайте о переезде.

Для WordPress в 2026 году нормально работают:

🇷🇺 Beget — быстрый старт, NVMe, хорошая поддержка, подходит для первых проектов
☁️ Timeweb Cloud — VDS с SSD, если нужны ресурсы под рост и отдельный IP

❓ FAQ: частые вопросы про robots.txt в WordPress

Как часто Яндекс и Google перечитывают robots.txt?
Обычно раз в сутки. Если вы внесли изменения и хотите ускорить — в Яндекс.Вебмастере есть кнопка «Проверить», в Search Console — «Запросить повторное сканирование».

Можно ли закрыть сайт от индексации через robots.txt?
Формально да: Disallow: / для всех User-agent. Но это не гарантия. Если на сайт ведут внешние ссылки, Google может оставить страницу в индексе «по ссылке». Надёжнее — мета-тег <meta name="robots" content="noindex">.

Нужно ли закрывать /tag/ и /category/?
Теги — почти всегда да, дубли контента. Категории — нет: это важные посадочные страницы. В шаблоне выше закрыты только /tag/.

Что делать, если robots.txt не открывается по прямой ссылке?
Проверьте права доступа (должно быть 644), отсутствие файла .htaccess-блокировок и что вы загрузили файл именно в корень, а не в подпапку.

Можно ли использовать regex в robots.txt?
Частично. Поддерживаются символы * (любая последовательность) и $ (конец строки). Полноценные регулярные выражения — нет.

Нужен ли robots.txt, если есть sitemap?
Да. Это разные инструменты. Sitemap — список URL для обхода, robots.txt — правила доступа. Работают в паре.

Как проверить, не закрыта ли нужная страница?
В Яндекс.Вебмастере: «Инструменты → Анализ robots.txt», вставьте URL и нажмите «Проверить». Сервис скажет, разрешён обход или нет.

🎯 Итог: чек-лист правильного robots.txt

✅ Файл лежит в корне сайта и открывается по адресу сайт.ru/robots.txt
✅ Закрыты служебные директории WordPress
✅ Открыты /wp-content/uploads/, CSS и JS
✅ Указана директива Sitemap с актуальным URL
✅ Закрыты поисковые запросы, UTM-метки, архивы авторов
✅ Проверен в Яндекс.Вебмастере и Google Search Console
✅ Нет фатального Disallow: / для всего сайта

robots.txt — это не магия, а гигиена. Один раз настроили грамотно, раз в полгода проверили — и забыли. Главное не усложнять: минимум правил, максимум смысла.

🦞 Нужна помощь с полной SEO-настройкой WordPress или не уверены, что ваш robots.txt работает как надо? Заходите на delay.site — разбираем такие вещи на практике, без воды и инфоцыганства. Сделаем так, чтобы ваш сайт полюбили и Яндекс, и Google.