Архивы авторов и дат часто попадают в индекс по умолчанию, хотя на небольшом сайте они дают мало пользы и создают дублирующие страницы. Проблема обычно не в самом архиве, а в том, что поисковик тратит краулинговый бюджет на слабые URL и может показывать их вместо более полезных страниц рубрик, записей или страниц-авторов.
Ниже разберём рабочую схему: что именно отключать, чем отличается noindex от robots.txt, как это сделать кодом и как проверить, что поисковик увидел нужный сигнал.
Когда архивы авторов и дат действительно мешают
Сначала стоит понять, есть ли у вас вообще проблема. Не все архивы нужно закрывать. Если на сайте есть сильные страницы авторов с биографией, портфолио и подборкой материалов, их можно оставить в индексе. То же касается новостных проектов, где архив даты может быть полезен как навигационная страница.
Типичные признаки лишней индексации
- в поиске появляются страницы вида
/author/ivan/или/2026/08/, хотя они не несут самостоятельной ценности; - в Search Console растёт число страниц с низкой уникальностью;
- в выдаче видны архивы вместо нормальных посадочных страниц;
- на сайте несколько авторов, но у каждого пустая или почти пустая страница архива.
Диагностика: что именно сейчас отдаёт WordPress
Перед правками проверьте, как сайт ведёт себя сейчас. В WordPress архив автора обычно доступен по адресу /author/slug/, а архив даты — по шаблонам вроде /2026/08/ или /2026/, если тема и структура ссылок это поддерживают.
Откройте такие страницы в браузере и посмотрите исходный код. Если в <head> уже есть <meta name="robots" content="noindex">, значит тема или SEO-плагин частично решают задачу. Если нет — поисковик может индексировать архивы как обычные страницы.
Полезно также проверить заголовок ответа сервера. Для этого подойдёт:
curl -I https://example.com/author/ivan/В ответе ищите не только 200 OK, но и заголовки, которые добавляет SEO-плагин или тема. Если заголовка X-Robots-Tag нет, это не ошибка само по себе, но тогда контроль идёт через HTML-мета-тег.
Что выбрать: robots.txt, noindex или оба варианта
Здесь часто путают две разные задачи. robots.txt запрещает обход, а noindex говорит поисковику не включать страницу в индекс. Если закрыть архив только через robots.txt, поисковик может не увидеть noindex и оставить URL в индексе как «запрещённый к обходу». Поэтому для уже известных страниц безопаснее использовать noindex, а robots.txt — только как дополнительную меру, если вы точно понимаете последствия.
| Подход | Что делает | Когда использовать | Компромисс |
|---|---|---|---|
| noindex | Не даёт странице попасть в индекс | Для архивов авторов и дат, которые уже доступны | Страница может ещё какое-то время показываться в отчётах |
| robots.txt | Запрещает обход | Для технических URL, которые не должны сканироваться | Не гарантирует удаление из индекса |
| noindex + robots.txt | Снижает обход и исключает индексирование | Если архив точно не нужен | Нужно не сломать внутренние ссылки и навигацию |
Пошаговое решение через код
Если у вас нет SEO-плагина или вы хотите контролировать поведение точечно, можно добавить noindex для архивов авторов и дат через фильтр wp_robots. Это современный и безопасный способ, который WordPress поддерживает штатно.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['nofollow'] = true;
}
return $robots;
} );Этот код можно поместить в functions.php дочерней темы или в небольшой mu-plugin. Второй вариант надёжнее: он не исчезнет после обновления темы.
Если нужно дополнительно убрать архивы из sitemap, это зависит от SEO-плагина. В Yoast, Rank Math и похожих решениях есть собственные настройки для архивов авторов и дат. Кодом это лучше не ломать, если плагин уже управляет картой сайта.
Если нужен именно заголовок X-Robots-Tag
Иногда удобнее отдавать директиву на уровне HTTP-заголовка. Это полезно, если вы хотите, чтобы правило работало даже без рендера HTML. Для этого можно использовать send_headers:
<?php
add_action( 'send_headers', function() {
if ( is_author() || is_date() ) {
header( 'X-Robots-Tag: noindex, nofollow', true );
}
} );Но не смешивайте этот вариант с произвольными редиректами. Если архив нужен для пользователей, а не для поисковика, лучше оставить страницу доступной и ограничиться noindex.
Настройка через SEO-плагин
Если на сайте уже стоит SEO-плагин, проще использовать его интерфейс. В большинстве случаев это надёжнее, чем вручную править тему. Смысл один: отключить индексацию архивов авторов и дат, а при необходимости убрать их из sitemap.
Проверяйте, чтобы плагин не делал две конфликтующие вещи одновременно: например, не ставил noindex и не закрывал ту же страницу в robots.txt без необходимости. Такая комбинация не всегда вредна, но усложняет диагностику.
Проверка результата после внедрения
После правки не ограничивайтесь просмотром кода страницы. Нужно проверить и HTML, и ответ сервера, и отчёты поисковика.
- откройте архив автора и даты в браузере;
- посмотрите исходный код и убедитесь, что есть
noindex; - проверьте ответ
curl -I, если используетеX-Robots-Tag; - в Search Console отправьте URL на повторную проверку;
- убедитесь, что архивы исчезают из sitemap, если вы их отключали там же.
Если страница всё ещё индексируется, не делайте вывод сразу. Поисковик может держать старую версию некоторое время. Важнее, чтобы новая версия уже отдавала правильные сигналы.
Частые ошибки и как их исправить
Закрыли в robots.txt, но не поставили noindex
Это самая частая ошибка. Поисковик видит запрет на обход, но не получает явный сигнал на исключение из индекса. Исправление простое: разрешите обход и добавьте noindex, если URL уже был доступен.
Сломали архивы авторов, которые реально нужны
Если у автора есть сильная страница с описанием, списком публикаций и нормальной навигацией, закрывать её не стоит. В этом случае лучше доработать шаблон архива: добавить биографию, фото, ссылки на соцсети, количество публикаций и уникальный текст.
Поставили noindex, но оставили пустой архив
Пустые или почти пустые архивы — плохой сигнал и для пользователей, и для поиска. Если архив не нужен, лучше закрыть его полностью. Если нужен, наполните его контентом и добавьте понятную структуру.
Использовали несколько плагинов, которые правят robots
Когда один плагин ставит noindex, а другой переписывает robots-мета, итог может быть непредсказуемым. Оставьте один источник правды: либо SEO-плагин, либо собственный код.
Практические советы по безопасности и производительности
Если вы вносите правки кодом, используйте дочернюю тему или mu-plugin, а не редактируйте родительскую тему. Так изменения не пропадут после обновления. Для небольших правил вроде noindex это особенно удобно: код короткий, а контроль полный.
Не добавляйте тяжёлую логику в wp_head без необходимости. Фильтр wp_robots предпочтительнее, потому что он встроен в стандартный вывод WordPress и не требует лишней обработки шаблона.
Если на сайте много дублей и технических страниц, имеет смысл посмотреть в сторону комплексной чистки SEO-настроек. Например, в Clearfy Pro есть инструменты для удаления дублей и технической оптимизации, но применять их стоит только после проверки, какие именно URL реально нужны сайту: Clearfy Pro.
Как понять, что решение сработало
Признак успеха не в том, что страница просто открывается с 200 OK. Важно, чтобы она отдавала нужную директиву для роботов и перестала конкурировать с полезными страницами в индексе.
Проверьте три вещи: мета-robots или X-Robots-Tag на странице, отсутствие конфликта с sitemap и постепенное исчезновение URL из отчётов поисковой системы. Если всё это совпало, настройка выполнена корректно.