iT-Ti.ruочерки сисадмина

Сайт и хостинг WordPress

Как ускорить индексацию сайта на WordPress

Опубликовано: Обновлено: 3 мин чтенияАвтор: Редакция iT-Ti.ru

Скорость индексации зависит от доступности сайта, карты сайта, внутренних ссылок и сигналов для поисковиков. На WordPress основа есть из коробки: wp-sitemap.xml, robots.txt и пинг через IndexNow добавляется плагином или несколькими строками кода.

Новая запись на WordPress не появляется в поиске мгновенно, и поисковая система не обязана индексировать всё подряд. Но убрать препятствия и подсказать роботам, где свежие материалы, вполне в ваших силах.

Сначала проверьте, что индексация не запрещена

В «Настройки → Чтение» должна быть снята галочка «Попросить поисковые системы не индексировать сайт»: она добавляет noindex на все страницы. Эта настройка нередко остаётся включённой после разработки на тестовом адресе. Проверьте также:

  • ответ сервера на страницу — код 200, а не 301/302 на другой адрес или 5xx;
  • в исходном коде нет <meta name="robots" content="noindex">, а заголовок X-Robots-Tag не запрещает индексацию;
  • файл robots.txt не закрывает нужные разделы.

Карта сайта и robots.txt

Начиная с WordPress 5.5 есть встроенная карта /wp-sitemap.xml: она охватывает записи, страницы, рубрики и авторов. SEO-плагины (Yoast SEO, Rank Math, SEOPress, All in One SEO) умеют строить свою карту с дополнительными настройками. Используйте одну карту, а не две. Минимальный robots.txt:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: *?replytocom=

Sitemap: https://example.ru/wp-sitemap.xml

Закрывать от индексации файлы /wp-content/ и /wp-includes/ не нужно: роботам требуются стили и скрипты, чтобы корректно отрисовать страницу. Учтите, что Disallow не гарантирует исключение уже проиндексированной страницы из поиска: для этого нужен noindex или код 404/410.

IndexNow: сообщить о новой странице сразу

IndexNow позволяет отправить в поисковые системы адрес, который появился или изменился. Протокол поддерживают Яндекс и Bing, и отправка одному партнёру распространяется на остальных. Google его не поддерживает. Схема работы:

  1. Генерируете ключ (строка из букв и цифр) и кладёте файл https://example.ru/<ключ>.txt с этим ключом внутри.
  2. Отправляете запрос с адресами.
curl -X POST https://yandex.com/indexnow \
  -H "Content-Type: application/json; charset=utf-8" \
  -d '{"host":"example.ru","key":"abc123ключ","keyLocation":"https://example.ru/abc123ключ.txt","urlList":["https://example.ru/novaya-statya/"]}'

На WordPress это проще сделать плагином: он сам хранит ключ и отправляет адреса при публикации и обновлении записей. Точный список функций смотрите в описании плагина.

Яндекс Вебмастер и «Переобход страниц»

Если сайт уже подтверждён в Яндекс Вебмастере, в разделе «Индексирование → Переобход страниц» можно отправить важные адреса вручную; количество адресов в сутки ограничено квотой, показанной в интерфейсе. Там же стоит добавить файл sitemap и следить за отчётом «Страницы в поиске»: он показывает причины исключения (дубль, малоценная страница, ошибка ответа). Использовать переобход для всего сайта бессмысленно, он нужен для новых и обновлённых ключевых страниц.

Скорость и внутренние ссылки

Поисковые роботы обходят сайт с ограниченным бюджетом, поэтому быстрый ответ сервера помогает. Что даёт эффект:

  • кэширование страниц (плагин кэша или кэш на уровне сервера);
  • актуальный PHP 8.2–8.3 и OPcache;
  • сжатие изображений, форматы WebP и AVIF, loading="lazy" для картинок ниже первого экрана;
  • минимум тяжёлых плагинов и внешних скриптов.

Не менее важны внутренние ссылки. Новая запись, на которую ведёт ссылка с главной или из свежих материалов, обнаруживается быстрее, чем «сиротская» страница, до которой можно добраться только через карту. Добавляйте в текст ссылки на связанные материалы, блок «Похожие записи», хлебные крошки. О требованиях поисковиков в целом читайте в статье про технические требования к сайту.

Дубли: теги, архивы и replytocom

WordPress легко плодит похожие страницы:

Источник дублей Что делать
Архивы по датам, авторам, меткам Закрыть noindex для малополезных (настраивается в SEO-плагине)
Параметр ?replytocom= у комментариев Отключить в плагине или закрыть в robots.txt, на страницах оставить canonical
Пагинация /page/2/ Оставить доступной для обхода, не ставить canonical на первую страницу
Версии с www и без, http и https, со слешем и без Один главный адрес и 301 редирект остальных
Вложения-страницы (attachment) Перенаправить на файл или запись

Чем меньше мусора в индексе, тем охотнее робот обходит полезные страницы. Для экономии времени на публикации полезно подготовить всё заранее: новая запись должна иметь уникальный заголовок, описание и внутренние ссылки в момент выхода. А если сайт подвязан на ленту, удобно использовать RSS-ленту для автоматических уведомлений в сервисах.

Помните: индексация и ранжирование — разные вещи. Страница может быть в индексе и при этом не получать трафика, если она слабее конкурентов по содержанию.

Частые вопросы

Как быстро проиндексировать новую страницу WordPress?

Убедитесь, что страница открыта для индексации и есть в sitemap, поставьте на неё ссылку с уже проиндексированной страницы и отправьте адрес через IndexNow или инструмент «Переобход страниц» в Яндекс Вебмастере.

Где находится карта сайта WordPress?

Встроенная карта доступна по адресу /wp-sitemap.xml. SEO-плагины создают собственную, например /sitemap_index.xml, и при этом отключают встроенную.

Что такое IndexNow?

Это открытый протокол, с помощью которого сайт сообщает поисковикам о новых и изменённых адресах. Его поддерживают Яндекс и Bing, Google протокол не использует.

Почему поисковики не индексируют сайт на WordPress?

Частые причины: включена галочка «Попросить поисковые системы не индексировать сайт», запрет в robots.txt или meta robots noindex, ошибки сервера, дубли и очень слабое содержимое страниц.