Как ускорить индексацию сайта на WordPress
Скорость индексации зависит от доступности сайта, карты сайта, внутренних ссылок и сигналов для поисковиков. На WordPress основа есть из коробки: wp-sitemap.xml, robots.txt и пинг через IndexNow добавляется плагином или несколькими строками кода.
Новая запись на WordPress не появляется в поиске мгновенно, и поисковая система не обязана индексировать всё подряд. Но убрать препятствия и подсказать роботам, где свежие материалы, вполне в ваших силах.
Сначала проверьте, что индексация не запрещена
В «Настройки → Чтение» должна быть снята галочка «Попросить поисковые системы не индексировать сайт»: она добавляет noindex на все страницы. Эта настройка нередко остаётся включённой после разработки на тестовом адресе. Проверьте также:
- ответ сервера на страницу — код 200, а не 301/302 на другой адрес или 5xx;
- в исходном коде нет
<meta name="robots" content="noindex">, а заголовокX-Robots-Tagне запрещает индексацию; - файл
robots.txtне закрывает нужные разделы.
Карта сайта и robots.txt
Начиная с WordPress 5.5 есть встроенная карта /wp-sitemap.xml: она охватывает записи, страницы, рубрики и авторов. SEO-плагины (Yoast SEO, Rank Math, SEOPress, All in One SEO) умеют строить свою карту с дополнительными настройками. Используйте одну карту, а не две. Минимальный robots.txt:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: *?replytocom=
Sitemap: https://example.ru/wp-sitemap.xml
Закрывать от индексации файлы /wp-content/ и /wp-includes/ не нужно: роботам требуются стили и скрипты, чтобы корректно отрисовать страницу. Учтите, что Disallow не гарантирует исключение уже проиндексированной страницы из поиска: для этого нужен noindex или код 404/410.
IndexNow: сообщить о новой странице сразу
IndexNow позволяет отправить в поисковые системы адрес, который появился или изменился. Протокол поддерживают Яндекс и Bing, и отправка одному партнёру распространяется на остальных. Google его не поддерживает. Схема работы:
- Генерируете ключ (строка из букв и цифр) и кладёте файл
https://example.ru/<ключ>.txtс этим ключом внутри. - Отправляете запрос с адресами.
curl -X POST https://yandex.com/indexnow \
-H "Content-Type: application/json; charset=utf-8" \
-d '{"host":"example.ru","key":"abc123ключ","keyLocation":"https://example.ru/abc123ключ.txt","urlList":["https://example.ru/novaya-statya/"]}'
На WordPress это проще сделать плагином: он сам хранит ключ и отправляет адреса при публикации и обновлении записей. Точный список функций смотрите в описании плагина.
Яндекс Вебмастер и «Переобход страниц»
Если сайт уже подтверждён в Яндекс Вебмастере, в разделе «Индексирование → Переобход страниц» можно отправить важные адреса вручную; количество адресов в сутки ограничено квотой, показанной в интерфейсе. Там же стоит добавить файл sitemap и следить за отчётом «Страницы в поиске»: он показывает причины исключения (дубль, малоценная страница, ошибка ответа). Использовать переобход для всего сайта бессмысленно, он нужен для новых и обновлённых ключевых страниц.
Скорость и внутренние ссылки
Поисковые роботы обходят сайт с ограниченным бюджетом, поэтому быстрый ответ сервера помогает. Что даёт эффект:
- кэширование страниц (плагин кэша или кэш на уровне сервера);
- актуальный PHP 8.2–8.3 и OPcache;
- сжатие изображений, форматы WebP и AVIF,
loading="lazy"для картинок ниже первого экрана; - минимум тяжёлых плагинов и внешних скриптов.
Не менее важны внутренние ссылки. Новая запись, на которую ведёт ссылка с главной или из свежих материалов, обнаруживается быстрее, чем «сиротская» страница, до которой можно добраться только через карту. Добавляйте в текст ссылки на связанные материалы, блок «Похожие записи», хлебные крошки. О требованиях поисковиков в целом читайте в статье про технические требования к сайту.
Дубли: теги, архивы и replytocom
WordPress легко плодит похожие страницы:
| Источник дублей | Что делать |
|---|---|
| Архивы по датам, авторам, меткам | Закрыть noindex для малополезных (настраивается в SEO-плагине) |
Параметр ?replytocom= у комментариев |
Отключить в плагине или закрыть в robots.txt, на страницах оставить canonical |
Пагинация /page/2/ |
Оставить доступной для обхода, не ставить canonical на первую страницу |
Версии с www и без, http и https, со слешем и без |
Один главный адрес и 301 редирект остальных |
| Вложения-страницы (attachment) | Перенаправить на файл или запись |
Чем меньше мусора в индексе, тем охотнее робот обходит полезные страницы. Для экономии времени на публикации полезно подготовить всё заранее: новая запись должна иметь уникальный заголовок, описание и внутренние ссылки в момент выхода. А если сайт подвязан на ленту, удобно использовать RSS-ленту для автоматических уведомлений в сервисах.
Помните: индексация и ранжирование — разные вещи. Страница может быть в индексе и при этом не получать трафика, если она слабее конкурентов по содержанию.
Частые вопросы
Как быстро проиндексировать новую страницу WordPress?
Убедитесь, что страница открыта для индексации и есть в sitemap, поставьте на неё ссылку с уже проиндексированной страницы и отправьте адрес через IndexNow или инструмент «Переобход страниц» в Яндекс Вебмастере.
Где находится карта сайта WordPress?
Встроенная карта доступна по адресу /wp-sitemap.xml. SEO-плагины создают собственную, например /sitemap_index.xml, и при этом отключают встроенную.
Что такое IndexNow?
Это открытый протокол, с помощью которого сайт сообщает поисковикам о новых и изменённых адресах. Его поддерживают Яндекс и Bing, Google протокол не использует.
Почему поисковики не индексируют сайт на WordPress?
Частые причины: включена галочка «Попросить поисковые системы не индексировать сайт», запрет в robots.txt или meta robots noindex, ошибки сервера, дубли и очень слабое содержимое страниц.