Дубли страниц WordPress

Почему на сайте Wordpress появляются дубли страниц ? Как запретить дубли страниц WordPress ?

Разберём два основных момента, отвечающих за это деяние.

Первый  — это настройка robots.txt , который лежит в корне вашего сайта. Второй  — это удобная и читабельная sitemap.xml. Всё это для Яши и Гены. Они на основании этих файлов роются по сайту, а мы им объясняем туда ходи, сюда не ходи, увась — увась , тык — тык и всё такое. Одним словом, это помощники для управления роботами поисковых систем.

robots.txt — он содержит основу разрешений и запретов для роботов, и в него нам надо будет внести технические страницы сайта соответственно для запрета индексации, а также дубли страниц. Что такое дубли ? да те же самые страницы со всякими левыми окончаниями всякие /index.php,   /?_utl_t=vk  и т.д. Чем это чревато? Как мы знаем, у Яши есть механизм проверки уникальности текста статьи, и если есть её дубль, он зашпилит её как спам и понизит рейтинг сайта. Многие будут иметь своё мнение на этот счёт, и плагиат — не панацея, но зачем оно нам надо, если это можно убрать и, спокойно гладя своего Буцефала, не думать больше о плагиате со своего сайта на своём сайте, кому скажи —  засмеют)

Итак, открываем своих друзей помощников и открываем файл robots.txt с корня нашего сайта.

Сносим всё и вносим текст:

Sitemap: https://turbo-blog.ru/sitemap.xml
Host: turbo-blog.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /page/
Disallow: */trackback
Disallow: */comments
Disallow: /*.php
Disallow: /wp-content/uploads/
Disallow: /*?*
User-agent: Yandex

Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /page/
Disallow: */trackback
Disallow: */comments
Disallow: /*.php
Disallow: /wp-content/uploads/
Disallow: /*?*

Что бы всё это значило, спросите вы ?

Disallow: запрещает к выдаче страницы и именно Disallow: /*.php запрещает страницы, оканчивающиеся на .php

Disallow: /*?*  — это злобное расширение я добавил заранее, так как используемый нами в дальнейшем плагин для социальных сетей создаёт такие странички, о нём позже.

Host: turbo-blog.ru говорит поисковикам, что это и есть основной сайт, без всякого там www.

Sitemap: https://turbo-blog.ru/sitemap.xml указывает на расположение нашей карты сайта для поисковиков sitemap.xml.

User-agent: Yandex и User-agent: * на усмотрение, если вы хотите что-то скрыть для всех поисковиков кроме Яши, можно добавить в один список и не добавить в другой, можно иметь один список для всех.

Переходим к sitemap.xml. Рекомендую установку плагина Yoast SEO, о котором упоминал в статье Настройка Title и Description для блога, но не раскрыл его возможности полностью. И сейчас не раскрою), а напишу отдельную статью про настройка плагина Yoast SEO . Сейчас мы просто посмотрим, как оно выглядит.

Всё отлично, плагин штампует новые страницы в sitemap.xml, там, если обратили внимание, не один файл, плагин раскладывает их на записи, страницы, тэги и т.д.

А наш друг robots.txt рассказывает о нахождении sitemap.xml и закрывает все дубли страниц WordPress. Осталось немного, и можем запускать сайт на индексирование к Яше,  не забываем наполнить сайт-блог уникальным контентом, мало того, что уникальным — полезным и читабельным.

Мир вашему дому! Моему коту, и начальнику. Да не оскудеет рука дающего.