Существует большое количество сайтов, которые на своём примере объясняют как сделать Robots.txt для WordPress, но в большинстве случае такие ресурсы имеют много лишней информации. Те правила, которые так усердно используют все авторы, остаются без объяснений по непонятным причинам. В этой статье будет рассказано о том, как можно быстро сделать и использовать Robots.txt для WordPress. Подробнее о настройке файла robots для WordPress по ссылке https://seo-akademiya.com/baza-znanij/vnutrennyaya-optimizacziya/nastrojka-fajla-robots.txt-dlya-wordpress/.
Лучше всего брать готовый вариант и вводить в него свои корректировки. Существует как оптимальный вариант, так и вариант расширенный, с учетом правил Гугла и Яндекса. Расширенный вариант применяется гораздо реже оптимального, либо вообще не применяется, зависит это от того, что обе системы уже давно имеют гораздо больше схожестей, чем отличий. Но всё же расширенная версия может вам пригодиться если вдруг в одной системе произойдут кардинальные изменения.
Так как Robots.txt для WordPress является базовым вариантом, разработку конечной версии лучше всего доверить специалисту.
Теперь разберём ошибочные рекомендации с других ресурсов по установке Robots.txt для WordPress. Первая ошибка – постоянное написание Sitemap. На деле же указать его следует только один раз в любом месте. Вторая распространённая ошибка – закрывать все папки по типу wp, cache, plugins и так далее. На самом деле этого делать не нужно. Не стоит верить даже тем статьям, чьи заголовки начинаются с восклицаний о правильности их действий. С использованием Яндекса и Гугла папки не стоит трогать, они должны быть открытыми, либо прибегать к специальной системе. Третья ошибка – закрывать страницы тегов. Но здесь есть одно «но» — если страницы не имею важную информацию или она копируется куда-то, то закрывать можно. Но не стоит забывать, что теги и категории очень важны для продвижения и не стоит терять драгоценный трафик. Четвёртая ошибка – закрывать страницы пагинации. Делается это в основном от индексации. Делать этого не нужно. Здесь происходит учёт как ссылочной массы, так и товара в целом.
