Файл robots.txt для блога или сайта на WordPress

Файл robots.txt для блога или сайта на WordPress

Что такое файл robots.txt?

Файл robots.txt — это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Это ограничения доступа к содержимому на вашем блоге, сайте.

Файл robots.txt создаётся в корневой папке вашего блога или сайта.

Файл этот содержит не сложный синтаксис, который очень подробно описан, например, в яндексе.

Обычно, в файле robots.txt указывается директивы для поискового робота:

директива ‘User-agent

разрешающие ‘Allow’

запрещающие директивы ‘Disallow

Также используется директива ‘Sitemap’ для указания поисковикам, где именно находится файл карты сайта.

Необходимо указать в файле robots.txt главное зеркало вашего блога или сайта в директиве ‘Host’. Если же нет зеркал, то полезно будет в этой директиве указать, какой из вариантов вашего блога или сайта является главным с www или без него.

Правильный robots.txt для блога на WordPress

Я не буду приводить пример файла robots.txt для WordPress, который рекомендуют разработчики. Правильных примеров файла robots.txt достаточно много в поиске.

Я считаю правильность зависит от того как вы пропишете дерктивы для поисковых роботов. Конечно следует создать запрет на индексацию в robots.txt для WordPress тех файлов вашего блога или сайта, которые не имеют отношения к информационный составляющей.

Надо учитывать, что на индексацию этого мусора уйдет много времени у поисковый роботов Яндекса и Гугла и может совсем не остаться времени для индексации статей и заметок.

Индексация всего того мусора, который вы не закрыли в robots.txt для индексации в WordPress, будет создавать дополнительную нагрузку на сервер, а у WordPress и так достаточно проблем.

Я просто приведу пример файла robots.txt c которым у меня нет проблем, он меня устраивает.

User-agent: Yandex
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*
Disallow: /comments
Host: адрес сайта.ru
User-agent: *
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*
Disallow: /comments
Sitemap: http://адрес сайта.ru/sitemap.xml

Если у вас включены древовидные комментарии, то можно включить Disallow: *?replytocom

А также предлагаю посмотреть видео о настройке файла robots.txt


Посоветуйте фильм. Очень хочется посмотреть интересный, хороший, душевный и немного смешной фильм!

This site is using SEO Baclinks plugin created by InfoMotru.ro and Locco.Ro










Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *