Как правильно составить файл robots.txt для WordPress

 

Создавая сайт на WordPress, нужно позаботиться о составлении файла robots.txt. Этим и займёмся. Но сначала, определим, для чего нужно создавать файл robots.txt, вообще.

robots.txt

 

Для чего нужен файл robots.txt

Файл robots.txt нужен для того, чтобы указать поисковым роботам (они же пауки), таким как Яндекс, Google, Mail.ru и другим, что можно (и нужно) индексировать, а что нельзя. Таким образом в файле robots.txt задаются правила для индексации сайт. В свою очередь от этих правил зависит, что в итоге будет проиндексировано поисковым роботом и что попадёт в поисковую выдачу.

Нам ведь нужно, чтобы поисковик выдавал на запросы пользователей именно тот нужный контент, который важен владельцу сайта. А «лишний» контент исключался бы поисковым роботом и не попадал в поисковую выдачу.

Файл robots.txt — это обыкновенный текстовый файл, созданный в любом текстовом редакторе.

Приведу состав файла robots.txt для WordPress:

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /trackback
Disallow: */trackback
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed
Disallow: */feed/
Disallow: */comments
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /?feed=
Disallow: /*.php
 
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /trackback
Disallow: */trackback
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed
Disallow: */feed/
Disallow: */comments
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /?feed=
Disallow: /*.php
Host: site.com
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

Для робота Яндекса (директива User-agent: Yandex) правила составлены отдельно. Те же правила составлены для всех остальных поисковых роботов (директива User-agent: *).

Вообще, поисковый робот сам определят, что ему индексировать, переходя по ссылкам на сайте. Но файл robots.txt ему в этом здорово помогает.

В данном случае правила указывают, что нужно обязательно индексировать директорию /uploads (Allow: /wp-content/uploads/) и всё, что в ней находится. А там находятся наши картинки.

В то же время роботу указано, что не нужно индексировать комментарии, ленты, категории и т.д., а также дубли страниц и записей, которые имеют вид, например «/?».

Обязательно в robots.txt указано главное зеркало сайта (директива HOST).

Ну и естественно карта сайта в XML-формате, и дополнительно в сжатом виде (xml.gz).

Саму карту сайта нужно формировать, используя специальный плагин для WordPress.
 

Формирование файла robots.txt для WordPress

На самом деле, формируя правила файла robots.txt, Вы должны сами определять, что должен индексировать поисковый робот, а что нет. Выше обозначенный вариант приведён лишь для примера. Что включать в него или исключать, решать Вам, исходя из потребностей и некоторых особенностей Вашего сайта на WordPress.

К примеру, Вы добавляете поддиректорию /examples в директорию /wp-content. Смотря, что находится в этой директории, нужно прописать соответствующие правила в robots.txt (Allow или Disallow).

После того, как файл robots.txt сформирован, его нужно поместить в корень сайт.

Думаю, разобрались, и теперь Вы знаете, как составить файл robots.txt для WordPress.
 
Хорошего Вам настроения!

Оцените материал:

1 Звезда2 Звезды3 Звезды4 Звезды5 Звёзд   (голосов: 7, средняя оценка: 5,00 из 5, сумма: 35)

Loading...

Понравилось? Поделитесь с друзьями:





Другие материалы по теме:

Борисов - Качество
HTML и CSS - бесплатные видеокурсы
«HTML» и «CSS»
Изучите Видеокурсы
Бесплатно!
Станьте хозяином своих сайтов прямо сейчас! Введите Ваше Имя и Ваш E-Mail:

Ваш E-Mail в безопасности