0 » » Файл robots.txt для CMS wordpress

Файл robots.txt для CMS wordpress

robots.txt для CMS wordpress

Здравствуйте. Продолжаю освящать темы, которые касаются блоговедения на CMS WP. По заголовку вы уже поняли что разговор пойдет о файле robots.txt для wordpress.

В сети уже достаточно сказано и расписано об этом файле и мая статья будет не исключением. Просто решил для себя сделать шпаргалку, чтобы не посещать другие блоги в случаи необходимости.

Возможно, данный материл и для вас станет подсказкой, которая будет в закладках. 🙂 

robots.txt — это самый первый текстовый файл к которому обращается поисковый робот во время посещения веб-сайта (один из важных файлов). Данный файл должен лежать в корневой директории сайта. В этом файле мы вебмастера сайтов прописывают определенные указания для поискового робота.

Во время отсутствия robots.txt в wordpress и не только, поисковый робот (бот) индексирует все что ни лень. Это приводит к тому, что бот затрачиваем много времени и может не захватить важные данные.

Во время создание robots.txt и указания в нем инструкций необходимо будет задать путь роботу к файлу sitemap.xml (карта сайта). Конечно, если такой файл у вас присутствует, если нет, в обязательном порядке создайте. При посещении файла робот видит какие страницы нужно индексировать.

Файл для wordpress — robots.txt

Много глаголить не стану, ниже приведу пример моего файла роботс для WP и если вы посчитаете нужным использовать такой же у себя, просто скопируйте данные и создайте текстовый файл под названием robots.txt”, а дальше заливайте его на хостинг.

Мой вариант файла:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /*page/

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /*page/

Host: ojseo.ru
Sitemap: http://ojseo.ru/sitemap.xml

Важно, прежде чем залить файл измените следующие данные на свои:

  • Host: site.ru
  • Sitemap: http://site.ru/sitemap.xml

Загружать файл можно как с помощью FTP доступа, так и помощью личного кабинета вашего хостинга. Разберетесь.

Важные директивы файла:

  • user-agent — указания определенному роботу (пример: (User-agent: * = для всех роботов) или (User-agent: Yandex = для Яндекс));
  • host — указывается главное зеркало сайта;
  • disallow — означает не индексировать определенный файл или раздел;
  • allow — означает, что можно индексировать определенный файл или раздел

Яндекс и Google используют различные директивы в robots.txt, указания для них следует писать отдельными. Выше пример был указан.

Подробней о файле robots.txt для wordpress и не только можно узнать по адресу: http://webmaster.yandex.ru/robots.xml

Совсем плохоПлохоНичего такХорошоСупер (Пока оценок нет)

Загрузка...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *