Здравствуйте. Продолжаю освящать темы, которые касаются блоговедения на CMS WP. По заголовку вы уже поняли что разговор пойдет о файле robots.txt для wordpress.
В сети уже достаточно сказано и расписано об этом файле и мая статья будет не исключением. Просто решил для себя сделать шпаргалку, чтобы не посещать другие блоги в случаи необходимости.
Возможно, данный материл и для вас станет подсказкой, которая будет в закладках. 🙂
robots.txt — это самый первый текстовый файл к которому обращается поисковый робот во время посещения веб-сайта (один из важных файлов). Данный файл должен лежать в корневой директории сайта. В этом файле мы вебмастера сайтов прописывают определенные указания для поискового робота.
Во время отсутствия robots.txt в wordpress и не только, поисковый робот (бот) индексирует все что ни лень. Это приводит к тому, что бот затрачиваем много времени и может не захватить важные данные.
Во время создание robots.txt и указания в нем инструкций необходимо будет задать путь роботу к файлу sitemap.xml (карта сайта). Конечно, если такой файл у вас присутствует, если нет, в обязательном порядке создайте. При посещении файла робот видит какие страницы нужно индексировать.
Файл для wordpress — robots.txt
Много глаголить не стану, ниже приведу пример моего файла роботс для WP и если вы посчитаете нужным использовать такой же у себя, просто скопируйте данные и создайте текстовый файл под названием “robots.txt”, а дальше заливайте его на хостинг.
Мой вариант файла:
| User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /*page/ User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /*page/ Host: ojseo.ru Sitemap: http://ojseo.ru/sitemap.xml |
Важно, прежде чем залить файл измените следующие данные на свои:
- Host: site.ru
- Sitemap: http://site.ru/sitemap.xml
Загружать файл можно как с помощью FTP доступа, так и помощью личного кабинета вашего хостинга. Разберетесь.
Важные директивы файла:
- user-agent — указания определенному роботу (пример: (User-agent: * = для всех роботов) или (User-agent: Yandex = для Яндекс));
- host — указывается главное зеркало сайта;
- disallow — означает не индексировать определенный файл или раздел;
- allow — означает, что можно индексировать определенный файл или раздел
Яндекс и Google используют различные директивы в robots.txt, указания для них следует писать отдельными. Выше пример был указан.
Подробней о файле robots.txt для wordpress и не только можно узнать по адресу: http://webmaster.yandex.ru/robots.xml
[ratings]
