Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы вебмастер, вы должны знать назначение и синтаксис robots.txt. Файл robots.txt — это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

В этой статье мы обсудим как должен выглядить robots.txt для WordPress.

Начнем с того, что вообще представляет из себя данный файл. Это текстовый файл, который легко можно создать в Блокноте. Имя его, как вы догадались (: robots.txt. Пишется он только мелкими строчными буквами на латинице. Robots.txt или ROBOTS.txt — не верно. Роботы будут игнорировать такой файл.

Теперь обсудим основные функции файла. Их не так много.

User-agent — имя робота. У каждого бота есть такое уникальное имя (User-agent: Yandex).
Disallow — после этой директивы мы и должны указать файл или папку, к которой запрещаем доступ относительно корня вашего сайта. Разрешается указывать только одну папку или имя файла
(Disallow: /admin).

Создадим файл robots.txt и поместим в него следующий код:

Этими строчками мы запретили роботам индексировать системные папки (wp-admin, wp-includes, wp-content), страницы с информацией по тегам, rss feed, поисковые результаты. Но, указали точный путь до папки с мультимедиа файлами и карты сайта. Вот и все. Файл готов. Если же вы хотите узнать больше информации о файле robots.txt, то обязательно посетите ресурс robotstxt.org.ru