Robots TXT

Продолжаем настраивать наш сайт!

Для того, чтобы ваш сайт правильно индексировался и поисковые системы брали только нужную информацию (ну к примеру зачем им ваши данные админки или служебных файлов? – я тоже думаю ни к чему) необходимо создать файл robots. txt и загрузить его в корневую папку сайта.

Как вы уже наверняка догадались файл является неким указателем или инструкцией для поисковых роботов. Словно карта, он указывает – куда ходить и что индексировать можно, а куда поисковым роботам ходить не нужно.

Сам файл не влияет на ранжирование (поисковую выдачу) сайта, поэтому многие принебрегают им и не запариваются с установкой вовсе. В какой то степени – не очень обдуманно, раскажу чуть подробнее.

Это достаточно мощный инструмент, с помощью которого можно, к примеру, вообще целиком запретить индексацию вашего интернет ресурса, можно частично, можно ограничить круг поисковиков и одним разрешить, другим запретить индексацию сайта или отдельных его страниц. Очень полезен данный инструмент также и во время реконструкции или переделки сайта, когда вы на время можете запретить индексацию.

Более того, файл роботс останавливает и некоторые виды спам роботов, которые сканируют сайт на предмет наличия и последующего сбора электронных адресов в целях последующего их использования для спама. Ну и конечно же, от поисковых машин с помощью этого инструмента можно также легко скрыть разделы сайта, предназначенные для определенного круга пользователей – то есть страницы «не для всех» с приватной и закрытой от общего доступа информацией.

О том, каким образом правильно сделать и настроить данный файл мы и поговорим кратко в данной публикации.

Вообще robots достаточно просто написать вручную без каких либо конструкторов, которых к слову по интернету море. Весь процесс сводится к прописыванию спецкоманд в обычном файле блокнота. Потом этот файл сохраняем под именем robots и закачиваем в корень нашего сайта. В итоге он должен быть у нас по адресу ваш-сайт.ru /robots. txt

Сам файл я подготовил для вас, поэтому изобретать велосипед вам не нужно – просто слова» «ваш-сайт.ru в этом файле нужно заменить на адрес вашего сайта (без www и http://). Взять готовый файл и залить к себе на сервер можете здесь: http://red-nuts.com/sitedj/robots.txt

Конечно, вы можете сами полностью сделать с нуля свой файл robots. txt, благо информации по этому вопросу в интернете навалом, я остановлюсь лишь на основных директивах, которые в нем используются и в двух словах объясню для чего они применяются.

Итак… Что нужно для создания правильного robots. txt

Обязательно должны присутствовать две директивы – User-agent и Disallow. User-agent – определяет для какого бота (от какой поисковой системы) предназначено послание, а функция Disallow запрещает индексировать ту или другую страницу.

Если вы хотите задать для всех ботов одни и теже правила – просто пропишите после функции User-agent символ звездочку. Если при этом нужно запретить (допустим) индексирование страницы ваш-сайт.ru /abc. html и полностью содержимое директории (папки) private, то ваш файл будет иметь такое содержание:

User-agent: *

Disallow: /abc. html

Disallow: /private/

В случае, если вам нужно разрешить полный доступ роботу, который индексирует сайт, ваш файл будет таким:

User-agent: *

Disallow:

Особенности robots. txt

Есть еще несколько особенностей и нюансов, но повторюсь – информации в интернете по этому вопросу (для желающих глубже изучить) достаточно много, поэтому не считаю необходимым подробно на ней останавливаться в рамках данного курса.

Добавлю только то, что нужно разделять директивы для яндекса и остальных поисковиков, в силу того, что для яндекса обязательно присутствие директивы host (чтобы не было проблем с индексацией зеркала ресурса), но понимает ее только яндекс соответственно. Такая вот дурацкая заморочка, но имеет место быть.

Кроме того, желательно, чтобы размер файла не превышал 500 кб (по рекомендации гугла) для избежания ошибок индексации (вручную этого размера вы врядли достигните, но созданные автоматически с помощью некоторых CMS этот файл может превзойти данное ограничение).

Также нужно указать в файле путь к карте сайта, для того, чтобы робот быстрее ориентировался на страницах вашего ресурса, а соответственно чтобы процесс индексации вашего сайта проходил быстрее.

Если вашему мозгу мало – можете продолжить изучение данного, очень захватывающего вопроса. Если достаточно – берите файл http://red-nuts.com/sitedj/robots.txt – меняйте внутри него фразу» «ваш-сайт.ru на адрес своего ресурса и заливайте в корень. На крайний случай – можете взять его в другом месте, но хорошенько проверьте, прежде чем размещать у себя.

Данный текст является ознакомительным фрагментом.