Создаем правильный файл robots.txt

Говоря простым языком, файл Robots.txt нужен для того, чтобы запретить индексацию ненужных страниц нашего сайта.Использование файла robots.txt, играет большую роль при индексации сайта в поисковых системах, по сути, являясь указателем для поисковой машины – какие страницы или директории (папки) необходимо индексировать, а какие нет.

Этот небольшой файл, является кране полезным для динамических веб-ресурсов, контролируя индексацию (запрещает или разрешает) страниц, которые находятся на сайте. Создает необходимые ограничения, для индексации страниц, которые заносить в поисковую систему не желательно (например, форумы, служебные файлы).

Файл robots.txt, использует исключительно текстовый формат сценариев UNIX, а установка на сайт осуществляется в режиме ASCII (код для обмена данными). При создании файла robots.txt, не допускается использование HTML редакторов. На сервере могут находиться несколько файлов robots.txt, в разных директориях, в таком случае, файл находящийся в директории блокирует внешний файл и выполнение сценария относится именно к той папке к которой он прикреплен.

Сам файл представляет собой небольшую текстовую запись, с использованием стандартного синтаксиса.

Первая строка записи может содержать как имя робота, для которого создан файл, так и допуск всех роботов к индексации:
- первый вариант User-agent: имя робота английскими буквами, напечатанные в нижнем регистре;
- второй вариант User-agent: * («*» обозначает, что к индексации допущены все роботы).

Следующая строка определяет, какое действие необходимо выполнить и обозначается Аllow (разрешить индексацию) и Disallow (запретить индексацию). Синтаксис этой строки аналогичен первой, то есть:
Disallow (или Аllow): имя файла или директории.