Файл robots.txt. Для чего он нужен?

Создание файла robots.txt – первоначальный и необходимый шаг веб-мастера для успешного продвижения своего сайта или блога в выдачах поисковых систем.
Главное его предназначение - это задавать определённые указания роботам поисковых систем - что и когда делать на сайте, что нужно им индексировать. Ведь мы хотим, чтобы в выдачу шел интересный и нужный людям контент, а не системные или служебные файлы.
Поэтому, в данной статье дается описание директив для поисковых роботов, рассказывается о правилах создания файла robotx.txt, способах его анализа и проверки. Приведен пример правильного файла robotx.txt.