Что такое robots.txt и как его правильно создать?

Здравствуйте! Сегодня я расскажу об одном файле, который играет важную роль в продвижении вашего сайта. Речь пойдет о robots.txt.
Чтобы его установить вам необходимо открыть FTP-клиент и установить robots.txt(это займет буквально пару минут).

Для чего вообще нужен robots.txt?
В этом файле находятся инструкции для поисковиков, в которых описаны пути к файлам, страницам и каталогам, которые не нужно индексировать. Или же наоборот – в нем может быть указано расположение файла, который нужно проиндексировать в первую очередь.

А зачем закрывать страницы от индекса?