Я думал данная тема уже давно разжевана и трудностей возникать не должно, но не тут то было. Буквально вчера мне на почту пришло письмо с просьбой написать как правильно заполнять robots.txt Что вообще там нужно писать и как. Файл robots.txt служит для пояснения поисковым системах действий, которые следует выполнять с Вашим сайтом, блогом при индексации. То есть это некая инструкция, по которой поисковые системы буду работать с Вашим ресурсом при индексации.