Часто по разным причинам веб разработчику требуется закрывать сайт от индексации поисковыми системами. Вы меняете дизайн сайта и не хотите, чтобы ваши эксперименты попали в индекс поисковых систем, либо Вы создаёте новый сайт или меняете платформу и вам также не нужны не завершенные страницы в индексе, в общем, причин много. Большинство уверены, что с помощью файла Robots.txt содержащего следующую запись они гарантированно закрывают свой сайт от индексации. Будьте уверены, это не так! Если вы используете Robots.txt для скрытия от индекса не удивляйтесь, если вопреки всему он там появится. Причин этому не мало. Гугл индексирует все, что ему вздумается, не смотря на запреты в robots.txt
