Сегодня речь пойдет о файле robots.txt, основная функция которого скрытие страниц от индексации поисковыми роботами. Запрещать индексацию некоторых страниц нужно для отсутствия дублей контента и ненужных страниц в индексе поисковиков. Создать robots.txt можно даже в обычном блокноте, после заполнения файла директивами (речь о них пойдет дальше) файл нужно выгрузить в корень сайта. Robots.txt будет доступен по адресу site.ru/robots.txt. Теперь о директивах которые нужно вписывать в robots.txt …
