Кто знает как настроить файл robots.txt? да конечно, тот, кто уже настраивал свой сайт или читал об этом. А если вы впервые столкнулись с этим? Вот таким новичкам обязательно нужно прочитать. Тем более, что я привожу уже готовые примеры, вам достаточно только скопировать и заменить название домена. Теперь спросите меня: а зачем мне об этом знать? Я отвечу: а это нужно для того, чтобы периодически что-то добавлять или удалять, разрешая или запрещая. Например у вас в индекс попала страница, которая не существует на вашем сайте и поисковик покажет вам ошибочную страницу в статистике, вы конечно открыли быстро этот файл и запретили к индексированию эту страницу. Вуаля, ошибка исправлена. Сразу предупрежу: заучивать не надо, достаточно только знать о файле robots.txt и о его содержимом.
