postPR.ru » Облако тегов » файл robots

    Дешевый хостинг



 

Как настроить файл robots.txt

Автор: Serv2003 | Дата: 6-03-2017 в 10:01 | Просмотров: 220 | Комментариев: 0



Как настроить файл robots.txt
Кто знает как настроить файл robots.txt? да конечно, тот, кто уже настраивал свой сайт или читал об этом. А если вы впервые столкнулись с этим? Вот таким новичкам обязательно нужно прочитать. Тем более, что я привожу уже готовые примеры, вам достаточно только скопировать и заменить название домена. Теперь спросите меня: а зачем мне об этом знать? Я отвечу: а это нужно для того, чтобы периодически что-то добавлять или удалять, разрешая или запрещая. Например у вас в индекс попала страница, которая не существует на вашем сайте и поисковик покажет вам ошибочную страницу в статистике, вы конечно открыли быстро этот файл и запретили к индексированию эту страницу. Вуаля, ошибка исправлена. Сразу предупрежу: заучивать не надо, достаточно только знать о файле robots.txt и о его содержимом.

Категория: SEO/SMO

 

Файл robots.txt, как создать?

Автор: trueday | Дата: 30-10-2012 в 19:19 | Просмотров: 783 | Комментариев: 0



Файл robots.txt, как создать?
Файл robots.txt – это первое, что должен сделать вебмастер. Это очень важный файл, который показывает поисковым системам, какие папки и файлы сайта можно индексировать, а какие нельзя.
Это очень актуально, ведь большинство сайтов создано на бесплатных или платных движках, которые предоставляют админ-панель пользователю. На это выделяется часть папок - служебная информация, которую поисковики не должны индексировать. Именно в этом и заключается роль файла robots.txt

Категория: SEO/SMO