Дешевый хостинг


 

Зачем WordPress нужен robots.txt

Автор: Master-It | Дата: 31-01-2013 в 10:39 | Просмотров: 304 | Комментариев: 0



Зачем WordPress нужен robots.txt
По умолчанию на WordPress не существует файл robots.txt, а его функцию выполняет плагин XML-sitemap, который генерирует вируальный robots.xml функцией:
Add sitemap URL to the virtual robots.txt file.
Достаточно ли этого для успешной внутренней оптимизации блога. Нужно ли оставлять дубли страниц в тегах и категориях.
Какой функционал способен выполнять robots.txt.
Мой личный опыт и наблюдение за файлом robots.txt, в котором я описываю, как запретить индексацию ссылок внутри каталога, или на оборот, разрешить индексировать только определенные ссылки.
А также пример правильного файла robots.txt для WordPress.

Категория: Создание и разработка