По умолчанию на WordPress не существует файл robots.txt, а его функцию выполняет плагин XML-sitemap, который генерирует вируальный robots.xml функцией:
Add sitemap URL to the virtual robots.txt file.
Достаточно ли этого для успешной внутренней оптимизации блога. Нужно ли оставлять дубли страниц в тегах и категориях.
Какой функционал способен выполнять robots.txt.
Мой личный опыт и наблюдение за файлом robots.txt, в котором я описываю, как запретить индексацию ссылок внутри каталога, или на оборот, разрешить индексировать только определенные ссылки.
А также пример правильного файла robots.txt для WordPress.
Add sitemap URL to the virtual robots.txt file.
Достаточно ли этого для успешной внутренней оптимизации блога. Нужно ли оставлять дубли страниц в тегах и категориях.
Какой функционал способен выполнять robots.txt.
Мой личный опыт и наблюдение за файлом robots.txt, в котором я описываю, как запретить индексацию ссылок внутри каталога, или на оборот, разрешить индексировать только определенные ссылки.
А также пример правильного файла robots.txt для WordPress.
