Очень много написано про этот очень нужный файл robots.txt
В интернете очень много типов,форм и правил прописания этого файла.
Как определить какой из этих файлов может быть наиболее эфективным
для поисковиков и индексации страниц.для движка Wordpress в частности.
В статье приведен пример не правильного файла.Кроме того говорится о последствиях
от использования не правильного файла.
А так же приводится пример правильного файла.Так же говорится о проблемах связанных
с индексацией страниц при использовании не правильного файла Robots.txt,и о том,
что буквально через пару-тройку дней,после установки адекватного файла,индексация
пришла в нормальное состояние.
В интернете очень много типов,форм и правил прописания этого файла.
Как определить какой из этих файлов может быть наиболее эфективным
для поисковиков и индексации страниц.для движка Wordpress в частности.
В статье приведен пример не правильного файла.Кроме того говорится о последствиях
от использования не правильного файла.
А так же приводится пример правильного файла.Так же говорится о проблемах связанных
с индексацией страниц при использовании не правильного файла Robots.txt,и о том,
что буквально через пару-тройку дней,после установки адекватного файла,индексация
пришла в нормальное состояние.
