Когда Ваш блог WordPress впервые публикуется на всеобщее обозрение, и его сразу начинают сканировать поисковые роботы, то перво наперво они ищут файл robots.txt Каждому блоггеру важно разобраться с этим файлом, т.к. от него зависит корректность индексации Вашего сайта в выдаче.
В файле robots.txt мы явно можем сказать какие папки и файлы смотреть и какие исключать из индексации. Обычно со вторым пунктом (исключение из индексации) у блоггеров-новичков возникают вопросы. Да, исключать просто необходимо все технические файлы и папки, а также файлы и папки дублирующие контент на блоге.
Обо всем этом и о двух вариантах составления файла robots.txt для WordPress смотрите в моем новом посте...
В файле robots.txt мы явно можем сказать какие папки и файлы смотреть и какие исключать из индексации. Обычно со вторым пунктом (исключение из индексации) у блоггеров-новичков возникают вопросы. Да, исключать просто необходимо все технические файлы и папки, а также файлы и папки дублирующие контент на блоге.
Обо всем этом и о двух вариантах составления файла robots.txt для WordPress смотрите в моем новом посте...
