Скажу сразу, файл robots.txt играет огромную роль практически для любого ресурса, будь то блоги или сайт, поэтому от его наличия и правильного создания будет зависеть очень многое. Что же в нем такого важного?
Во-первых, как только поисковый робот заходит на ваш блог, первое что он делает - это ищет файл robots.txt. В этом файле, робот получает информацию (инструкции) о разделах и страницах блога, которые можно индексировать, а которые нет.
Во-первых, как только поисковый робот заходит на ваш блог, первое что он делает - это ищет файл robots.txt. В этом файле, робот получает информацию (инструкции) о разделах и страницах блога, которые можно индексировать, а которые нет.
