Рано или поздно каждый уважающий себя автор сайта вспоминает про файл robots. Про этот файл, размещаемый в корне сайта, написано в интернете предостаточно. Почти у каждого вебмастера есть статья на сайте про актуальность и правильность составления его. Я же в этой статье напомню начинающим блоггерам как проверить его с помощью инструментов в панели вебмастера, предоставляемые Yandex и Google.
Проверка robots.txt является для автора сайта обязательным атрибутом при создании блога на WordPress.
Проверка robots.txt является для автора сайта обязательным атрибутом при создании блога на WordPress.
