Приветствую всех читателей своего блога.
Сегодня решил посвятить небольшой пост важному файлу для поисковых роботов,простому документу формата .txt, robots.txt.
Что это за файл и для чего он нужен? Этот документик, указывает поисковым ботам какие разделы сайта можно и нужно индексировать а какие нет, или же наоборот запрещает,одним словом в этом файле мы задаем
четкие инструкции для роботов поисковых машин которые посещают наш сайт. Файл лежит в корневой директории сайта, после тега. Blogspot не исключение, и тоже имеет такой файл изначально в каждом стандартном шаблоне, который выглядит так:
Сегодня решил посвятить небольшой пост важному файлу для поисковых роботов,простому документу формата .txt, robots.txt.
Что это за файл и для чего он нужен? Этот документик, указывает поисковым ботам какие разделы сайта можно и нужно индексировать а какие нет, или же наоборот запрещает,одним словом в этом файле мы задаем
четкие инструкции для роботов поисковых машин которые посещают наш сайт. Файл лежит в корневой директории сайта, после тега. Blogspot не исключение, и тоже имеет такой файл изначально в каждом стандартном шаблоне, который выглядит так:
