Доброго времени суток, уважаемые читатели!
Так как поток вопросов, связанных с файлом robots.txt, не иссякает, то я решила написать на эту тему пару статей, чтобы в них развеять пелену, нависшую на глазах вопрошающих, и помочь правильно создать файл robots.txt. Самой главной задачей из всех описанных в этом файле, является указание поисковому боту на те директории и файлы, которые разрешено ему индексировать.
Так как поток вопросов, связанных с файлом robots.txt, не иссякает, то я решила написать на эту тему пару статей, чтобы в них развеять пелену, нависшую на глазах вопрошающих, и помочь правильно создать файл robots.txt. Самой главной задачей из всех описанных в этом файле, является указание поисковому боту на те директории и файлы, которые разрешено ему индексировать.
