Поисковый робот и его функции

Изучая вопросы продвижения сайтов в интернете применительно к своему личному блогу я неоднократно сталкивался с таким понятием, как поисковый робот. Я читал, что он с завидной периодичностью посещает страницы различных интернет — ресурсов, индексирует их и даже может наложить на них фильтр или отправить сайт в бан!!! И у меня сразу же перед глазами вставал такой страшный и невидимый чудовище — киборг, который постоянно ползает по всему интернету и выискивает на его ресурсах какую — то ошибку, за которую эти ресурсы им тут же безжалостно уничтожаются…
А что на самом деле представляет из себя робот поисковых систем? Каковы его функции и задачи? Действительно ли эти роботы так важны для блогеров и сайтостроителей? Вот об этом и пойдет речь в моей заметке.
Читать далее