Робот – программа, которая ходит по вашему сайту и читает страницы, то есть индексирует. Происходит такое занятие у него раз в день, но это зависит от вашего сайта, то есть чем чаще вы его наполняете уникальным контентом, тем чаще он к вам заходит. Хотите ли вы, чтобы он почаще к вам заходил? Если вам от него скрывать нечего, кроме личных и важных страниц, то нужно сделать карту сайта в формате .xml, которую нужно поместить в корневой каталог. Файл этот должен называться sitemap.
