Важным условием нормальной работы сайта является наличие файла robots.txt, который существует, в частности, для управления процессом индексации площадки со стороны пользователя. С помощью определённых директив можно оставлять команды для поисковых роботов относительно того, в какой части следует индексировать сайт. При этом роботы выведут в индекс только нужные разделы, оставив скрытые страницы за кадром.
