Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Проще говоря, этот текстовый файл, который расположен на хостинге вашего сайта, является администратором для роботов поисковых систем. Он показывает роботам, какие страницы можно и нужно вносить в выдачу поисковых запросов, какие страницы содержат полезную информацию для ваших посетителей, а какие лучше закрыть от общего доступа.
Проще говоря, этот текстовый файл, который расположен на хостинге вашего сайта, является администратором для роботов поисковых систем. Он показывает роботам, какие страницы можно и нужно вносить в выдачу поисковых запросов, какие страницы содержат полезную информацию для ваших посетителей, а какие лучше закрыть от общего доступа.
