Что такое файл robots.txt? Для чего он нужен? Сегодня я попытался ответить на этот вопрос. И мне кажется получилось довольно таки интересно. Потому что мне самому пришлось кое-что в значениях подковырнуть.
Я не сидел на месте, а пытался найти информацию понятную для большинства читателей. Но не получилось. Вернее получилось, но по кусочкам. Так вот в своей статье я собрал эти кусочки с разных блогов. Смотрите что получилось.
Я не сидел на месте, а пытался найти информацию понятную для большинства читателей. Но не получилось. Вернее получилось, но по кусочкам. Так вот в своей статье я собрал эти кусочки с разных блогов. Смотрите что получилось.
