Файл robots.txt

В своей статье я расскажу о файле robots.txt. Для чего он нужен и как правильно его составлять.
Сам по себе файл robots.txt, это некая инструкция, предназначенная исключительно для поисковых роботов. Создается файл в обычном блокноте (я, как и многие, пользуюсь Notepad++). Ценность данного документа в том, что он указывает поисковому роботу, куда следует ходить на сайте и что индексировать, а какие файлы трогать не стоит. Для чего это нужно? Об этом вы узнаете прочитав статью "Файл robots.txt"