Что такое файл Robots.txt — Как установить Robots.txt

Всем привет! Сегодня решила написать, что такое файл Robots.txt, для чего он нужен и как его установить. Сразу признаюсь, что я не веб. мастер (сама сайты не пишу), но кое в чем конечно разбираюсь, что касается самых распространенных и нужных файлов и тегов. Поэтому сильно умничать не собираюсь. Пока все мои статьи направлены для новичков в блогосфере, поэтому постараюсь писать очень понятным и простым языком, что бы любой новичок смог применить данную информацию на своем сайте.

Если кто-то заинтересуется глубже этим роботом, то в интернете есть много материала на эту тему, написанную опытными веб. мастерами с более полным и подробным описанием....