Файл robots.txt, как создать?

Файл robots.txt – это первое, что должен сделать вебмастер. Это очень важный файл, который показывает поисковым системам, какие папки и файлы сайта можно индексировать, а какие нельзя.
Это очень актуально, ведь большинство сайтов создано на бесплатных или платных движках, которые предоставляют админ-панель пользователю. На это выделяется часть папок - служебная информация, которую поисковики не должны индексировать. Именно в этом и заключается роль файла robots.txt