Как создать файл robots.txt правильно?

Вы хотите узнать, как создать robots.txt правильно? Тогда не пожалейте несколько минут Вашего времени на прочтение этой статьи и ниже вы получите пошаговую инструкцию по созданию файла robots.txt с конкретными примерами.
Robots.txt - это файл, который поможет Вам закрыть от индексации поисковыми системами того, что не содержит основного контента, а именно дублирование страниц, некоторые файлы движка, на котором Вы работаете ( админку, плагины, темы, комментарии и прочее ).