Как правильно составить robots.txt для WordPress?

Ошибка 80% начинающих веб-мастеров - это неправильно составленный файл robots.txt.
Это приводит к тому, что поисковые системы индексируют сайт неправильно, что значительно влияет на ранжирование сайта в целом.
Представьте, что на сайте нет данного файла. В этом случае поисковые роботы будут индексировать все подряд. Бывает, что из-за этого роботы не индексируют нужный контент.
Если у вас еще нет или robots.txt составлен некорректно, то рекомендую почитать эту статью в полной версии.