Недавно посетив вебмастер от Яндекса я чуть было со стула не рухнул. В индексе поисковика были страницы, которых там быть в общем-то не должно и совсем наоборот обстаяли дела со страницами, которые должны быть в индексе. Проблема крылась в файле robots.txt, который я скопировал на каком-то сайте и использовал для себя, ведь предлагался он как правильный для wordpress.
Но понял я одно – нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим и займемся.
Но понял я одно – нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим и займемся.
