Поисковые роботы бродят по интернету в поисках новой уникальной информации. И когда человек ищет какую либо информацию в интернете эти роботы смотрят на уникальность статьи. а когда Вы пишите посты на свой блог они автоматически дублируются на вашем блоге, это rss лента, рубрики, архив и т.д. В чем суть правильного файла robots txt это - то, что он закрывает от индексации все дубли страниц на всех блоге.
