Важно понять, что дублированный контент – это очень плохо, так как ваши страницы будут быстро вылетать из индексации. Обычно такое явление случается у различных крупных порталов и интернет-магазинов. Если раньше дублирование текстов являлось удачным решением для наполнения контентом своего сайта, то сейчас за это можно попасть и под фильтр.
Избавиться от дублированного контента можно двумя путями. И первый из них – это, конечно же, работа с robots.txt. В нем достаточно прописать указание поисковому роботу, чтобы он не индексировал определенную страницу...