Частенько блоггеры уверены в своем текстовом файле robots.txt, не замечая серьезных проблем. Однако внимательное отношение к важным (оказывается) мелочам может уберечь ваш блог от серьезных проблем. Причем распространенные ошибки приводят к неправильной индексации, возникновению незамеченных дублей... Все это серьезно ухудшает позиции сайта, если вовсе не приводит к фильтрам поисковиков. Каким образом оценить правильный роботс? Что следует учитывать при добавлении новых директив? Первое, что следует
