Правильно составленный файл robot.txt дает хорошую индексацию блога или сайта поисковыми роботами. Robots.txt — это текстовый файл, который можно создать в любом текстовом редакторе, например в «Блокнот» от Windows. Этот файл потом нужно разместить в корневой папке Вашего блога/сайта. Этот файл не должен иметь в названии заглавных букв, иначе он не будет работать.
Поисковикам надо указывать, чего надо индексировать на блоге, а чего нет. Нужно запретит индексировать некоторые папки, рубрики, страницы, теги и прочее. Для индексации нужно оставить только необходимое. В файле robots.txt можно задать отдельные параметры для каждого поисковика. Следующий вариант файла я составил, как считаю нужным...
Поисковикам надо указывать, чего надо индексировать на блоге, а чего нет. Нужно запретит индексировать некоторые папки, рубрики, страницы, теги и прочее. Для индексации нужно оставить только необходимое. В файле robots.txt можно задать отдельные параметры для каждого поисковика. Следующий вариант файла я составил, как считаю нужным...
