Твит

Ошибка 80% начинающих веб-мастеров - это неправильно составленный файл robots.txt.
Это приводит к тому, что поисковые системы индексируют сайт неправильно, что значительно влияет на ранжирование сайта в целом.
Представьте, что на сайте нет данного файла. В этом случае поисковые роботы будут индексировать все подряд. Бывает, что из-за этого роботы не индексируют нужный контент.
Если у вас еще нет или robots.txt составлен некорректно, то рекомендую почитать эту статью в полной версии.

Твит

И речь пойдет о небольшой проблемке, которая возникла за мое отсутствие с нашим сайтом. А именно всемогущий Google умудрился проиндексировать https-версию нашего сайта, в следствие чего после такого ненужного увеличения дублей (а https является точной копией http версии) позиции сайта просели. И поэтому мы продолжаем цикл постов по “Поисковой индексации“.
Как написано в Google помощь для вебмастера для каждого порта сайта должен быть свой собственный файл robots.txt. Что из этого следует, что надо создать 2 разных robots.txt. В нашем случаи для разрешения индексации всех страниц http, а https версии доступ запретить, наши файлы robots.txt будут выглядеть следующим образом.

Твит

Очень много написано про этот очень нужный файл robots.txt
В интернете очень много типов,форм и правил прописания этого файла.
Как определить какой из этих файлов может быть наиболее эфективным
для поисковиков и индексации страниц.для движка Wordpress в частности.
В статье приведен пример не правильного файла.Кроме того говорится о последствиях
от использования не правильного файла.
А так же приводится пример правильного файла.Так же говорится о проблемах связанных
с индексацией страниц при использовании не правильного файла Robots.txt,и о том,
что буквально через пару-тройку дней,после установки адекватного файла,индексация
пришла в нормальное состояние.

Твит

Не так давно разработчики Blogger предоставили нам возможность добавлять пользовательский robots.txt.

Ничего сложно в этом нет. Пример настройки robots.txt приведен в статье.

Пока остается не совсем понятным, как туда добавить директиву host.

При добавлении этой директивы в файл robots.txt система упрямо выдает сообщение об ошибке и отказывается сохранять соответствующие изменения.

Но, что то мне кажется, что в ближайшее время этот баг будет устранен.

Твит

Привет всем блоггерам!

Если вы совсем недавно создали свой сайт или блог, то эта статья для вас будет очень даже полезной! Дело в том, что молодые сайты очень плохо и долго индексируются поисковыми системами (Google, Yandex). Для того, чтобы ускорить данный процесс, в первую очередь вам необходимо создать на своем сайте две карты сайта (визуальную - доступную для просмотра посетителям; скрытую - для самих поисковиков). А также составить правильно файл ROBOTS TXT. Обо всем этом, вы узнаете в данной статье!

Твит

Недавно посетив вебмастер от Яндекса я чуть было со стула не рухнул. В индексе поисковика были страницы, которых там быть в общем-то не должно и совсем наоборот обстаяли дела со страницами, которые должны быть в индексе. Проблема крылась в файле robots.txt, который я скопировал на каком-то сайте и использовал для себя, ведь предлагался он как правильный для wordpress.

Но понял я одно – нельзя полагаться на 100% на выложенные в сети примеры robots.txt для wordpress, как сделал это я. Каждый robots.txt необходимо настраивать под конкретный сайт. Этим и займемся.

Твит

Сегодня речь пойдет о файле robots.txt, основная функция которого скрытие страниц от индексации поисковыми роботами. Запрещать индексацию некоторых страниц нужно для отсутствия дублей контента и ненужных страниц в индексе поисковиков. Создать robots.txt можно даже в обычном блокноте, после заполнения файла директивами (речь о них пойдет дальше) файл нужно выгрузить в корень сайта. Robots.txt будет доступен по адресу site.ru/robots.txt. Теперь о директивах которые нужно вписывать в robots.txt …

Твит

На днях все были возмущены утечками конфиденциальной информации, приватных данных в поисковые системы яндекс и гугл с интернет-магазинов и других сайтов. Это в очередной раз подчеркнуло значимость правильного составления файла robots.txt. Поэтому я предлагаю всем проверить свои файлы для блогов и сайтов на вордпресс, чтобы сохранить данные и сделать шаг к поисковой оптимизации, путем избавления от дублей.