Твит

Кто знает как настроить файл robots.txt? да конечно, тот, кто уже настраивал свой сайт или читал об этом. А если вы впервые столкнулись с этим? Вот таким новичкам обязательно нужно прочитать. Тем более, что я привожу уже готовые примеры, вам достаточно только скопировать и заменить название домена. Теперь спросите меня: а зачем мне об этом знать? Я отвечу: а это нужно для того, чтобы периодически что-то добавлять или удалять, разрешая или запрещая. Например у вас в индекс попала страница, которая не существует на вашем сайте и поисковик покажет вам ошибочную страницу в статистике, вы конечно открыли быстро этот файл и запретили к индексированию эту страницу. Вуаля, ошибка исправлена. Сразу предупрежу: заучивать не надо, достаточно только знать о файле robots.txt и о его содержимом.

Твит

Здравствуйте Друзья!!! Сегодня я хочу рассказать о таких не маловажных файлах, которые должны присутствовать в корне вашего сайта, как robots.txt и sitemap.xml.
Как только Вы создали сайт и пустили его по морю интернета, Вам нужно сообщить поисковым системам о том, что он есть, что его должны увидеть другие пользователи и что для этого его нужно проиндексировать. Так вот, поисковые системы начнут посылать на Ваш сайт поисковых роботов, которые должны осмотреть Ваш сайт и сообщить системе, что там у Вас вообще есть.

Твит

В своей статье я расскажу о файле robots.txt. Для чего он нужен и как правильно его составлять.
Сам по себе файл robots.txt, это некая инструкция, предназначенная исключительно для поисковых роботов. Создается файл в обычном блокноте (я, как и многие, пользуюсь Notepad++). Ценность данного документа в том, что он указывает поисковому роботу, куда следует ходить на сайте и что индексировать, а какие файлы трогать не стоит. Для чего это нужно? Об этом вы узнаете прочитав статью "Файл robots.txt"

Твит

Часто по разным причинам веб разработчику требуется закрывать сайт от индексации поисковыми системами. Вы меняете дизайн сайта и не хотите, чтобы ваши эксперименты попали в индекс поисковых систем, либо Вы создаёте новый сайт или меняете платформу и вам также не нужны не завершенные страницы в индексе, в общем, причин много. Большинство уверены, что с помощью файла Robots.txt содержащего следующую запись они гарантированно закрывают свой сайт от индексации. Будьте уверены, это не так! Если вы используете Robots.txt для скрытия от индекса не удивляйтесь, если вопреки всему он там появится. Причин этому не мало. Гугл индексирует все, что ему вздумается, не смотря на запреты в robots.txt

Твит

В оптимизации не существует мелочей, более того, использование настроек по умолчанию может нанести серьезный вред вашему интернет проекту на WordPress.
Если вы используете древовидные комментарии, то по умолчанию получаете еще одну внутреннюю ссылку на сайте, вида:
page.html?replytocom=123#respond
а в индексе, еще одну (или в зависимости от количества комментариев к статье) страницу.
В итоге получается очень большое дублирование материалов сайта, что в свою очередь может привести к очень нехорошим последствиям, от пессимизации до фильтра ПС.
Вопрос дублирования контента можно решить с помощью файла robots.txt, который кстати по умолчанию отсутствует в WordPress.

Твит

Приветствую вас мои уважаемые читатели. В этой статье я вам наглядно покажу, как сделать правильный robots.txt, чтобы у вас не было никаких ошибок, которые могут существенно повлиять на продвижение в поисковых системах, таких как Яндекс и Google. Итак, начнем по порядку, чтобы всем было все понятно.

Что такое robots.txt и зачем он нужен?
robots.txt – это простой текстовый блокнот в корне вашего сайта, в котором прописаны правила для поисковых ботов, которые индексируют, и заносят новый материал (страницы) в базу поиска.

Твит

Приветствую всех дорогие друзья !!! С некоторых пор в вебмастере яндекса начал находить проиндексированные ссылки на одну и туже статью, сайт на платформе bloggspot, например:

http://www.box-boi.ru/2014/04/Dmitriy-Chudinov-Svetlana-Kulakova-boi-1-iuynia-Moskve.html

и такую:

http://www.box-boi.ru/2014/04/Dmitriy-Chudinov-Svetlana-Kulakova-boi-1-iuynia-Moskve.html?utm_source=twitterfeed&utm_medium=twitter&utm_campaign..... и тд.

Я понимаю эти проиндексированные ссылки с твитера, фейсбука и тд.

Я с начало в файле robots.txt сделал такую дерективу:

Disallow: /*?

Но на следующий день в вебмастере повылетали нужные ссылки типа файла Sitemap, мобильная версия и др. Подскажите подойдет, если я сделаю такой вариант

Disallow: /*?utm_source*

Твит

Приветствую всех читателей своего блога.
Сегодня решил посвятить небольшой пост важному файлу для поисковых роботов,простому документу формата .txt, robots.txt.
Что это за файл и для чего он нужен? Этот документик, указывает поисковым ботам какие разделы сайта можно и нужно индексировать а какие нет, или же наоборот запрещает,одним словом в этом файле мы задаем
четкие инструкции для роботов поисковых машин которые посещают наш сайт. Файл лежит в корневой директории сайта, после тега. Blogspot не исключение, и тоже имеет такой файл изначально в каждом стандартном шаблоне, который выглядит так:

Твит

Приветствую уважаемые читатели, а также все новички, которые по стечению обстоятельства оказались на этом сайте! И в этом посту хочу рассказать об одной такой неприятной особенности как Файл Robots.txt для WordPress. Которая отрицательно сказывается на индексации сайта поисковыми системами. Заключается она в том, что когда Вы создаёте статью в Вордпресе то она сразу появляется в нескольких местах. То есть

Твит

Привет всем! Сегодня мы будем говорить об таких вещах как карта сайта для поисковиков и файл robots.txt которые нужны для того чтобы дать лучшее понятие для поисковика обо всех страницах сайта и эго структуре в целом. Это на самом деле есть очень важным и не стоит этим пренебрегать…

Вообще давайте сначала разберемся для чего нам нужен каждый из этих файлов. По сути карта сайта для поисковиков отыграет похожую роль с обычной, она показывает поисковому роботу структуру сайта, все эго разделы и страницы для того чтобы роботу было легче ориентироваться.

Твит

В наше время невозможно представить продвижение сайта без SEO – оптимизации, если не учесть данный фактор с самого начало, то вам будет очень сложно добиться высоких позиций в поисковых системах, вследствие чего прироста посетителей вам не видать еще очень долгое время.
Для тех, кто еще не понял что такое SEO – оптимизация или просто SEO, объясняю – это меры по улучшению позиций сайта в выдаче поисковых систем т.е. допустим вы вбили в поисковике Яндекс фразу SEO – оптимизация сайта своими руками, так вот те сайты которые находятся на первых страницах в поисковике и являются оптимизированными. Ну, я думаю всем понятно, что большинство людей будет заходить именно к ним на сайт, может у вас даже лучше статья с подробным описанием, с картинками ЧИТАТЬ>>>