Твит

Здравствуйте Друзья!!! Сегодня я хочу рассказать о таких не маловажных файлах, которые должны присутствовать в корне вашего сайта, как robots.txt и sitemap.xml.
Как только Вы создали сайт и пустили его по морю интернета, Вам нужно сообщить поисковым системам о том, что он есть, что его должны увидеть другие пользователи и что для этого его нужно проиндексировать. Так вот, поисковые системы начнут посылать на Ваш сайт поисковых роботов, которые должны осмотреть Ваш сайт и сообщить системе, что там у Вас вообще есть.

Твит

Начитался и поэкспериментировал я с Robots.txt для WordPress, что информация уже сама просится с кем-нибудь поделиться. Ладно, если было бы что-то страшное и архисложное, а так простенький, текстовый файл, который всего лишь нужно создать на рабочем столе с помощью правой кнопки мыши, переименовать его в robots.txt, записать в нем несколько директив и (закинуть) перенести, с помощью Ftp-клиента ( Total Commander или FileZilla) на сервер, в корневой каталог вашего сайта. Все господа! Дело сделано! Можно теперь и «Трубку Мира» закурить. Но без нескольких уточнений, все же, нам не обойтись...

Твит

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Проще говоря, этот текстовый файл, который расположен на хостинге вашего сайта, является администратором для роботов поисковых систем. Он показывает роботам, какие страницы можно и нужно вносить в выдачу поисковых запросов, какие страницы содержат полезную информацию для ваших посетителей, а какие лучше закрыть от общего доступа.

Твит

Приветствую уважаемые читатели, а также все новички, которые по стечению обстоятельства оказались на этом сайте! И в этом посту хочу рассказать об одной такой неприятной особенности как Файл Robots.txt для WordPress. Которая отрицательно сказывается на индексации сайта поисковыми системами. Заключается она в том, что когда Вы создаёте статью в Вордпресе то она сразу появляется в нескольких местах. То есть

Твит

Твит

Что такое файл robots.txt? Для чего он нужен? Сегодня я попытался ответить на этот вопрос. И мне кажется получилось довольно таки интересно. Потому что мне самому пришлось кое-что в значениях подковырнуть.

Я не сидел на месте, а пытался найти информацию понятную для большинства читателей. Но не получилось. Вернее получилось, но по кусочкам. Так вот в своей статье я собрал эти кусочки с разных блогов. Смотрите что получилось.

Твит

По умолчанию на WordPress не существует файл robots.txt, а его функцию выполняет плагин XML-sitemap, который генерирует вируальный robots.xml функцией:
Add sitemap URL to the virtual robots.txt file.
Достаточно ли этого для успешной внутренней оптимизации блога. Нужно ли оставлять дубли страниц в тегах и категориях.
Какой функционал способен выполнять robots.txt.
Мой личный опыт и наблюдение за файлом robots.txt, в котором я описываю, как запретить индексацию ссылок внутри каталога, или на оборот, разрешить индексировать только определенные ссылки.
А также пример правильного файла robots.txt для WordPress.

Твит

Привет уважаемые читатели. Сегодня я вам расскажу какую роль играет правильно созданный файл robots.txt. Дело в том, что многие начинают вести свои проекты вовсе забывая про этот файл или не обращая на него никакого внимания. Спустя несколько месяцев, когда такой блог получает санкции со стороны Яндекса, все хватаются за голову и начинают искать в чем была проблема. Создать файл robots.txt это еще пол дела, а вот правильно его составить нужно еще уметь.

Твит

Ошибка 80% начинающих веб-мастеров - это неправильно составленный файл robots.txt.
Это приводит к тому, что поисковые системы индексируют сайт неправильно, что значительно влияет на ранжирование сайта в целом.
Представьте, что на сайте нет данного файла. В этом случае поисковые роботы будут индексировать все подряд. Бывает, что из-за этого роботы не индексируют нужный контент.
Если у вас еще нет или robots.txt составлен некорректно, то рекомендую почитать эту статью в полной версии.

Твит

Приветствую Вас, дорогие читатели Sozdaiblog!

В данном посте я расскажу Вам, как создать robots.txt для WordPress!

Кто такой, robot.txt? – спросят некоторые.

Чтобы всем было понятно буду объяснять простым и понятным языком.

Robots.txt – это файл, обитающий в корневой папке Вашего блога и указывающий поисковым системам, какие данные вашего ресурса нужно сканировать, а какие оставить без внимания.

Тут у Вас опять возникнут вопросы – «Как же так, мы же установили плагин Google XML Sitemaps или карта для поисковиков и они знают, что индексировать?

Да, это так, но зачем им, например, индексировать наши каталоги или тысячи комментариев оставленных читателями. Для них это не целевая и бесполезная информация.

Твит

Sitemap.xml и robots.txt – это два обязательных документа, которые способствуют быстрому и полноценному индексированию страниц сайта поисковыми системами. Правильная индексация сайта в Яндексе и Google – залог успешного продвижения.
Сейчас давайте поговорим о том, как создать правильный robots.txt для сайта на WordPress и для чего он вообще нужен. Подробную информацию об этом файле можно получить у самих Яндекса и Гугла. Я же коснусь самой сути и затрону основные настройки robots.txt для Вордпресс на примере своего файла.