Sitemap.xml и robots.txt – это два обязательных документа, которые способствуют быстрому и полноценному индексированию страниц сайта поисковыми системами. Правильная индексация сайта в Яндексе и Google – залог успешного продвижения.
Сейчас давайте поговорим о том, как создать правильный robots.txt для сайта на WordPress и для чего он вообще нужен. Подробную информацию об этом файле можно получить у самих Яндекса и Гугла. Я же коснусь самой сути и затрону основные настройки robots.txt для Вордпресс на примере своего файла.
Сейчас давайте поговорим о том, как создать правильный robots.txt для сайта на WordPress и для чего он вообще нужен. Подробную информацию об этом файле можно получить у самих Яндекса и Гугла. Я же коснусь самой сути и затрону основные настройки robots.txt для Вордпресс на примере своего файла.