Добро пожаловать на мой блог. Сегодня решил написать небольшой пост о том, как составить robots.txt. Для чего же нужен этот файл спросите вы?
А нужен он прежде всего что бы поисковые системы могли отличать какие им страницы нужно индексировать, а какие нет. При создании сайта, первым делом вебмастер должен составить свой файл robots, так как поисковые системы первым делом обратят на него внимание.
А нужен он прежде всего что бы поисковые системы могли отличать какие им страницы нужно индексировать, а какие нет. При создании сайта, первым делом вебмастер должен составить свой файл robots, так как поисковые системы первым делом обратят на него внимание.
