Здравствуйте Друзья!!! Сегодня я хочу рассказать о таких не маловажных файлах, которые должны присутствовать в корне вашего сайта, как robots.txt и sitemap.xml.
Как только Вы создали сайт и пустили его по морю интернета, Вам нужно сообщить поисковым системам о том, что он есть, что его должны увидеть другие пользователи и что для этого его нужно проиндексировать. Так вот, поисковые системы начнут посылать на Ваш сайт поисковых роботов, которые должны осмотреть Ваш сайт и сообщить системе, что там у Вас вообще есть.
Как только Вы создали сайт и пустили его по морю интернета, Вам нужно сообщить поисковым системам о том, что он есть, что его должны увидеть другие пользователи и что для этого его нужно проиндексировать. Так вот, поисковые системы начнут посылать на Ваш сайт поисковых роботов, которые должны осмотреть Ваш сайт и сообщить системе, что там у Вас вообще есть.
