Это приводит к тому, что поисковые системы индексируют сайт неправильно, что значительно влияет на ранжирование сайта в целом.
Представьте, что на сайте нет данного файла. В этом случае поисковые роботы будут индексировать все подряд. Бывает, что из-за этого роботы не индексируют нужный контент.
Если у вас еще нет или robots.txt составлен некорректно, то рекомендую почитать эту статью в полной версии.