Твит

Файл robots.txt – это первое, что должен сделать вебмастер. Это очень важный файл, который показывает поисковым системам, какие папки и файлы сайта можно индексировать, а какие нельзя.
Это очень актуально, ведь большинство сайтов создано на бесплатных или платных движках, которые предоставляют админ-панель пользователю. На это выделяется часть папок - служебная информация, которую поисковики не должны индексировать. Именно в этом и заключается роль файла robots.txt

Твит

Файл robots txt запрещает роботам-поисковикам индексировать группу документов веб-сайта. Довольно просто сделать вывод, что работать без роботс могут только статические web-сайты, у которых нет динамических страниц, панелей администрирования и т.д.
Большинство современных сайтов сделано на каком-то движке, поэтому нужно запретить роботам-индексаторам индексировать документы, организующие функционирование движка. Другими словами, сейчас обойтись без robots txt практически нереально.