Файл robots txt запрещает роботам-поисковикам индексировать группу документов веб-сайта. Довольно просто сделать вывод, что работать без роботс могут только статические web-сайты, у которых нет динамических страниц, панелей администрирования и т.д.
Большинство современных сайтов сделано на каком-то движке, поэтому нужно запретить роботам-индексаторам индексировать документы, организующие функционирование движка. Другими словами, сейчас обойтись без robots txt практически нереально.
Большинство современных сайтов сделано на каком-то движке, поэтому нужно запретить роботам-индексаторам индексировать документы, организующие функционирование движка. Другими словами, сейчас обойтись без robots txt практически нереально.
