Что такое поисковый робот? Это ключевой элемент практически любого современного поисковика, исключая разве что все менее распространенные мета-системы и системы, управляемые человеком (то есть каталоги ресурсов). Боты автоматически перебирают страницы отдельных сайтов для занесения полезной информации о них в индекс. От эффективности этих программных модулей и поддерживаемых ими технологий зачастую зависит полнота представления контента в поисковой выдаче. Ведь если бот плохо переваривает, к примеру, CSS, соответствующий контент зачастую попросту ускользает от его внимания.
