Как научиться управлять индексацией своего блога

На самом деле , дорогие читатели ,знать о том, что такое индексация это только полдела. И мы не будем останаливаться на половине пути.
Самое главное, научиться управлять этой самой индексацией.
Самым простым инструментом, с помощью которого можно это сделать является файл robots.txt.
И сегодня наш разговор будет именно о нем.
Если вы «пройдетесь» по самым известным блогам , то увидите , что все они имеют файл robots.txt.
Если вы сравните найденные файлы, то наверняка увидите, что они отличаются друг от друга. Ну что , еще больше запутались? Верю. Сама такая была.
На самом деле ничего сложного. Сейчас попробуем разобраться.