"Пища" для поисковых машин

Поисковые машины - если рассматривать их с позиций принципиального устройства и не вдаваться в подробности конкретных технических и программных реализаций - представляют собой сверхмощные компьютеры, на которых запущены программы, постоянно "обшаривающие" Интернет в поисках новых и изменившихся Web-страниц. Поисковых роботов-пауков можно уподобить реальным животным: они точно так же обыскивают свою территорию (которой в их случае является обычно либо весь Интернет, либо его национальный сегмент) в поисках пищи. Но, в отличие от взаимоотношений хищника и жертвы в природе, пища поисковых машин сама желает "попасться в сети". Да, в общем- то, большая часть Web-страниц изначально создается ради этой цели. Мало кто создает в Сети сайт в надежде, что его никто и никогда не найдет. Напротив, Web-ресурсы стремятся охватить определенную аудиторию, которая должна быть четко определена еще до начала работ над сайтом.