Всем известно, что для обработки информации, опубликованной на страницах сайта, и дальнейшей ее выдачи по соответствующим поисковым запросам, поисковая система должна ее проиндексировать.Для этого созданы специальные поисковые роботы, которые называются crawler. Они, попадая на сайт, переходят по его страницам по определенной схеме. Внеся в индекс страницу сайта, робот находит все указанные на ней ссылки, открытые для индексации, и переходит по ним. Таким образом, он передвигается с одного сайта на другой, находя еще не известные для него страницы и целые ресурсы.
Так создается некоторый список страниц, который для каждого сайта не очень обширен. Если робот находит новые страницы, то он их индексирует, старые он иногда просматривает и, если они изменились, то обновляет информацию в кэше. В результате роботы поисковых систем выкачивают огромный объем текстовой информации, хранящийся на серверах поисковой системы.
Потом работать начинает другой, индексный, робот, обрабатывающий информацию. расположенную на странице, разделяет ее на определенные группы, а потом упорядочивает, то есть составляет индекс. Это напоминает картотеку, в которой все лежит по порядку и располагается по алфавиту. Необходимые сведения найти очень просто.
Индексация сайта, — это внесение сведений, расположенных на сайте, в базу поисковой системы. Это значит, что, если сайт еще не проиндексирован, то в результатах поиска он отображаться не будет. Соответственно, посетителям на нем оказаться просто неоткуда.
Индексация в поисковой системе — это самый первый этап в оптимизации сайта для поисковых систем. И он является очень важным и ответственным, хоть его часто и недооценивают. Если сайт сделан качественно, то его владельцу волноваться не о чем — сайт быстро и хорошо проиндексируется, если на нем уникальный контент, проведена внутренняя оптимизация, сайт обновляется и так далее.