Некорректное составление rоbоts.txt
Rоbоts.txt — корневой файл, который будет содержать в себе запреты или команды для поисковых роботов, на основании которых системы будут перемещаться по сайту, выполнять индексацию содержания, иметь возможность контактировать с релевантной, по мнению роботов, информацией, которая может дать основание для помещение сайта в Топ, то есть «полезного для посетителей».
Для создания этого файла вам пригодится «блокнот» или стандартная программа WordPad, при создании этого файла вам нужно назвать его rоbоts.txt, где .txt – расширение файла. Дальше заполняйте его так, как написано в правилах создания этого файла в Яндекс. Вебмастере. После завершения работы с данным файлом нужно загрузить его в корневую папку ресурса.
Как найти файл?
Если вы не знаете, есть ли для вашего сайта такой файл, то это можно легко проверить, если вы наберете в браузерном поисковике: адрес сайта /rоbots.txt. Данный файл может иметь такой вид:
Для указания поисковикам на то, что нужно индексировать , а что нет, используются две команды. Директива «Disаllow: /» будет указывать на закрытую от поисковых роботов информацию, а «Allоw: /» — на открытую.
В данном случае можно воспользоваться примером. Есть интернет магазин спортивных товаров, среди его категорий есть раздел с предложениями о покупке и выборе мячей. Но сам дизайн этого раздела не закончен или ему еще нужно добавить графическую информацию или контент. Значит, если вы закроете его с помощью директивы «Disаllow: /cаtalog» , то раздел скажем, с футбольными сетками, который полностью готов к индексации, также окажется закрытым для поисковых роботов.
Проверка файла
Для нивелирования данных проблем вам нужно регулярно проверять работоспособность данного файла. В этом может помочь «Анализ rоbоts.txt», который располагается среди других инструментов Яндекс. Вебмстера.
Для этого вам потребуется:
-
указать адрес ресурса и загрузить ваш файл:
-
далее нужно добавить URL в соответствующем поле. Откроется окно, где вам нужно указать адреса страниц вашего ресурса, нуждающиеся в проверке:
-
далее отрывайте результаты, где сразу будет видно, какие страницы открыты для индексации поисковыми роботами, а какие будут закрытыми:
Если вы выявили страницы, которые нужны для индексации, а они оказались закрытыми, вам потребуется исправлять эту проблему, прописав директиву в файле.
Некорректный файл sitеmаp.xml
Файлом Sitеmap.xml называется файл, который создан в формате XML; он содержит ссылки на страницы ресурса, которые должны быть индексированы поисковыми роботами. Его главной целью является указать роботам на самые важные страницы сайта, а также на то, как часто нужно их индексировать.
Создание файла
Создание данного файла доступно с помощью автоматизированных инструментов, таких как ХML-Sitеmaps.com (может дать указания роботу на 500 страниц), SitеmapGеnerator (используется для создания страниц служащих личными кабинетами зарегистрированным пользователям и до 2000), MуSitеmapGeneratоr (может также обслуживать 500 станиц). Если нужно прописать такой файл для ресурсов с большим количеством страниц, к примеру, их должно быть больше 10-20 тыс., то пишется специальный модуль, который способен генерировать данный файл для всех нужных страниц.
Часть файла будет выглядеть так:
Поиск ошибок
Если в данном файле обнаруживается ошибка, то это приводит к некорректной индексации страниц поисковыми роботами и, следовательно, средства, затраченные на развитие и продвижение сайта в ТОП, будут потрачены впустую.
Чтобы указать поисковым системам на Sitеmap.xml, можно воспользоваться несколькими способами (чтобы получить максимальный результат, лучше их совместить).
Инструменты Яндекс. Вебмастера, в частности пункт «файлов Sitеmap», который можно найти в настройках для проведения индексации. В этом поле нужно будет добавить соответствующий файл (этот инструмент также сможет помочь вам определить работоспособность данного файла и наличие в нем ошибок):
Можно также использовать запись в файле robоts.txt, он также служит для указания нужных путей поисковым системам. Сделать это нужно следующим образом:
Если вы хотите узнать о наличии ошибок в файле, то для этого существует специализированный сервис «Валидатор Sitemаp». В нем можно выбирать варианты загрузки файла, и с помощью кнопки «проверить» запустить валидатор в работу:
В случае корректной работы вы получите следующее:
Если же есть какие-либо ошибки или неточности в данном файле будет сообщение:
Если вы получили сообщение об ошибке, то ее нужно в срочном порядке исправлять. Это можно сделать, заново сгенерировав файл, или же открыть блокнот или любой текстовый редактор, найти ошибку и исправить ее самостоятельно.