Внутренняя оптимизация сайта – это не только работа с контентом, но и некоторыми неконтентными факторами. Один из них – правильная индексация страниц сайта.
Необходимые условия для этого:
-
нет запрета на индексацию этой страницы;
-
URL известен поисковому боту;
-
HTTP-статус страницы, которую отдают поисковой машине, имеет значение 200 OK.
Чтобы определить последний показатель и наличие запрета, просмотрите раздел Вебмастера Яндекса «Проверка ответа сервера». Он распространяется только на те сайты, чьи права подтверждены в вашем аккаунте. Чтобы проверить доступ страницы к индексации, выберите в «Посмотреть как Googlebot». Он в разделе «Содержимое сайта».
Есть несколько способов запрета индексации:
-
Открыть Инструменты вебмастера Google. В разделе «Сканирование» изменить «Параметры URL».
-
Вписать в код страницы особые директивы.
-
Использовать директивы Disallow и Clean-param в файле robots.txt. Получить достаточно подробную справку по созданию этого документа можно в разделе помощи вебмастеру Яндекса или Google. Ссылка "Анализ файла Robots.txt"поможет проверить корректность файла.
Атрибут тега rel="canonical" и мета-тег robots запрещают индексацию страницы. Справка по их использованию есть в Справке Google и помощнике Яндекса.
Роботу достаточно одной ссылки на страницу, с той, которая давно есть в индексе. Сообщить о новых элементах реально через файл Sitemap. Посмотреть справку по нему можно в справочных разделах Google и Яндекс.
Не факт, что страница попадет в индекс, если робот ее посетит. Проверить это можно в разделе «Проверить URL». Существует несколько вариантов ответов:
-
Роботу неизвестен адрес страницы в настоящее время.
-
Страница дублирует другую. Она обходится ботом и отсутствует в поисковике.
-
Адрес известен машине, но контент еще не подвергся индексации.
-
Страница проиндексирована. Теперь она присутствует в поиске.
-
Робот обошел страницу, но в поиске ее нет.
В первом случае бот не знает, существует ли эта страница. Вам нужно понять, видит ли ее робот, дает ли она отклик 200. Поставьте на нее ссылку на странице, которую уже проиндексировали. SEO-специалисты размещают ссылки в Твиттере для повышения цитирования. Но в последние годы считается, что этот способ больше не работает. Скорее всего, это произошло из-за чрезмерной эксплуатации Твиттера или повышение требований поисковиков.
Первый вариант также возникает, когда через файл robots.txt. страницу запретили к индексации.
Основная проблема из-за вариантов 5 и 2. Это связано с техническими параметрами страницы и сомнение в ценности содержания.
-
Страница признается дубликатом, если она отличается от другой незначительно. Например, по объему. Повысьте уникальность контента сайта, закрывайте для индексации отдельные участки.
-
У страницы недостаточный статический вес: мало внутренних ссылок при глубоком уровне вложенности. Оптимизируйте структуру, перелинковывайте содержимое плотнее. Используйте внешние ссылки.
-
Машина считает сайт неавторитетным: контент неуникален, дизайн примитивен, много платный ссылок, посещаемость низкая.