Индексация страниц: как ускорить процесс и повысить видимость сайта в поисковых системах

Техническая оптимизация – первая и важнейшая часть в SEO. Это фундамент, без которого последующие работы будут неэффективны. Этот этап работы с сайтом состоит из множества задач, часть из которых критично важна. К ним относится и индексация страниц.

Индексация – это процесс, при котором поисковые системы анализируют и сохраняют информацию о веб-страницах в базу данных (индекс). Когда страница проиндексирована, она может появиться в результатах поиска.

В этой статьей SEO-эксперты Ingate Organic разобрали инструменты и способы, которые помогут ускорить индексацию страниц, а также причины, по которым сайт не попадает в поиск.

Что такое индексация

Чтобы лучше понять определение, коротко рассмотрим этапы попадания сайта в органическую выдачу:

Обнаружение сайта. Поисковые роботы (краулеры) начинают свой процесс, найдя ссылки на ваш сайт.

Сканирование контента. Роботы переходят по найденным ссылкам и анализируют содержимое каждой страницы. Они собирают информацию о тексте, изображениях, ссылках и других элементах на странице.

Эти этапы помогают поисковым системам эффективно анализировать и организовывать контент в интернете, чтобы пользователи могли находить нужную информацию.

Необходимый минимум

Итак, как мы выяснили, чтобы страницы попали в индекс, необходимо, чтобы поисковые системы узнали о существовании конкретного сайта и могли просканировать его.

Разберем, что для этого необходимо:

Настройка и создание файла sitemap.xml (карта сайта). Этот файл предназначен для поисковых систем. В нем указываются ссылки на страницы, которые необходимо проиндексировать. По адресу http://site.ru/sitemap.xml нужно создать актуальную карту сайта, учитывая следующие требования:

• Используйте кодировку UTF-8. Робот Яндекса распознает кириллические URL как в закодированном виде, так и в оригинале.
• Рекомендуемое количество ссылок – 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap.
• Указывайте ссылки на страницы только того домена, на котором будет расположен файл.
• Разместите файл на том же домене, что и сайт, для которого он составлен.
• При обращении к файлу sitemap.xml сервер должен возвращать HTTP-код 200.

Более подробная информация о требованиях и возможных ошибках указана в Яндекс Справке.

Добавление сайта в Яндекс Вебмастер и Google Search Console. Это бесплатные инструменты для владельцев сайта и веб-мастеров. В них собирается информация об эффективности сайта в поиске, техническом состоянии и ошибках.

Добавить сайт в каждый из сервисов довольно просто. Подробные шаги добавления для каждой поисковой системы описаны в инструкциях:

1. Для Яндекса
2. Для Google

Далее обязательно добавьте ссылку на Sitemap.xml, созданную ранее, в каждый из инструментов.

Яндекс Вебмастер: Индексирование – файлы Sitmap.xml – добавить файл (вставляете ссылку).


Google Search Console: Индексирование – файлы Sitmap.xml – добавить файл (вставляете ссылку).


Настройка и создание файла Robots.txt. Он предназначен для указания параметров сканирования роботом поисковых систем. Первым делом при посещении вашего сайта поисковые роботы изучают директивы (указания) данного файла и на основе него сканируют сайт. С его помощью можно скрыть страницы результатов поиска, фильтрации, системные файлы, добавить директиву для исключения страниц с get-параметрами.

Главное, чтобы были открыты для сканирования продвигаемые посадочные страницы.
Также следует указать ссылку на актуальный файла sitemap.xml.

Sitemap: https://www.site.ru/sitemap.xml

Важно: Без данного файла поисковые системы все равно проиндексируют страницы. Он нужен, чтобы регламентировать сканирование для корректного отображения в поиске.

Директивы в файле поисковые системы воспринимают как рекомендации, поэтому могут проигнорировать некоторые указания и все равно проиндексировать ту или иную страницу. Например, если на страницу ведет много внутренних ссылок, но при этом она недоступна в файле, ПС включат их в индекс.

Что может мешать быстрой индексации

Долгая загрузка или отсутствие доступа к странице. Если при обращении к сайту поисковые системы не смогут получить содержание и просканировать страницу, они не добавят ее в базу данных, следовательно, и участвовать в ранжировании она не будет.

Чтобы избежать подобных проблем, надо настроить быструю загрузку сайта (и обеспечить быстрый ответ сервера – не более 200-300 мс). Проверить скорость ответа сервера можно в Яндекс Вебмастере:

Проверить скорость загрузки можно с помощью PageSpeed.

В случае критических ошибок с доступностью сайта в панели вебмастера появится соответствующее уведомление.

Некорректно настроенный атрибут rel canonical. Тег rel="canonical" используется для предоставления рекомендации поисковым системам относительно канонического (предпочтительного) URL-адреса страницы. Если для продвигаемой страницы, которая должна участвовать в поиске, в данном теге указана другая страница, необходимо поправить на корректную.

Проверку отдельной страницы можно осуществить с помощью сервиса.

Запрет на индексацию в meta-robots/ X-Robots-Tag. Необходимо регулярно проверять, нет ли запрета на индексирование для отдельных страниц. Подобные проблемы могут возникнуть из-за некорректной настройки и работы с CMS или ошибок разработчика.

Метатег robots и заголовки HTTP X-Robots-Tag используются для управления индексацией страниц поисковыми системами. Они предоставляют инструкции поисковым роботам о том, следует ли индексировать страницу или нет. Вот как они работают:

Метатег роботов (Meta Robots):

• Это HTML-тег, который помещается в секцию каждой страницы вашего сайта.
• Он содержит директивы для поисковых роботов, указывающие, как они должны обрабатывать страницу.
• Например, директива "noindex" указывает поисковым роботам не индексировать содержимое страницы, а "nofollow" просит не переходить по ссылкам на этой странице.
• Пример использования: .

Заголовок HTTP X-Robots-Tag:

• Это HTTP-заголовок, который отправляется вместе с ответом сервера при запросе к странице.
• Он также предоставляет инструкции поисковым роботам относительно индексации страницы.
• По аналогии с метатегом роботов он может содержать директивы, такие как "noindex", "nofollow" и другие.
• Пример использования: X-Robots-Tag: noindex, nofollow.

Оба этих метода позволяют контролировать индексацию ваших страниц поисковыми системами. Их использование зависит от ваших предпочтений и требований сайта.

Важно: не путайте метатег robots и файл robotos.txt. Если вы хотите закрыть отдельную страницу от индексации и исключить ее из индекса, пользуйтесь метатегом, но не двумя инструментами одновременно.

Например, у вас есть страница, которая не должна индексироваться. Для этого вы добавляете метатег , но при этом в файле robots.txt закрыли доступ к сканированию. В данном случае поисковые роботы не смогут получить информацию о странице, а следовательно, и учесть директиву метатега. И страница останется в индексе.

Проверить, не закрыта ли страница, можно с помощью сервиса.

Неуникальный контент/дубли продвигаемых страниц. Если вы скопировали чужую статью, добавили на свой сайт и ждете на нее трафик, скорее всего поисковые системы проигнорируют данную страницу, так как она не несет никакой ценности для пользователей.

То же самое касается дублирующегося контента в рамках одного сайта: поисковые системы могут выбрать для индексации одну из ваших дублирующихся страниц, даже если она не актуальна. А может и вовсе не индексировать ни одну из страниц, так как подобные ошибки свидетельствуют о том, что сайт недостаточно качественный.

Как ускорить индексацию с помощью инструментов 

Подобные инструменты могут понадобится случаях, если:

1. Страницы долго не индексируются, но ПС о них знают.
2. Вы создали новые страницы или обновили имеющиеся и хотите, чтобы поисковые системы узнали об этом быстрее.

Для Яндекса есть инструмент в Яндекс Вебмастере: Индексирование – Переход страниц:

Дневной лимит зависит от показателя ИКС – минимум 30 страниц в день для любого сайта.

Index Now. Данный протокол позволяет автоматически сообщать поисковым системам об изменениях на сайте: появлении новых страниц, обновлении или удалении уже проиндексированных страниц. Подробнее о настройке и принципе работы можно узнать в справке Яндекса.

Google Indexing API – инструмент Google, который позволяет отправлять за сутки 200 URL-адресов.

• Установите node.js на вашем компьютере.
• Создайте сервисный аккаунт в консоли Google Cloud Platform.
• Получите закрытый JSON-ключ для вашего сервисного аккаунта.
• Скачайте необходимый скрипт и вставьте ключ в соответствующее место, заменив содержимое service_account.
• Привяжите скрипт к Google Search Console, установив для client_email роль "Владелец".
• Перейдите по ссылке, выберите созданный сервисный аккаунт и активируйте Index API.
• Откройте файл urls в папке со скриптом и добавьте URL-адреса. Помните, что в день можно отправлять не более 200 ссылок.
• Запустите PowerShell.
• Введите команду node index js.

По сравнению с Яндексом, Google дольше индексирует страницы, поэтому рекомендуем пользоваться API постоянно. Вот пример, как быстрая индексация влияет на увеличение видимости сайта:

Переобход по счетчику Яндекс Метрики. Это еще один способ ускорить индексацию страниц. Роботы поиска Яндекса могут получать сигналы из Яндекс Метрики о появлении новых страниц на вашем сайте, даже если они еще не внесены в ваш sitemap.xml.

Как проверить, какие страницы сайта индексируются 

В данном случае нам потребуются установленные ранее сервисы. Смотреть статистику необходимо отдельно в каждой поисковой системе: 

1. Проверка индексации в Яндексе: переходим в Яндекс Вебмастер – Индексирование (в левом меню) – Страницы в поиске. 

В отчете вы также можете посмотреть информацию, какие страницы были удалены и почему, а также историю индексации страниц всего сайта.

2. Проверка в Google: переходим в Google Search Console – Индексирование – Страницы:

В отчете вы увидите, какие страницы в индексе, какие нет, а также причины, по которым страница не в поиске:

3. Если вас интересует индексация отдельных страниц, можно использовать платные сервисы, например Арсенкин, PR-CY. Для получения информации соберите URL-адреса страниц, добавьте в инструмент список и выберите поисковые системы.

4. Проверку можно осуществить и вручную, но только для одной страницы единоразово. Используйте оператор “url”. Например, “url:ingate.ru/uslugi/seo.” – найдет в индексе соответствующую страницу:

Выводы