Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
4 Марта 2020 в 15:21

Как быстро проверить индексацию страниц в Яндексе и Google

0 6111

Поисковики зачастую индексируют не все страницы сайта или, наоборот, заносят в индекс нежелательные. В результате сложно найти сайт, у которого бы количество страниц в индексе Яндексе и Google было одинаковым.

А теперь представьте ситуацию. У вас интернет-магазин, и вы обнаружили, что в Яндексе на 10% больше, чем в Google. Естественно, нужно найти страницы, из-за которых наблюдается расхождение. Если это дубли или страницы с GET-параметрами  это одно. Но если это товарные страницы, которые по какой-то причине не индексируются одним поисковиком  это совсем другое.

Поэтому полезно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сравнивать результаты, находить страницы, которых нет в поиске, и принимать меры.

Анализ индексации в Яндексе и Google: в чем проблема?

Данные по страницам в индексе доступны в панелях для вебмастеров:

  • Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Данные по страницам в индексе доступны в панелях для вебмастеров

  • Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

Google Search Console

После выгрузки у вас будет два файла со списком URL, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких именно URL не хватает в каждой поисковой системе.

Если у вас, допустим, до 50-100 URL, то все можно сделать руками. Отсортируйте URL по алфавиту и выявите расхождения. На все про все уйдет до 30 минут. Проблемы начинаются, когда количество URL составляет 300, 500 и более. Не говоря уже о десятках тысяч. Здесь нужна автоматизация. Рассмотрим инструмент, который позволяет быстро проверить индексацию и найти расхождения.

Инструмент проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент для анализа индексации страниц.

Что он умеет:

  • одновременно проверять проиндексированные страницы в Яндексе и Google (или только одной из тих ПС);
  • проверять сразу все URL сайта из XML-карты;

Особенности инструмента:

  • работа «в облаке»;
  • выгрузка отчетов в формате XLSX;
  • уведомление на почту об окончании сбора данных;
  • хранение отчетов неограниченное время на сервере PromoPult;
  • нет ограничений по количеству URL.

Как проверить индексацию страниц с помощью инструмента PromoPult

Шаг 1. Добавьте URL на проверку

Перейдите на страницу инструмента и добавьте URL, которые нужно проверить. Делается это одним из трех способов:

  • Добавление XML-карты сайта (вариант подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

Добавление XML-карты сайта

  • Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

Загрузка XLSX-файла

  • Добавление списка URL вручную (вариант подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL прописывайте с новой строки).

Добавление списка URL вручную

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи.

 Из XML-карты сайта или CMS

В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

site:yourdomain.ru

Получаем количество проиндексированных страниц  684 и 1090.

Получаем количество проиндексированных страниц

Задача  определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Consol

Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение,  это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

Проверяем количество страниц

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

Шаг 2. Указание поисковой системы

На данном этапе выберите ПС для проверки индексации. Для выявления расхождений выберите две системы.

ПС для проверки индексации

Шаг 3. Загрузка отчета

После проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

Загрузка отчета

Загрузите отчет в формате XLSX:

Загрузите отчет в формате XLSX

В файле два листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1  страница проиндексирована, 0  нет).

Результаты анализа и исходные данные

С помощью автофильтра вы легко определите, каких страниц не хватает в Яндексе или Google:

Каких страниц не хватает в Яндексе или Google

В Яндексе и Google разное количество проиндексированных страниц: что делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Но почему так произошло?

Вот причины, по которым поисковики могут индексировать не все (или лишние) страницы:

  • Разные директивы для роботов Яндекса и Google в robots.txt. В этом случае  ошибочно или намеренно  запрещена индексация определенного типа страниц для Googlebot или Yandexbot; проверьте файл robots.txt и при необходимости исправьте директивы.
  • Молодой сайт. Требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
  • Нет XML-карты сайта. Она помогает роботам ПС эффективней сканировать сайт, поэтому ее стоит обязательно создать и указать путь к ней в robots.txt.
  • Наличие дублей страниц. Возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение  найти и устранить дубли.
  • Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение  найти «узкие места» и ускорить работу сайта.
  • Редкое добавление контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога. Если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult  копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики  размещать их на страницах.
  • Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
  • Санкции поисковиков. Ваш сайт может попасть под фильтры одного из поисковиков. В этом случае стоит проверить сайт на наличие фильтров.
  • Более 4-х уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение переосмыслите структуру сайта, максимально упростите ее.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Сколько стоит проверка индексации страниц

Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц  400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

Анализатор индексации страниц  это лишь один из инструментов системы PromoPult. Среди профессиональных инструментов вы найдете также чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности. Многие инструменты бесплатные. Есть бесплатные проверки.

(Голосов: 6, Рейтинг: 4.33)
0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.

Отправьте отзыв!
X | Закрыть