Поисковики зачастую индексируют не все страницы сайта или, наоборот, заносят в индекс нежелательные. В результате сложно найти сайт, у которого бы количество страниц в индексе Яндексе и Google было одинаковым.
А теперь представьте ситуацию. У вас интернет-магазин, и вы обнаружили, что в Яндексе на 10% больше, чем в Google. Естественно, нужно найти страницы, из-за которых наблюдается расхождение. Если это дубли или страницы с GET-параметрами – это одно. Но если это товарные страницы, которые по какой-то причине не индексируются одним поисковиком – это совсем другое.
Поэтому полезно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сравнивать результаты, находить страницы, которых нет в поиске, и принимать меры.
Анализ индексации в Яндексе и Google: в чем проблема?
Данные по страницам в индексе доступны в панелях для вебмастеров:
-
Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
-
Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).
После выгрузки у вас будет два файла со списком URL, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких именно URL не хватает в каждой поисковой системе.
Если у вас, допустим, до 50-100 URL, то все можно сделать руками. Отсортируйте URL по алфавиту и выявите расхождения. На все про все уйдет до 30 минут. Проблемы начинаются, когда количество URL составляет 300, 500 и более. Не говоря уже о десятках тысяч. Здесь нужна автоматизация. Рассмотрим инструмент, который позволяет быстро проверить индексацию и найти расхождения.
Инструмент проверки индексации от PromoPult
Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент для анализа индексации страниц.
Что он умеет:
- одновременно проверять проиндексированные страницы в Яндексе и Google (или только одной из тих ПС);
- проверять сразу все URL сайта из XML-карты;
Особенности инструмента:
- работа «в облаке»;
- выгрузка отчетов в формате XLSX;
- уведомление на почту об окончании сбора данных;
- хранение отчетов неограниченное время на сервере PromoPult;
- нет ограничений по количеству URL.
Как проверить индексацию страниц с помощью инструмента PromoPult
Шаг 1. Добавьте URL на проверку
Перейдите на страницу инструмента и добавьте URL, которые нужно проверить. Делается это одним из трех способов:
- Добавление XML-карты сайта (вариант подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).
-
Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).
- Добавление списка URL вручную (вариант подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL прописывайте с новой строки).
В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи.
Из XML-карты сайта или CMS
В этом случае можно проверить, какие из важных URL не проиндексированы.
Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:
site:yourdomain.ru
Получаем количество проиндексированных страниц – 684 и 1090.
Задача – определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.
Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Consol
Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, – это позволит выявить «лишние» страницы.
Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:
В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.
Шаг 2. Указание поисковой системы
На данном этапе выберите ПС для проверки индексации. Для выявления расхождений выберите две системы.
Шаг 3. Загрузка отчета
После проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:
Загрузите отчет в формате XLSX:
В файле два листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 – страница проиндексирована, 0 – нет).
С помощью автофильтра вы легко определите, каких страниц не хватает в Яндексе или Google:
В Яндексе и Google разное количество проиндексированных страниц: что делать?
На данном этапе вы уже знаете, какие страницы не проиндексированы. Но почему так произошло?
Вот причины, по которым поисковики могут индексировать не все (или лишние) страницы:
- Разные директивы для роботов Яндекса и Google в robots.txt. В этом случае – ошибочно или намеренно – запрещена индексация определенного типа страниц для Googlebot или Yandexbot; проверьте файл robots.txt и при необходимости исправьте директивы.
- Молодой сайт. Требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
- Нет XML-карты сайта. Она помогает роботам ПС эффективней сканировать сайт, поэтому ее стоит обязательно создать и указать путь к ней в robots.txt.
- Наличие дублей страниц. Возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение – найти и устранить дубли.
- Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение – найти «узкие места» и ускорить работу сайта.
- Редкое добавление контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога. Если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult – копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики – размещать их на страницах.
- Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
- Санкции поисковиков. Ваш сайт может попасть под фильтры одного из поисковиков. В этом случае стоит проверить сайт на наличие фильтров.
- Более 4-х уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение –переосмыслите структуру сайта, максимально упростите ее.
После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).
Сколько стоит проверка индексации страниц
Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц – 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.
Анализатор индексации страниц – это лишь один из инструментов системы PromoPult. Среди профессиональных инструментов вы найдете также чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности. Многие инструменты бесплатные. Есть бесплатные проверки.